ABOUT THE SPEAKER

Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com

TEDGlobal 2013

Daniel Suarez: The kill decision shouldn't belong to a robot

다니엘 수아레즈: 로봇이 살상권을 가져선 안됩니다

Filmed: 2013-06-11

Readability: 5.9

1,946,706 views

소설가로서, 다니엘 수아레즈는 미래에 대한 디스토피아적인 이야기를 지어냅니다. 하지만 TEDGlobal 무대에서 그는 우리 모두가 알아야 하는 현실 생활의 시나리오, 무인 로봇 전쟁무기의 증가에 대해서 말합니다. 그는 최신 드론, 자동 무기, 인공지능을 가진 정보 수집 도구들이 인간의 손을 떠나 전쟁을 일으킬 수 있음을 일깨워 줍니다.

Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio

Double-click the English transcript below to play the video.

00:12

I write쓰다 fiction소설 sci-fi공상 과학 소설 thrillers스릴러,

0

691

3158

저는 공상과학 스릴러 소설을 씁니다.

00:15

so if I say "killer살인자 robots로봇,"

1

3849

2193

그래서 제가 '살인 로봇'이라고 하면

00:18

you'd당신은 probably아마 think something like this.

2

6042

2361

여러분은 아마
이런 것을 떠올리실 테지만,

00:20

But I'm actually사실은 not here to talk about fiction소설.

3

8403

2555

저는 공상을 얘기하기 위해
이 자리에 선 것이 아닙니다.

00:22

I'm here to talk about very real레알 killer살인자 robots로봇,

4

10958

2948

저는 진짜 실존하는
살인 로봇에 대해 말하려 합니다.

00:25

autonomous자발적인 combat전투 drones무인 항공기.

5

13906

3122

자동화된 전투용 드론 말입니다.

00:29

Now, I'm not referring추천하는 to Predator프레데터 and Reaper사신 drones무인 항공기,

6

17028

3627

사람이 목표물을 결정하는

00:32

which어느 have a human인간의 making만들기 targeting타겟팅 decisions결정들.

7

20655

3260

프레데터나 리퍼 드론을
뜻하는게 아닙니다.

00:35

I'm talking말하는 about fully충분히 autonomous자발적인 robotic로봇 식의 weapons무기

8

23915

3129

완전히 자율적인 로봇 무기를
말하는 겁니다.

00:39

that make lethal치명적인 decisions결정들 about human인간의 beings존재들

9

27044

2654

사람의 생사에 대해 치명적인 결정을

00:41

all on their그들의 own개인적인.

10

29698

2417

직접 내리는 무기 말입니다.

00:44

There's actually사실은 a technical전문인 term기간 for this: lethal치명적인 autonomy자치.

11

32115

4000

이를 지칭하는 기술 용어도 있습니다.
바로 치명적 자율성입니다.

00:48

Now, lethally치명적인 autonomous자발적인 killer살인자 robots로봇

12

36115

2856

현재 치명적 자율성을 가진 살인 로봇에는

00:50

would take many많은 forms형태 -- flying나는, driving운전,

13

38971

3069

다양한 형태가 있습니다.
날거나 달리거나,

00:54

or just lying거짓말하는 in wait.

14

42040

2746

또는 그저 놓여있기도 합니다.

00:56

And actually사실은, they're very quickly빨리 becoming어울리는 a reality현실.

15

44786

3109

실제로 그것들은
빠르게 현실화되고 있습니다.

00:59

These are two automatic오토매틱 sniper저격병 stations역

16

47895

2484

이것은 두 개의 자동 저격 기지입니다.

01:02

currently현재 deployed배치 된 in the DMZDMZ between중에서 North북쪽 and South남쪽 Korea대한민국.

17

50379

4137

현재 남한과 북한 사이의 DMZ에
배치되어 있습니다.

01:06

Both양자 모두 of these machines기계들 are capable유능한 of automatically자동으로

18

54516

2171

둘 다 사람을 자동으로 식별하여

01:08

identifying식별 a human인간의 target목표 and firing발사 on it,

19

56687

3524

발포하는 것이 가능한 기계들입니다.

01:12

the one on the left at a distance거리 of over a kilometer킬로미터.

20

60211

4324

왼쪽 것의 사정거리는 1km가 넘습니다.

01:16

Now, in both양자 모두 cases사례, there's still a human인간의 in the loop고리

21

64535

3589

현재, 두 경우 모두 사람이 맨 위에서

01:20

to make that lethal치명적인 firing발사 decision결정,

22

68124

2372

살상 발포 결정을 내리고 있지만,

01:22

but it's not a technological기술적 인 requirement요건. It's a choice선택.

23

70496

5413

그게 기술적으로 필수사항은 아니며
그저 선택사항이죠.

01:27

And it's that choice선택 that I want to focus초점 on,

24

75909

3093

저는 오늘 그 선택에 주목하고자 합니다.

01:31

because as we migrate이주하다 lethal치명적인 decision-making의사 결정

25

79002

2641

우리가 살상 결정권을
사람으로부터

01:33

from humans인간 to software소프트웨어,

26

81643

3109

소프트웨어로 옮긴다면

01:36

we risk위험 not only taking취득 the humanity인류 out of war전쟁,

27

84752

3476

우리는 전쟁에서
인간성을 배제하게 될 뿐 아니라

01:40

but also또한 changing작고 보기 흉한 사람 our social사회적인 landscape경치 entirely전적으로,

28

88228

3526

우리 사회의 모습을 완전히
전장에서 멀리 떨어지게

01:43

far멀리 from the battlefield싸움터.

29

91754

2224

바꾸어버리는 위험에 처합니다.

01:45

That's because the way humans인간 resolve결의 conflict충돌

30

93978

4509

왜냐하면 사람들이
분쟁을 풀어나가는 방식이

01:50

shapes도형 our social사회적인 landscape경치.

31

98487

1733

우리 사회의 모습을 형성하기 때문입니다.

01:52

And this has always been the case케이스, throughout전역 history역사.

32

100220

2633

역사적으로 항상 이러했습니다.

01:54

For example예, these were state-of-the-art최첨단 기술 weapons무기 systems시스템

33

102853

2661

예를 들면, 이것들은 서기 1400년 즈음의

01:57

in 1400 A.D.

34

105514

2079

최신 무기 시스템이었습니다.

01:59

Now they were both양자 모두 very expensive비싼 to build짓다 and maintain유지하다,

35

107593

3144

만들고 유지하는데 많은 돈이 들었지만

02:02

but with these you could dominate억누르다 the populace서민,

36

110737

3240

이걸로 백성들을 다스릴 수 있었습니다.

02:05

and the distribution분포 of political주재관 power힘 in feudal봉건적 인 society사회 reflected반영된 that.

37

113977

3889

봉건사회 내에서 정치적 힘의 분배가
그 사실을 반영합니다.

02:09

Power힘 was focused초점을 맞춘 at the very top상단.

38

117866

2687

권력은 최상류층에 집중되어 있었습니다.

02:12

And what changed변경된? Technological기술적 인 innovation혁신.

39

120553

3528

그런데 무슨 일이 벌어졌을까요?
기술 혁신입니다.

02:16

Gunpowder화약, cannon대포.

40

124081

1871

화약과 대포입니다.

02:17

And pretty예쁜 soon곧, armor갑옷 and castles성 were obsolete구식의,

41

125952

3817

금새 갑옷과 성은 쓸모가 없어져 버렸죠.

02:21

and it mattered중요하다 less적게 who you brought가져온 to the battlefield싸움터

42

129769

2533

그리고 전쟁터에 누구를 데려오는지보다

02:24

versus대 how many많은 people you brought가져온 to the battlefield싸움터.

43

132302

3779

얼마나 많이 데려오는지가 중요해졌죠.

02:28

And as armies군대 grew자랐다 in size크기, the nation-state민족 국가 arose일어났다

44

136081

3638

군대의 규모가 커지면서
국민국가가 부상하여

02:31

as a political주재관 and logistical물류 requirement요건 of defense방어.

45

139719

3680

정치적, 군사적
방어요건이 되었습니다.

02:35

And as leaders지도자들 had to rely의지하다 on more of their그들의 populace서민,

46

143399

2376

지배자들은 더욱 국민들에게
의존해야 했기에

02:37

they began시작되었다 to share몫 power힘.

47

145775

1833

힘을 공유하기 시작했어요.

02:39

Representative대리인 government정부 began시작되었다 to form형태.

48

147608

2599

대의 정치가 형성되기 시작했습니다.

02:42

So again, the tools도구들 we use to resolve결의 conflict충돌

49

150207

3288

다시 말씀드리는데,
분쟁을 해결하는데 사용하는 도구가

02:45

shape모양 our social사회적인 landscape경치.

50

153495

3304

우리 사회의 모습을 형성합니다.

02:48

Autonomous자발적인 robotic로봇 식의 weapons무기 are such이러한 a tool수단,

51

156799

4064

무인 로봇 무기가 그런 도구입니다.

02:52

except외 that, by requiring요구하는 very few조금 people to go to war전쟁,

52

160863

5168

다만, 매우 소수의 사람들만
전쟁에 투입함으로써

02:58

they risk위험 re-centralizing재 집중화 된 power힘 into very few조금 hands소유,

53

166031

4840

권력을 극소수에게
다시 집중시키는 것이죠.

03:02

possibly혹시 reversing뒤집다 a five-century5 세기 trend경향 toward...쪽으로 democracy민주주의.

54

170871

6515

민주주의를 향해 온 500년의 흐름을
뒤집는 것일 수 있습니다.

03:09

Now, I think, knowing앎 this,

55

177386

1757

제 생각엔, 이것을 안다면,

03:11

we can take decisive결정적인 steps걸음 to preserve영역 our democratic민주주의의 institutions기관,

56

179143

4352

우리는 단호한 조처를 취해
민주주의 제도를 보호하고,

03:15

to do what humans인간 do best베스트, which어느 is adapt개조 하다.

57

183495

3979

인류가 가장 잘 하는 일인
적응을 할 수 있습니다.

03:19

But time is a factor인자.

58

187474

2005

하지만 시간이 변수입니다.

03:21

Seventy칠십 nations민족 국가 are developing개발 중 remotely-piloted원격 조종 된

59

189479

2851

70개 국가에서
원격 조종 전투용 드론을

03:24

combat전투 drones무인 항공기 of their그들의 own개인적인,

60

192330

2157

자체 개발하고 있고,

03:26

and as you'll너 see, remotely-piloted원격 조종 된 combat전투 drones무인 항공기

61

194487

2593

여러분이 보시듯
원격 조종 전투용 드론은

03:29

are the precursors전구 물질 to autonomous자발적인 robotic로봇 식의 weapons무기.

62

197080

4472

무인 로봇 무기의 전 단계입니다.

03:33

That's because once일단 you've deployed배치 된 remotely-piloted원격 조종 된 drones무인 항공기,

63

201552

2767

일단 원격 조종 드론을 배치하고 나면

03:36

there are three세 powerful강한 factors요인들 pushing미는 decision-making의사 결정

64

204319

3384

세가지 강력한 요인으로 인해
의사 결정권이

03:39

away from humans인간 and on to the weapon무기 platform플랫폼 itself그 자체.

65

207703

4600

인간에게서 무기 플랫폼으로
옮겨질 것이기 때문입니다.

03:44

The first of these is the deluge대홍수 of video비디오 that drones무인 항공기 produce생기게 하다.

66

212303

5259

그 첫번째 요인은 드론이 생산하는
녹화 영상이 엄청나다는 겁니다.

03:49

For example예, in 2004, the U.S. drone무인 비행기 fleet함대 produced생산 된

67

217562

3853

예를 들면, 2004년에
미국의 무인항공기는

03:53

a grand멋진 total합계 of 71 hours시간 of video비디오 surveillance감시 for analysis분석.

68

221415

5312

71시간 분량의 감시 비디오를
녹화했습니다.

03:58

By 2011, this had gone지나간 up to 300,000 hours시간,

69

226727

4499

2011년엔 이것이 30만 시간으로
늘어났습니다.

04:03

outstripping앞다리 human인간의 ability능력 to review리뷰 it all,

70

231226

3149

인간의 능력으로 전부
검토할 수 없을 정도죠.

04:06

but even that number번호 is about to go up drastically대폭적으로.

71

234375

3664

그럼에도 불구하고 그 숫자는
대폭 늘어날 전망입니다.

04:10

The Pentagon's펜타곤 Gorgon고르곤 Stare응시 and Argus아르고스 programs프로그램들

72

238039

2575

미 국방부의 고르곤 스테어(영상 녹화),
아르고스(광역 감시) 프로그램은

04:12

will put up to 65 independently독립적으로 operated움직이는 camera카메라 eyes눈

73

240614

3164

최대 65개의 각각 작동하는 카메라를

04:15

on each마다 drone무인 비행기 platform플랫폼,

74

243778

2038

각 드론 플랫폼에 설치할 것입니다.

04:17

and this would vastly크게 outstrip뻗기 human인간의 ability능력 to review리뷰 it.

75

245816

3303

이것은 인간의 검토 능력을
엄청나게 초과할 것입니다.

04:21

And that means방법 visual시각적 인 intelligence지성 software소프트웨어 will need

76

249119

2160

이것이 의미하는 바는
시각 지능 소프트웨어가

04:23

to scan주사 it for items항목 of interest관심.

77

251279

4048

검토가 필요한 화면을
골라내야 한다는 것입니다.

04:27

And that means방법 very soon곧

78

255327

1348

즉 드론이 인간에게

04:28

drones무인 항공기 will tell humans인간 what to look at,

79

256675

2747

뭘 봐야 하는지 알려주게 되겠죠.

04:31

not the other way around.

80

259422

2497

거꾸로 되는 거죠.

두번째 강력한 요인은 더더욱

04:33

But there's a second둘째 powerful강한 incentive자극 pushing미는

81

261919

2473

04:36

decision-making의사 결정 away from humans인간 and onto~에 machines기계들,

82

264392

3383

의사 결정권을 인간으로부터
기계로 옮기고 있습니다.

04:39

and that's electromagnetic전자기의 jamming방해,

83

267775

2872

그것은 전자기 전파방해입니다.

04:42

severing절단 the connection연결 between중에서 the drone무인 비행기

84

270647

2236

이것은 드론과 그 조종사 사이의 연결을

04:44

and its operator운영자.

85

272883

2814

끊어 버립니다.

04:47

Now we saw an example예 of this in 2011

86

275697

2618

2011년의 사례를 볼 수 있습니다.

04:50

when an American미국 사람 RQ-RQ-170 Sentinel보초 drone무인 비행기

87

278315

2956

미국의 RQ-170 센티넬 드론이

04:53

got a bit비트 confused혼란스러워하는 over Iran이란 due정당한 to a GPSGPS spoofing스푸핑 attack공격,

88

281271

4307

GPS 스푸핑(위장) 공격으로 인해
이란에서 약간의 혼동을 겪었습니다.

04:57

but any remotely-piloted원격 조종 된 drone무인 비행기 is susceptible느끼기 쉬운 to this type유형 of attack공격,

89

285578

5114

원격 조종 드론은
이러한 유형의 공격에 취약합니다.

05:02

and that means방법 drones무인 항공기

90

290692

2052

그 말인 즉, 드론은

05:04

will have to shoulder어깨 more decision-making의사 결정.

91

292744

3620

더욱 많은 의사 결정의 책임을
져야 한다는 거죠.

05:08

They'll그들은 할 것이다 know their그들의 mission사명 objective목표,

92

296364

3043

드론은 임무의 목적을 알게 될 것이며

05:11

and they'll그들은 할 것이다 react반응하다 to new새로운 circumstances상황 without없이 human인간의 guidance지도.

93

299407

4845

또한 인간의 지도가 없는
새로운 상황에 반응할 것입니다.

05:16

They'll그들은 할 것이다 ignore무시하다 external외부 radio라디오 signals신호들

94

304252

2581

외부의 전파신호를 무시하고

05:18

and send보내다 very few조금 of their그들의 own개인적인.

95

306833

2330

자체의 신호는 거의
내보내지 않을 것입니다.

05:21

Which어느 brings가져다 준다 us to, really, the third제삼

96

309163

2006

이것은 곧 세번째 요인을 초래하게 되는데

05:23

and most가장 powerful강한 incentive자극 pushing미는 decision-making의사 결정

97

311169

3862

이는 인간의 의사 결정권을

05:27

away from humans인간 and onto~에 weapons무기:

98

315031

3342

무기로 옮기는
가장 강력한 요인입니다.

05:30

plausible그럴듯한 deniability부인 능력.

99

318373

3293

타당한 거부권이죠.

05:33

Now we live살고 있다 in a global글로벌 economy경제.

100

321666

2887

지금 우리는 지구촌 경제에서
살고 있습니다.

05:36

High-tech첨단 기술 manufacturing조작 is occurring발생하는 on most가장 continents대륙.

101

324553

4334

첨단 기술 제조업은 대부분의 대륙에서
이뤄지고 있습니다.

05:40

Cyber사이버 espionage스파이 활동 is spiriting활발한 away advanced많은 designs디자인

102

328887

2914

사이버 스파이는 앞선 디자인을
몰래 빼돌려

05:43

to parts부분품 unknown알 수 없는,

103

331801

1886

미지의 곳으로 가져갑니다.

05:45

and in that environment환경, it is very likely아마도

104

333687

2014

그런 환경 속에서, 가능성이 높은 일은

05:47

that a successful성공한 drone무인 비행기 design디자인 will be knocked노크 한 off in contract계약 factories공장,

105

335701

4734

성공한 드론 디자인이
위탁 제조 공장에서 털리고

05:52

proliferate번식하다 in the gray회색 market시장.

106

340435

2170

암시장에서 확산되는 것입니다.

05:54

And in that situation상태, sifting선별 through...을 통하여 the wreckage난파

107

342605

2460

그런 상황에서는, 자살 공격 드론의

05:57

of a suicide자살 drone무인 비행기 attack공격, it will be very difficult어려운 to say

108

345065

2960

잔해를 조사하더라도,
누가 보낸 무기인지

06:00

who sent보낸 that weapon무기.

109

348025

4400

단언하기 어려울 것입니다.

06:04

This raises제기하다 the very real레알 possibility가능성

110

352425

2800

이것은 익명 전쟁을 실제 현실로

06:07

of anonymous익명의 war전쟁.

111

355225

2935

만들 수 있습니다.

06:10

This could tilt경사 the geopolitical지정 학적 balance밸런스 on its head머리,

112

358160

2614

이는 지정학적 균형을
한쪽으로 기울게 하여

06:12

make it very difficult어려운 for a nation민족 to turn회전 its firepower화력

113

360774

3491

한 나라가 공격자에 대해
화력으로 대응하기 어렵게 하고,

06:16

against반대 an attacker공격자, and that could shift시프트 the balance밸런스

114

364265

2848

그로 인해 21세기의 균형이

06:19

in the 21st성 century세기 away from defense방어 and toward...쪽으로 offense위반.

115

367113

3764

방어에서 공격 위주로
바뀔 수 있습니다.

06:22

It could make military군 action동작 a viable생존 가능한 option선택권

116

370877

3124

군사적 행동이
실행 가능한 선택이 되는데,

06:26

not just for small작은 nations민족 국가,

117

374001

2288

이는 작은 국가 뿐만 아니라

06:28

but criminal범죄자 organizations조직, private은밀한 enterprise기업,

118

376289

2545

범죄 집단, 민간 기업,

06:30

even powerful강한 individuals개인.

119

378834

2479

심지어 권력있는 개인에게도
해당됩니다.

06:33

It could create몹시 떠들어 대다 a landscape경치 of rival경쟁자 warlords군벌

120

381313

3328

이는 군벌 경쟁의 구조를 형성하고

06:36

undermining훼손시키는 rule규칙 of law법 and civil예의 바른 society사회.

121

384641

3680

법치와 시민사회를 훼손할 수 있습니다.

06:40

Now if responsibility책임 and transparency투명도

122

388321

3616

만약 책임과 투명성이

06:43

are two of the cornerstones기초 of representative대리인 government정부,

123

391937

2384

대의 정치의 두 가지 주춧돌이라고 한다면,

06:46

autonomous자발적인 robotic로봇 식의 weapons무기 could undermine약화시키다 both양자 모두.

124

394321

4320

무인 로봇 무기는
둘 다 훼손할 수 있습니다.

06:50

Now you might힘 be thinking생각 that

125

398641

1546

여러분은 이렇게 생각할 수도 있겠죠.

06:52

citizens시민 of high-tech첨단 기술 nations민족 국가

126

400187

2246

첨단기술 국가의 국민이

06:54

would have the advantage이점 in any robotic로봇 식의 war전쟁,

127

402433

2703

어떤 로봇 전쟁에서나 더 유리할 것이고

06:57

that citizens시민 of those nations민족 국가 would be less적게 vulnerable취약,

128

405136

3633

그런 국가의 국민은 덜 위험할 거라고요.

07:00

particularly특별히 against반대 developing개발 중 nations민족 국가.

129

408769

4288

특히 개발도상국에 비해서 말이죠.

07:05

But I think the truth진실 is the exact정확한 opposite반대말.

130

413057

3524

그러나 실제는 그 반대입니다.

07:08

I think citizens시민 of high-tech첨단 기술 societies사회

131

416581

2251

제 생각엔 첨단기술 사회의 시민이

07:10

are more vulnerable취약 to robotic로봇 식의 weapons무기,

132

418832

3729

로봇 무기에 더 취약합니다.

07:14

and the reason이유 can be summed합계 된 up in one word워드: data데이터.

133

422561

4465

그 이유는 한 단어로 요약할 수 있죠.
데이터.

07:19

Data데이터 powers권력 high-tech첨단 기술 societies사회.

134

427026

3481

데이터는 첨단기술 사회의 동력입니다.

07:22

Cell세포 phone전화 geolocation지구 위치, telecom통신 metadata메타 데이터,

135

430507

3190

휴대전화 위치정보, 통신 메타데이터,

07:25

social사회적인 media미디어, email이메일, text본문, financial재정적 인 transaction트랜잭션 data데이터,

136

433697

3472

소셜미디어, 이메일, 문자메세지,
금융 거래 데이터,

07:29

transportation교통 data데이터, it's a wealth부 of real-time실시간 data데이터

137

437169

3532

교통 정보 등
풍부한 실시간 데이터가

07:32

on the movements동정 and social사회적인 interactions상호 작용 of people.

138

440701

3373

사람들의 행동과 사회적 상호 작용을
나타냅니다.

07:36

In short짧은, we are more visible명백한 to machines기계들

139

444074

3775

간단히 말해, 우리는
역사상 그 누구보다도

07:39

than any people in history역사,

140

447849

2242

기계에 더 많이 노출되고 있단 겁니다.

07:42

and this perfectly아주 suits양복들 the targeting타겟팅 needs필요 of autonomous자발적인 weapons무기.

141

450091

5616

무인 무기의 표적 지정에 필요한 것에
꼭 들어맞습니다.

07:47

What you're looking at here

142

455707

1738

여기 여러분이 보고 계신 것은

07:49

is a link링크 analysis분석 map지도 of a social사회적인 group그룹.

143

457445

3246

한 사회 그룹의 관련성 분석 지도입니다.

07:52

Lines윤곽 indicate가리키다 social사회적인 connectedness연결성 between중에서 individuals개인.

144

460691

3634

선은 개인 간의 사회적 연결망을
나타냅니다.

07:56

And these types유형 of maps지도들 can be automatically자동으로 generated생성 된

145

464325

2880

이런 유형의 지도는 자동으로
생성될 수 있습니다.

07:59

based기반 on the data데이터 trail꼬리 modern현대 people leave휴가 behind뒤에.

146

467205

4715

현대인들이 남겨놓은
데이터 흔적에 바탕해서요.

08:03

Now it's typically전형적으로 used to market시장 goods상품 and services서비스

147

471920

2477

현재 이 데이터는 보통 상품과 서비스를
특정 인구에게

08:06

to targeted목표로 삼은 demographics인구 통계, but it's a dual-use이중 용도 technology과학 기술,

148

474397

4416

파는데 사용되지만, 이는
민군 겸용의 기술입니다.

08:10

because targeting타겟팅 is used in another다른 context문맥.

149

478813

3360

'목표물 지정'은 또 다른 상황에서도
쓰이니까요.

08:14

Notice주의 that certain어떤 individuals개인 are highlighted강조 표시된.

150

482173

2560

일부 개인들이 강조된 게 보이십니까?

08:16

These are the hubs허브 of social사회적인 networks네트워크.

151

484733

3280

이들은 소셜 네트워크의 중추입니다.

08:20

These are organizers주최자, opinion-makers의견을 말한 사람, leaders지도자들,

152

488013

3590

이들은 조직자, 여론 형성자, 리더들이며

08:23

and these people also또한 can be automatically자동으로 identified확인 된

153

491603

2682

이 사람들은 커뮤니케이션 패턴에 의해

08:26

from their그들의 communication통신 patterns패턴들.

154

494285

2382

자동으로 식별되죠.

08:28

Now, if you're a marketer마케터, you might힘 then target목표 them

155

496667

2146

만약 당신이 마케팅 담당자라면
그들을 목표로 삼아서

08:30

with product생성물 samples견본, try to spread전파 your brand상표

156

498813

2543

제품 샘플을 건네고
그들의 사회 집단을 통해

08:33

through...을 통하여 their그들의 social사회적인 group그룹.

157

501356

2829

당신의 브랜드를 알리려 할 거에요.

08:36

But if you're a repressive억압적인 government정부

158

504185

1953

하지만 만약 당신이 억압적 정부이고

08:38

searching수색 for political주재관 enemies적들, you might힘 instead대신에 remove풀다 them,

159

506138

4810

정적을 찾고 있다면,
그들을 쫓아내거나 제거하여

08:42

eliminate죽이다 them, disrupt방해하다 their그들의 social사회적인 group그룹,

160

510948

2760

그들의 사회 집단을 무너뜨릴 수 있으며

그로 인해 그 뒤에 남은 사람들은

08:45

and those who remain남아있는 behind뒤에 lose잃다 social사회적인 cohesion응집력

161

513708

3169

조직과 화합을 잃어버릴 것입니다.

08:48

and organization조직.

162

516877

2621

08:51

Now in a world세계 of cheap싼, proliferating증식하는 robotic로봇 식의 weapons무기,

163

519498

3324

이제 저렴해지고 급증하는
로봇 무기의 세계에선

08:54

borders국경 would offer제공 very little protection보호

164

522822

2635

멀리서 정부나 초국가적인 범죄 단체를

08:57

to critics비평가 of distant먼 governments정부

165

525457

1946

비판하는 사람들을

08:59

or trans-national국경없는 criminal범죄자 organizations조직.

166

527403

3646

국경이 보호하지 못하게 됩니다.

09:03

Popular인기 있는 movements동정 agitating흥분시키는 for change변화

167

531049

3493

변화를 요구하는 민중 운동은

09:06

could be detected탐지 된 early이른 and their그들의 leaders지도자들 eliminated제거 된

168

534542

3609

일찌감치 발각되고, 그들의 리더들은

09:10

before their그들의 ideas아이디어 achieve이루다 critical결정적인 mass질량.

169

538151

2911

그들의 생각이 임계점에 도달하기 전에
제거될 거에요.

09:13

And ideas아이디어 achieving달성 critical결정적인 mass질량

170

541062

2591

임계점에 도달하는 아이디어는

09:15

is what political주재관 activism행동주의 in popular인기 있는 government정부 is all about.

171

543653

3936

민주 정치에서 정치 활동의 핵심입니다.

09:19

Anonymous익명 lethal치명적인 weapons무기 could make lethal치명적인 action동작

172

547589

3997

익명의 치명적 무기는 모든 경쟁상대가

09:23

an easy쉬운 choice선택 for all sorts종류 of competing경쟁하는 interests이해.

173

551586

3782

치명적 행동을 쉽게 선택하게 만듭니다.

09:27

And this would put a chill냉기 on free비어 있는 speech연설

174

555368

3734

이것은 민주주의의 핵심인
언론의 자유나

09:31

and popular인기 있는 political주재관 action동작, the very heart심장 of democracy민주주의.

175

559102

5308

민중의 정치적 운동을
냉각시켜 버릴 겁니다.

09:36

And this is why we need an international국제 노동자 동맹 treaty조약

176

564410

2914

이 때문에 우리는 로봇 무기에 대한

09:39

on robotic로봇 식의 weapons무기, and in particular특별한 a global글로벌 ban반

177

567324

3540

국제 조약을 필요로 하며,
특히 국제적으로

09:42

on the development개발 and deployment전개 of killer살인자 robots로봇.

178

570864

3908

살인 로봇의 개발과 배포를
금지시켜야 합니다.

09:46

Now we already이미 have international국제 노동자 동맹 treaties조약

179

574772

3254

현재 우리는 이미 핵무기와
생화학 무기에 대한

09:50

on nuclear핵무기 and biological생물학의 weapons무기, and, while imperfect불완전한,

180

578026

3386

국제조약이 있습니다.
비록 완벽하지는 않지만,

09:53

these have largely크게 worked일한.

181

581412

2288

이들은 큰 역할을 했습니다.

09:55

But robotic로봇 식의 weapons무기 might힘 be every...마다 bit비트 as dangerous위험한,

182

583700

3768

하지만 로봇 무기도 그에 못지않게
위험합니다.

09:59

because they will almost거의 certainly확실히 be used,

183

587468

3288

사용될 것이 거의 확실하고,

10:02

and they would also또한 be corrosive신랄한 to our democratic민주주의의 institutions기관.

184

590756

5027

민주적 기구들을
좀먹을 것이기 때문이죠.

10:07

Now in November십일월 2012 the U.S. Department학과 of Defense방어

185

595783

3468

2012년 11월, 미국 국방부는

10:11

issued발행 된 a directive지령 requiring요구하는

186

599251

2458

지시문을 발행하여

10:13

a human인간의 being존재 be present선물 in all lethal치명적인 decisions결정들.

187

601709

4519

모든 살상 결정에 인간이
참여할 것을 요구했습니다.

10:18

This temporarily일시적으로 effectively효과적으로 banned금지 된 autonomous자발적인 weapons무기 in the U.S. military군,

188

606228

4776

이는 일시적이지만 효과적으로
미군의 무인 무기 사용을 막았습니다만,

10:23

but that directive지령 needs필요 to be made만든 permanent퍼머넌트.

189

611004

3753

그 지시문은 영구화되어야 합니다.

10:26

And it could set세트 the stage단계 for global글로벌 action동작.

190

614757

4376

이로써 국제적 입법의 기초를
마련할 수 있습니다.

10:31

Because we need an international국제 노동자 동맹 legal적법한 framework뼈대

191

619133

3845

왜냐하면 우리는 로봇 무기에 관한
국제적인 법률 체계가

10:34

for robotic로봇 식의 weapons무기.

192

622978

2138

필요하기 때문이죠.

10:37

And we need it now, before there's a devastating지독한 attack공격

193

625116

2928

지금 당장 필요합니다.
엄청난 공격이나

10:40

or a terrorist테러리스트 incident사건 that causes원인 nations민족 국가 of the world세계

194

628044

3152

테러리스트의 습격으로 인해
세계 국가들이

10:43

to rush돌진 to adopt채택하다 these weapons무기

195

631196

1924

결과를 고려하지 않고

10:45

before thinking생각 through...을 통하여 the consequences결과.

196

633120

3771

이런 무기를 사용하게 되기
전에 말입니다.

10:48

Autonomous자발적인 robotic로봇 식의 weapons무기 concentrate집중 too much power힘

197

636891

2981

무인 로봇 무기가 극소수에게
너무 큰 힘을 실어주고

10:51

in too few조금 hands소유, and they would imperil불임 democracy민주주의 itself그 자체.

198

639872

6283

민주주의 자체를 위태롭게
할 수 있습니다.

10:58

Now, don't get me wrong잘못된, I think there are tons톤

199

646155

2686

오해하지는 마세요. 저는

11:00

of great uses용도 for unarmed비무장 한 civilian일반 민간인 drones무인 항공기:

200

648841

2618

비무장 민간 드론의 쓰임새는
아주 많다고 생각합니다.

11:03

environmental환경 monitoring모니터링, search수색 and rescue구출, logistics기호 논리학.

201

651459

3939

환경 감시, 수색과 구조,
물류지원 말이에요.

11:07

If we have an international국제 노동자 동맹 treaty조약 on robotic로봇 식의 weapons무기,

202

655398

2826

만약 로봇 무기에 대한
국제조약이 있다면,

11:10

how do we gain이득 the benefits은혜 of autonomous자발적인 drones무인 항공기

203

658224

3587

우리가 무인 드론과 무인 차량을

11:13

and vehicles차량 while still protecting보호 ourselves우리 스스로

204

661811

2648

잘 사용하면서, 우리 자신을

11:16

against반대 illegal불법 robotic로봇 식의 weapons무기?

205

664459

3980

불법 로봇 무기로부터
보호하는 방법은 뭘까요?

11:20

I think the secret비밀 will be transparency투명도.

206

668439

4741

그 비밀은 투명성이라고 생각합니다.

11:25

No robot기계 인간 should have an expectation기대 of privacy은둔

207

673180

3013

어떤 로봇도 공공장소에서

11:28

in a public공공의 place장소.

208

676193

3451

개인 정보를 수집해서는 안됩니다.

11:31

(Applause박수 갈채)

209

679644

5048

(박수)

11:36

Each마다 robot기계 인간 and drone무인 비행기 should have

210

684692

2045

각각의 로봇과 드론은

11:38

a cryptographically암호로 signed서명 한 I.D. burned불 태우다 in at the factory공장

211

686737

2883

공장에서 새긴
암호화된 아이디가 있어야 합니다.

11:41

that can be used to track선로 its movement운동 through...을 통하여 public공공의 spaces공백.

212

689620

2923

공공장소에서 로봇의 움직임을
추적할 수 있도록 말이죠.

11:44

We have license특허 plates판 on cars자동차, tail꼬리 numbers번호 on aircraft항공기.

213

692543

3381

자동차에 번호판이 있고
항공기에 고유번호가 있는 것과

11:47

This is no different다른.

214

695924

1841

전혀 다를 게 없습니다.

11:49

And every...마다 citizen시민 should be able할 수 있는 to download다운로드 an app앱

215

697765

2012

그리고 모든 시민이 앱을 다운로드하여

11:51

that shows쇼 the population인구 of drones무인 항공기 and autonomous자발적인 vehicles차량

216

699777

3125

주위의 공공장소에서 작동되는
드론과 무인 차량의

11:54

moving움직이는 through...을 통하여 public공공의 spaces공백 around them,

217

702902

2429

수량을 확인할 수 있어야 합니다.

11:57

both양자 모두 right now and historically역사적으로.

218

705331

2733

지금이나 역사적으로나 말이죠.

12:00

And civic시민의 leaders지도자들 should deploy전개하다 sensors센서 and civic시민의 drones무인 항공기

219

708064

3548

시민 지도자는 센서와
민간 드론을 배치하여

12:03

to detect탐지하다 rogue악당 drones무인 항공기,

220

711612

2344

악당 드론을 탐지해야 하고,

12:05

and instead대신에 of sending배상 killer살인자 drones무인 항공기 of their그들의 own개인적인 up to shoot사격 them down,

221

713956

3176

그걸 알아서 쏴 버릴 킬러 드론을
배치하는 대신

12:09

they should notify통보하다 humans인간 to their그들의 presence존재.

222

717132

2992

사람들에게 그들의 존재를
알려야 합니다.

12:12

And in certain어떤 very high-security높은 보안 성 areas지역,

223

720124

2606

보안이 매우 철저한 특정구역에서는

12:14

perhaps혹시 civic시민의 drones무인 항공기 would snare올무 them

224

722730

1909

아마도 민간 무인기가 그걸 잡아서

12:16

and drag견인 them off to a bomb폭탄 disposal처분 facility쉬움.

225

724639

2841

폭탄 처리 공장에 버릴 수 있겠죠.

12:19

But notice주의, this is more an immune면역 system체계

226

727480

3027

주의할 것은, 이것은 무기 체계라기보단

12:22

than a weapons무기 system체계.

227

730507

1321

면역 체계에 더 가깝다는 점입니다.

12:23

It would allow허용하다 us to avail이익 ourselves우리 스스로 of the use

228

731828

2592

이는 우리가 무인 차량 및
드론을 사용하는데

12:26

of autonomous자발적인 vehicles차량 and drones무인 항공기

229

734420

2032

도움이 되는 동시에

12:28

while still preserving보존 our open열다, civil예의 바른 society사회.

230

736452

4295

열린 시민사회를 유지하도록 해줄 거에요.

12:32

We must절대로 필요한 것 ban반 the deployment전개 and development개발

231

740747

2999

우리는 살인 로봇의 개발과 배포를

12:35

of killer살인자 robots로봇.

232

743746

1862

금지해야 합니다.

12:37

Let's not succumb굴복하다 to the temptation유혹 to automate자동화하다 war전쟁.

233

745608

4850

자동화 전쟁의 유혹에
굴복하지 맙시다.

12:42

Autocratic독재적인 governments정부 and criminal범죄자 organizations조직

234

750458

2718

독재 정부와 범죄 조직은

12:45

undoubtedly의심 할 여지없이 will, but let's not join어울리다 them.

235

753176

2956

틀림없이 그럴 테지만,
거기에 합류하지 맙시다.

12:48

Autonomous자발적인 robotic로봇 식의 weapons무기

236

756132

1891

무인 로봇 무기는

12:50

would concentrate집중 too much power힘

237

758023

2051

극소수의 보이지 않는 손에

12:52

in too few조금 unseen보이지 않는 것 hands소유,

238

760074

2482

너무 많은 힘을 쥐어 줄 것입니다.

12:54

and that would be corrosive신랄한 to representative대리인 government정부.

239

762556

3255

그리고 이것은
대의 정치를 부식시킵니다.

12:57

Let's make sure, for democracies민주주의 at least가장 작은,

240

765811

2961

이것만 확실히 합시다.
적어도 민주주의를 위하여,

13:00

killer살인자 robots로봇 remain남아있는 fiction소설.

241

768772

2604

살인 로봇은 공상으로 남아야 합니다.

13:03

Thank you.

242

771376

1110

감사합니다.

13:04

(Applause박수 갈채)

243

772486

4565

(박수)

13:09

Thank you. (Applause박수 갈채)

244

777051

4616

감사합니다. (박수)

Translated by Jeong-Lan Kinser
Reviewed by Juhyeon Kim

ABOUT THE SPEAKER

Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com

THE ORIGINAL VIDEO ON TED.COM

다니엘 수아레즈: 로봇이 살상권을 가져선 안됩니다 | TED Talk | TED.com