ABOUT THE SPEAKER
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com
TEDGlobal 2013

Daniel Suarez: The kill decision shouldn't belong to a robot

Daniel Suarez: 機器不該擁有致命決策的權力

Filmed:
1,946,706 views

身為一位科幻小說家,Daniel Suarez 講述了未來反烏托邦的故事。但在 TEDGlobal 的演講台上,他透過真實生活中的情境,來談論我們都需要更進一步了解的事:自主機械武器的興起。他認為,先進的無人飛機、自主的武器,及具有人工智慧的情報工具都將使得人性從戰爭中抽離。
- Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio

Double-click the English transcript below to play the video.

00:12
I write fiction小說 sci-fi科幻 thrillers驚悚片,
0
691
3158
我寫驚悚科幻小說
00:15
so if I say "killer兇手 robots機器人,"
1
3849
2193
所以如果我談到「殺手機器人」
00:18
you'd probably大概 think something like this.
2
6042
2361
你可能會覺得是這樣的東西
00:20
But I'm actually其實 not here to talk about fiction小說.
3
8403
2555
但事實上我不是來這裡談論小說的
00:22
I'm here to talk about very real真實 killer兇手 robots機器人,
4
10958
2948
我是來這裡談論真正的殺手機器人
00:25
autonomous自主性 combat戰鬥 drones無人駕駛飛機.
5
13906
3122
自主的無人戰機
00:29
Now, I'm not referring to Predator捕食者 and Reaper收割者 drones無人駕駛飛機,
6
17028
3627
我的意思不是掠奪者或是收割者無人戰機
00:32
which哪一個 have a human人的 making製造 targeting針對 decisions決定.
7
20655
3260
由人類來決定目標
00:35
I'm talking about fully充分 autonomous自主性 robotic機器人 weapons武器
8
23915
3129
我說的是全自動的機械武器
00:39
that make lethal致命 decisions決定 about human人的 beings眾生
9
27044
2654
能有自主性的對人類做出致命性的決策
00:41
all on their own擁有.
10
29698
2417
不倚靠人類
00:44
There's actually其實 a technical技術 term術語 for this: lethal致命 autonomy自治.
11
32115
4000
這有個專門術語:致命自主
00:48
Now, lethally致死 autonomous自主性 killer兇手 robots機器人
12
36115
2856
致命性自主殺手機器人
00:50
would take many許多 forms形式 -- flying飛行, driving主動,
13
38971
3069
有多種模式-飛行、陸行
00:54
or just lying說謊 in wait.
14
42040
2746
或只是待命
00:56
And actually其實, they're very quickly很快 becoming變得 a reality現實.
15
44786
3109
事實上它們很快就要問世了
00:59
These are two automatic自動 sniper狙擊兵 stations
16
47895
2484
這是兩座自動狙擊台
01:02
currently目前 deployed部署 in the DMZDMZ between之間 North and South Korea韓國.
17
50379
4137
目前部署在南北韓非軍事區
01:06
Both of these machines are capable of automatically自動
18
54516
2171
這兩台機器都是自動的
01:08
identifying識別 a human人的 target目標 and firing射擊 on it,
19
56687
3524
能夠辨識人類的位置並開火射擊
01:12
the one on the left at a distance距離 of over a kilometer公里.
20
60211
4324
左邊這台能瞄準超過一公里
01:16
Now, in both cases, there's still a human人的 in the loop循環
21
64535
3589
這兩座狙擊台都還是有人力介入
01:20
to make that lethal致命 firing射擊 decision決定,
22
68124
2372
來下達致命攻擊的決策
01:22
but it's not a technological技術性 requirement需求. It's a choice選擇.
23
70496
5413
但並不是技術上的需要,而是選項
01:27
And it's that choice選擇 that I want to focus焦點 on,
24
75909
3093
這個選項就是我的重點
01:31
because as we migrate遷移 lethal致命 decision-making做決定
25
79002
2641
因為當我們將致命決策權
01:33
from humans人類 to software軟件,
26
81643
3109
由人類轉移到軟體設備
01:36
we risk風險 not only taking服用 the humanity人性 out of war戰爭,
27
84752
3476
我們冒的風險不僅是將人性抽離戰爭
01:40
but also changing改變 our social社會 landscape景觀 entirely完全,
28
88228
3526
同時也完全改變了我們的社會景觀
01:43
far from the battlefield戰場.
29
91754
2224
遠遠不是戰場可以形容的
01:45
That's because the way humans人類 resolve解決 conflict衝突
30
93978
4509
因為人類解決衝突的方法
01:50
shapes形狀 our social社會 landscape景觀.
31
98487
1733
塑造了我們社會的樣貌
01:52
And this has always been the case案件, throughout始終 history歷史.
32
100220
2633
自古以來皆是如此
01:54
For example, these were state-of-the-art最先進的 weapons武器 systems系統
33
102853
2661
好比說這些是西元1400年時
01:57
in 1400 A.D.
34
105514
2079
最先進的武器系統
01:59
Now they were both very expensive昂貴 to build建立 and maintain保持,
35
107593
3144
儘管建造、保養代價高昂
02:02
but with these you could dominate支配 the populace民眾,
36
110737
3240
但是透過這些武器我們可以統治群眾
02:05
and the distribution分配 of political政治 power功率 in feudal封建 society社會 reflected反射的 that.
37
113977
3889
封建社會下政治力量的分布顯示了這一點
02:09
Power功率 was focused重點 at the very top最佳.
38
117866
2687
力量集中在最頂端
02:12
And what changed? Technological技術性 innovation革新.
39
120553
3528
什麼改變了?科技革新
02:16
Gunpowder火藥, cannon大砲.
40
124081
1871
火藥、大砲
02:17
And pretty漂亮 soon不久, armor盔甲 and castles城堡 were obsolete過時的,
41
125952
3817
不久之後,盔甲和城堡就被淘汰了
02:21
and it mattered要緊 less who you brought to the battlefield戰場
42
129769
2533
戰場上有什麼士兵不重要
02:24
versus how many許多 people you brought to the battlefield戰場.
43
132302
3779
數量有多少才是關鍵
02:28
And as armies軍隊 grew成長 in size尺寸, the nation-state民族國家 arose出現
44
136081
3638
當軍隊壯大之後,出現了民族國家
02:31
as a political政治 and logistical後勤 requirement需求 of defense防禦.
45
139719
3680
來滿足政治及後勤方面在防禦上的需求
02:35
And as leaders領導者 had to rely依靠 on more of their populace民眾,
46
143399
2376
當領導人必須更加倚靠他們的人民
02:37
they began開始 to share分享 power功率.
47
145775
1833
就會開始分權
02:39
Representative代表 government政府 began開始 to form形成.
48
147608
2599
代議政府開始成形
02:42
So again, the tools工具 we use to resolve解決 conflict衝突
49
150207
3288
再一次,我們用來解決衝突的工具
02:45
shape形狀 our social社會 landscape景觀.
50
153495
3304
塑造了我們社會的樣貌
02:48
Autonomous自主性 robotic機器人 weapons武器 are such這樣 a tool工具,
51
156799
4064
自主機械武器就是這種工具
02:52
except that, by requiring要求 very few少數 people to go to war戰爭,
52
160863
5168
但是因為發動戰爭所需的人數不多
02:58
they risk風險 re-centralizing重新集權 power功率 into very few少數 hands,
53
166031
4840
有極少數人再度集權統治的風險
03:02
possibly或者 reversing倒車 a five-century五世紀 trend趨勢 toward democracy民主.
54
170871
6515
可能讓五百年來民主化的趨勢走回頭路
03:09
Now, I think, knowing會心 this,
55
177386
1757
我想,了解了之後
03:11
we can take decisive決定性 steps腳步 to preserve保留 our democratic民主的 institutions機構,
56
179143
4352
我們可以果斷的維持民主制度
03:15
to do what humans人類 do best最好, which哪一個 is adapt適應.
57
183495
3979
來做我們人類最擅長的事,那就是適應環境
03:19
But time is a factor因子.
58
187474
2005
但時間是一個因素
03:21
Seventy七十 nations國家 are developing發展 remotely-piloted遠程駕駛
59
189479
2851
有七十個國家正在研發
03:24
combat戰鬥 drones無人駕駛飛機 of their own擁有,
60
192330
2157
他們自己的遠程無人戰鬥機
03:26
and as you'll你會 see, remotely-piloted遠程駕駛 combat戰鬥 drones無人駕駛飛機
61
194487
2593
如你所見,遠程無人戰鬥機
03:29
are the precursors前體 to autonomous自主性 robotic機器人 weapons武器.
62
197080
4472
正是自主機械武器的前身
03:33
That's because once一旦 you've deployed部署 remotely-piloted遠程駕駛 drones無人駕駛飛機,
63
201552
2767
因為一旦部屬了遠程無人戰鬥機
03:36
there are three powerful強大 factors因素 pushing推動 decision-making做決定
64
204319
3384
就會有三個強而有力的因素
03:39
away from humans人類 and on to the weapon武器 platform平台 itself本身.
65
207703
4600
迫使人們把決定權交給武器平台本身
03:44
The first of these is the deluge洪水 of video視頻 that drones無人駕駛飛機 produce生產.
66
212303
5259
第一個因素是無人戰機所拍攝的大量影像
03:49
For example, in 2004, the U.S. drone無人駕駛飛機 fleet艦隊 produced生成
67
217562
3853
像是在2004年,美國的無人機艦隊
03:53
a grand盛大 total of 71 hours小時 of video視頻 surveillance監控 for analysis分析.
68
221415
5312
拍攝了長達71小時的影像監控以供分析之用
03:58
By 2011, this had gone走了 up to 300,000 hours小時,
69
226727
4499
到了2011年,影像長度增為30萬小時
04:03
outstripping超過了 human人的 ability能力 to review評論 it all,
70
231226
3149
超出人類檢視所有影像的能力
04:06
but even that number is about to go up drastically大幅.
71
234375
3664
但即使數字之大,它依然大幅成長
04:10
The Pentagon's五角大樓 Gorgon芡實 Stare and Argus阿格斯 programs程式
72
238039
2575
五角大廈的「戈爾貢之眼(Gorgon Stare)」和
「百眼巨人(Argus)」計畫
04:12
will put up to 65 independently獨立地 operated操作 camera相機 eyes眼睛
73
240614
3164
將會有65台獨立運作的攝影機
04:15
on each drone無人駕駛飛機 platform平台,
74
243778
2038
安裝在每架無人飛機上
04:17
and this would vastly大大 outstrip超過 human人的 ability能力 to review評論 it.
75
245816
3303
而這將大幅超越人類所能檢視的能力
04:21
And that means手段 visual視覺 intelligence情報 software軟件 will need
76
249119
2160
這意味著視覺智慧軟體必須掃描影像
04:23
to scan掃描 it for items項目 of interest利益.
77
251279
4048
找出我們感興趣的部分
04:27
And that means手段 very soon不久
78
255327
1348
這表示不久後無人飛機
04:28
drones無人駕駛飛機 will tell humans人類 what to look at,
79
256675
2747
將會告訴人類該看哪些部分
04:31
not the other way around.
80
259422
2497
而非由人類來決定
04:33
But there's a second第二 powerful強大 incentive激勵 pushing推動
81
261919
2473
還有第二個動機
04:36
decision-making做決定 away from humans人類 and onto machines,
82
264392
3383
迫使我們把決定權交給機器
04:39
and that's electromagnetic電磁 jamming擁塞,
83
267775
2872
那就是電磁干擾
04:42
severing切斷 the connection連接 between之間 the drone無人駕駛飛機
84
270647
2236
它會切斷無人飛機
04:44
and its operator操作者.
85
272883
2814
和操作員的連線
04:47
Now we saw an example of this in 2011
86
275697
2618
我們現在看到的例子是在2011年
04:50
when an American美國 RQ-RQ-170 Sentinel哨兵 drone無人駕駛飛機
87
278315
2956
美國的RQ-170哨兵式(Sentinel)無人飛機
04:53
got a bit confused困惑 over Iran伊朗 due應有 to a GPS全球定位系統 spoofing欺騙 attack攻擊,
88
281271
4307
在伊朗上空因為GPS受到欺騙攻擊而陷入混亂
04:57
but any remotely-piloted遠程駕駛 drone無人駕駛飛機 is susceptible易感 to this type類型 of attack攻擊,
89
285578
5114
這種攻擊對任何遠程無人飛機都有效
05:02
and that means手段 drones無人駕駛飛機
90
290692
2052
這表示無人飛機
05:04
will have to shoulder more decision-making做決定.
91
292744
3620
必須去承擔更多決策
05:08
They'll他們會 know their mission任務 objective目的,
92
296364
3043
它們會知道它們的任務目標
05:11
and they'll他們會 react應對 to new circumstances情況 without human人的 guidance指導.
93
299407
4845
沒有人類指導也能對新的狀況作出反應
05:16
They'll他們會 ignore忽視 external外部 radio無線電 signals信號
94
304252
2581
它們會忽視外來的無線電訊號
05:18
and send發送 very few少數 of their own擁有.
95
306833
2330
只發出極少量的無線電訊號
05:21
Which哪一個 brings帶來 us to, really, the third第三
96
309163
2006
這牽扯到第三個因素
05:23
and most powerful強大 incentive激勵 pushing推動 decision-making做決定
97
311169
3862
也是最強烈的誘因
05:27
away from humans人類 and onto weapons武器:
98
315031
3342
促使我們將決定權交給武器
05:30
plausible似是而非 deniability推諉.
99
318373
3293
那就是貌似合理的推託
05:33
Now we live生活 in a global全球 economy經濟.
100
321666
2887
我們生活在一個全球經濟體下
05:36
High-tech高科技 manufacturing製造業 is occurring發生 on most continents大陸.
101
324553
4334
大部分的地方都有高科技工業
05:40
Cyber網絡 espionage間諜 is spiritingspiriting away advanced高級 designs設計
102
328887
2914
網路間諜正在將先進的科技
05:43
to parts部分 unknown未知,
103
331801
1886
帶到未知的地方
05:45
and in that environment環境, it is very likely容易
104
333687
2014
在這種環境下很有可能
05:47
that a successful成功 drone無人駕駛飛機 design設計 will be knocked被撞 off in contract合同 factories工廠,
105
335701
4734
成功的無人飛機設計,在灰市中量產
05:52
proliferate增生 in the gray灰色 market市場.
106
340435
2170
擊敗取得授權的工廠
05:54
And in that situation情況, sifting篩選 through通過 the wreckage殘骸
107
342605
2460
如此一來,即使仔細調查
05:57
of a suicide自殺 drone無人駕駛飛機 attack攻擊, it will be very difficult to say
108
345065
2960
無人機自殺攻擊的殘骸
06:00
who sent發送 that weapon武器.
109
348025
4400
也難以斷定是誰發射這個武器
06:04
This raises加薪 the very real真實 possibility可能性
110
352425
2800
這就很有可能
06:07
of anonymous匿名 war戰爭.
111
355225
2935
會引起匿名戰爭
06:10
This could tilt傾斜 the geopolitical地緣政治 balance平衡 on its head,
112
358160
2614
可能會讓地緣政治傾向一頭
06:12
make it very difficult for a nation國家 to turn its firepower火力
113
360774
3491
讓一個國家難以將它的炮火對準攻擊者
06:16
against反對 an attacker攻擊者, and that could shift轉移 the balance平衡
114
364265
2848
也會讓21世紀的維持的平衡
06:19
in the 21stST century世紀 away from defense防禦 and toward offense罪行.
115
367113
3764
由防禦轉為侵略
06:22
It could make military軍事 action行動 a viable可行 option選項
116
370877
3124
使得軍事行動變成可行的選項
06:26
not just for small nations國家,
117
374001
2288
不只是小國
06:28
but criminal刑事 organizations組織, private私人的 enterprise企業,
118
376289
2545
還有犯罪組織、私人企業
06:30
even powerful強大 individuals個人.
119
378834
2479
甚至是有權力的人都能這麼做
06:33
It could create創建 a landscape景觀 of rival對手 warlords軍閥
120
381313
3328
這樣可能會引發軍閥割據的混戰
06:36
undermining破壞 rule規則 of law and civil國內 society社會.
121
384641
3680
破壞法律規範及文明社會
06:40
Now if responsibility責任 and transparency透明度
122
388321
3616
如果責任感以及透明度
06:43
are two of the cornerstones基石 of representative代表 government政府,
123
391937
2384
是代議政治的兩塊基石
06:46
autonomous自主性 robotic機器人 weapons武器 could undermine破壞 both.
124
394321
4320
自主機械武器會破壞這兩者
06:50
Now you might威力 be thinking思維 that
125
398641
1546
你現在可能會覺得
06:52
citizens公民 of high-tech高科技 nations國家
126
400187
2246
高科技國家的人民
06:54
would have the advantage優點 in any robotic機器人 war戰爭,
127
402433
2703
在機械戰爭中佔有優勢
06:57
that citizens公民 of those nations國家 would be less vulnerable弱勢,
128
405136
3633
這些國家的人民比較不容易受傷害
07:00
particularly尤其 against反對 developing發展 nations國家.
129
408769
4288
尤其是對抗發展中國家的時候
07:05
But I think the truth真相 is the exact精確 opposite對面.
130
413057
3524
但是我認為事實剛好相反
07:08
I think citizens公民 of high-tech高科技 societies社會
131
416581
2251
我認為高科技社會的人民
07:10
are more vulnerable弱勢 to robotic機器人 weapons武器,
132
418832
3729
更容易受到機械武器傷害
07:14
and the reason原因 can be summed總結 up in one word: data數據.
133
422561
4465
其原因可以用兩個字來說明:資料
07:19
Data數據 powers權力 high-tech高科技 societies社會.
134
427026
3481
資料壯大了高科技社會
07:22
Cell細胞 phone電話 geolocation地理位置, telecom電信 metadata元數據,
135
430507
3190
手機定位、電訊後設資料
07:25
social社會 media媒體, email電子郵件, text文本, financial金融 transaction交易 data數據,
136
433697
3472
社交媒體、電子郵件、簡訊、金融交易資料
07:29
transportation運輸 data數據, it's a wealth財富 of real-time即時的 data數據
137
437169
3532
和運輸資料等,都是大量的即時資料
07:32
on the movements運動 and social社會 interactions互動 of people.
138
440701
3373
記載著人類的社交活動
07:36
In short, we are more visible可見 to machines
139
444074
3775
簡單來說,比其任何其他時代
07:39
than any people in history歷史,
140
447849
2242
機器對人類來說更顯而易見
07:42
and this perfectly完美 suits西裝 the targeting針對 needs需求 of autonomous自主性 weapons武器.
141
450091
5616
而這正好符合了自動武器的目標需求
07:47
What you're looking at here
142
455707
1738
大家現在看到的
07:49
is a link鏈接 analysis分析 map地圖 of a social社會 group.
143
457445
3246
是社會團體的連結分析圖
07:52
Lines indicate表明 social社會 connectedness連通 between之間 individuals個人.
144
460691
3634
線段代表著人與人之間的社會連結
07:56
And these types類型 of maps地圖 can be automatically自動 generated產生
145
464325
2880
這類的圖只要依據現代人所留下的資料
07:59
based基於 on the data數據 trail落後 modern現代 people leave離開 behind背後.
146
467205
4715
就能夠自動產生
08:03
Now it's typically一般 used to market市場 goods產品 and services服務
147
471920
2477
現在它應用於商品與服務的行銷
08:06
to targeted針對 demographics人口統計學, but it's a dual-use兩用 technology技術,
148
474397
4416
來統計目標群體,但這是雙面科技
08:10
because targeting針對 is used in another另一個 context上下文.
149
478813
3360
因為目標的鎖定可應用於另外一種情況
08:14
Notice注意 that certain某些 individuals個人 are highlighted突出.
150
482173
2560
我們注意到某些人是特別顯著的
08:16
These are the hubs集線器 of social社會 networks網絡.
151
484733
3280
他們是社會網絡的樞紐
08:20
These are organizers組織者, opinion-makers輿論製造者, leaders領導者,
152
488013
3590
他們是組織者、輿論製造者、領導者
08:23
and these people also can be automatically自動 identified確定
153
491603
2682
而這些人依據他們的溝通模式
08:26
from their communication通訊 patterns模式.
154
494285
2382
我們也能夠自動辨識
08:28
Now, if you're a marketer營銷, you might威力 then target目標 them
155
496667
2146
如果現在你是一位營銷員,你可能將試用產品
08:30
with product產品 samples樣本, try to spread傳播 your brand
156
498813
2543
鎖定這些人,試著把你的品牌
08:33
through通過 their social社會 group.
157
501356
2829
推廣到他們的社會團體中
08:36
But if you're a repressive壓制性 government政府
158
504185
1953
但如果你是專制的政府
08:38
searching搜索 for political政治 enemies敵人, you might威力 instead代替 remove去掉 them,
159
506138
4810
在搜尋政敵,你可能反而會除掉他們
08:42
eliminate消除 them, disrupt破壞 their social社會 group,
160
510948
2760
消滅他們、破壞他們的社會團體
08:45
and those who remain behind背後 lose失去 social社會 cohesion凝聚
161
513708
3169
而剩下來的人就會失去他們的社會連結
08:48
and organization組織.
162
516877
2621
以及社群組織
08:51
Now in a world世界 of cheap低廉, proliferating增殖 robotic機器人 weapons武器,
163
519498
3324
在一個機械武器便宜、氾濫的世界
08:54
borders國界 would offer提供 very little protection保護
164
522822
2635
國界的保護微不足道
08:57
to critics批評者 of distant遙遠 governments政府
165
525457
1946
無法防衛遠方政府的批評者
08:59
or trans-national跨國 criminal刑事 organizations組織.
166
527403
3646
或是跨國犯罪組織
09:03
Popular流行 movements運動 agitating攪拌 for change更改
167
531049
3493
鼓吹改革的群眾運動
09:06
could be detected檢測 early and their leaders領導者 eliminated淘汰
168
534542
3609
在大眾充分了解其訴求之前
09:10
before their ideas思路 achieve實現 critical危急 mass.
169
538151
2911
就會被察覺,並將其領導人消滅
09:13
And ideas思路 achieving實現 critical危急 mass
170
541062
2591
而充分的把想法傳達給大眾
09:15
is what political政治 activism行動 in popular流行 government政府 is all about.
171
543653
3936
正是一般政治激進主義政府所追求的
09:19
Anonymous匿名 lethal致命 weapons武器 could make lethal致命 action行動
172
547589
3997
匿名的致命武器能夠讓致命行動
09:23
an easy簡單 choice選擇 for all sorts排序 of competing競爭 interests利益.
173
551586
3782
變成所有競爭者一個簡單的選項
09:27
And this would put a chill寒意 on free自由 speech言語
174
555368
3734
這會讓民主的核心-言論自由及民眾在政治上行動
09:31
and popular流行 political政治 action行動, the very heart of democracy民主.
175
559102
5308
轉為冷漠
09:36
And this is why we need an international國際 treaty條約
176
564410
2914
這也就是為什麼我們需要國際公約
09:39
on robotic機器人 weapons武器, and in particular特定 a global全球 ban禁止
177
567324
3540
來規範機械武器,特別是
09:42
on the development發展 and deployment部署 of killer兇手 robots機器人.
178
570864
3908
全球皆禁止研發及部屬殺手機器人
09:46
Now we already已經 have international國際 treaties條約
179
574772
3254
現在我們已經有國際公約
09:50
on nuclear and biological生物 weapons武器, and, while imperfect不完善,
180
578026
3386
來規範核武及生物武器,雖然並不完美
09:53
these have largely大部分 worked工作.
181
581412
2288
但卻很有效
09:55
But robotic機器人 weapons武器 might威力 be every一切 bit as dangerous危險,
182
583700
3768
但是機械武器完全就是個危險的東西
09:59
because they will almost幾乎 certainly當然 be used,
183
587468
3288
因為它們幾乎一定會被使用
10:02
and they would also be corrosive腐蝕性的 to our democratic民主的 institutions機構.
184
590756
5027
也會侵蝕我們的民主制度
10:07
Now in November十一月 2012 the U.S. Department of Defense防禦
185
595783
3468
2012年11月,美國國防部
10:11
issued發行 a directive指示 requiring要求
186
599251
2458
直接要求
10:13
a human人的 being存在 be present當下 in all lethal致命 decisions決定.
187
601709
4519
所有致命決策都必須有人類參與其中
10:18
This temporarily暫時 effectively有效 banned取締 autonomous自主性 weapons武器 in the U.S. military軍事,
188
606228
4776
這暫時有效防止美軍的自主武器
10:23
but that directive指示 needs需求 to be made製作 permanent常駐.
189
611004
3753
但是這個要求必須永久有效
10:26
And it could set the stage階段 for global全球 action行動.
190
614757
4376
它也可以為全球立法行動鋪路
10:31
Because we need an international國際 legal法律 framework骨架
191
619133
3845
因為我們需要國際性的法律架構
10:34
for robotic機器人 weapons武器.
192
622978
2138
來規範機械武器
10:37
And we need it now, before there's a devastating破壞性的 attack攻擊
193
625116
2928
我們現在就需要,以免毀滅性的恐怖攻擊事件
10:40
or a terrorist恐怖分子 incident事件 that causes原因 nations國家 of the world世界
194
628044
3152
讓世界上的國家
10:43
to rush to adopt採用 these weapons武器
195
631196
1924
爭相採用這些武器
10:45
before thinking思維 through通過 the consequences後果.
196
633120
3771
完全不考慮後果
10:48
Autonomous自主性 robotic機器人 weapons武器 concentrate集中 too much power功率
197
636891
2981
自動機械武器把太強大的力量
10:51
in too few少數 hands, and they would imperil威脅 democracy民主 itself本身.
198
639872
6283
集中在太少人手中,而他們會威脅到民主本身
10:58
Now, don't get me wrong錯誤, I think there are tons
199
646155
2686
別誤解了我的意思,我認為
11:00
of great uses使用 for unarmed徒手 civilian平民 drones無人駕駛飛機:
200
648841
2618
這些非武裝的民用無人飛機好用途不少
11:03
environmental環境的 monitoring監控, search搜索 and rescue拯救, logistics後勤.
201
651459
3939
環境監控、搜救、後勤
11:07
If we have an international國際 treaty條約 on robotic機器人 weapons武器,
202
655398
2826
如果我們有機械武器的國際公約
11:10
how do we gain獲得 the benefits好處 of autonomous自主性 drones無人駕駛飛機
203
658224
3587
我們要如何從自主無人飛機及載具中獲得好處
11:13
and vehicles汽車 while still protecting保護 ourselves我們自己
204
661811
2648
同時又能夠保護我們自己
11:16
against反對 illegal非法 robotic機器人 weapons武器?
205
664459
3980
免於違法機械武器的侵害呢
11:20
I think the secret秘密 will be transparency透明度.
206
668439
4741
我認為機密會變得透明化
11:25
No robot機器人 should have an expectation期望 of privacy隱私
207
673180
3013
任何的機器人在公共場所
11:28
in a public上市 place地點.
208
676193
3451
都不得有隱私
11:31
(Applause掌聲)
209
679644
5048
(掌聲)
11:36
Each robot機器人 and drone無人駕駛飛機 should have
210
684692
2045
每一台機器人或無人飛機
11:38
a cryptographically加密 signed I.D. burned in at the factory
211
686737
2883
在工廠裡都要烙上一個加密的身分
11:41
that can be used to track跟踪 its movement運動 through通過 public上市 spaces空間.
212
689620
2923
可以用來追蹤它在公共場所的動向
11:44
We have license執照 plates on cars汽車, tail尾巴 numbers數字 on aircraft飛機.
213
692543
3381
我們的車子有車牌,飛機有機尾編號
11:47
This is no different不同.
214
695924
1841
這是同樣的道理
11:49
And every一切 citizen公民 should be able能夠 to download下載 an app應用
215
697765
2012
每個市民都可以下載應用程式
11:51
that shows節目 the population人口 of drones無人駕駛飛機 and autonomous自主性 vehicles汽車
216
699777
3125
來顯示無人飛機及自動載具
11:54
moving移動 through通過 public上市 spaces空間 around them,
217
702902
2429
在他們附近的公共空間移動的數量
11:57
both right now and historically歷史.
218
705331
2733
不論是過去或是現在
12:00
And civic公民 leaders領導者 should deploy部署 sensors傳感器 and civic公民 drones無人駕駛飛機
219
708064
3548
領導者應該要部屬感應器還有民用無人飛機
12:03
to detect檢測 rogue流氓 drones無人駕駛飛機,
220
711612
2344
來偵測圖謀不軌的無人飛機
12:05
and instead代替 of sending發出 killer兇手 drones無人駕駛飛機 of their own擁有 up to shoot射擊 them down,
221
713956
3176
而且不是直接派自己的無人攻擊機將它們擊落
12:09
they should notify通知 humans人類 to their presence存在.
222
717132
2992
而是應該告知人們這些無人飛機的存在
12:12
And in certain某些 very high-security高安全性 areas,
223
720124
2606
在確定是高安全性的地區
12:14
perhaps也許 civic公民 drones無人駕駛飛機 would snare圈套 them
224
722730
1909
或許民用無人飛機
12:16
and drag拖動 them off to a bomb炸彈 disposal處置 facility設施.
225
724639
2841
可以將它們引導到炸彈處理設施
12:19
But notice注意, this is more an immune免疫的 system系統
226
727480
3027
但要注意的是,這比較像是免疫系統
12:22
than a weapons武器 system系統.
227
730507
1321
而不是武器系統
12:23
It would allow允許 us to avail ourselves我們自己 of the use
228
731828
2592
如此就可以讓我們
12:26
of autonomous自主性 vehicles汽車 and drones無人駕駛飛機
229
734420
2032
獲得自主載具與無人飛機所帶來的好處
12:28
while still preserving our open打開, civil國內 society社會.
230
736452
4295
同時保有我們開放、文明的社會
12:32
We must必須 ban禁止 the deployment部署 and development發展
231
740747
2999
我們必須禁止研發及部屬
12:35
of killer兇手 robots機器人.
232
743746
1862
殺手機器人
12:37
Let's not succumb屈服於 to the temptation誘惑 to automate自動化 war戰爭.
233
745608
4850
我們不會屈服於自動化戰爭的誘惑
12:42
Autocratic專制 governments政府 and criminal刑事 organizations組織
234
750458
2718
專制政府及犯罪組織一定會屈服
12:45
undoubtedly無疑 will, but let's not join加入 them.
235
753176
2956
但是我們不會加入他們
12:48
Autonomous自主性 robotic機器人 weapons武器
236
756132
1891
自主機械武器
12:50
would concentrate集中 too much power功率
237
758023
2051
將過多權力
12:52
in too few少數 unseen看不見 hands,
238
760074
2482
集中到極少數看不見的手中
12:54
and that would be corrosive腐蝕性的 to representative代表 government政府.
239
762556
3255
而那會侵蝕代議政府
12:57
Let's make sure, for democracies民主 at least最小,
240
765811
2961
我們要保證,至少為了民主的理由
13:00
killer兇手 robots機器人 remain fiction小說.
241
768772
2604
讓殺手機器人留在小說裡吧
13:03
Thank you.
242
771376
1110
謝謝
13:04
(Applause掌聲)
243
772486
4565
(掌聲)
13:09
Thank you. (Applause掌聲)
244
777051
4616
謝謝 (掌聲)
Translated by Nan-Kun Wu
Reviewed by Iris Chung

▲Back to top

ABOUT THE SPEAKER
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com