TEDGlobal 2013
Daniel Suarez: The kill decision shouldn't belong to a robot
ダニエル・スアレース: 人殺しの決定をロボットに任せてはいけない
Filmed:
Readability: 5.9
1,946,706 views
ダニエル・スアレースが普段小説家として描き出しているのは悲観的未来像ですが、TEDGlobalのステージで彼が語るのは私達がもっと知らなければならない現実のシナリオ、自律的ロボット兵器の台頭です。最新鋭のドローン、自動兵器、人工知能搭載の諜報ツールなどが、人の手を離れて自ら決断を下す可能性を彼は示しています。
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio
Double-click the English transcript below to play the video.
00:12
I write fiction sci-fi thrillers,
0
691
3158
私はSFスリラーの
小説家です
小説家です
00:15
so if I say "killer robots,"
1
3849
2193
その私が「殺人ロボット」
と言ったら
と言ったら
00:18
you'd probably think something like this.
2
6042
2361
おそらく こんな感じのものを
想像されるでしょう
想像されるでしょう
00:20
But I'm actually not here to talk about fiction.
3
8403
2555
でも 今日はフィクションの話を
しに来たのではありません
しに来たのではありません
00:22
I'm here to talk about very real killer robots,
4
10958
2948
まさに現実化している
「殺人ロボット」―
「殺人ロボット」―
00:25
autonomous combat drones.
5
13906
3122
そう 完全自律型の戦闘ドローンのことを
話しに来ました
話しに来ました
00:29
Now, I'm not referring to Predator and Reaper drones,
6
17028
3627
ご存知のプレデター型や
リーパー型のことではありません
リーパー型のことではありません
00:32
which have a human making targeting decisions.
7
20655
3260
これらの無人機は 標的の決定を
人間が行っています
人間が行っています
00:35
I'm talking about fully autonomous robotic weapons
8
23915
3129
私は完全自律型のロボット兵器のことを
言っているんです
言っているんです
00:39
that make lethal decisions about human beings
9
27044
2654
このロボット兵器は
人間殺害の決定を
人間殺害の決定を
00:41
all on their own.
10
29698
2417
ロボット自体が行います
00:44
There's actually a technical term for this: lethal autonomy.
11
32115
4000
実は これを指す専門用語もあります
「完全自律型殺傷機能」です
「完全自律型殺傷機能」です
00:48
Now, lethally autonomous killer robots
12
36115
2856
「完全自律型殺傷機能」を持つ
殺人ロボットは
殺人ロボットは
00:50
would take many forms -- flying, driving,
13
38971
3069
多様な姿で現れます
飛行し 走行し あるいは
飛行し 走行し あるいは
00:54
or just lying in wait.
14
42040
2746
待ち伏せするような
ものもあるでしょう
ものもあるでしょう
00:56
And actually, they're very quickly becoming a reality.
15
44786
3109
実は これらのロボットは
急速に現実のものとなりつつあります
急速に現実のものとなりつつあります
00:59
These are two automatic sniper stations
16
47895
2484
この２種類の
自動狙撃装置は
自動狙撃装置は
01:02
currently deployed in the DMZ between North and South Korea.
17
50379
4137
現在 北朝鮮との非武装地帯の
韓国側に配備されています
韓国側に配備されています
01:06
Both of these machines are capable of automatically
18
54516
2171
この機械はどちらも
攻撃対象となる—
攻撃対象となる—
01:08
identifying a human target and firing on it,
19
56687
3524
人間を自動的に特定し
銃撃する機能があります
銃撃する機能があります
01:12
the one on the left at a distance of over a kilometer.
20
60211
4324
左側のものには
１キロ以上の射程があります
１キロ以上の射程があります
01:16
Now, in both cases, there's still a human in the loop
21
64535
3589
現在のところは どちらの機械でも
射殺決定の枠組みに
射殺決定の枠組みに
01:20
to make that lethal firing decision,
22
68124
2372
今のところは
人間が介在しています
人間が介在しています
01:22
but it's not a technological requirement. It's a choice.
23
70496
5413
しかし 技術的には人を要するわけではなく
そこに人を介在させる選択をしたわけです
そこに人を介在させる選択をしたわけです
01:27
And it's that choice that I want to focus on,
24
75909
3093
この選択こそが
今日 私が焦点を当てたいことです
今日 私が焦点を当てたいことです
01:31
because as we migrate lethal decision-making
25
79002
2641
なぜなら この
殺人の意思決定が
殺人の意思決定が
01:33
from humans to software,
26
81643
3109
人間からソフトウェアに
移行しつつあって
移行しつつあって
01:36
we risk not only taking the humanity out of war,
27
84752
3476
それは 戦争から人間性を
取り去ってしまうだけでなく
取り去ってしまうだけでなく
01:40
but also changing our social landscape entirely,
28
88228
3526
戦場から遠く隔たった
社会の情勢をも
社会の情勢をも
01:43
far from the battlefield.
29
91754
2224
変えてしまう危険が
あるからです
あるからです
01:45
That's because the way humans resolve conflict
30
93978
4509
なぜなら人間が対立を解決する方法によって
私たちを取り巻く社会情勢が
私たちを取り巻く社会情勢が
01:50
shapes our social landscape.
31
98487
1733
形成されるからです
01:52
And this has always been the case, throughout history.
32
100220
2633
歴史上ずっと
そうやって形成されてきたのです
そうやって形成されてきたのです
01:54
For example, these were state-of-the-art weapons systems
33
102853
2661
たとえば 西暦1400年には
これが最先端の―
これが最先端の―
01:57
in 1400 A.D.
34
105514
2079
兵器システムでした
01:59
Now they were both very expensive to build and maintain,
35
107593
3144
両方とも 作るのも維持するのも
とても高く付きましたが
とても高く付きましたが
02:02
but with these you could dominate the populace,
36
110737
3240
これがあれば民衆を
支配できました
支配できました
02:05
and the distribution of political power in feudal society reflected that.
37
113977
3889
封建社会の政治権力の分布は
誰が武力を持つかを反映し
誰が武力を持つかを反映し
02:09
Power was focused at the very top.
38
117866
2687
力は権力のトップにいる人に
集中していたのです
集中していたのです
02:12
And what changed? Technological innovation.
39
120553
3528
それから何が変わったのでしょう？
技術革新です
技術革新です
02:16
Gunpowder, cannon.
40
124081
1871
火薬 大砲
02:17
And pretty soon, armor and castles were obsolete,
41
125952
3817
すぐに 甲冑と城は
時代遅れになりました
時代遅れになりました
02:21
and it mattered less who you brought to the battlefield
42
129769
2533
戦場に誰を連れて行くかは
重要でなくなり
重要でなくなり
02:24
versus how many people you brought to the battlefield.
43
132302
3779
戦場にどれだけの人数を
送り込めるかが重要になりました
送り込めるかが重要になりました
02:28
And as armies grew in size, the nation-state arose
44
136081
3638
軍隊の人数が増えるようになると
防衛のための—
防衛のための—
02:31
as a political and logistical requirement of defense.
45
139719
3680
政治的 物流的な要請から
国家が必要となりました
国家が必要となりました
02:35
And as leaders had to rely on more of their populace,
46
143399
2376
指導者は民衆に
依存する必要が出てきて
依存する必要が出てきて
02:37
they began to share power.
47
145775
1833
力が共有されるようになりました
02:39
Representative government began to form.
48
147608
2599
そして代議制が
形成されだします
形成されだします
02:42
So again, the tools we use to resolve conflict
49
150207
3288
ここでもまた
対立解消にどんな手段を取るかが
対立解消にどんな手段を取るかが
02:45
shape our social landscape.
50
153495
3304
私たちを取り巻く社会情勢を
形作っています
形作っています
02:48
Autonomous robotic weapons are such a tool,
51
156799
4064
自律ロボット兵器も
そのような手段の１つです
そのような手段の１つです
02:52
except that, by requiring very few people to go to war,
52
160863
5168
ただ戦争を始めるのに
非常に少数の人間しか必要としないため
非常に少数の人間しか必要としないため
02:58
they risk re-centralizing power into very few hands,
53
166031
4840
ごく少数の人の手に力を
再び集中させるリスクがあります
再び集中させるリスクがあります
03:02
possibly reversing a five-century trend toward democracy.
54
170871
6515
民主化の流れを ５世紀分ほど
逆戻りさせてしまうかもしれません
逆戻りさせてしまうかもしれません
03:09
Now, I think, knowing this,
55
177386
1757
でも 私たちが
03:11
we can take decisive steps to preserve our democratic institutions,
56
179143
4352
このリスクを理解していれば
民主主義制度を守るための断固たる措置を取れます
民主主義制度を守るための断固たる措置を取れます
03:15
to do what humans do best, which is adapt.
57
183495
3979
人間が長けている能力によって—
すなわち適応力です
すなわち適応力です
03:19
But time is a factor.
58
187474
2005
しかし タイミングが
重要です
重要です
03:21
Seventy nations are developing remotely-piloted
59
189479
2851
70の国が遠隔操縦可能な―
03:24
combat drones of their own,
60
192330
2157
戦闘ドローンを
独自に開発しています
独自に開発しています
03:26
and as you'll see, remotely-piloted combat drones
61
194487
2593
おわかりと思いますが
遠隔操作戦闘ドローンは
遠隔操作戦闘ドローンは
03:29
are the precursors to autonomous robotic weapons.
62
197080
4472
自律ロボット兵器を
作り始める前兆です
作り始める前兆です
03:33
That's because once you've deployed remotely-piloted drones,
63
201552
2767
なぜなら遠隔操作の無人機が
03:36
there are three powerful factors pushing decision-making
64
204319
3384
一旦配備されてしまうと
意思決定を人の手から
意思決定を人の手から
03:39
away from humans and on to the weapon platform itself.
65
207703
4600
兵器そのものへと押しやることになる
大きな要因が３つあるからです
大きな要因が３つあるからです
03:44
The first of these is the deluge of video that drones produce.
66
212303
5259
１つ目の要因は
無人機が撮影するビデオが膨大になることです
無人機が撮影するビデオが膨大になることです
03:49
For example, in 2004, the U.S. drone fleet produced
67
217562
3853
たとえば 2004 年に
米国のドローン軍団が撮影した
米国のドローン軍団が撮影した
03:53
a grand total of 71 hours of video surveillance for analysis.
68
221415
5312
分析が必要な偵察映像は
総計71 時間でした
総計71 時間でした
03:58
By 2011, this had gone up to 300,000 hours,
69
226727
4499
それが2011 年には 30万時間へと
増えたのです
増えたのです
04:03
outstripping human ability to review it all,
70
231226
3149
すべてを確認するのは
人間の能力を超えてしまいました
人間の能力を超えてしまいました
04:06
but even that number is about to go up drastically.
71
234375
3664
しかも この時間はまだまだ
増加しそうです
増加しそうです
04:10
The Pentagon's Gorgon Stare and Argus programs
72
238039
2575
米国防総省のゴルゴンステアや
アーガスという計画では
アーガスという計画では
04:12
will put up to 65 independently operated camera eyes
73
240614
3164
最大65個の独立した
カメラの目を
カメラの目を
04:15
on each drone platform,
74
243778
2038
個々のドローンに付けるもので
04:17
and this would vastly outstrip human ability to review it.
75
245816
3303
これは人間が確認できる量を
大幅に上回るものとなります
大幅に上回るものとなります
04:21
And that means visual intelligence software will need
76
249119
2160
こうなると
関心を引く対象を発見するために
関心を引く対象を発見するために
04:23
to scan it for items of interest.
77
251279
4048
視覚情報分析ソフトの力が
必要になります
必要になります
04:27
And that means very soon
78
255327
1348
これは じきにドローンが
04:28
drones will tell humans what to look at,
79
256675
2747
注目すべき所を人間に
指示するようになるということで
指示するようになるということで
04:31
not the other way around.
80
259422
2497
人間側からではありません
04:33
But there's a second powerful incentive pushing
81
261919
2473
意思決定を
人間から機械へと
人間から機械へと
04:36
decision-making away from humans and onto machines,
82
264392
3383
強く推しやる
２つ目の要因は
２つ目の要因は
04:39
and that's electromagnetic jamming,
83
267775
2872
電磁波による妨害です
04:42
severing the connection between the drone
84
270647
2236
妨害されると
ドローンと遠隔操作者の間の
ドローンと遠隔操作者の間の
04:44
and its operator.
85
272883
2814
通信が途切れてしまいます
04:47
Now we saw an example of this in 2011
86
275697
2618
2011年に これが起こった
例がありました
例がありました
04:50
when an American RQ-170 Sentinel drone
87
278315
2956
アメリカ軍の RQ-170
センチネル ドローンが
センチネル ドローンが
04:53
got a bit confused over Iran due to a GPS spoofing attack,
88
281271
4307
イラン軍による GPS 信号のなりすまし攻撃で
混乱させられたのです
混乱させられたのです
04:57
but any remotely-piloted drone is susceptible to this type of attack,
89
285578
5114
遠隔操作型のドローンである限り
この種の攻撃には弱いものです
この種の攻撃には弱いものです
05:02
and that means drones
90
290692
2052
つまりドローンは
05:04
will have to shoulder more decision-making.
91
292744
3620
意思決定の より多くの割合を
背負わなければならなくなるのです
背負わなければならなくなるのです
05:08
They'll know their mission objective,
92
296364
3043
ドローンは 作戦目的を把握し
05:11
and they'll react to new circumstances without human guidance.
93
299407
4845
人間の導きなしに
新しい状況に対応するようになるでしょう
新しい状況に対応するようになるでしょう
05:16
They'll ignore external radio signals
94
304252
2581
ドローンは 外部からの
無線信号を無視し
無線信号を無視し
05:18
and send very few of their own.
95
306833
2330
自分側からは ほとんど
発信しなくなります
発信しなくなります
05:21
Which brings us to, really, the third
96
309163
2006
そして ここから—
05:23
and most powerful incentive pushing decision-making
97
311169
3862
３つ目の
最も強力に意思決定を
最も強力に意思決定を
05:27
away from humans and onto weapons:
98
315031
3342
人から兵器へ移すように
促す要因が出てきます
促す要因が出てきます
05:30
plausible deniability.
99
318373
3293
それは
「まことしやかな関与否定」です
「まことしやかな関与否定」です
05:33
Now we live in a global economy.
100
321666
2887
私たちは グローバル経済の
時代にいます
時代にいます
05:36
High-tech manufacturing is occurring on most continents.
101
324553
4334
ハイテク製品の製造は
ほとんどの大陸で行われています
ほとんどの大陸で行われています
05:40
Cyber espionage is spiriting away advanced designs
102
328887
2914
サイバー諜報戦の一環で
先進的設計を
先進的設計を
05:43
to parts unknown,
103
331801
1886
様々な部品に隠しますが
05:45
and in that environment, it is very likely
104
333687
2014
このような環境では
05:47
that a successful drone design will be knocked off in contract factories,
105
335701
4734
ドローン設計が契約工場で模倣される
可能性が非常に高いのです
可能性が非常に高いのです
05:52
proliferate in the gray market.
106
340435
2170
そして裏市場へと
拡散します
拡散します
05:54
And in that situation, sifting through the wreckage
107
342605
2460
こんな状況では
自爆攻撃ドローンの残骸を
自爆攻撃ドローンの残骸を
05:57
of a suicide drone attack, it will be very difficult to say
108
345065
2960
調査したところで
06:00
who sent that weapon.
109
348025
4400
兵器で攻撃を仕掛けたのが
誰なのかわかりません
誰なのかわかりません
06:04
This raises the very real possibility
110
352425
2800
見えない敵との戦いが
06:07
of anonymous war.
111
355225
2935
非常に現実的な可能性として
浮かび上がります
浮かび上がります
06:10
This could tilt the geopolitical balance on its head,
112
358160
2614
地政学的なバランスを
180度変えてしまう可能性があり
180度変えてしまう可能性があり
06:12
make it very difficult for a nation to turn its firepower
113
360774
3491
国家が攻撃してきた相手へ反撃することを
非常に困難にします
非常に困難にします
06:16
against an attacker, and that could shift the balance
114
364265
2848
これによって 21世紀において
防衛中心の考えから
防衛中心の考えから
06:19
in the 21st century away from defense and toward offense.
115
367113
3764
攻撃中心の考えへと
重心が変わってしまうかもしれません
重心が変わってしまうかもしれません
06:22
It could make military action a viable option
116
370877
3124
匿名での攻撃が可能になることで
06:26
not just for small nations,
117
374001
2288
小国家や 犯罪組織
民間企業
民間企業
06:28
but criminal organizations, private enterprise,
118
376289
2545
さらには有力な個人にさえ
06:30
even powerful individuals.
119
378834
2479
軍事行動が有効な手段と
なりえるのです
なりえるのです
06:33
It could create a landscape of rival warlords
120
381313
3328
これは 法の支配と市民社会の
土台を壊してしまい
土台を壊してしまい
06:36
undermining rule of law and civil society.
121
384641
3680
群雄割拠の情勢を
作り出すかもしれません
作り出すかもしれません
06:40
Now if responsibility and transparency
122
388321
3616
責任と透明性は
06:43
are two of the cornerstones of representative government,
123
391937
2384
代議制を支える
土台と言えるかもしれませんが
土台と言えるかもしれませんが
06:46
autonomous robotic weapons could undermine both.
124
394321
4320
自律ロボット兵器は
その両方を弱体化させる可能性があります
その両方を弱体化させる可能性があります
06:50
Now you might be thinking that
125
398641
1546
みなさんは こう考えるかもしれません
06:52
citizens of high-tech nations
126
400187
2246
ハイテク諸国の市民なら
06:54
would have the advantage in any robotic war,
127
402433
2703
ロボット戦争で優位に立っていて
06:57
that citizens of those nations would be less vulnerable,
128
405136
3633
これらの国の市民は
危険にさらされにくいと考えるかもしれません
危険にさらされにくいと考えるかもしれません
07:00
particularly against developing nations.
129
408769
4288
特に途上国が相手なら
なおさらです
なおさらです
07:05
But I think the truth is the exact opposite.
130
413057
3524
しかし 真実は全く逆だと思います
07:08
I think citizens of high-tech societies
131
416581
2251
ハイテク社会の市民は
07:10
are more vulnerable to robotic weapons,
132
418832
3729
より大きく ロボット兵器の
危険にさらされています
危険にさらされています
07:14
and the reason can be summed up in one word: data.
133
422561
4465
この理由は １語に要約できます
「データ」です
「データ」です
07:19
Data powers high-tech societies.
134
427026
3481
データは ハイテク社会を
動かしています
動かしています
07:22
Cell phone geolocation, telecom metadata,
135
430507
3190
携帯電話の位置情報
電話の会話から集められるメタデータ
電話の会話から集められるメタデータ
07:25
social media, email, text, financial transaction data,
136
433697
3472
ソーシャルメディア 電子メール
SMS 金融取引のデータ
SMS 金融取引のデータ
07:29
transportation data, it's a wealth of real-time data
137
437169
3532
交通機関や移動のデータなどです
これらは人々の活動や
これらは人々の活動や
07:32
on the movements and social interactions of people.
138
440701
3373
社会的な交流を表す
膨大なリアルタイムデータの塊です
膨大なリアルタイムデータの塊です
07:36
In short, we are more visible to machines
139
444074
3775
だから 私たちは
歴史上のどんな時代の人たちよりも
歴史上のどんな時代の人たちよりも
07:39
than any people in history,
140
447849
2242
機械に行動が
筒抜けになっているのです
筒抜けになっているのです
07:42
and this perfectly suits the targeting needs of autonomous weapons.
141
450091
5616
これは自律的兵器が標的を探すために
絶好のものとなります
絶好のものとなります
07:47
What you're looking at here
142
455707
1738
いま画面に映っているのは
07:49
is a link analysis map of a social group.
143
457445
3246
ある社会的集団が
どうつながっているか分析した図です
どうつながっているか分析した図です
07:52
Lines indicate social connectedness between individuals.
144
460691
3634
線は個人間の社会的な
つながりを示しています
つながりを示しています
07:56
And these types of maps can be automatically generated
145
464325
2880
現代人が日常的に残す
データの痕跡から
データの痕跡から
07:59
based on the data trail modern people leave behind.
146
467205
4715
このような図を自動的に
生成することができます
生成することができます
08:03
Now it's typically used to market goods and services
147
471920
2477
この技術は通常は
人口動態で標的を割り出して
人口動態で標的を割り出して
08:06
to targeted demographics, but it's a dual-use technology,
148
474397
4416
商品やサービスを販売するのに使われますが
諸刃の技術でもあります
諸刃の技術でもあります
08:10
because targeting is used in another context.
149
478813
3360
標的を割り出す技術が
別の用途に使われるからです
別の用途に使われるからです
08:14
Notice that certain individuals are highlighted.
150
482173
2560
赤色で表示されている
人たちがいますが これは
人たちがいますが これは
08:16
These are the hubs of social networks.
151
484733
3280
社会的なネットワークの
ハブとなっている人たちです
ハブとなっている人たちです
08:20
These are organizers, opinion-makers, leaders,
152
488013
3590
この人たちは 組織のまとめ役や
オピニオンメーカーやリーダーです
オピニオンメーカーやリーダーです
08:23
and these people also can be automatically identified
153
491603
2682
この人たちも
通信のパターンを追跡することで
通信のパターンを追跡することで
08:26
from their communication patterns.
154
494285
2382
自動的に見つけ出すことが可能です
08:28
Now, if you're a marketer, you might then target them
155
496667
2146
マーケティング担当者なら
08:30
with product samples, try to spread your brand
156
498813
2543
社会的グループに
ブランドを広めるために
ブランドを広めるために
08:33
through their social group.
157
501356
2829
製品サンプルを送る
標的にするでしょう
標的にするでしょう
08:36
But if you're a repressive government
158
504185
1953
しかし もし抑圧的な政府で
08:38
searching for political enemies, you might instead remove them,
159
506138
4810
政治上の敵となる相手を探しているなら
彼らは排除する標的となるでしょう
彼らは排除する標的となるでしょう
08:42
eliminate them, disrupt their social group,
160
510948
2760
リーダーを抹殺し
社会的グループを混乱させ
社会的グループを混乱させ
08:45
and those who remain behind lose social cohesion
161
513708
3169
そして 残されたグループの人たちは
社会的つながりや
社会的つながりや
08:48
and organization.
162
516877
2621
組織を失ってしまいます
08:51
Now in a world of cheap, proliferating robotic weapons,
163
519498
3324
安いロボット兵器が
拡散するような世界になったら
拡散するような世界になったら
08:54
borders would offer very little protection
164
522822
2635
遠くにいる政府反対派や
08:57
to critics of distant governments
165
525457
1946
国際的犯罪組織に対し
08:59
or trans-national criminal organizations.
166
527403
3646
国境はほとんど防衛線になりません
09:03
Popular movements agitating for change
167
531049
3493
支持されて 変革を起こすような
扇動活動があれば
扇動活動があれば
09:06
could be detected early and their leaders eliminated
168
534542
3609
クリティカルマスに到達する前に
早期に検出されてしまい
早期に検出されてしまい
09:10
before their ideas achieve critical mass.
169
538151
2911
指導者は排除される
ようになるでしょう
ようになるでしょう
09:13
And ideas achieving critical mass
170
541062
2591
アイデアがクリティカルマスに
到達できる環境は
到達できる環境は
09:15
is what political activism in popular government is all about.
171
543653
3936
人民政府における
政治運動の全てと言ってもいいでしょう
政治運動の全てと言ってもいいでしょう
09:19
Anonymous lethal weapons could make lethal action
172
547589
3997
正体不明の殺戮兵器があることで
あらゆる利害の対立において
あらゆる利害の対立において
09:23
an easy choice for all sorts of competing interests.
173
551586
3782
殺害という選択が
簡単にできてしまうようになるでしょう
簡単にできてしまうようになるでしょう
09:27
And this would put a chill on free speech
174
555368
3734
そして このことは
民主主義のまさに中核と言える
民主主義のまさに中核と言える
09:31
and popular political action, the very heart of democracy.
175
559102
5308
言論の自由や支持される政治的行動を
縮み上がらせることになります
縮み上がらせることになります
09:36
And this is why we need an international treaty
176
564410
2914
これが 私たちに
ロボット兵器の国際条約が
ロボット兵器の国際条約が
09:39
on robotic weapons, and in particular a global ban
177
567324
3540
必要な理由です
特に世界全体での
特に世界全体での
09:42
on the development and deployment of killer robots.
178
570864
3908
殺人ロボットの開発と配備を
禁止することが必要です
禁止することが必要です
09:46
Now we already have international treaties
179
574772
3254
私たちにはすでに
核兵器と生物兵器に関する
核兵器と生物兵器に関する
09:50
on nuclear and biological weapons, and, while imperfect,
180
578026
3386
国際条約があります
不完全ではありますが
不完全ではありますが
09:53
these have largely worked.
181
581412
2288
条約は概ね
効力を発揮してきました
効力を発揮してきました
09:55
But robotic weapons might be every bit as dangerous,
182
583700
3768
しかし ロボット兵器は 全ての点で
同じくらい危険なもので
同じくらい危険なもので
09:59
because they will almost certainly be used,
183
587468
3288
ほぼ確実に
使われるようになるでしょう
使われるようになるでしょう
10:02
and they would also be corrosive to our democratic institutions.
184
590756
5027
そして 民主主義制度を
蝕むものになるでしょう
蝕むものになるでしょう
10:07
Now in November 2012 the U.S. Department of Defense
185
595783
3468
2012年11月に
米国防総省が
米国防総省が
10:11
issued a directive requiring
186
599251
2458
すべての殺害に関する
意思決定に
意思決定に
10:13
a human being be present in all lethal decisions.
187
601709
4519
人間の介在を義務づける
命令を出しました
命令を出しました
10:18
This temporarily effectively banned autonomous weapons in the U.S. military,
188
606228
4776
これによって ひとまずは
米軍の自律的兵器を事実上禁止しました
米軍の自律的兵器を事実上禁止しました
10:23
but that directive needs to be made permanent.
189
611004
3753
しかし その命令を
恒久化する必要があります
恒久化する必要があります
10:26
And it could set the stage for global action.
190
614757
4376
これが行われれば
世界が同じように行動する基準となりえます
世界が同じように行動する基準となりえます
10:31
Because we need an international legal framework
191
619133
3845
ロボット兵器の
国際的な法的枠組みは
国際的な法的枠組みは
10:34
for robotic weapons.
192
622978
2138
必要なものなのです
10:37
And we need it now, before there's a devastating attack
193
625116
2928
しかも 今必要なのです
壊滅的な攻撃が起きたり
壊滅的な攻撃が起きたり
10:40
or a terrorist incident that causes nations of the world
194
628044
3152
テロ事件が起きたことが引き金となって
世界の国々が
世界の国々が
10:43
to rush to adopt these weapons
195
631196
1924
ロボット兵器が招く
帰結を熟慮せずに
帰結を熟慮せずに
10:45
before thinking through the consequences.
196
633120
3771
これらの兵器をこぞって採用するようになる前に
必要なのです
必要なのです
10:48
Autonomous robotic weapons concentrate too much power
197
636891
2981
自律ロボット兵器を使うと
10:51
in too few hands, and they would imperil democracy itself.
198
639872
6283
少数の手に 余りに大きな力が集中することになり
民主主義そのものを危うくしてしまうでしょう
民主主義そのものを危うくしてしまうでしょう
10:58
Now, don't get me wrong, I think there are tons
199
646155
2686
でも 誤解しないでください
民生の非武装無人ドローンには
民生の非武装無人ドローンには
11:00
of great uses for unarmed civilian drones:
200
648841
2618
優れた用途が沢山
あると考えています
あると考えています
11:03
environmental monitoring, search and rescue, logistics.
201
651459
3939
自然環境の観測や
捜索と救難 輸送などです
捜索と救難 輸送などです
11:07
If we have an international treaty on robotic weapons,
202
655398
2826
もし ロボット兵器の
国際条約があるとして
国際条約があるとして
11:10
how do we gain the benefits of autonomous drones
203
658224
3587
どのようにすれば自律無人機や
自律走行車の利便を享受しつつ
自律走行車の利便を享受しつつ
11:13
and vehicles while still protecting ourselves
204
661811
2648
違法なロボット兵器に対して
11:16
against illegal robotic weapons?
205
664459
3980
身を守ることができるでしょうか？
11:20
I think the secret will be transparency.
206
668439
4741
成功の秘密は
透明性にあるはずです
透明性にあるはずです
11:25
No robot should have an expectation of privacy
207
673180
3013
公共の場所にいる限り
ロボットに—
ロボットに—
11:28
in a public place.
208
676193
3451
プライバシーがあるなどと
思ってもらっては困ります
思ってもらっては困ります
11:31
(Applause)
209
679644
5048
（拍手）
11:36
Each robot and drone should have
210
684692
2045
ロボットやドローンは
１体１体 全てが
１体１体 全てが
11:38
a cryptographically signed I.D. burned in at the factory
211
686737
2883
工場出荷時に個体番号を
暗号技術で署名し
暗号技術で署名し
11:41
that can be used to track its movement through public spaces.
212
689620
2923
公共の場所での動きを
追跡できるようにするべきです
追跡できるようにするべきです
11:44
We have license plates on cars, tail numbers on aircraft.
213
692543
3381
既に車にはナンバー プレートがあり
航空機には機体記号があります
航空機には機体記号があります
11:47
This is no different.
214
695924
1841
ロボットも例外ではありません
11:49
And every citizen should be able to download an app
215
697765
2012
公共の空間を移動している―
11:51
that shows the population of drones and autonomous vehicles
216
699777
3125
ドローンや自律走行車の
所在を示すアプリを
所在を示すアプリを
11:54
moving through public spaces around them,
217
702902
2429
誰でもダウンロードできて
しかるべきです
しかるべきです
11:57
both right now and historically.
218
705331
2733
現時点と過去の記録の両方を
把握可能にすべきです
把握可能にすべきです
12:00
And civic leaders should deploy sensors and civic drones
219
708064
3548
市民のリーダーは
不正なドローンを探索する―
不正なドローンを探索する―
12:03
to detect rogue drones,
220
711612
2344
探知機や無人偵察機を
展開すべきです
展開すべきです
12:05
and instead of sending killer drones of their own up to shoot them down,
221
713956
3176
そして 不正ドローンを撃墜する
攻撃ドローンを送りこむ代わりに
攻撃ドローンを送りこむ代わりに
12:09
they should notify humans to their presence.
222
717132
2992
人間に ドローンが居ることを
知らせるべきです
知らせるべきです
12:12
And in certain very high-security areas,
223
720124
2606
高い安全性が求められる地域なら
不正ドローンを
不正ドローンを
12:14
perhaps civic drones would snare them
224
722730
1909
市民のためのドローンが
捕獲して
捕獲して
12:16
and drag them off to a bomb disposal facility.
225
724639
2841
爆弾処理施設へと
引っ張って行くこともできるでしょう
引っ張って行くこともできるでしょう
12:19
But notice, this is more an immune system
226
727480
3027
これは兵器システムというより
免疫システムということに
免疫システムということに
12:22
than a weapons system.
227
730507
1321
注意してください
12:23
It would allow us to avail ourselves of the use
228
731828
2592
こうすれば
自律走行車両やドローンを
自律走行車両やドローンを
12:26
of autonomous vehicles and drones
229
734420
2032
人間側が利用しつつ
12:28
while still preserving our open, civil society.
230
736452
4295
開かれた市民社会を
維持できます
維持できます
12:32
We must ban the deployment and development
231
740747
2999
私たちは 殺人ロボットの
開発と配備を
開発と配備を
12:35
of killer robots.
232
743746
1862
禁止する必要があります
12:37
Let's not succumb to the temptation to automate war.
233
745608
4850
戦争を自動化する誘惑に
負けないようにしましょう
負けないようにしましょう
12:42
Autocratic governments and criminal organizations
234
750458
2718
独裁政府や犯罪組織は間違いなく
その魅力に屈するでしょうが
その魅力に屈するでしょうが
12:45
undoubtedly will, but let's not join them.
235
753176
2956
私たちは その同類に
ならないようにしましょう
ならないようにしましょう
12:48
Autonomous robotic weapons
236
756132
1891
自律ロボット兵器は
12:50
would concentrate too much power
237
758023
2051
あまりにも強力な力を
12:52
in too few unseen hands,
238
760074
2482
ごくわずかな人の手に
集中させることになります
集中させることになります
12:54
and that would be corrosive to representative government.
239
762556
3255
そして 民主主義制度を
蝕むものになるでしょう
蝕むものになるでしょう
12:57
Let's make sure, for democracies at least,
240
765811
2961
民主主義のために
殺人ロボットは
殺人ロボットは
13:00
killer robots remain fiction.
241
768772
2604
フィクションだけのものに
しておきましょう
しておきましょう
13:03
Thank you.
242
771376
1110
ありがとう
13:04
(Applause)
243
772486
4565
（拍手）
13:09
Thank you. (Applause)
244
777051
4616
ありがとう
（拍手）
（拍手）
ABOUT THE SPEAKER
Daniel Suarez - Sci-fi authorDaniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.
Why you should listen
While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.
In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?
Daniel Suarez | Speaker | TED.com