English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TEDGlobal 2013

Daniel Suarez: The kill decision shouldn't belong to a robot

ダニエル・スアレース: 人殺しの決定をロボットに任せてはいけない

Filmed
Views 1,911,175

ダニエル・スアレースが普段小説家として描き出しているのは悲観的未来像ですが、TEDGlobalのステージで彼が語るのは私達がもっと知らなければならない現実のシナリオ、自律的ロボット兵器の台頭です。最新鋭のドローン、自動兵器、人工知能搭載の諜報ツールなどが、人の手を離れて自ら決断を下す可能性を彼は示しています。

- Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio

I write書きます fictionフィクション sci-fiSFの thrillersスリラー,
私はSFスリラーの
小説家です
00:12
soそう ifif I sayいう "killerキラー robotsロボット,"
その私が「殺人ロボット」
と言ったら
00:15
you'dあなたは probably多分 think思う something何か like thisこの.
おそらく こんな感じのものを
想像されるでしょう
00:18
Butだがしかし I'm私は actually実際に notない hereここに to talkトーク about fictionフィクション.
でも 今日はフィクションの話を
しに来たのではありません
00:20
I'm私は hereここに to talkトーク about very非常に realリアル killerキラー robotsロボット,
まさに現実化している
「殺人ロボット」―
00:22
autonomous自律的 combat戦闘 drones無人機.
そう 完全自律型の戦闘ドローンのことを
話しに来ました
00:25
Now, I'm私は notない referring参照する to Predatorプレデター and Reaperリーパー drones無人機,
ご存知のプレデター型や
リーパー型のことではありません
00:29
whichどの have a human人間 making作る targetingターゲティング decisions決定.
これらの無人機は 標的の決定を
人間が行っています
00:32
I'm私は talking話す about fully完全に autonomous自律的 roboticロボット weapons兵器
私は完全自律型のロボット兵器のことを
言っているんです
00:35
thatそれ make作る lethal致死 decisions決定 about human人間 beings存在
このロボット兵器は
人間殺害の決定を
00:39
allすべて on their彼らの own自分の.
ロボット自体が行います
00:41
There'sあります。 actually実際に a technicalテクニカル term期間 for thisこの: lethal致死 autonomy自律性.
実は これを指す専門用語もあります
「完全自律型殺傷機能」です
00:44
Now, lethally致死的 autonomous自律的 killerキラー robotsロボット
「完全自律型殺傷機能」を持つ
殺人ロボットは
00:48
would take manyたくさんの formsフォーム -- flying飛行, driving運転,
多様な姿で現れます
飛行し 走行し あるいは
00:50
orまたは justちょうど lying嘘つき in wait待つ.
待ち伏せするような
ものもあるでしょう
00:54
And actually実際に, they're彼らは very非常に quickly早く becoming〜になる a reality現実.
実は これらのロボットは
急速に現実のものとなりつつあります
00:56
Theseこれら are two automatic自動 sniperスナイパー stations
この2種類の
自動狙撃装置は
00:59
currently現在 deployed展開された in the DMZDMZ betweenの間に North and South Korea韓国.
現在 北朝鮮との非武装地帯の
韓国側に配備されています
01:02
Bothどちらも of theseこれら machines機械 are capable可能な of automatically自動的に
この機械はどちらも
攻撃対象となる—
01:06
identifying識別 a human人間 targetターゲット and firing発砲 on itそれ,
人間を自動的に特定し
銃撃する機能があります
01:08
the one1 on the left at a distance距離 of over a kilometerキロメートル.
左側のものには
1キロ以上の射程があります
01:12
Now, in bothどちらも cases症例, there'sそこに stillまだ a human人間 in the loopループ
現在のところは どちらの機械でも
射殺決定の枠組みに
01:16
to make作る thatそれ lethal致死 firing発砲 decision決定,
今のところは
人間が介在しています
01:20
butだけど it'sそれは notない a technological技術的 requirement要件. It'sそれは、します。 a choice選択.
しかし 技術的には人を要するわけではなく
そこに人を介在させる選択をしたわけです
01:22
And it'sそれは thatそれ choice選択 thatそれ I want to focusフォーカス on,
この選択こそが
今日 私が焦点を当てたいことです
01:27
becauseなぜなら as we我々 migrate移行する lethal致死 decision-making意思決定
なぜなら この
殺人の意思決定が
01:31
fromから humans人間 to softwareソフトウェア,
人間からソフトウェアに
移行しつつあって
01:33
we我々 riskリスク notない onlyのみ taking取る the humanity人類 outでる of war戦争,
それは 戦争から人間性を
取り去ってしまうだけでなく
01:36
butだけど alsoまた、 changing変化 our我々の socialソーシャル landscape風景 entirely完全に,
戦場から遠く隔たった
社会の情勢をも
01:40
far遠い fromから the battlefield戦場.
変えてしまう危険が
あるからです
01:43
That'sそれです becauseなぜなら the way humans人間 resolve解決する conflict紛争
なぜなら人間が対立を解決する方法によって
私たちを取り巻く社会情勢が
01:45
shapes our我々の socialソーシャル landscape風景.
形成されるからです
01:50
And thisこの has always常に been the case場合, throughout全体を通して history歴史.
歴史上ずっと
そうやって形成されてきたのです
01:52
For example, theseこれら were state-of-the-art最先端 weapons兵器 systemsシステム
たとえば 西暦1400年には
これが最先端の―
01:54
in 1400 A.D.
兵器システムでした
01:57
Now they彼ら were bothどちらも very非常に expensive高価な to buildビルドする and maintain維持する,
両方とも 作るのも維持するのも
とても高く付きましたが
01:59
butだけど with〜と theseこれら you君は could dominate支配的 the populace民衆,
これがあれば民衆を
支配できました
02:02
and the distribution分布 of political政治的 powerパワー in feudal封建 society社会 reflected反射した thatそれ.
封建社会の政治権力の分布は
誰が武力を持つかを反映し
02:05
Power was focused集中した at the very非常に top.
力は権力のトップにいる人に
集中していたのです
02:09
And what changedかわった? Technological技術的 innovation革新.
それから何が変わったのでしょう?
技術革新です
02:12
Gunpowder火薬, cannon大砲.
火薬 大砲
02:16
And prettyかなり soonすぐに, armor and castles were obsolete時代遅れの,
すぐに 甲冑と城は
時代遅れになりました
02:17
and itそれ mattered重要な lessもっと少なく who you君は brought持ってきた to the battlefield戦場
戦場に誰を連れて行くかは
重要でなくなり
02:21
versus howどうやって manyたくさんの people you君は brought持ってきた to the battlefield戦場.
戦場にどれだけの人数を
送り込めるかが重要になりました
02:24
And as armies軍隊 grew成長しました in sizeサイズ, the nation-state国家 arose起きた
軍隊の人数が増えるようになると
防衛のための—
02:28
as a political政治的 and logistical物流 requirement要件 of defense防衛.
政治的 物流的な要請から
国家が必要となりました
02:31
And as leaders指導者 had to rely頼りにする on moreもっと of their彼らの populace民衆,
指導者は民衆に
依存する必要が出てきて
02:35
they彼ら began始まった to shareシェア powerパワー.
力が共有されるようになりました
02:37
Representative代表 government政府 began始まった to form.
そして代議制が
形成されだします
02:39
Soだから again再び, the toolsツール we我々 useつかいます to resolve解決する conflict紛争
ここでもまた
対立解消にどんな手段を取るかが
02:42
shape形状 our我々の socialソーシャル landscape風景.
私たちを取り巻く社会情勢を
形作っています
02:45
Autonomous自律 roboticロボット weapons兵器 are suchそのような a toolツール,
自律ロボット兵器も
そのような手段の1つです
02:48
exceptを除いて thatそれ, by requiring必要 very非常に few少数 people to go to war戦争,
ただ戦争を始めるのに
非常に少数の人間しか必要としないため
02:52
they彼ら riskリスク re-centralizing再集中化する powerパワー into very非常に few少数 hands,
ごく少数の人の手に力を
再び集中させるリスクがあります
02:58
possiblyおそらく reversing逆転 a five-century5世紀 trend傾向 toward〜に向かって democracy民主主義.
民主化の流れを 5世紀分ほど
逆戻りさせてしまうかもしれません
03:02
Now, I think思う, knowing知っている thisこの,
でも 私たちが
03:09
we我々 can take decisive決定的 stepsステップ to preserve保存する our我々の democratic民主的 institutions機関,
このリスクを理解していれば
民主主義制度を守るための断固たる措置を取れます
03:11
to do what humans人間 do bestベスト, whichどの is adapt適応する.
人間が長けている能力によって—
すなわち適応力です
03:15
Butだがしかし time時間 is a factor因子.
しかし タイミングが
重要です
03:19
Seventy70 nations are developing現像 remotely-piloted遠隔操縦された
70の国が遠隔操縦可能な―
03:21
combat戦闘 drones無人機 of their彼らの own自分の,
戦闘ドローンを
独自に開発しています
03:24
and as you'llあなたは see見る, remotely-piloted遠隔操縦された combat戦闘 drones無人機
おわかりと思いますが
遠隔操作戦闘ドローンは
03:26
are the precursors前駆体 to autonomous自律的 roboticロボット weapons兵器.
自律ロボット兵器を
作り始める前兆です
03:29
That'sそれです becauseなぜなら once一度 you'veあなたは deployed展開された remotely-piloted遠隔操縦された drones無人機,
なぜなら遠隔操作の無人機が
03:33
thereそこ are three powerful強力な factors要因 pushing押して decision-making意思決定
一旦配備されてしまうと
意思決定を人の手から
03:36
away離れて fromから humans人間 and on to the weapon武器 platformプラットフォーム itself自体.
兵器そのものへと押しやることになる
大きな要因が3つあるからです
03:39
The first最初 of theseこれら is the deluge大洪水 of videoビデオ thatそれ drones無人機 produce作物.
1つ目の要因は
無人機が撮影するビデオが膨大になることです
03:44
For example, in 2004, the U.S. drone無人機 fleet艦隊 produced生産された
たとえば 2004 年に
米国のドローン軍団が撮影した
03:49
a grand壮大 total合計 of 71 hours時間 of videoビデオ surveillance監視 for analysis分析.
分析が必要な偵察映像は
総計71 時間でした
03:53
By 2011, thisこの had gone行った upアップ to 300,000 hours時間,
それが2011 年には 30万時間へと
増えたのです
03:58
outstrippingアウトストリップ human人間 ability能力 to reviewレビュー itそれ allすべて,
すべてを確認するのは
人間の能力を超えてしまいました
04:03
butだけど even thatそれ number is about to go upアップ drastically劇的に.
しかも この時間はまだまだ
増加しそうです
04:06
The Pentagon'sペンタゴンズ Gorgonゴルゴン Stare見詰める and Argusアーガス programsプログラム
米国防総省のゴルゴンステアや
アーガスという計画では
04:10
will put upアップ to 65 independently独立して operated操作された cameraカメラ eyes
最大65個の独立した
カメラの目を
04:12
on each drone無人機 platformプラットフォーム,
個々のドローンに付けるもので
04:15
and thisこの would vastly大いに outstrip引き出し human人間 ability能力 to reviewレビュー itそれ.
これは人間が確認できる量を
大幅に上回るものとなります
04:17
And thatそれ means手段 visualビジュアル intelligenceインテリジェンス softwareソフトウェア will need必要
こうなると
関心を引く対象を発見するために
04:21
to scanスキャン itそれ for itemsアイテム of interest利子.
視覚情報分析ソフトの力が
必要になります
04:23
And thatそれ means手段 very非常に soonすぐに
これは じきにドローンが
04:27
drones無人機 will telltell humans人間 what to look見える at,
注目すべき所を人間に
指示するようになるということで
04:28
notない the otherその他 way aroundまわり.
人間側からではありません
04:31
Butだがしかし there'sそこに a second二番 powerful強力な incentiveインセンティブ pushing押して
意思決定を
人間から機械へと
04:33
decision-making意思決定 away離れて fromから humans人間 and onto〜に machines機械,
強く推しやる
2つ目の要因は
04:36
and that'sそれは electromagnetic電磁 jammingジャミング,
電磁波による妨害です
04:39
severing切断 the connection接続 betweenの間に the drone無人機
妨害されると
ドローンと遠隔操作者の間の
04:42
and itsその operatorオペレーター.
通信が途切れてしまいます
04:44
Now we我々 saw an example of thisこの in 2011
2011年に これが起こった
例がありました
04:47
whenいつ an Americanアメリカ人 RQ-RQ-170 Sentinelセンチネル drone無人機
アメリカ軍の RQ-170
センチネル ドローンが
04:50
got a bitビット confused混乱した over Iranイラン due支払う to a GPSGPS spoofingなりすまし attack攻撃,
イラン軍による GPS 信号のなりすまし攻撃で
混乱させられたのです
04:53
butだけど anyどれか remotely-piloted遠隔操縦された drone無人機 is susceptible影響を受けやすいです to thisこの typeタイプ of attack攻撃,
遠隔操作型のドローンである限り
この種の攻撃には弱いものです
04:57
and thatそれ means手段 drones無人機
つまりドローンは
05:02
will have to shoulderショルダー moreもっと decision-making意思決定.
意思決定の より多くの割合を
背負わなければならなくなるのです
05:04
They'll彼らは know知っている their彼らの missionミッション objective目的,
ドローンは 作戦目的を把握し
05:08
and they'll彼らは react反応する to new新しい circumstances状況 withoutなし human人間 guidanceガイダンス.
人間の導きなしに
新しい状況に対応するようになるでしょう
05:11
They'll彼らは ignore無視する external外部 radio無線 signalsシグナル
ドローンは 外部からの
無線信号を無視し
05:16
and send送信する very非常に few少数 of their彼らの own自分の.
自分側からは ほとんど
発信しなくなります
05:18
Whichどの bringsもたらす us to, really本当に, the third三番
そして ここから—
05:21
and most最も powerful強力な incentiveインセンティブ pushing押して decision-making意思決定
3つ目の
最も強力に意思決定を
05:23
away離れて fromから humans人間 and onto〜に weapons兵器:
人から兵器へ移すように
促す要因が出てきます
05:27
plausibleもっともらしい deniability拒否権.
それは
「まことしやかな関与否定」です
05:30
Now we我々 liveライブ in a globalグローバル economy経済.
私たちは グローバル経済の
時代にいます
05:33
High-techハイテク manufacturing製造 is occurring発生する on most最も continents大陸.
ハイテク製品の製造は
ほとんどの大陸で行われています
05:36
Cyberサイバー espionageスパイ活動 is spiriting元気 away離れて advanced高度な designsデザイン
サイバー諜報戦の一環で
先進的設計を
05:40
to parts部品 unknown未知の,
様々な部品に隠しますが
05:43
and in thatそれ environment環境, itそれ is very非常に likelyおそらく
このような環境では
05:45
thatそれ a successful成功した drone無人機 design設計 will be knockedノックアウト off in contract契約する factories工場,
ドローン設計が契約工場で模倣される
可能性が非常に高いのです
05:47
proliferate増殖する in the grayグレー market市場.
そして裏市場へと
拡散します
05:52
And in thatそれ situation状況, siftingふるい分け throughを通して the wreckage残骸
こんな状況では
自爆攻撃ドローンの残骸を
05:54
of a suicide自殺 drone無人機 attack攻撃, itそれ will be very非常に difficult難しい to sayいう
調査したところで
05:57
who sent送られた thatそれ weapon武器.
兵器で攻撃を仕掛けたのが
誰なのかわかりません
06:00
Thisこれ raises起き上がる the very非常に realリアル possibility可能性
見えない敵との戦いが
06:04
of anonymous匿名 war戦争.
非常に現実的な可能性として
浮かび上がります
06:07
Thisこれ could tilt傾ける the geopolitical地政学的 balanceバランス on itsその head,
地政学的なバランスを
180度変えてしまう可能性があり
06:10
make作る itそれ very非常に difficult難しい for a nation国家 to turn順番 itsその firepower火力
国家が攻撃してきた相手へ反撃することを
非常に困難にします
06:12
againstに対して an attackerアタッカー, and thatそれ could shiftシフト the balanceバランス
これによって 21世紀において
防衛中心の考えから
06:16
in the 21stセント century世紀 away離れて fromから defense防衛 and toward〜に向かって offense犯罪.
攻撃中心の考えへと
重心が変わってしまうかもしれません
06:19
Itそれ could make作る military軍事 actionアクション a viable実行可能な optionオプション
匿名での攻撃が可能になることで
06:22
notない justちょうど for small小さい nations,
小国家や 犯罪組織
民間企業
06:26
butだけど criminal犯罪者 organizations組織, privateプライベート enterprise企業,
さらには有力な個人にさえ
06:28
even powerful強力な individuals個人.
軍事行動が有効な手段と
なりえるのです
06:30
Itそれ could create作成する a landscape風景 of rivalライバル warlords軍隊
これは 法の支配と市民社会の
土台を壊してしまい
06:33
undermining弱体化する ruleルール of law法律 and civil市民 society社会.
群雄割拠の情勢を
作り出すかもしれません
06:36
Now ifif responsibility責任 and transparency透明性
責任と透明性は
06:40
are two of the cornerstones礎石 of representative代表 government政府,
代議制を支える
土台と言えるかもしれませんが
06:43
autonomous自律的 roboticロボット weapons兵器 could undermine衰弱させる bothどちらも.
自律ロボット兵器は
その両方を弱体化させる可能性があります
06:46
Now you君は mightかもしれない be thinking考え thatそれ
みなさんは こう考えるかもしれません
06:50
citizens市民 of high-techハイテク nations
ハイテク諸国の市民なら
06:52
would have the advantage利点 in anyどれか roboticロボット war戦争,
ロボット戦争で優位に立っていて
06:54
thatそれ citizens市民 of thoseそれら nations would be lessもっと少なく vulnerable脆弱な,
これらの国の市民は
危険にさらされにくいと考えるかもしれません
06:57
particularly特に againstに対して developing現像 nations.
特に途上国が相手なら
なおさらです
07:00
Butだがしかし I think思う the truth真実 is the exact正確 opposite反対の.
しかし 真実は全く逆だと思います
07:05
I think思う citizens市民 of high-techハイテク societies社会
ハイテク社会の市民は
07:08
are moreもっと vulnerable脆弱な to roboticロボット weapons兵器,
より大きく ロボット兵器の
危険にさらされています
07:10
and the reason理由 can be summed合計 upアップ in one1 wordワード: dataデータ.
この理由は 1語に要約できます
「データ」です
07:14
Dataデータ powers high-techハイテク societies社会.
データは ハイテク社会を
動かしています
07:19
Cell細胞 phone電話 geolocationジオロケーション, telecomテレコム metadataメタデータ,
携帯電話の位置情報
電話の会話から集められるメタデータ
07:22
socialソーシャル mediaメディア, emailEメール, textテキスト, financial金融 transactionトランザクション dataデータ,
ソーシャルメディア 電子メール
SMS 金融取引のデータ
07:25
transportation交通 dataデータ, it'sそれは a wealth of real-timeリアルタイム dataデータ
交通機関や移動のデータなどです
これらは人々の活動や
07:29
on the movements動き and socialソーシャル interactionsインタラクション of people.
社会的な交流を表す
膨大なリアルタイムデータの塊です
07:32
In shortショート, we我々 are moreもっと visible目に見える to machines機械
だから 私たちは
歴史上のどんな時代の人たちよりも
07:36
thanより anyどれか people in history歴史,
機械に行動が
筒抜けになっているのです
07:39
and thisこの perfectly完全に suitsスーツ the targetingターゲティング needsニーズ of autonomous自律的 weapons兵器.
これは自律的兵器が標的を探すために
絶好のものとなります
07:42
What you'reあなたは looking at hereここに
いま画面に映っているのは
07:47
is a linkリンク analysis分析 map地図 of a socialソーシャル groupグループ.
ある社会的集団が
どうつながっているか分析した図です
07:49
Linesライン indicate示す socialソーシャル connectedness接続性 betweenの間に individuals個人.
線は個人間の社会的な
つながりを示しています
07:52
And theseこれら typesタイプ of maps地図 can be automatically自動的に generated生成された
現代人が日常的に残す
データの痕跡から
07:56
basedベース on the dataデータ trailトレイル modernモダン people leave離れる behind後ろに.
このような図を自動的に
生成することができます
07:59
Now it'sそれは typically典型的には used to market市場 goods and servicesサービス
この技術は通常は
人口動態で標的を割り出して
08:03
to targeted目標 demographics人口統計, butだけど it'sそれは a dual-use二重使用 technology技術,
商品やサービスを販売するのに使われますが
諸刃の技術でもあります
08:06
becauseなぜなら targetingターゲティング is used in another別の contextコンテキスト.
標的を割り出す技術が
別の用途に使われるからです
08:10
Notice通知 thatそれ certainある individuals個人 are highlighted強調表示された.
赤色で表示されている
人たちがいますが これは
08:14
Theseこれら are the hubsハブ of socialソーシャル networksネットワーク.
社会的なネットワークの
ハブとなっている人たちです
08:16
Theseこれら are organizers主催者, opinion-makers意見作成者, leaders指導者,
この人たちは 組織のまとめ役や
オピニオンメーカーやリーダーです
08:20
and theseこれら people alsoまた、 can be automatically自動的に identified特定された
この人たちも
通信のパターンを追跡することで
08:23
fromから their彼らの communicationコミュニケーション patternsパターン.
自動的に見つけ出すことが可能です
08:26
Now, ifif you'reあなたは a marketerマーケティング担当者, you君は mightかもしれない then次に targetターゲット themそれら
マーケティング担当者なら
08:28
with〜と product製品 samplesサンプル, try to spread普及 yourきみの brandブランド
社会的グループに
ブランドを広めるために
08:30
throughを通して their彼らの socialソーシャル groupグループ.
製品サンプルを送る
標的にするでしょう
08:33
Butだがしかし ifif you'reあなたは a repressive抑圧的な government政府
しかし もし抑圧的な政府で
08:36
searching検索 for political政治的 enemies, you君は mightかもしれない instead代わりに remove除去する themそれら,
政治上の敵となる相手を探しているなら
彼らは排除する標的となるでしょう
08:38
eliminate排除する themそれら, disrupt混乱する their彼らの socialソーシャル groupグループ,
リーダーを抹殺し
社会的グループを混乱させ
08:42
and thoseそれら who remain残る behind後ろに lose失う socialソーシャル cohesion凝集
そして 残されたグループの人たちは
社会的つながりや
08:45
and organization組織.
組織を失ってしまいます
08:48
Now in a world世界 of cheap安いです, proliferating増殖する roboticロボット weapons兵器,
安いロボット兵器が
拡散するような世界になったら
08:51
borders国境 would offer提供 very非常に little少し protection保護
遠くにいる政府反対派や
08:54
to critics評論家 of distant遠い governments政府
国際的犯罪組織に対し
08:57
orまたは trans-nationalトランスナショナル criminal犯罪者 organizations組織.
国境はほとんど防衛線になりません
08:59
Popular人気 movements動き agitating攪拌する for change変化する
支持されて 変革を起こすような
扇動活動があれば
09:03
could be detected検出された early早い and their彼らの leaders指導者 eliminated除去された
クリティカルマスに到達する前に
早期に検出されてしまい
09:06
before their彼らの ideasアイデア achieve達成する criticalクリティカルな mass質量.
指導者は排除される
ようになるでしょう
09:10
And ideasアイデア achieving達成する criticalクリティカルな mass質量
アイデアがクリティカルマスに
到達できる環境は
09:13
is what political政治的 activism行動主義 in popular人気 government政府 is allすべて about.
人民政府における
政治運動の全てと言ってもいいでしょう
09:15
Anonymous匿名 lethal致死 weapons兵器 could make作る lethal致死 actionアクション
正体不明の殺戮兵器があることで
あらゆる利害の対立において
09:19
an easy簡単 choice選択 for allすべて sortsソート of competing競合する interests関心.
殺害という選択が
簡単にできてしまうようになるでしょう
09:23
And thisこの would put a chill冷やす on free無料 speechスピーチ
そして このことは
民主主義のまさに中核と言える
09:27
and popular人気 political政治的 actionアクション, the very非常に heartハート of democracy民主主義.
言論の自由や支持される政治的行動を
縮み上がらせることになります
09:31
And thisこの is whyなぜ we我々 need必要 an international国際 treaty条約
これが 私たちに
ロボット兵器の国際条約が
09:36
on roboticロボット weapons兵器, and in particular特に a globalグローバル ban禁止
必要な理由です
特に世界全体での
09:39
on the development開発 and deployment配備 of killerキラー robotsロボット.
殺人ロボットの開発と配備を
禁止することが必要です
09:42
Now we我々 already既に have international国際 treaties条約
私たちにはすでに
核兵器と生物兵器に関する
09:46
on nuclear and biological生物学的 weapons兵器, and, whilewhile imperfect不完全,
国際条約があります
不完全ではありますが
09:50
theseこれら have largely主に worked働いた.
条約は概ね
効力を発揮してきました
09:53
Butだがしかし roboticロボット weapons兵器 mightかもしれない be everyすべて bitビット as dangerous危険な,
しかし ロボット兵器は 全ての点で
同じくらい危険なもので
09:55
becauseなぜなら they彼ら will almostほぼ certainly確かに be used,
ほぼ確実に
使われるようになるでしょう
09:59
and they彼ら would alsoまた、 be corrosive腐食性の to our我々の democratic民主的 institutions機関.
そして 民主主義制度を
蝕むものになるでしょう
10:02
Now in November11月 2012 the U.S. Department部門 of Defense防衛
2012年11月に
米国防総省が
10:07
issued発行済み a directive指令 requiring必要
すべての殺害に関する
意思決定に
10:11
a human人間 beingであること be presentプレゼント in allすべて lethal致死 decisions決定.
人間の介在を義務づける
命令を出しました
10:13
Thisこれ temporarily一時的に effectively効果的に banned禁止された autonomous自律的 weapons兵器 in the U.S. military軍事,
これによって ひとまずは
米軍の自律的兵器を事実上禁止しました
10:18
butだけど thatそれ directive指令 needsニーズ to be made permanent永久的な.
しかし その命令を
恒久化する必要があります
10:23
And itそれ could setセット the stageステージ for globalグローバル actionアクション.
これが行われれば
世界が同じように行動する基準となりえます
10:26
Becauseというのは we我々 need必要 an international国際 legal法的 frameworkフレームワーク
ロボット兵器の
国際的な法的枠組みは
10:31
for roboticロボット weapons兵器.
必要なものなのです
10:34
And we我々 need必要 itそれ now, before there'sそこに a devastating壊滅的な attack攻撃
しかも 今必要なのです
壊滅的な攻撃が起きたり
10:37
orまたは a terroristテロリスト incident入射 thatそれ causes原因 nations of the world世界
テロ事件が起きたことが引き金となって
世界の国々が
10:40
to rushラッシュ to adopt採用 theseこれら weapons兵器
ロボット兵器が招く
帰結を熟慮せずに
10:43
before thinking考え throughを通して the consequences結果.
これらの兵器をこぞって採用するようになる前に
必要なのです
10:45
Autonomous自律 roboticロボット weapons兵器 concentrate集中 too muchたくさん powerパワー
自律ロボット兵器を使うと
10:48
in too few少数 hands, and they彼ら would imperil害虫 democracy民主主義 itself自体.
少数の手に 余りに大きな力が集中することになり
民主主義そのものを危うくしてしまうでしょう
10:51
Now, don'tしない get me wrong違う, I think思う thereそこ are tonsトン
でも 誤解しないでください
民生の非武装無人ドローンには
10:58
of greatすばらしいです uses用途 for unarmed非武装の civilian文民 drones無人機:
優れた用途が沢山
あると考えています
11:00
environmental環境 monitoringモニタリング, searchサーチ and rescueレスキュー, logisticsロジスティクス.
自然環境の観測や
捜索と救難 輸送などです
11:03
Ifもし we我々 have an international国際 treaty条約 on roboticロボット weapons兵器,
もし ロボット兵器の
国際条約があるとして
11:07
howどうやって do we我々 gain利得 the benefits利点 of autonomous自律的 drones無人機
どのようにすれば自律無人機や
自律走行車の利便を享受しつつ
11:10
and vehicles乗り物 whilewhile stillまだ protecting保護 ourselves自分自身
違法なロボット兵器に対して
11:13
againstに対して illegal違法 roboticロボット weapons兵器?
身を守ることができるでしょうか?
11:16
I think思う the secret秘密 will be transparency透明性.
成功の秘密は
透明性にあるはずです
11:20
No違います robotロボット should have an expectation期待 of privacyプライバシー
公共の場所にいる限り
ロボットに—
11:25
in a publicパブリック place場所.
プライバシーがあるなどと
思ってもらっては困ります
11:28
(Applause拍手)
(拍手)
11:31
Each robotロボット and drone無人機 should have
ロボットやドローンは
1体1体 全てが
11:36
a cryptographically暗号で signed署名された I.D. burned焼かれた in at the factory工場
工場出荷時に個体番号を
暗号技術で署名し
11:38
thatそれ can be used to trackトラック itsその movement移動 throughを通して publicパブリック spacesスペース.
公共の場所での動きを
追跡できるようにするべきです
11:41
We私たち have licenseライセンス platesプレート on cars, tail numbers数字 on aircraft航空機.
既に車にはナンバー プレートがあり
航空機には機体記号があります
11:44
Thisこれ is noいいえ different異なる.
ロボットも例外ではありません
11:47
And everyすべて citizen市民 should be ableできる to downloadダウンロード an appアプリ
公共の空間を移動している―
11:49
thatそれ showsショー the population人口 of drones無人機 and autonomous自律的 vehicles乗り物
ドローンや自律走行車の
所在を示すアプリを
11:51
moving動く throughを通して publicパブリック spacesスペース aroundまわり themそれら,
誰でもダウンロードできて
しかるべきです
11:54
bothどちらも right now and historically歴史的に.
現時点と過去の記録の両方を
把握可能にすべきです
11:57
And civicシビック leaders指導者 should deploy展開する sensorsセンサ and civicシビック drones無人機
市民のリーダーは
不正なドローンを探索する―
12:00
to detect検出する rogue不正 drones無人機,
探知機や無人偵察機を
展開すべきです
12:03
and instead代わりに of sending送信 killerキラー drones無人機 of their彼らの own自分の upアップ to shootシュート themそれら downダウン,
そして 不正ドローンを撃墜する
攻撃ドローンを送りこむ代わりに
12:05
they彼ら should notify通知する humans人間 to their彼らの presence存在.
人間に ドローンが居ることを
知らせるべきです
12:09
And in certainある very非常に high-security高セキュリティ areasエリア,
高い安全性が求められる地域なら
不正ドローンを
12:12
perhapsおそらく civicシビック drones無人機 would snareスネア themそれら
市民のためのドローンが
捕獲して
12:14
and dragドラッグ themそれら off to a bomb爆弾 disposal廃棄 facility施設.
爆弾処理施設へと
引っ張って行くこともできるでしょう
12:16
Butだがしかし notice通知, thisこの is moreもっと an immune免疫 systemシステム
これは兵器システムというより
免疫システムということに
12:19
thanより a weapons兵器 systemシステム.
注意してください
12:22
Itそれ would allow許す us to avail利用可能な ourselves自分自身 of the useつかいます
こうすれば
自律走行車両やドローンを
12:23
of autonomous自律的 vehicles乗り物 and drones無人機
人間側が利用しつつ
12:26
whilewhile stillまだ preserving保存 our我々の open開いた, civil市民 society社会.
開かれた市民社会を
維持できます
12:28
We私たち must必須 ban禁止 the deployment配備 and development開発
私たちは 殺人ロボットの
開発と配備を
12:32
of killerキラー robotsロボット.
禁止する必要があります
12:35
Let'sしてみましょう notない succumb負ける to the temptation誘惑 to automate自動化する war戦争.
戦争を自動化する誘惑に
負けないようにしましょう
12:37
Autocratic独裁者 governments政府 and criminal犯罪者 organizations組織
独裁政府や犯罪組織は間違いなく
その魅力に屈するでしょうが
12:42
undoubtedly間違いなく will, butだけど let'sさあ notない join参加する themそれら.
私たちは その同類に
ならないようにしましょう
12:45
Autonomous自律 roboticロボット weapons兵器
自律ロボット兵器は
12:48
would concentrate集中 too muchたくさん powerパワー
あまりにも強力な力を
12:50
in too few少数 unseen見えない hands,
ごくわずかな人の手に
集中させることになります
12:52
and thatそれ would be corrosive腐食性の to representative代表 government政府.
そして 民主主義制度を
蝕むものになるでしょう
12:54
Let'sしてみましょう make作る sure確かに, for democracies民主主義 at least少なくとも,
民主主義のために
殺人ロボットは
12:57
killerキラー robotsロボット remain残る fictionフィクション.
フィクションだけのものに
しておきましょう
13:00
Thankありがとうございます you君は.
ありがとう
13:03
(Applause拍手)
(拍手)
13:04
Thankありがとうございます you君は. (Applause拍手)
ありがとう
(拍手)
13:09
Translated by Akinori Oyama
Reviewed by Yasushi Aoki

▲Back to top

About the speaker:

Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com