English-Video.net comment policy

The comment field is common to all languages

Let's write comments in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2018

Max Tegmark: How to get empowered, not overpowered, by AI

マックス・テグマーク: AIに圧倒されるのではなく、AIから力を得る方法

Filmed:
1,105,659 views

多くのAI研究者は、数十年以内にあらゆるタスクや職業でAIが人間の能力を超えると予測しています。それにより人間の知能の制約を受けず、物理法則だけが制約となる未来が到来すると言うのです。MITの物理学者でありAIの研究者であるマックス・テグマークは現実のチャンスや脅威を、誤った通念と区別し、AIを人類にとって最悪ではなく最高の存在にするために、今我々がとるべき具体的な段階を説明します。

- Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder. Full bio

After 13.8 billion years
of cosmic宇宙 history歴史,
宇宙の誕生後 138億年もの時を経て
00:12
our universe宇宙 has woken目覚めた up
私たちの世界は覚醒し
00:17
and become〜になる aware承知して of itself自体.
自らを認識しました
00:19
From a small小さい blue planet惑星,
小さな青い惑星から
00:21
tiny小さな, conscious意識的な parts部品 of our universe宇宙
have begun始まった gazing凝視する out into the cosmos宇宙
この世界のごく小さな領域の
意識あるものが 望遠鏡を使って
00:23
with telescopes望遠鏡,
この宇宙を見つめ始め
00:27
discovering発見する something humbling謙虚な.
自らの矮小さを発見しました
00:29
We've私たちは discovered発見された that our universe宇宙
is vastly大いに granderより壮大な
この世界は 私たちの先祖が
想像していたものより
00:31
than our ancestors祖先 imagined想像した
遥かに壮大であることと
00:34
and that life seems思われる to be an almostほぼ
imperceptiblyいつの間にか small小さい perturbation摂動
生命は感知できない程度の影響しか及ぼさず
それ以外は死んだも同然の
00:35
on an otherwiseさもないと deadデッド universe宇宙.
静的な世界であると発見したのです
00:39
But we've私たちは alsoまた、 discovered発見された
something inspiring感動的な,
しかし 刺激的なことも発見しました
00:42
whichどの is that the technology技術
we're developing現像 has the potential潜在的な
私たちが開発している技術が
今までにないほどに
00:45
to help life flourish繁栄する like never before,
生命の繁栄を手助けをする
可能性を秘めていることです
00:48
not just for centuries世紀
but for billions何十億 of years,
それは 何百年に限らず
何十億年と続き
00:51
and not just on earth地球 but throughout全体を通して
much of this amazing素晴らしい cosmos宇宙.
地球上だけではなく
この素晴らしい宇宙の大域に及ぶ繁栄なのです
00:54
I think of the earliest早い life as "Life 1.0"
私は一番最初の生命を
「ライフ 1.0」と考えます
00:59
because it was really dumbダム,
バクテリアのように馬鹿で
01:03
like bacteria細菌, unableできない to learn学ぶ
anything during its lifetime一生.
一生の間 何も学ぶことができません
01:04
I think of us humans人間 as "Life 2.0"
because we can learn学ぶ,
人類は「ライフ 2.0」と考えます
私たちは学習できるからです
01:08
whichどの we in nerdyナーディー, geekオタク speak話す,
それは オタクっぽく言えば
01:12
mightかもしれない think of as installingインストールする
new新しい softwareソフトウェア into our brains頭脳,
言語や技能といった
新しいソフトウェアを
01:13
like languages言語 and jobジョブ skillsスキル.
脳にインストールすることです
01:16
"Life 3.0," whichどの can design設計 not only
its softwareソフトウェア but alsoまた、 its hardwareハードウェア
「ライフ 3.0」は ソフトウェアだけでなく
ハードウェアも設計できます
01:19
of courseコース doesn't exist存在する yetまだ.
もちろんまだ存在していません
01:24
But perhapsおそらく our technology技術
has already既に made us "Life 2.1,"
しかし おそらく私たちは
人工膝関節 ペースメーカーや
01:25
with our artificial人工的な knees,
pacemakersペースメーカー and cochlear蝸牛 implantsインプラント.
人口内耳といった技術によって
既に「ライフ2.1」になっているのでしょう
01:29
So let's take a closerクローザー look
at our relationship関係 with technology技術, OK?
では 私たちと技術の関係性を
もっと詳しく見てみましょう
01:33
As an example,
例えば
01:38
the Apolloアポロ 11 moon missionミッション
was bothどちらも successful成功した and inspiring感動的な,
アポロ11号による月への飛行計画は
成功しただけでなく刺激的でもありました
01:40
showing表示 that when we humans人間
use technology技術 wisely賢く,
この計画が示したことは
人類が賢明なやり方で技術を使えば
01:45
we can accomplish達成する things
that our ancestors祖先 could only dream of.
私たちの先祖がただ夢見ただけのことを
成し遂げられるということです
01:48
But there's an even more inspiring感動的な journey
しかし これよりさらに
刺激的な宇宙旅行があります
01:52
propelled推進された by something
more powerful強力な than rocketロケット enginesエンジン,
ロケットエンジンより強力な
推進力を得て
01:55
where the passengers乗客
aren'tない just three astronauts宇宙飛行士
乗客は3人の宇宙飛行士にとどまらず
01:59
but all of humanity人類.
全人類なのです
02:01
Let's talk about our collective集団
journey into the future未来
人工知能を伴い 私たちが集団となって
未来に旅することについて
02:03
with artificial人工的な intelligenceインテリジェンス.
お話ししましょう
02:06
My friend友人 JaanJaan Tallinnタリン likes好きな人 to pointポイント out
that just as with rocketryロケット,
私の友人 ヤーン・タリンが好む議論ですが
ロケットの話と似ていて
02:08
it's not enough十分な to make
our technology技術 powerful強力な.
技術が単に強力になれば
良いというものではなく
02:13
We alsoまた、 have to figure数字 out,
if we're going to be really ambitious意欲的な,
もし本当に野心的になろうとするなら
02:17
how to steer操縦する it
操縦の仕方と
02:20
and where we want to go with it.
どこへ向かうべきかも
理解しないといけません
02:22
So let's talk about all three
for artificial人工的な intelligenceインテリジェンス:
ではこの3つの要素を
人工知能についても議論しましょう
02:24
the powerパワー, the steering操舵
and the destination.
推進力 操縦と目的地です
02:28
Let's start開始 with the powerパワー.
推進力から話しましょう
02:31
I define定義する intelligenceインテリジェンス very inclusively包括的 --
私は 知能をかなり広く
定義しています
02:33
simply単に as our ability能力
to accomplish達成する complex複合体 goalsゴール,
単に 複雑な目標を
達成する能力という定義です
02:36
because I want to include含める bothどちらも
biological生物学的 and artificial人工的な intelligenceインテリジェンス.
何故なら 生物が備える知能と
人工知能の両方を含めたいからです
02:41
And I want to avoid避ける
the silly愚かな carbon-chauvinism炭素盲目的愛国主義 ideaアイディア
肉でできていてはじめて
知的になりうるという
02:44
that you can only be smartスマート
if you're made of meatお肉.
有機物至上主義のような
馬鹿げた考え方を避けたいのです
02:48
It's really amazing素晴らしい how the powerパワー
of AIAI has grown成長した recently最近.
最近のAI技術の発展には驚かされます
02:52
Just think about it.
考えてみてください
02:57
Not long ago, robotsロボット couldn'tできなかった walk歩く.
少し前まで ロボットは歩けませんでした
02:58
Now, they can do backflipsバックフ リップ.
今では バク転ができるのです
03:03
Not long ago,
少し前まで
03:06
we didn't have self-driving自己運転 cars.
自動運転車はありませんでした
03:07
Now, we have self-flying自律飛行 rocketsロケット.
今では自動飛行するロケットがあります
03:10
Not long ago,
少し前まで
03:15
AIAI couldn'tできなかった do face recognition認識.
AIは顔認証ができませんでした
03:17
Now, AIAI can generate生成する fake faces
今では 偽の顔を生成し
03:20
and simulateシミュレートする your face
saying言って stuffもの that you never said.
あなたが話す言葉を勝手に作り出し
その時の表情までシミュレーションできます
03:23
Not long ago,
少し前まで
03:28
AIAI couldn'tできなかった beatビート us at the gameゲーム of Go.
AIは囲碁で私たちに勝てませんでしたが
03:30
Then, GoogleGoogle DeepMind'sディープマインド AlphaZeroAlphaZero AIAI
took取った 3,000 years of human人間 Go gamesゲーム
Google DeepMindのAlphaZero AIは
3千年に渡る 人間による
03:32
and Go wisdom知恵,
囲碁の対局と戦略について
03:37
ignored無視された it all and becameなりました the world's世界の bestベスト
playerプレーヤー by just playing遊ぶ againstに対して itself自体.
その成果を参照せず AI内部の対戦だけで
世界最強のプレイヤーになりました
03:38
And the most最も impressive印象的な feat偉業 here
wasn'tなかった that it crushed破砕されました human人間 gamersゲーマー,
そして最も印象的な出来事は
人間の棋士を倒したことではなく
03:43
but that it crushed破砕されました human人間 AIAI researchers研究者
何十年もの間 ゲームをプレーするソフトを
03:47
who had spent過ごした decades数十年
handcrafting手作り game-playingゲームプレイ softwareソフトウェア.
自分の手で開発してきた
AI研究者たちを圧倒したことです
03:50
And AlphaZeroAlphaZero crushed破砕されました human人間 AIAI researchers研究者
not just in Go but even at chessチェス,
そして AlphaZeroは囲碁だけでなく
1950年以来 AI研究者が取り組んできた
03:54
whichどの we have been workingワーキング on since以来 1950.
チェスでも圧倒しました
03:58
So all this amazing素晴らしい recent最近 progress進捗 in AIAI
really begs懇願する the question質問:
すると AIの近年の驚くべき進歩によって
こんな疑問が生じます
04:02
How far遠い will it go?
どこまで進歩するのか?
04:07
I like to think about this question質問
私はこの疑問を
04:09
in terms条項 of this abstract抽象
landscape風景 of tasksタスク,
タスクで構成された地形として
捉えるのが好きです
04:11
where the elevation標高 representsは表す
how hardハード it is for AIAI to do each task仕事
標高で表しているのは
AIが人間並みに作業をする場合の
04:14
at human人間 levelレベル,
難易度で
04:18
and the sea levelレベル representsは表す
what AIAI can do today今日.
海面は現在のAIができる事を表します
04:19
The sea levelレベル is rising上昇する
as AIAI improves改善する,
AIが進歩するに従い
海面は上昇していきます
04:23
so there's a kind種類 of globalグローバル warming温暖化
going on here in the task仕事 landscape風景.
このタスクの地形は
地球温暖化に似た状況になっています
04:25
And the obvious明らか takeaway取り除く
is to avoid避ける careersキャリア at the waterfrontウォーターフロント --
はっきりしているのは
水際にある職業は避ける事です
04:30
(Laughter笑い)
(笑)
04:33
whichどの will soonすぐに be
automated自動化 and disrupted混乱した.
間も無く自動化され消滅しますから
04:34
But there's a much
biggerより大きい question質問 as well.
しかし もっと大きな疑問もあります
04:37
How high高い will the water end終わり up rising上昇する?
水面はどこまで上昇するのか?
04:40
Will it eventually最終的に rise上昇
to flood洪水 everything,
あらゆるタスクで
人間の知能レベルに追いつき
04:43
matchingマッチング human人間 intelligenceインテリジェンス at all tasksタスク.
大地を完全に水没させるのでしょうか
04:47
This is the definition定義
of artificial人工的な general一般 intelligenceインテリジェンス --
これが汎用人工知能—
04:50
AGIヨウ化銀,
AGIの定義です
04:54
whichどの has been the holy聖なる grailグレイル
of AIAI research研究 since以来 its inception開始.
これは AI研究が始まって以来の
究極の目標となっています
04:55
By this definition定義, people who say,
この定義によると
04:59
"Ahああ, there will always be jobsジョブ
that humans人間 can do better than machines機械,"
「機械より 人間の方が上手くできる仕事は
無くならない」と言う人は
05:00
are simply単に saying言って
that we'll私たちは never get AGIヨウ化銀.
AGIは実現不可能と
言っているのに過ぎないのです
05:04
Sure, we mightかもしれない still choose選択する
to have some human人間 jobsジョブ
確かに AGIができても
人間は仕事を選んだり
05:07
or to give humans人間 income所得
and purpose目的 with our jobsジョブ,
仕事から給料ややりがいを
得られるかもしれませんが
05:11
but AGIヨウ化銀 will in any case場合
transform変換する life as we know it
皆さんがお分かりのとおり
いずれにしろ AGIは生活を変化させ
05:14
with humans人間 no longerより長いです beingであること
the most最も intelligentインテリジェントな.
人間はもはや最も知的な存在とは
いえなくなることでしょう
05:18
Now, if the water levelレベル does reachリーチ AGIヨウ化銀,
では もし水面が AGI まで到達すれば
05:20
then furtherさらに AIAI progress進捗 will be driven駆動される
mainly主に not by humans人間 but by AIAI,
その先のAIの進歩は 主に人間ではなく
AIによって進められます
05:24
whichどの means手段 that there's a possibility可能性
ということは
05:29
that furtherさらに AIAI progress進捗
could be way fasterもっと早く
その先のAIの進歩は
05:31
than the typical典型的な human人間 research研究
and development開発 timescaleタイムスケール of years,
通常何年もかかる人間による研究や開発より
かなり速くなる可能性があります
05:34
raising募集 the controversial議論の余地のある possibility可能性
of an intelligenceインテリジェンス explosion爆発
したがって 議論を呼ぶ「知能の爆発」が
起こる可能性が高まります
05:37
where recursively再帰的に self-improving自己改善 AIAI
再帰的に自己改善するAIによって
05:41
rapidly急速に leaves human人間
intelligenceインテリジェンス far遠い behind後ろに,
人間の知能がはるか後方に取り残され
05:43
creating作成 what's known既知の
as superintelligenceスーパーインテリジェンス.
「超知能」というものが造られるのです
05:47
Alright大丈夫, reality現実 checkチェック:
では 現実に起こり得るか
検討してみましょう
05:51
Are we going to get AGIヨウ化銀 any time soonすぐに?
AGIはすぐにでも作られるのでしょうか?
05:55
Some famous有名な AIAI researchers研究者,
like Rodneyロドニー Brooksブルックス,
ロドニー・ブルックスのような
有名なAI研究者は
05:58
think it won't〜されません happen起こる
for hundreds数百 of years.
数百年以内には起こらないと言います
06:01
But othersその他, like GoogleGoogle DeepMindDeepMind
founder創業者 Demisデミス HassabisHassabis,
しかし Google DeepMind の創立者
デミス・ハサビスといった人たちは
06:03
are more optimistic楽観的
もっと楽観的で
06:07
and are workingワーキング to try to make
it happen起こる much soonerより早く.
AGIをできるだけ早く
作るために努力しています
06:08
And recent最近 surveysアンケート have shown示された
that most最も AIAI researchers研究者
そして 最近の調査によると
ほとんどのAI研究者は
06:11
actually実際に shareシェア Demis'sDemis optimism楽観,
デミスの様に楽観的で
06:14
expecting期待している that we will
get AGIヨウ化銀 within以内 decades数十年,
AGIは数十年以内に作れると予測しています
06:17
so within以内 the lifetime一生 of manyたくさんの of us,
つまり 私たちがまだ
生きているうちにできるのです
06:21
whichどの begs懇願する the question質問 -- and then what?
ここで疑問が生じます―
その後どうなるのか?
06:23
What do we want the role役割 of humans人間 to be
機械が私たちより
何でも安く上手にできるなら
06:27
if machines機械 can do everything better
and cheaper安い than us?
人間はどんな役割を担えばよいのでしょう?
06:29
The way I see it, we face a choice選択.
私たちは選択を迫られると思います
06:35
One optionオプション is to be complacent満足している.
1つ目は満足することです
06:38
We can say, "Oh, let's just buildビルドする machines機械
that can do everything we can do
「じゃあ 私たちができる事なら
何でもできる機械を作って
06:39
and not worry心配 about the consequences結果.
その後のことは心配しないでいい
06:43
Come on, if we buildビルドする technology技術
that makes作る all humans人間 obsolete時代遅れの,
ほら 人間を時代遅れの立場に置く
技術を開発したところで
06:45
what could possiblyおそらく go wrong違う?"
何も問題ないだろう?」と言うのです
06:48
(Laughter笑い)
(笑)
06:50
But I think that would be
embarrassingly恥ずかしい lameラメ.
しかし それは極めてまずいと思います
06:52
I think we should be more ambitious意欲的な --
in the spirit精神 of TEDTED.
私は TEDの様に もっと野心的で
あるべきだと思います
06:56
Let's envision想像 a truly真に inspiring感動的な
high-techハイテク future未来
真に心を打つハイテクな未来を想像し
06:59
and try to steer操縦する towards方向 it.
そちらへと向けて操縦してみましょう
07:03
This bringsもたらす us to the second二番 part
of our rocketロケット metaphor隠喩: the steering操舵.
ここから ロケットのたとえの第2部
「操縦」へと話を移します
07:05
We're making作る AIAI more powerful強力な,
どんどん強力なAIが
作られていきますが
07:09
but how can we steer操縦する towards方向 a future未来
AIが人類をまごつかせるのではなく
AIが人類の繁栄に役立つような
07:11
where AIAI helps助けて humanity人類 flourish繁栄する
ratherむしろ than flounderヒラメ?
そんな未来に向かうには
どう操縦すればよいのでしょうか?
07:15
To help with this,
その問題解決のために
07:18
I cofounded共謀した the Future未来 of Life Institute研究所.
Future of Life Instituteを
共同設立しました
07:20
It's a small小さい nonprofit非営利団体 promoting促進する
beneficial有益 technology技術 use,
小さな非営利組織で
有益な技術を促進しており
07:22
and our goalゴール is simply単に
for the future未来 of life to exist存在する
その目的はシンプルで
生命が存在できて
07:24
and to be as inspiring感動的な as possible可能.
できるだけ刺激的な
未来にすることです
07:27
You know, I love technology技術.
もちろん 私は技術を愛しています
07:29
Technology技術 is why today今日
is better than the Stone Age年齢.
現代が石器時代より良いのは
技術のおかげです
07:32
And I'm optimistic楽観的 that we can create作成する
a really inspiring感動的な high-techハイテク future未来 ...
そして真に刺激的なハイテクな未来を
作れると楽観的に考えています
07:36
if -- and this is a big大きい if --
もし — 万が一の話ですが —
07:41
if we win勝つ the wisdom知恵 raceレース --
もし人類が知恵の競争で勝ったら?
07:43
the raceレース betweenの間に the growing成長する
powerパワー of our technology技術
これは 技術が生み出す能力の成長と
07:45
and the growing成長する wisdom知恵
with whichどの we manage管理する it.
人類が技術を管理するための
知恵の強化との間の競争です
07:48
But this is going to require要求する
a change変化する of strategy戦略
しかし 勝つには戦略を
変えなければいけません
07:51
because our old古い strategy戦略
has been learning学習 from mistakes間違い.
古い戦略とは
失敗から学ぶことだからです
07:53
We invented発明された fire火災,
私たちは 火を発明し
07:57
screwedねじ込まれた up a bunch of times --
幾度も失敗して
07:58
invented発明された the fire火災 extinguisher消火器.
消火器を発明したのです
08:00
(Laughter笑い)
(笑)
08:02
We invented発明された the car,
screwedねじ込まれた up a bunch of times --
私たちは車を発明し
幾度も失敗して
08:03
invented発明された the trafficトラフィック light,
the seatシート beltベルト and the airbagエアバッグ,
信号とシートベルトと
エアバッグを発明したのです
08:06
but with more powerful強力な technology技術
like nuclear weapons兵器 and AGIヨウ化銀,
一方 核兵器やAGIのように
ずっと強力な技術の場合
08:08
learning学習 from mistakes間違い
is a lousy怠け者 strategy戦略,
失敗から学ぶというのは
お粗末な戦略だとは
08:12
don't you think?
思いませんか?
08:16
(Laughter笑い)
(笑)
08:17
It's much better to be proactive積極的な
ratherむしろ than reactive反応性の;
後手の対応より
先手を打つ方が ずっと良いのです
08:18
plan計画 ahead前方に and get things
right the first time
事前に計画して一発で成功させるのです
08:20
because that mightかもしれない be
the only time we'll私たちは get.
チャンスは一度だけかもしれませんから
08:23
But it is funny面白い because
sometimes時々 people tell me,
でも こう言われると変な感じがします
08:25
"Max最大, shhhshhh, don't talk like that.
「マックス そんな風に言うなよ
そんなの―
08:28
That's Ludditeラディ scaremongeringデマ."
技術革新反対主義者のデマだぜ」と
08:30
But it's not scaremongeringデマ.
しかし デマではないのです
08:34
It's what we at MITMIT
call safety安全性 engineeringエンジニアリング.
MITではこれを安全工学と
呼んでいます
08:35
Think about it:
考えてみてください
08:39
before NASANASA launched打ち上げ
the Apolloアポロ 11 missionミッション,
NASAがアポロ11号を打ち上げる前
08:40
they systematically体系的に thought throughを通して
everything that could go wrong違う
彼らは 起こり得るトラブルを
全て 系統的に検討しました
08:42
when you put people
on top of explosive爆発物 fuel燃料 tanksタンク
なにしろ 爆発しやすい燃料タンクの上に
人間を座らせて
08:45
and launch打ち上げ them somewhereどこかで
where no one could help them.
誰も助けられない所に向けて
打ち上げるからです
08:48
And there was a lot that could go wrong違う.
起こり得るトラブルは
たくさんありました
08:50
Was that scaremongeringデマ?
それはデマでしたか?
08:52
No.
いいえ
08:55
That's was precisely正確に
the safety安全性 engineeringエンジニアリング
それこそが安全工学なのです
08:56
that ensured確実に the success成功 of the missionミッション,
飛行の成功を保証したのです
08:58
and that is precisely正確に the strategy戦略
I think we should take with AGIヨウ化銀.
私はまさにこの戦略をAGIでも
取るべきだと思います
09:00
Think throughを通して what can go wrong違う
to make sure it goes行く right.
成功を保証するために
起こりそうな問題を徹底的に考えるのです
09:04
So in this spirit精神,
we've私たちは organized組織された conferencesカンファレンス,
この精神をもって 会議を開きました
09:08
bringing持参 together一緒に leading先導
AIAI researchers研究者 and other thinkers思想家
一流のAI研究者や
その他の思想家と共に
09:11
to discuss話し合います how to grow成長する this wisdom知恵
we need to keep AIAI beneficial有益.
AIが有益であり続けるために必要な
知恵を身に付ける方法を議論しました
09:14
Our last conference会議
was in Asilomarアシロマ, Californiaカリフォルニア last year
前回の会議はカリフォルニアの
アシロマで昨年開催され
09:17
and produced生産された this listリスト of 23 principles原則
23ヶ条の原則を作成しました
09:21
whichどの have since以来 been signed署名された
by over 1,000 AIAI researchers研究者
これは千人以上のAI研究者と
産業界の主な指導者によって
09:24
and keyキー industry業界 leaders指導者,
署名されました
09:27
and I want to tell you
about three of these principles原則.
そのうちの3ヶ条についてお話しします
09:28
One is that we should avoid避ける an arms武器 raceレース
and lethal致死 autonomous自律的 weapons兵器.
1つ目は軍拡競争と
自律型の殺人兵器を控えることです
09:31
The ideaアイディア here is that any science科学
can be used for new新しい ways方法 of helping助ける people
科学は 人を助けるため もしくは
人を傷つけるための
09:37
or new新しい ways方法 of harming害を与える people.
新たな方法として使えます
09:41
For example, biology生物学 and chemistry化学
are much more likelyおそらく to be used
例えば 生物学と化学は
人を殺す方法としてではなく
09:42
for new新しい medicines or new新しい cures治癒
than for new新しい ways方法 of killing殺す people,
新薬や新たな治療法の開発のために
使われる可能性の方がずっと高いです
09:46
because biologists生物学者
and chemists化学者 pushed押された hardハード --
なぜなら 生物学者と化学者は
09:51
and successfully正常に --
生物兵器と化学兵器の禁止を
09:53
for bans禁止 on biological生物学的
and chemical化学 weapons兵器.
強く推進し 成功したからです
09:55
And in the same同じ spirit精神,
同じような考えで
09:57
most最も AIAI researchers研究者 want to stigmatize目立たない
and ban禁止 lethal致死 autonomous自律的 weapons兵器.
ほとんどのAI研究者は自律型の殺人兵器を
非難し禁止することを望んでいます
09:58
Anotherもう一つ Asilomarアシロマ AIAI principle原理
もう一つのアシロマでの原則は
10:03
is that we should mitigate緩和する
AI-fueledAI 燃料 income所得 inequality不平等.
AIによって引き起こされる
所得格差を和らげることです
10:05
I think that if we can grow成長する
the economic経済的 pieパイ dramatically劇的に with AIAI
もしAIによって経済的な利益が
著しく増えても
10:09
and we still can't figure数字 out
how to divide分ける this pieパイ
誰もが豊かになるように
増益分を配分する方法が
10:13
so that everyoneみんな is better off,
見つけられなければ
10:16
then shame on us.
私たちにとって恥です
10:17
(Applause拍手)
(拍手)
10:19
Alright大丈夫, now raise上げる your handハンド
if your computerコンピューター has ever crashedクラッシュした.
さて コンピューターが異常終了したことの
ある人は手をあげてください
10:23
(Laughter笑い)
(笑)
10:27
Wowワオ, that's a lot of hands.
ずいぶん 手が上がりましたね
10:28
Well, then you'llあなたは appreciate感謝する
this principle原理
それなら次の原則を
理解していただけるでしょう
10:30
that we should invest投資する much more
in AIAI safety安全性 research研究,
AIの安全性の研究に
もっと投資するという原則です
10:32
because as we put AIAI in charge電荷
of even more decisions決定 and infrastructureインフラ,
なぜなら AIを意思決定や
インフラへ利用することが増えるにつれ
10:35
we need to figure数字 out how to transform変換する
today's今日の buggyバギー and hackableハッキング computersコンピュータ
バグが多く ハッキングされやすい
現在のコンピューターを 信頼度が高く
10:39
into robustロバストな AIAI systemsシステム
that we can really trust信頼,
安定に動作するAIに変える方法を
見つける必要があります
10:43
because otherwiseさもないと,
そうしなければ
10:45
all this awesome驚くばかり new新しい technology技術
can malfunction故障 and harm us,
この素晴らしい新技術は
誤動作を起こして被害を与え
10:46
or get hackedハッキングされた and be turned回した againstに対して us.
ハッキングされ
私たちを攻撃するかもしれません
10:49
And this AIAI safety安全性 work
has to include含める work on AIAI value alignmentアライメント,
また安全性研究の一環として AIの価値観を
私たちの価値観と一致させる研究が必要です
10:51
because the realリアル threat脅威
from AGIヨウ化銀 isn't malice悪意,
AGIの真の脅威は
馬鹿げたハリウッド映画のような
10:57
like in silly愚かな Hollywoodハリウッド movies映画,
人間への敵意などではなく
11:00
but competence能力 --
その能力にあります
11:01
AGIヨウ化銀 accomplishing達成する goalsゴール
that just aren'tない aligned整列した with ours私たちのもの.
私たちの目標に合致しないことを
成し遂げてしまいかねないからです
11:03
For example, when we humans人間 drove運転した
the West西 Africanアフリカ black rhinoライノ extinct絶滅した,
例えば 私たち人間が 西アフリカの
クロサイを絶滅させたのは
11:07
we didn't do it because we were a bunch
of evil悪の rhinocerosサイコロ haters憎しみ, did we?
私たちはサイを狩る邪悪な
集団だったからではないですよね?
11:11
We did it because
we were smarterスマートな than them
私たちは奴らより利口で
11:15
and our goalsゴール weren'tなかった aligned整列した with theirsそれらの.
私たちの目的が相手と
一致しなかったからなのです
11:17
But AGIヨウ化銀 is by definition定義 smarterスマートな than us,
しかし AGIは 定義上
私たちより利口なので
11:20
so to make sure that we don't put
ourselves自分自身 in the positionポジション of those rhinosサイ
私たちをサイの立場に置かないためには
11:23
if we create作成する AGIヨウ化銀,
AGIを作る時に
11:26
we need to figure数字 out how
to make machines機械 understandわかる our goalsゴール,
機械に私たちの目的を理解させ
11:28
adopt採用 our goalsゴール and retain保持する our goalsゴール.
それを採用し 保持させる方法を
見出す必要があります
11:32
And whoseその goalsゴール should these be, anywayとにかく?
また これは誰の目的で
あるべきなのでしょうか?
11:37
Whichどの goalsゴール should they be?
何を目的とすべきなのでしょうか?
11:40
This bringsもたらす us to the third三番 part
of our rocketロケット metaphor隠喩: the destination.
これはロケットのたとえの第3部へと
つながります 目的地です
11:42
We're making作る AIAI more powerful強力な,
AIを強化し
11:47
trying試す to figure数字 out how to steer操縦する it,
操縦方法を見出そうとしていますが
11:49
but where do we want to go with it?
どこに行こうと
しているのでしょうか?
11:50
This is the elephant in the roomルーム
that almostほぼ nobody誰も talks交渉 about --
これは ほとんど誰もが話題にすることを
避けている重大な問題です
11:53
not even here at TEDTED --
ここTEDにいる人たちでもそうです
11:57
because we're so fixated固定された
on short-term短期 AIAI challenges挑戦.
短期的なAIの課題に
掛かり切りだからです
11:59
Look, our species is trying試す to buildビルドする AGIヨウ化銀,
さて 人類はAGIを
作ろうとしていて
12:04
motivated意欲的な by curiosity好奇心 and economics経済,
それは好奇心と経済的なことが
動機となっていますが
12:08
but what sortソート of future未来 society社会
are we hoping望んでいる for if we succeed成功する?
もしAGIが成功したら 私たちは
どんな未来社会を望むのでしょう?
12:12
We did an opinion意見 poll投票 on this recently最近,
これについて 意識調査を
最近実施しましたが
12:16
and I was struck打たれた to see
私は 多くの人が
12:18
that most最も people actually実際に
want us to buildビルドする superintelligenceスーパーインテリジェンス:
「超知能」の創造を望んでいるという
意見に驚きました
12:19
AIAI that's vastly大いに smarterスマートな
than us in all ways方法.
あらゆる面において私たちより
遥かに利口な知能を望んでいるのです
12:22
What there was the greatest最大 agreement契約 on
was that we should be ambitious意欲的な
最も意見の一致を見た点は
私たちが大志を抱き
12:27
and help life spread普及 into the cosmos宇宙,
生命を宇宙へと
拡散させるべきということでした
12:30
but there was much lessもっと少なく agreement契約
about who or what should be in charge電荷.
ただ 超知能を管理する主体については
意見が分かれました
12:32
And I was actually実際に quiteかなり amused面白い
面白いと思ったのは
12:37
to see that there's some some people
who want it to be just machines機械.
機械だけで管理すればよいと
考える人がいた事です
12:38
(Laughter笑い)
(笑)
12:42
And there was total合計 disagreement不一致
about what the role役割 of humans人間 should be,
その上 人間の役割は何であるべきかに
ついては 最も基本的なレベルにおいても
12:44
even at the most最も basic基本的な levelレベル,
全く意見が一致しませんでした
12:47
so let's take a closerクローザー look
at possible可能 futures先物
では 私たちが向かって行く可能性のある
12:49
that we mightかもしれない choose選択する
to steer操縦する toward〜に向かって, alright大丈夫?
未来を詳しく見てみましょう
12:52
So don't get be wrong違う here.
誤解しないでください
12:55
I'm not talking話す about spaceスペース travel旅行,
私は宇宙旅行について
語ろうとしているのではなく
12:56
merely単に about humanity's人類
metaphorical比喩的 journey into the future未来.
人類の未来への道のりを
比喩的に言っているだけです
12:59
So one optionオプション that some
of my AIAI colleagues同僚 like
私のAI研究者仲間がお気に入りの
一つの選択肢は
13:02
is to buildビルドする superintelligenceスーパーインテリジェンス
and keep it under human人間 controlコントロール,
超知能を造って
人間の支配下に置くというものです
13:06
like an enslaved奴隷にされた god,
まるで奴隷にされた神の様であり
13:10
disconnected切断された from the internetインターネット
インターネットへの接続もなく
13:11
and used to create作成する unimaginable想像を絶する
technology技術 and wealth
誰であれ それを制御できる人のために
想像すらできない様な技術と富を
13:13
for whoever誰でも controlsコントロール it.
創造するために使われます
13:16
But Lord Actonアクトン warned警告された us
しかしアクトン卿は
13:18
that powerパワー corrupts腐敗,
and absolute絶対の powerパワー corrupts腐敗 absolutely絶対に,
権力は腐敗し 絶対的な権力は
絶対に腐敗すると警告しました
13:20
so you mightかもしれない worry心配 that maybe
we humans人間 just aren'tない smartスマート enough十分な,
だから 皆さんは この様なすごい力を
扱える程には人類は利口ではない
13:23
or wise賢い enough十分な ratherむしろ,
もしくは十分に賢くはないと
13:28
to handleハンドル this much powerパワー.
憂慮されるかもしれません
13:29
Alsoまた、, aside脇に from any
moral道徳 qualms良心の呵責 you mightかもしれない have
より優れた知性を
奴隷扱いするのは気がとがめるという
13:31
about enslaving奴隷化 superior優れました minds,
道徳的なことはさておき
13:34
you mightかもしれない worry心配 that maybe
the superintelligenceスーパーインテリジェンス could outsmartアウトスマート us,
超知能が 想像を超えた方法で
逃げ出し 優位に立つのではと
13:36
breakブレーク out and take over.
心配になるかもしれません
13:40
But I alsoまた、 have colleagues同僚
who are fine with AIAI taking取る over
しかし 私の同僚には
AIに乗っ取られてもいい
13:43
and even causing原因 human人間 extinction絶滅,
さらには人類を絶滅させても
いいと考える人もいます
13:47
as long as we feel the the AIsAI
are our worthy価値がある descendants子孫,
それも AIのことを
自分たちの子供のように相応しい子孫と
13:49
like our children子供.
思えればの話です
13:52
But how would we know that the AIsAI
have adopted採用 our bestベスト values
ただ AIが私たちの価値観を持ったことを
どうしたら確認できるでしょう?
13:54
and aren'tない just unconscious無意識 zombiesゾンビ
trickingトリック us into anthropomorphizing擬人化 them?
意識を持たないゾンビなのに
人間らしく見えるだけではないと?
14:00
Alsoまた、, shouldn'tすべきではない those people
who don't want human人間 extinction絶滅
それに 人類の絶滅を望まぬ人々にも
発言権が
14:04
have a say in the matter問題, too?
あるべきではないでしょうか?
14:07
Now, if you didn't like eitherどちらか
of those two high-techハイテク optionsオプション,
さて これらのハイテクな選択肢は
どちらもお望みでないとしても
14:10
it's important重要 to remember思い出す
that low-techローテク is suicide自殺
ローテクな選択肢は
宇宙的視野に立てば自殺行為であると
14:13
from a cosmic宇宙 perspective視点,
知っておくことは大切です
14:16
because if we don't go far遠い
beyond超えて today's今日の technology技術,
なぜなら 現在の技術レベルを
はるかに上回らない限り
14:18
the question質問 isn't whetherかどうか humanity人類
is going to go extinct絶滅した,
人類が将来 絶滅するかどうかという
問題ではなく
14:20
merely単に whetherかどうか
we're going to get taken撮影 out
技術が進んでいれば回避できるはずの
14:23
by the next killerキラー asteroid小惑星, supervolcano超巨大火山
小惑星の衝突や
巨大な火山噴火といった事態で
14:25
or some other problem問題
that better technology技術 could have solved解決した.
人類は滅亡するのかという
問題になってしまうからです
14:27
So, how about having持つ
our cakeケーキ and eating食べる it ...
それならば 長所を全て
生かしてはどうでしょうか
14:30
with AGIヨウ化銀 that's not enslaved奴隷にされた
奴隷化されなくても
14:34
but treats扱う us well because its values
are aligned整列した with ours私たちのもの?
私たちと同じ価値観を持ち
人間を大事にするAGIを使うのです
14:37
This is the gist要旨 of what Eliezerエリエゼル Yudkowskyユドコー
has calledと呼ばれる "friendlyフレンドリーな AIAI,"
これはエリエゼル・ユドカウスキーが
「友好的なAI」と呼ぶものです
14:40
and if we can do this,
it could be awesome驚くばかり.
そして これができれば
素晴らしいことでしょう
14:44
It could not only eliminate排除する negative
experiences経験 like disease疾患, poverty貧困,
病気 貧困 犯罪など
苦痛というマイナスの経験を
14:47
crime犯罪 and other suffering苦しみ,
無くすことができるだけではなく
14:52
but it could alsoまた、 give us
the freedom自由 to choose選択する
様々な 新しいプラスの経験から
選択する自由を
14:54
from a fantastic素晴らしい new新しい diversity多様性
of positiveポジティブ experiences経験 --
与えてくれるかもしれません
14:57
basically基本的に making作る us
the mastersマスター of our own自分の destiny運命.
そうなれば私たちは
自分の手で運命を決められるのです
15:01
So in summary概要,
では まとめます
15:06
our situation状況 with technology技術
is complicated複雑な,
技術に関する状況は
複雑ではありますが
15:07
but the big大きい picture画像 is ratherむしろ simple単純.
全体像は 単純です
15:10
Most最も AIAI researchers研究者
expect期待する AGIヨウ化銀 within以内 decades数十年,
ほとんどのAI研究者はAGIが
数十年以内にできると期待しています
15:13
and if we just bumbleバブル
into this unprepared準備ができていない,
そして 準備がないままに
つまづきながら進んで行くと
15:16
it will probably多分 be
the biggest最大 mistake間違い in human人間 history歴史 --
おそらく人類史上最大の
間違いとなるでしょう
15:19
let's face it.
それは認めるべきです
15:23
It could enable有効にする brutal残忍な,
globalグローバル dictatorship独裁
冷酷な 全世界的独裁政権が可能になり
15:24
with unprecedented前例のない inequality不平等,
surveillance監視 and suffering苦しみ,
前代未聞の差別 監視社会と
苦しみが産まれ
15:27
and maybe even human人間 extinction絶滅.
さらに人類の絶滅さえ
起こるかもしれません
15:30
But if we steer操縦する carefully慎重に,
しかし注意深く操縦すれば
15:32
we could end終わり up in a fantastic素晴らしい future未来
where everybody'sみんな better off:
誰もが裕福になれる
素晴らしい未来にたどり着くかもしれません
15:36
the poor貧しい are richerより豊かな, the richリッチ are richerより豊かな,
貧乏人は金持ちになり
金持ちはさらに金持ちになり
15:39
everybodyみんな is healthy健康
and free無料 to liveライブ out their彼らの dreams.
みんなが健康で 夢を追い求めながら
自由に人生を送れることでしょう
15:42
Now, hangハング on.
ちょっと考えてください
15:47
Do you folks人々 want the future未来
that's politically政治的に right or left?
皆さんは 政治的に右寄りの未来と
左寄りの未来なら どちらがいいですか?
15:48
Do you want the pious信心深い society社会
with strict厳格な moral道徳 rulesルール,
厳格な道徳的規則を持つ敬虔な社会と
15:53
or do you an hedonistic快楽主義的な free-for-all万人に無料,
快楽主義的で制約のない
15:56
more like Burning燃焼 Man 24/7?
毎日がバーニングマンのような社会なら
どちらがいいですか?
15:57
Do you want beautiful綺麗な beachesビーチ,
forests森林 and lakes,
綺麗なビーチや森や湖がいいですか?
16:00
or would you prefer好む to rearrange並べ替える
some of those atoms原子 with the computersコンピュータ,
それともコンピューターで
原子を少し置き換えた
16:02
enabling可能にする virtualバーチャル experiences経験?
バーチャル体験がいいですか?
16:06
With friendlyフレンドリーな AIAI, we could simply単に
buildビルドする all of these societies社会
友好的なAIがあれば
どの社会でも作ることができ
16:07
and give people the freedom自由
to choose選択する whichどの one they want to liveライブ in
人々にどの社会に住むかの
自由を与えることができます
16:10
because we would no longerより長いです
be limited限られた by our intelligenceインテリジェンス,
なぜなら 自分たちの知能に
縛られることはなくなるからです
16:14
merely単に by the laws法律 of physics物理.
制約は物理法則だけです
16:17
So the resourcesリソース and spaceスペース
for this would be astronomical天文学的 --
ですから このような世界の資源と空間は
天文学的になります
16:18
literally文字通り.
文字通りにです
16:23
So here'sここにいる our choice選択.
我々は選択しなければなりません
16:25
We can eitherどちらか be complacent満足している
about our future未来,
自分の未来に満足し
16:27
taking取る as an article記事 of blindブラインド faith信仰
新しいテクノロジーなら何でも
16:31
that any new新しい technology技術
is guaranteed保証付き to be beneficial有益,
有益なことが保証されているという
根拠のない信条を持ち
16:34
and just repeat繰り返す that to ourselves自分自身
as a mantraマントラ over and over and over again
まるで舵のない船が
衰退に向かって漂流するように
16:38
as we driftドリフト like a rudderlessかじ ship
towards方向 our own自分の obsolescence陳腐化.
それを自分の中で
何度も繰り返し唱え続けるのか
16:42
Or we can be ambitious意欲的な --
あるいは野心を持って
16:46
thinking考え hardハード about how
to steer操縦する our technology技術
技術の操縦方法と目的地を
16:49
and where we want to go with it
真剣に考え
16:52
to create作成する the age年齢 of amazement驚き.
「素晴らしい時代」を築くのか
16:54
We're all here to celebrate祝う
the age年齢 of amazement驚き,
私たちは 「素晴らしい時代」を
祝うためにここにいます
16:57
and I feel that its essenceエッセンス should lie嘘つき
in becoming〜になる not overpowered圧倒された
私は その本質は
技術に圧倒されるのではなく
16:59
but empowered権限を与えられた by our technology技術.
技術から力を得ることだと思います
17:05
Thank you.
ありがとうございました
17:07
(Applause拍手)
(拍手)
17:09
Translated by Yumika Amemiya
Reviewed by Tomoyuki Suzuki

▲Back to top

About the speaker:

Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com