ABOUT THE SPEAKER
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com
TED2018

Max Tegmark: How to get empowered, not overpowered, by AI

麦克斯 · 泰格马克: 如何让人工智能赋予我们力量,而非受控于它

Filmed:
1,409,007 views

很多人工智能的研究者预期,在未来十年内,人工智能会在大部分工作上胜过我们。在这样的未来里,我们仅仅受限于物理的定律,而非我们拥有的智慧。麻省理工学院的物理学家和人工智能研究者麦克斯 · 泰格马克,为我们辨析了未来可能拥有的真正机会和错误认知中的威胁,他为我们说明了今天的我们应当采取哪些步骤,来确保人工智能最终会为人性带来最好的成果——而非糟糕的结局。
- Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder. Full bio

Double-click the English transcript below to play the video.

00:12
After 13.8 billion十亿 years年份
of cosmic宇宙的 history历史,
0
760
4416
在 138 亿年的历史之后,
我们的宇宙终于觉醒了,
00:17
our universe宇宙 has woken唤醒 up
1
5200
2096
00:19
and become成为 aware知道的 of itself本身.
2
7320
1520
并开始有了自我意识。
00:21
From a small blue蓝色 planet行星,
3
9480
1936
从一颗蓝色的小星球,
00:23
tiny, conscious意识 parts部分 of our universe宇宙
have begun开始 gazing凝视 out into the cosmos宇宙
4
11440
4136
宇宙中那些有了微小意识的部分,
开始用它们的望远镜,
窥视整个宇宙,
00:27
with telescopes望远镜,
5
15600
1376
00:29
discovering发现 something humbling震撼人心.
6
17000
1480
从而有了谦卑的发现。
00:31
We've我们已经 discovered发现 that our universe宇宙
is vastly大大 grander宏大
7
19320
2896
宇宙比我们祖先所想象的
要大得多,
00:34
than our ancestors祖先 imagined想象
8
22240
1336
使得生命显得如同渺小的扰动,
小到足以被忽视,
00:35
and that life seems似乎 to be an almost几乎
imperceptibly不知不觉 small perturbation
9
23600
4256
但若没有它们的存在,
宇宙也没了生命。
00:39
on an otherwise除此以外 dead universe宇宙.
10
27880
1720
00:42
But we've我们已经 also discovered发现
something inspiring鼓舞人心,
11
30320
3016
不过我们也发现了
一些振奋人心的事,
那就是我们所开发的技术,
有着前所未有的潜能
00:45
which哪一个 is that the technology技术
we're developing发展 has the potential潜在
12
33360
2976
去促使生命变得更加繁盛,
00:48
to help life flourish繁荣 like never before,
13
36360
2856
不仅仅只有几个世纪,
而是持续了数十亿年;
00:51
not just for centuries百年
but for billions数十亿 of years年份,
14
39240
3096
00:54
and not just on earth地球 but throughout始终
much of this amazing惊人 cosmos宇宙.
15
42360
4120
也不仅仅是地球上,
甚至是在整个浩瀚的宇宙中。
00:59
I think of the earliest最早 life as "Life 1.0"
16
47680
3336
我把最早的生命
称之为 “生命 1.0”,
因为它那会儿还略显蠢笨,
01:03
because it was really dumb,
17
51040
1376
01:04
like bacteria, unable无法 to learn学习
anything during its lifetime一生.
18
52440
4296
就像细菌,在它们的一生中,
也不会学到什么东西。
01:08
I think of us humans人类 as "Life 2.0"
because we can learn学习,
19
56760
3376
我把我们人类称为 “生命 2.0”,
因为我们能够学习,
01:12
which哪一个 we in nerdy书呆子, geek极客 speak说话,
20
60160
1496
用技术宅男的话来说,
01:13
might威力 think of as installing安装
new software软件 into our brains大脑,
21
61680
3216
就像是在我们脑袋里
装了一个新的软件,
01:16
like languages语言 and job工作 skills技能.
22
64920
2120
比如语言及工作技能。
01:19
"Life 3.0," which哪一个 can design设计 not only
its software软件 but also its hardware硬件
23
67680
4296
而“生命 3.0” 不仅能开始设计
它的软件,甚至还可以创造其硬件。
01:24
of course课程 doesn't exist存在 yet然而.
24
72000
1656
当然,它目前还不存在。
01:25
But perhaps也许 our technology技术
has already已经 made制作 us "Life 2.1,"
25
73680
3776
但是也许我们的科技
已经让我们走进了 “生命 2.1”,
01:29
with our artificial人造 knees膝盖,
pacemakers心脏起搏器 and cochlear人工耳蜗 implants植入物.
26
77480
4336
因为现在我们有了人工膝盖,
心脏起搏器以及耳蜗植入技术。
01:33
So let's take a closer接近 look
at our relationship关系 with technology技术, OK?
27
81840
3880
我们一起来聊聊
人类和科技的关系吧!
01:38
As an example,
28
86800
1216
举个例子,
01:40
the Apollo阿波罗 11 moon月亮 mission任务
was both successful成功 and inspiring鼓舞人心,
29
88040
5296
阿波罗 11 号月球任务
很成功,令人备受鼓舞,
01:45
showing展示 that when we humans人类
use technology技术 wisely明智,
30
93360
3016
展示出了我们人类
对于使用科技的智慧,
01:48
we can accomplish完成 things
that our ancestors祖先 could only dream梦想 of.
31
96400
3936
我们实现了很多
祖先们只能想象的事情。
01:52
But there's an even more inspiring鼓舞人心 journey旅程
32
100360
2976
但还有一段更加
鼓舞人心的旅程,
01:55
propelled推进的 by something
more powerful强大 than rocket火箭 engines引擎,
33
103360
2680
由比火箭引擎更加强大的
东西所推动着,
01:59
where the passengers乘客
aren't just three astronauts宇航员
34
107200
2336
乘客也不仅仅只是三个宇航员,
02:01
but all of humanity人性.
35
109560
1776
而是我们全人类。
02:03
Let's talk about our collective集体
journey旅程 into the future未来
36
111360
2936
让我们来聊聊与人工智能
一起走向未来的
这段旅程。
02:06
with artificial人造 intelligence情报.
37
114320
2000
02:08
My friend朋友 Jaan Tallinn塔林 likes喜欢 to point out
that just as with rocketry火箭,
38
116960
4536
我的朋友扬·塔林(Jaan Tallinn)常说,
这就像是火箭学一样,
02:13
it's not enough足够 to make
our technology技术 powerful强大.
39
121520
3160
只让我们的科技
拥有强大的力量是不够的。
02:17
We also have to figure数字 out,
if we're going to be really ambitious有雄心,
40
125560
3175
如果我们有足够的
雄心壮志,就应当想出
如何控制它们的方法,
02:20
how to steer驾驶 it
41
128759
1416
02:22
and where we want to go with it.
42
130199
1681
希望它朝着怎样的方向前进。
02:24
So let's talk about all three
for artificial人造 intelligence情报:
43
132880
2840
那么对于人工智能,
我们先来谈谈这三点:
02:28
the power功率, the steering操舵
and the destination目的地.
44
136440
3056
力量,操控和目的地。
02:31
Let's start开始 with the power功率.
45
139520
1286
我们先来说力量。
02:33
I define确定 intelligence情报 very inclusively包括性 --
46
141600
3096
我对于人工智能的定义非常全面——
02:36
simply只是 as our ability能力
to accomplish完成 complex复杂 goals目标,
47
144720
4336
就是我们能够完成复杂目标的能力,
02:41
because I want to include包括 both
biological生物 and artificial人造 intelligence情报.
48
149080
3816
因为我想把生物学
和人工智能都包含进去。
02:44
And I want to avoid避免
the silly愚蠢 carbon-chauvinism碳沙文主义 idea理念
49
152920
4016
我还想要避免愚蠢的
碳沙文主义的观点,
即你认为如果你很聪明,
你就一定有着肉身。
02:48
that you can only be smart聪明
if you're made制作 of meat.
50
156960
2360
02:52
It's really amazing惊人 how the power功率
of AIAI has grown长大的 recently最近.
51
160880
4176
人工智能的力量
在近期的发展十分惊人。
试想一下。
02:57
Just think about it.
52
165080
1256
02:58
Not long ago, robots机器人 couldn't不能 walk步行.
53
166360
3200
甚至在不久以前,
机器人还不能走路呢。
03:03
Now, they can do backflips后空翻.
54
171040
1720
现在,它们居然开始后空翻了。
03:06
Not long ago,
55
174080
1816
不久以前,
03:07
we didn't have self-driving自驾车 cars汽车.
56
175920
1760
我们还没有全自动驾驶汽车。
03:10
Now, we have self-flying自飞 rockets火箭.
57
178920
2480
现在,我们都有
自动飞行的火箭了。
03:15
Not long ago,
58
183960
1416
不久以前,
03:17
AIAI couldn't不能 do face面对 recognition承认.
59
185400
2616
人工智能甚至不能完成脸部识别。
03:20
Now, AIAI can generate生成 fake faces面孔
60
188040
2976
现在,人工智能都开始
生成仿真面貌了,
并模拟你的脸部表情,
说出你从未说过的话。
03:23
and simulate模拟 your face面对
saying stuff东东 that you never said.
61
191040
4160
03:28
Not long ago,
62
196400
1576
不久以前,
人工智能还不能在围棋中战胜人类,
03:30
AIAI couldn't不能 beat击败 us at the game游戏 of Go.
63
198000
1880
03:32
Then, Google谷歌 DeepMind'sDeepMind的 AlphaZeroAlphaZero AIAI
took 3,000 years年份 of human人的 Go games游戏
64
200400
5096
然后,谷歌的DeepMind推出的
AlphaZero 就掌握了人类三千多年的
03:37
and Go wisdom智慧,
65
205520
1256
围棋比赛和智慧,
通过和自己对战的方式轻松秒杀我们,
成了全球最厉害的围棋手。
03:38
ignored忽视 it all and became成为 the world's世界 best最好
player播放机 by just playing播放 against反对 itself本身.
66
206800
4976
03:43
And the most impressive有声有色 feat功绩 here
wasn't that it crushed human人的 gamers游戏玩家,
67
211800
3696
这里最让人印象深刻的部分,
不是它击垮了人类棋手,
03:47
but that it crushed human人的 AIAI researchers研究人员
68
215520
2576
而是它击垮了人类人工智能的研究者,
03:50
who had spent花费 decades几十年
handcrafting手工制作 game-playing玩游戏 software软件.
69
218120
3680
这些研究者花了数十年
手工打造了下棋软件。
03:54
And AlphaZeroAlphaZero crushed human人的 AIAI researchers研究人员
not just in Go but even at chess,
70
222200
4656
此外,AlphaZero也在国际象棋比赛中
轻松战胜了人类的人工智能研究者们,
03:58
which哪一个 we have been working加工 on since以来 1950.
71
226880
2480
我们从 1950 年
就开始致力于国际象棋研究。
04:02
So all this amazing惊人 recent最近 progress进展 in AIAI
really begs乞求 the question:
72
230000
4240
所以近来,这些惊人的
人工智能进步,让大家不禁想问:
04:07
How far will it go?
73
235280
1560
它到底能达到怎样的程度?
04:09
I like to think about this question
74
237800
1696
我在思考这个问题时,
想从工作任务中的抽象地景来切入,
04:11
in terms条款 of this abstract抽象
landscape景观 of tasks任务,
75
239520
2976
04:14
where the elevation海拔 represents代表
how hard it is for AIAI to do each task任务
76
242520
3456
图中的海拔高度表示
人工智能要把每一项工作
04:18
at human人的 level水平,
77
246000
1216
做到人类的水平的难度,
04:19
and the sea level水平 represents代表
what AIAI can do today今天.
78
247240
2760
海平面表示现今的
人工智能所达到的水平。
04:23
The sea level水平 is rising升起
as AIAI improves提高,
79
251120
2056
随着人工智能的进步,
海平面会上升,
04:25
so there's a kind of global全球 warming变暖
going on here in the task任务 landscape景观.
80
253200
3440
所以在这工作任务地景上,
有着类似全球变暖的后果。
04:30
And the obvious明显 takeaway带走
is to avoid避免 careers职业生涯 at the waterfront滨水 --
81
258040
3335
很显然,我们要避免
从事那些近海区的工作——
(笑声)
04:33
(Laughter笑声)
82
261399
1257
04:34
which哪一个 will soon不久 be
automated自动化 and disrupted破坏.
83
262680
2856
这些工作不会一直由人来完成,
迟早要被自动化取代。
04:37
But there's a much
bigger question as well.
84
265560
2976
然而同时,还存在一个很大的问题,
水平面最后会升到多高?
04:40
How high will the water end结束 up rising升起?
85
268560
1810
04:43
Will it eventually终于 rise上升
to flood洪水 everything,
86
271440
3200
它最后是否会升高到淹没一切,
04:47
matching匹配 human人的 intelligence情报 at all tasks任务.
87
275840
2496
人工智能会不会
最终能胜任所有的工作?
04:50
This is the definition定义
of artificial人造 general一般 intelligence情报 --
88
278360
3736
这就成了通用人工智能
(Artificial general intelligence)——
04:54
AGIAgi,
89
282120
1296
缩写是 AGI,
04:55
which哪一个 has been the holy grail大盘
of AIAI research研究 since以来 its inception成立.
90
283440
3080
从一开始它就是
人工智能研究最终的圣杯。
04:59
By this definition定义, people who say,
91
287000
1776
根据这个定义,有人说,
05:00
"Ah, there will always be jobs工作
that humans人类 can do better than machines,"
92
288800
3416
“总是有些工作,
人类可以做得比机器好的。”
05:04
are simply只是 saying
that we'll never get AGIAgi.
93
292240
2920
意思就是,我们永远不会有 AGI。
05:07
Sure, we might威力 still choose选择
to have some human人的 jobs工作
94
295680
3576
当然,我们可以仍然
保留一些人类的工作,
05:11
or to give humans人类 income收入
and purpose目的 with our jobs工作,
95
299280
3096
或者说,通过我们的工作
带给人类收入和生活目标,
05:14
but AGIAgi will in any case案件
transform转变 life as we know it
96
302400
3736
但是不论如何, AGI
都会转变我们对生命的认知,
05:18
with humans人类 no longer being存在
the most intelligent智能.
97
306160
2736
人类或许不再是最有智慧的了。
05:20
Now, if the water level水平 does reach达到 AGIAgi,
98
308920
3696
如果海平面真的
上升到 AGI 的高度,
那么进一步的人工智能进展
将会由人工智能来引领,而非人类,
05:24
then further进一步 AIAI progress进展 will be driven驱动
mainly主要 not by humans人类 but by AIAI,
99
312640
5296
05:29
which哪一个 means手段 that there's a possibility可能性
100
317960
1856
那就意味着有可能,
05:31
that further进一步 AIAI progress进展
could be way faster更快
101
319840
2336
进一步提升人工智能水平
将会进行得非常迅速,
05:34
than the typical典型 human人的 research研究
and development发展 timescale时间表 of years年份,
102
322200
3376
甚至超越用年份来计算时间的
典型人类研究和发展,
05:37
raising提高 the controversial争论的 possibility可能性
of an intelligence情报 explosion爆炸
103
325600
4016
提高到一种极具争议性的可能性,
那就是智能爆炸,
05:41
where recursively递归 self-improving自我改进 AIAI
104
329640
2296
即能够不断做自我改进的人工智能
05:43
rapidly急速 leaves树叶 human人的
intelligence情报 far behind背后,
105
331960
3416
很快就会遥遥领先人类,
05:47
creating创建 what's known已知
as superintelligence超级智能.
106
335400
2440
创造出所谓的超级人工智能。
05:51
Alright好的, reality现实 check:
107
339800
2280
好了,回归现实:
05:55
Are we going to get AGIAgi any time soon不久?
108
343120
2440
我们很快就会有 AGI 吗?
05:58
Some famous著名 AIAI researchers研究人员,
like Rodney罗德尼 Brooks布鲁克斯,
109
346360
2696
一些著名的 AI 研究者,
如罗德尼 · 布鲁克斯 (Rodney Brooks),
06:01
think it won't惯于 happen发生
for hundreds数以百计 of years年份.
110
349080
2496
认为一百年内是没有可能的。
06:03
But others其他, like Google谷歌 DeepMindDeepMind
founder创办人 Demis杰米斯 HassabisHassabis,
111
351600
3896
但是其他人,如谷歌DeepMind公司的
创始人德米斯 · 哈萨比斯(Demis Hassabis)
06:07
are more optimistic乐观
112
355520
1256
就比较乐观,
且努力想要它尽早实现。
06:08
and are working加工 to try to make
it happen发生 much sooner.
113
356800
2576
06:11
And recent最近 surveys调查 have shown显示
that most AIAI researchers研究人员
114
359400
3296
近期的调查显示,
大部分的人工智能研究者
06:14
actually其实 share分享 Demis'sDemis 的 optimism乐观,
115
362720
2856
其实都和德米斯一样持乐观态度,
06:17
expecting期待 that we will
get AGIAgi within decades几十年,
116
365600
3080
预期我们十年内就会有 AGI,
06:21
so within the lifetime一生 of many许多 of us,
117
369640
2256
所以我们中许多人
在有生之年就能看到,
06:23
which哪一个 begs乞求 the question -- and then what?
118
371920
1960
这就让人不禁想问——
那么接下来呢?
06:27
What do we want the role角色 of humans人类 to be
119
375040
2216
如果什么事情机器
都能做得比人好,
06:29
if machines can do everything better
and cheaper便宜 than us?
120
377280
2680
成本也更低,那么人类
又该扮演怎样的角色?
06:35
The way I see it, we face面对 a choice选择.
121
383000
2000
依我所见,我们面临一个选择。
06:38
One option选项 is to be complacent自满.
122
386000
1576
选择之一是要自我满足。
06:39
We can say, "Oh, let's just build建立 machines
that can do everything we can do
123
387600
3776
我们可以说,“我们来建造机器,
让它来帮助我们做一切事情,
06:43
and not worry担心 about the consequences后果.
124
391400
1816
不要担心后果,
06:45
Come on, if we build建立 technology技术
that makes品牌 all humans人类 obsolete过时的,
125
393240
3256
拜托,如果我们能打造出
让全人类都被淘汰的机器,
06:48
what could possibly或者 go wrong错误?"
126
396520
2096
还有什么会出错吗?”
(笑声)
06:50
(Laughter笑声)
127
398640
1656
但我觉得那样真是差劲到悲哀。
06:52
But I think that would be
embarrassingly尴尬 lame.
128
400320
2760
06:56
I think we should be more ambitious有雄心 --
in the spirit精神 of TEDTED.
129
404080
3496
我们认为我们应该更有野心——
带着 TED 的精神。
06:59
Let's envision预见 a truly inspiring鼓舞人心
high-tech高科技 future未来
130
407600
3496
让我们来想象一个
真正鼓舞人心的高科技未来,
并试着朝着它前进。
07:03
and try to steer驾驶 towards it.
131
411120
1400
07:05
This brings带来 us to the second第二 part部分
of our rocket火箭 metaphor隐喻: the steering操舵.
132
413720
3536
这就把我们带到了火箭比喻的
第二部分:操控。
07:09
We're making制造 AIAI more powerful强大,
133
417280
1896
我们让人工智能的力量更强大,
07:11
but how can we steer驾驶 towards a future未来
134
419200
3816
但是我们要如何朝着
人工智能帮助人类未来更加繁盛,
07:15
where AIAI helps帮助 humanity人性 flourish繁荣
rather than flounder比目鱼?
135
423040
3080
而非变得挣扎的目标不断前进呢?
07:18
To help with this,
136
426760
1256
为了协助实现它,
我联合创办了 “未来生命研究所”
(Future of Life Institute)。
07:20
I cofounded共同创立 the Future未来 of Life Institute研究所.
137
428040
1976
它是个小型的非营利机构,
旨在促进有益的科技使用,
07:22
It's a small nonprofit非营利性 promoting促进
beneficial有利 technology技术 use,
138
430040
2776
07:24
and our goal目标 is simply只是
for the future未来 of life to exist存在
139
432840
2736
我们的目标很简单,
就是希望生命的未来能够存在,
07:27
and to be as inspiring鼓舞人心 as possible可能.
140
435600
2056
且越是鼓舞人心越好。
07:29
You know, I love technology技术.
141
437680
3176
你们知道的,我爱科技。
现今之所以比石器时代更好,
就是因为科技。
07:32
Technology技术 is why today今天
is better than the Stone Age年龄.
142
440880
2920
07:36
And I'm optimistic乐观 that we can create创建
a really inspiring鼓舞人心 high-tech高科技 future未来 ...
143
444600
4080
我很乐观的认为我们能创造出
一个非常鼓舞人心的高科技未来……
07:41
if -- and this is a big if --
144
449680
1456
如果——这个 “如果” 很重要——
如果我们能赢得这场
关于智慧的赛跑——
07:43
if we win赢得 the wisdom智慧 race种族 --
145
451160
2456
07:45
the race种族 between之间 the growing生长
power功率 of our technology技术
146
453640
2856
这场赛跑的两位竞争者
便是我们不断成长的科技力量
07:48
and the growing生长 wisdom智慧
with which哪一个 we manage管理 it.
147
456520
2200
以及我们用来管理科技的
不断成长的智慧。
07:51
But this is going to require要求
a change更改 of strategy战略
148
459240
2296
但这也需要策略上的改变。
07:53
because our old strategy战略
has been learning学习 from mistakes错误.
149
461560
3040
因为我们以往的策略
往往都是从错误中学习的。
07:57
We invented发明 fire,
150
465280
1536
我们发明了火,
因为搞砸了很多次——
07:58
screwed up a bunch of times --
151
466840
1536
08:00
invented发明 the fire extinguisher灭火器.
152
468400
1816
我们发明出了灭火器。
08:02
(Laughter笑声)
153
470240
1336
(笑声)
08:03
We invented发明 the car汽车,
screwed up a bunch of times --
154
471600
2416
我们发明了汽车,
又一不小心搞砸了很多次——
08:06
invented发明 the traffic交通 light,
the seat座位 belt and the airbag安全气囊,
155
474040
2667
发明了红绿灯,安全带
和安全气囊,
但对于更强大的科技,
像是核武器和 AGI,
08:08
but with more powerful强大 technology技术
like nuclear weapons武器 and AGIAgi,
156
476731
3845
08:12
learning学习 from mistakes错误
is a lousy糟糕 strategy战略,
157
480600
3376
要去从错误中学习,
似乎是个比较糟糕的策略,
08:16
don't you think?
158
484000
1216
你们怎么看?
08:17
(Laughter笑声)
159
485240
1016
(笑声)
事前的准备比事后的
补救要好得多;
08:18
It's much better to be proactive主动
rather than reactive反应;
160
486280
2576
08:20
plan计划 ahead and get things
right the first time
161
488880
2296
提早做计划,争取一次成功,
08:23
because that might威力 be
the only time we'll get.
162
491200
2496
因为有时我们或许
没有第二次机会。
08:25
But it is funny滑稽 because
sometimes有时 people tell me,
163
493720
2336
但有趣的是,
有时候有人告诉我。
“麦克斯,嘘——别那样说话。
08:28
"Max马克斯, shhh, don't talk like that.
164
496080
2736
那是勒德分子(注:持有反机械化,
反自动化观点的人)在制造恐慌。“
08:30
That's Luddite勒德 scaremongering危言耸听."
165
498840
1720
08:34
But it's not scaremongering危言耸听.
166
502040
1536
但这并不是制造恐慌。
08:35
It's what we at MITMIT
call safety安全 engineering工程.
167
503600
2880
在麻省理工学院,
我们称之为安全工程。
08:39
Think about it:
168
507200
1216
想想看:
在美国航天局(NASA)
部署阿波罗 11 号任务之前,
08:40
before NASANASA launched推出
the Apollo阿波罗 11 mission任务,
169
508440
2216
08:42
they systematically系统 thought through通过
everything that could go wrong错误
170
510680
3136
他们全面地设想过
所有可能出错的状况,
毕竟是要把人类放进
易燃易爆的太空舱里,
08:45
when you put people
on top最佳 of explosive爆炸物 fuel汽油 tanks坦克
171
513840
2376
08:48
and launch发射 them somewhere某处
where no one could help them.
172
516240
2616
再将他们发射上
一个无人能助的境遇。
可能出错的情况非常多,
08:50
And there was a lot that could go wrong错误.
173
518880
1936
08:52
Was that scaremongering危言耸听?
174
520840
1480
那是在制造恐慌吗?
08:55
No.
175
523159
1217
不是。
那正是在做安全工程的工作,
08:56
That's was precisely恰恰
the safety安全 engineering工程
176
524400
2016
以确保任务顺利进行,
08:58
that ensured确保 the success成功 of the mission任务,
177
526440
1936
这正是我认为处理 AGI 时
应该采取的策略。
09:00
and that is precisely恰恰 the strategy战略
I think we should take with AGIAgi.
178
528400
4176
09:04
Think through通过 what can go wrong错误
to make sure it goes right.
179
532600
4056
想清楚什么可能出错,
然后避免它的发生。
09:08
So in this spirit精神,
we've我们已经 organized有组织的 conferences会议,
180
536680
2536
基于这样的精神,
我们组织了几场大会,
09:11
bringing使 together一起 leading领导
AIAI researchers研究人员 and other thinkers思想家
181
539240
2816
邀请了世界顶尖的人工智能研究者
和其他有想法的专业人士,
来探讨如何发展这样的智慧,
从而确保人工智能对人类有益。
09:14
to discuss讨论 how to grow增长 this wisdom智慧
we need to keep AIAI beneficial有利.
182
542080
3736
09:17
Our last conference会议
was in Asilomar阿西罗马州, California加州 last year
183
545840
3296
我们最近的一次大会
去年在加州的阿西洛玛举行,
09:21
and produced生成 this list名单 of 23 principles原则
184
549160
3056
我们得出了 23 条原则,
09:24
which哪一个 have since以来 been signed
by over 1,000 AIAI researchers研究人员
185
552240
2896
自此已经有超过 1000 位
人工智能研究者,以及核心企业的
09:27
and key industry行业 leaders领导者,
186
555160
1296
领导人参与签署。
09:28
and I want to tell you
about three of these principles原则.
187
556480
3176
我想要和各位分享
其中的三项原则。
09:31
One is that we should avoid避免 an arms武器 race种族
and lethal致命 autonomous自主性 weapons武器.
188
559680
4960
第一,我们需要避免军备竞赛,
以及致命的自动化武器出现。
09:37
The idea理念 here is that any science科学
can be used for new ways方法 of helping帮助 people
189
565480
3616
其中的想法是,任何科学都可以
用新的方式来帮助人们,
同样也可以以新的方式
对我们造成伤害。
09:41
or new ways方法 of harming汉宁波 people.
190
569120
1536
09:42
For example, biology生物学 and chemistry化学
are much more likely容易 to be used
191
570680
3936
例如,生物和化学更可能被用来
09:46
for new medicines药品 or new cures治愈
than for new ways方法 of killing谋杀 people,
192
574640
4856
制造新的医药用品,
而非带来新的杀人方法,
因为生物学家和
化学家很努力——
09:51
because biologists生物学家
and chemists化学家 pushed hard --
193
579520
2176
09:53
and successfully顺利 --
194
581720
1256
也很成功地——在推动
09:55
for bans禁令 on biological生物
and chemical化学 weapons武器.
195
583000
2176
禁止生化武器的出现。
09:57
And in the same相同 spirit精神,
196
585200
1256
基于同样的精神,
09:58
most AIAI researchers研究人员 want to stigmatize诬蔑
and ban禁止 lethal致命 autonomous自主性 weapons武器.
197
586480
4440
大部分的人工智能研究者也在
试图指责和禁止致命的自动化武器。
10:03
Another另一个 Asilomar阿西罗马州 AIAI principle原理
198
591600
1816
另一条阿西洛玛
人工智能会议的原则是,
10:05
is that we should mitigate减轻
AI-fueledAI 燃料 income收入 inequality不等式.
199
593440
3696
我们应该要减轻
由人工智能引起的收入不平等。
10:09
I think that if we can grow增长
the economic经济 pie馅饼 dramatically显着 with AIAI
200
597160
4456
我认为,我们能够大幅度利用
人工智能发展出一块经济蛋糕,
10:13
and we still can't figure数字 out
how to divide划分 this pie馅饼
201
601640
2456
但却没能相处如何来分配它
才能让所有人受益,
10:16
so that everyone大家 is better off,
202
604120
1576
10:17
then shame耻辱 on us.
203
605720
1256
那可太丢人了。
10:19
(Applause掌声)
204
607000
4096
(掌声)
10:23
Alright好的, now raise提高 your hand
if your computer电脑 has ever crashed坠毁.
205
611120
3600
那么问一个问题,如果
你的电脑有死机过的,请举手。
10:27
(Laughter笑声)
206
615480
1256
(笑声)
10:28
Wow, that's a lot of hands.
207
616760
1656
哇,好多人举手。
10:30
Well, then you'll你会 appreciate欣赏
this principle原理
208
618440
2176
那么你们就会感谢这条准则,
10:32
that we should invest投资 much more
in AIAI safety安全 research研究,
209
620640
3136
我们应该要投入更多
以确保对人工智能安全性的研究,
10:35
because as we put AIAI in charge收费
of even more decisions决定 and infrastructure基础设施,
210
623800
3656
因为我们让人工智能在主导
更多决策以及基础设施时,
10:39
we need to figure数字 out how to transform转变
today's今天的 buggy越野车 and hackable可删节 computers电脑
211
627480
3616
我们要了解如何将
会出现程序错误以及有漏洞的电脑,
转化为可靠的人工智能,
10:43
into robust强大的 AIAI systems系统
that we can really trust相信,
212
631120
2416
否则的话,
10:45
because otherwise除此以外,
213
633560
1216
这些了不起的新技术
就会出现故障,反而伤害到我们,
10:46
all this awesome真棒 new technology技术
can malfunction故障 and harm危害 us,
214
634800
2816
或被黑入以后转而对抗我们。
10:49
or get hacked砍死 and be turned转身 against反对 us.
215
637640
1976
10:51
And this AIAI safety安全 work
has to include包括 work on AIAI value alignment对准,
216
639640
5696
这项人工智能安全性的工作
必须包含对人工智能价值观的校准,
10:57
because the real真实 threat威胁
from AGIAgi isn't malice恶意,
217
645360
2816
因为 AGI 会带来的威胁
通常并非出于恶意——
就像是愚蠢的
好莱坞电影中表现的那样,
11:00
like in silly愚蠢 Hollywood好莱坞 movies电影,
218
648200
1656
11:01
but competence权限 --
219
649880
1736
而是源于能力——
11:03
AGIAgi accomplishing完成 goals目标
that just aren't aligned对齐 with ours我们的.
220
651640
3416
AGI 想完成的目标
与我们的目标背道而驰。
11:07
For example, when we humans人类 drove开车
the West西 African非洲人 black黑色 rhino犀牛 extinct绝种,
221
655080
4736
例如,当我们人类促使了
西非的黑犀牛灭绝时,
11:11
we didn't do it because we were a bunch
of evil邪恶 rhinoceros犀牛 haters仇敌, did we?
222
659840
3896
并不是因为我们是邪恶
且痛恨犀牛的家伙,对吧?
11:15
We did it because
we were smarter聪明 than them
223
663760
2056
我们能够做到
只是因为我们比它们聪明,
11:17
and our goals目标 weren't aligned对齐 with theirs他们的.
224
665840
2576
而我们的目标和它们的目标相违背。
11:20
But AGIAgi is by definition定义 smarter聪明 than us,
225
668440
2656
但是 AGI 在定义上就比我们聪明,
11:23
so to make sure that we don't put
ourselves我们自己 in the position位置 of those rhinos犀牛
226
671120
3576
所以必须确保我们别让
自己落到了黑犀牛的境遇,
11:26
if we create创建 AGIAgi,
227
674720
1976
如果我们发明 AGI,
11:28
we need to figure数字 out how
to make machines understand理解 our goals目标,
228
676720
4176
首先就要解决如何
让机器明白我们的目标,
11:32
adopt采用 our goals目标 and retain保留 our goals目标.
229
680920
3160
选择采用我们的目标,
并一直跟随我们的目标。
11:37
And whose谁的 goals目标 should these be, anyway无论如何?
230
685320
2856
不过,这些目标到底是谁的目标?
11:40
Which哪一个 goals目标 should they be?
231
688200
1896
这些目标到底是什么目标?
11:42
This brings带来 us to the third第三 part部分
of our rocket火箭 metaphor隐喻: the destination目的地.
232
690120
3560
这就引出了火箭比喻的
第三部分:目的地。
11:47
We're making制造 AIAI more powerful强大,
233
695160
1856
我们要让人工智能的力量更强大,
11:49
trying to figure数字 out how to steer驾驶 it,
234
697040
1816
试图想办法来操控它,
11:50
but where do we want to go with it?
235
698880
1680
但我们到底想把它带去何方呢?
11:53
This is the elephant in the room房间
that almost几乎 nobody没有人 talks会谈 about --
236
701760
3656
这就像是房间里的大象,
显而易见却无人问津——
11:57
not even here at TEDTED --
237
705440
1856
甚至在 TED 也没人谈论——
11:59
because we're so fixated迷恋
on short-term短期 AIAI challenges挑战.
238
707320
4080
因为我们都把目光
聚焦于短期的人工智能挑战。
12:04
Look, our species种类 is trying to build建立 AGIAgi,
239
712080
4656
你们看,我们人类
正在试图建造 AGI,
12:08
motivated动机 by curiosity好奇心 and economics经济学,
240
716760
3496
由我们的好奇心
以及经济需求所带动,
12:12
but what sort分类 of future未来 society社会
are we hoping希望 for if we succeed成功?
241
720280
3680
但如果我们能成功,
希望能创造出怎样的未来社会呢?
12:16
We did an opinion意见 poll轮询 on this recently最近,
242
724680
1936
最近对于这一点,
我们做了一次观点投票,
结果很让我惊讶,
12:18
and I was struck来袭 to see
243
726640
1216
大部分的人其实希望
我们能打造出超级人工智能:
12:19
that most people actually其实
want us to build建立 superintelligence超级智能:
244
727880
2896
在各个方面都
比我们聪明的人工智能,
12:22
AIAI that's vastly大大 smarter聪明
than us in all ways方法.
245
730800
3160
12:27
What there was the greatest最大 agreement协议 on
was that we should be ambitious有雄心
246
735120
3416
大家甚至一致希望
我们应该更有野心,
并协助生命在宇宙中的拓展,
12:30
and help life spread传播 into the cosmos宇宙,
247
738560
2016
但对于应该由谁,或者什么来主导,
大家就各持己见了。
12:32
but there was much less agreement协议
about who or what should be in charge收费.
248
740600
4496
有件事我觉得非常奇妙,
12:37
And I was actually其实 quite相当 amused
249
745120
1736
12:38
to see that there's some some people
who want it to be just machines.
250
746880
3456
就是我看到有些人居然表示
让机器主导就好了。
12:42
(Laughter笑声)
251
750360
1696
(笑声)
12:44
And there was total disagreement异议
about what the role角色 of humans人类 should be,
252
752080
3856
至于人类该扮演怎样的角色,
大家的意见简直就是大相径庭,
12:47
even at the most basic基本 level水平,
253
755960
1976
即使在最基础的层面上也是,
12:49
so let's take a closer接近 look
at possible可能 futures期货
254
757960
2816
那么让我们进一步
去看看这些可能的未来,
我们可能去往目的地,怎么样?
12:52
that we might威力 choose选择
to steer驾驶 toward, alright好的?
255
760800
2736
别误会我的意思,
12:55
So don't get be wrong错误 here.
256
763560
1336
我不是在谈论太空旅行,
12:56
I'm not talking about space空间 travel旅行,
257
764920
2056
12:59
merely仅仅 about humanity's人类的
metaphorical隐喻 journey旅程 into the future未来.
258
767000
3200
只是打个比方,
人类进入未来的这个旅程。
13:02
So one option选项 that some
of my AIAI colleagues同事 like
259
770920
3496
我的一些研究人工智能的同事
很喜欢的一个选择就是
13:06
is to build建立 superintelligence超级智能
and keep it under human人的 control控制,
260
774440
3616
打造人工智能,
并确保它被人类所控制,
就像被奴役起来的神一样,
13:10
like an enslaved奴役 god,
261
778080
1736
13:11
disconnected断开的 from the internet互联网
262
779840
1576
网络连接被断开,
13:13
and used to create创建 unimaginable不可思议
technology技术 and wealth财富
263
781440
3256
为它的操控者创造出无法想象的
13:16
for whoever controls控制 it.
264
784720
1240
科技和财富。
13:18
But Lord Acton阿克顿 warned警告 us
265
786800
1456
但是艾克顿勋爵(Lord Acton)
警告过我们,
13:20
that power功率 corrupts腐败,
and absolute绝对 power功率 corrupts腐败 absolutely绝对,
266
788280
3616
权力会带来腐败,
绝对的权力终将带来绝对的腐败,
13:23
so you might威力 worry担心 that maybe
we humans人类 just aren't smart聪明 enough足够,
267
791920
4056
所以也许你会担心
我们人类就是还不够聪明,
或者不够智慧,
13:28
or wise明智的 enough足够 rather,
268
796000
1536
无法妥善处理过多的权力。
13:29
to handle处理 this much power功率.
269
797560
1240
13:31
Also, aside在旁边 from any
moral道德 qualms疑虑 you might威力 have
270
799640
2536
还有,除了对于奴役带来的优越感,
13:34
about enslaving奴役 superior优越 minds头脑,
271
802200
2296
你可能还会产生道德上的忧虑,
13:36
you might威力 worry担心 that maybe
the superintelligence超级智能 could outsmart智取 us,
272
804520
3976
你也许会担心人工智能
能够在智慧上超越我们,
13:40
break打破 out and take over.
273
808520
2240
奋起反抗,并取得我们的控制权。
13:43
But I also have colleagues同事
who are fine with AIAI taking服用 over
274
811560
3416
但是我也有同事认为,
让人工智能来操控一切也无可厚非,
13:47
and even causing造成 human人的 extinction灭绝,
275
815000
2296
造成人类灭绝也无妨,
13:49
as long as we feel the the AIs认可
are our worthy值得 descendants后人,
276
817320
3576
只要我们觉得人工智能
配得上成为我们的后代,
13:52
like our children孩子.
277
820920
1736
就像是我们的孩子。
13:54
But how would we know that the AIs认可
have adopted采用 our best最好 values
278
822680
5616
但是我们如何才能知道
人工智能汲取了我们最好的价值观,
14:00
and aren't just unconscious无意识 zombies僵尸
tricking淋水 us into anthropomorphizinganthropomorphizing them?
279
828320
4376
而不是只是一个无情的僵尸,
让我们误以为它们有人性?
14:04
Also, shouldn't不能 those people
who don't want human人的 extinction灭绝
280
832720
2856
此外,那些绝对不想
看到人类灭绝的人,
对此应该也有话要说吧?
14:07
have a say in the matter, too?
281
835600
1440
14:10
Now, if you didn't like either
of those two high-tech高科技 options选项,
282
838200
3376
如果这两个高科技的选择
都不是你所希望的,
14:13
it's important重要 to remember记得
that low-tech技术含量低 is suicide自杀
283
841600
3176
请记得,从宇宙历史的角度来看,
低级的科技如同自杀,
14:16
from a cosmic宇宙的 perspective透视,
284
844800
1256
14:18
because if we don't go far
beyond today's今天的 technology技术,
285
846080
2496
因为如果我们不能
远远超越今天的科技,
问题就不再是人类是否会灭绝,
14:20
the question isn't whether是否 humanity人性
is going to go extinct绝种,
286
848600
2816
而是让我们灭绝的会是下一次
14:23
merely仅仅 whether是否
we're going to get taken采取 out
287
851440
2016
巨型流星撞击地球,
还是超级火山爆发,
14:25
by the next下一个 killer凶手 asteroid小行星, supervolcano超级火山
288
853480
2136
14:27
or some other problem问题
that better technology技术 could have solved解决了.
289
855640
3096
亦或是一些其他本该可以
由更好的科技来解决的问题。
14:30
So, how about having
our cake蛋糕 and eating it ...
290
858760
3576
所以,为什么不干脆
坐享其成……
使用非奴役的 AGI,
14:34
with AGIAgi that's not enslaved奴役
291
862360
1840
14:37
but treats对待 us well because its values
are aligned对齐 with ours我们的?
292
865120
3176
因为价值观和我们一致,
愿意和我们并肩作战的 AGI?
14:40
This is the gist要旨 of what Eliezer伊利瑟 YudkowskyYudkowsky
has called "friendly友善 AIAI,"
293
868320
4176
尤多科斯基(Eliezer Yudkowsky) 所谓的
“友善的人工智能” 就是如此,
14:44
and if we can do this,
it could be awesome真棒.
294
872520
2680
若我们能做到这点,那简直太棒了。
14:47
It could not only eliminate消除 negative
experiences经验 like disease疾病, poverty贫穷,
295
875840
4816
它或许不会解决负面的影响,
如疾病,贫穷,
犯罪或是其它,
14:52
crime犯罪 and other suffering痛苦,
296
880680
1456
14:54
but it could also give us
the freedom自由 to choose选择
297
882160
2816
但是它会给予我们自由,
让我们从那些正面的
境遇中去选择——
14:57
from a fantastic奇妙 new diversity多样
of positive experiences经验 --
298
885000
4056
15:01
basically基本上 making制造 us
the masters主人 of our own拥有 destiny命运.
299
889080
3160
让我们成为自己命运的主人。
15:06
So in summary概要,
300
894280
1376
总的来说,
在科技上,我们的现状很复杂,
15:07
our situation情况 with technology技术
is complicated复杂,
301
895680
3096
15:10
but the big picture图片 is rather simple简单.
302
898800
2416
但是若从大局来看,又很简单。
15:13
Most AIAI researchers研究人员
expect期望 AGIAgi within decades几十年,
303
901240
3456
多数人工智能的研究者认为
AGI 能在未来十年内实现,
15:16
and if we just bumble弄糟
into this unprepared措手不及,
304
904720
3136
如果我们没有事先
准备好去面对它们,
15:19
it will probably大概 be
the biggest最大 mistake错误 in human人的 history历史 --
305
907880
3336
就可能成为人类历史上
最大的一个错误——
15:23
let's face面对 it.
306
911240
1416
我们要面对现实。
15:24
It could enable启用 brutal野蛮,
global全球 dictatorship专政
307
912680
2576
它可能导致残酷的
全球独裁主义变成现实,
15:27
with unprecedented史无前例 inequality不等式,
surveillance监控 and suffering痛苦,
308
915280
3536
造成前所未有的
不平等监控和苦难,
15:30
and maybe even human人的 extinction灭绝.
309
918840
1976
或许甚至导致人类灭绝。
15:32
But if we steer驾驶 carefully小心,
310
920840
2320
但是如果我们能小心操控,
15:36
we could end结束 up in a fantastic奇妙 future未来
where everybody's每个人的 better off:
311
924040
3896
我们可能会有个美好的未来,
人人都会受益的未来,
15:39
the poor较差的 are richer更丰富, the rich丰富 are richer更丰富,
312
927960
2376
穷人变得富有,富人变得更富有,
15:42
everybody每个人 is healthy健康
and free自由 to live生活 out their dreams.
313
930360
3960
每个人都是健康的,
能自由地去实现他们的梦想。
15:47
Now, hang on.
314
935000
1536
不过先别急。
15:48
Do you folks乡亲 want the future未来
that's politically政治上 right or left?
315
936560
4576
你们希望未来的政治
是左派还是右派?
15:53
Do you want the pious society社会
with strict严格 moral道德 rules规则,
316
941160
2856
你们想要一个有
严格道德准则的社会,
还是一个人人可参与的
享乐主义社会,
15:56
or do you an hedonistic享乐主义 free-for-all免费为所有,
317
944040
1816
15:57
more like Burning燃烧 Man 24/7?
318
945880
2216
更像是个无时无刻
不在运转的火人盛会?
16:00
Do you want beautiful美丽 beaches海滩,
forests森林 and lakes湖泊,
319
948120
2416
你们想要美丽的海滩、森林和湖泊,
16:02
or would you prefer比较喜欢 to rearrange改编
some of those atoms原子 with the computers电脑,
320
950560
3416
还是偏好用电脑
重新排列组成新的原子,
实现真正的虚拟现实?
16:06
enabling启用 virtual虚拟 experiences经验?
321
954000
1715
有了友善的人工智能,
我们就能轻而易举地建立这些社会,
16:07
With friendly友善 AIAI, we could simply只是
build建立 all of these societies社会
322
955739
3157
16:10
and give people the freedom自由
to choose选择 which哪一个 one they want to live生活 in
323
958920
3216
让大家有自由去选择
想要生活在怎样的社会里,
因为我们不会再受到
自身智慧的限制,
16:14
because we would no longer
be limited有限 by our intelligence情报,
324
962160
3096
16:17
merely仅仅 by the laws法律 of physics物理.
325
965280
1456
唯一的限制只有物理的定律。
16:18
So the resources资源 and space空间
for this would be astronomical天文 --
326
966760
4616
所以资源和空间会取之不尽——
毫不夸张。
16:23
literally按照字面.
327
971400
1320
16:25
So here's这里的 our choice选择.
328
973320
1200
我们的选择如下:
16:27
We can either be complacent自满
about our future未来,
329
975880
2320
我们可以对未来感到自满,
16:31
taking服用 as an article文章 of blind faith信仰
330
979440
2656
带着盲目的信念,
16:34
that any new technology技术
is guaranteed保证 to be beneficial有利,
331
982120
4016
相信任何科技必定是有益的,
16:38
and just repeat重复 that to ourselves我们自己
as a mantra口头禅 over and over and over again
332
986160
4136
并将这个想法当作
圣歌一般,不断默念,
让我们像漫无目的船只,
驶向自我消亡的结局。
16:42
as we drift漂移 like a rudderless群龙无首 ship
towards our own拥有 obsolescence报废.
333
990320
3680
16:46
Or we can be ambitious有雄心 --
334
994920
1880
或者,我们可以拥有雄心壮志——
16:49
thinking思维 hard about how
to steer驾驶 our technology技术
335
997840
2456
努力去找到操控我们科技的方法,
16:52
and where we want to go with it
336
1000320
1936
以及向往的目的地,
创造出真正令人惊奇的时代。
16:54
to create创建 the age年龄 of amazement惊愕.
337
1002280
1760
16:57
We're all here to celebrate庆祝
the age年龄 of amazement惊愕,
338
1005000
2856
我们相聚在这里,
赞颂这令人惊奇的时代,
16:59
and I feel that its essence本质 should lie谎言
in becoming变得 not overpowered制服
339
1007880
4440
我觉得,它的精髓应当是,
让科技赋予我们力量,
17:05
but empowered授权 by our technology技术.
340
1013240
2616
而非反过来受控于它。
谢谢大家。
17:07
Thank you.
341
1015880
1376
(掌声)
17:09
(Applause掌声)
342
1017280
3080
Translated by Yanyan Hong

▲Back to top

ABOUT THE SPEAKER
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com