TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Ник Бостром: Что произойдёт, когда компьютеры станут умнее нас?
Filmed:
Readability: 4.4
4,632,705 views
Искусственный интеллект становится умнее не по дням, а по часам. Исследования показывают, что в течение этого столетия ИИ может стать таким же «умным», как и человек. Ник Бостром говорит: «ИИ обгонит нас. Машинный интеллект — самое последнее изобретение, которое человечеству когда-либо придётся создать». Философ и технолог, Бостром просит нас хорошенько подумать о мире, управляемом мыслящими машинами, о мире, который мы сейчас создаём. Будут ли умные машины помогать человечеству и нашим ценностям или же у них будут свои ценности?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Я работаю с математиками,
философами и информатиками.
философами и информатиками.
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
Среди всего прочего,
мы собираемся и думаем
мы собираемся и думаем
00:21
among other things.
2
9986
2044
о будущем машинного интеллекта.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Некоторые люди полагают,
что это вроде научной фантастики,
что это вроде научной фантастики,
00:28
far out there, crazy.
4
16755
3101
далеко отсюда, безумие какое-то.
00:31
But I like to say,
5
19856
1470
Но я люблю говорить
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
хорошо, давайте глянем
на современное состояние человечества.
на современное состояние человечества.
00:36
(Laughter)
7
24930
1692
(Смех)
00:38
This is the normal way for things to be.
8
26622
2402
Всё как обычно.
00:41
But if we think about it,
9
29024
2285
Но если задуматься над этим,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
на самом деле мы гости, появившиеся
совсем недавно на этой планете,
совсем недавно на этой планете,
00:46
the human species.
11
34602
2082
человеческий род.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Задумайтесь, если бы Земля
была создана год назад,
была создана год назад,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
человеческому роду было бы
всего 10 минут от роду.
всего 10 минут от роду.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
Индустриальная эра началась
две секунды назад.
две секунды назад.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Другой способ взглянуть на это — подумать
о мировом ВВП за последние 10000 лет.
о мировом ВВП за последние 10000 лет.
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Я построил для вас график.
01:09
It looks like this.
17
57530
1774
Это выглядит вот так.
01:11
(Laughter)
18
59304
1363
(Смех)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
Это любопытная форма
для обычного состояния.
для обычного состояния.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Я бы не хотел сидеть на этом.
01:16
(Laughter)
21
64516
2551
(Смех)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Давайте спросим себя, что же является
причиной нынешней аномалии?
причиной нынешней аномалии?
01:23
Some people would say it's technology.
23
71841
2552
Кто-то скажет, что это технологии.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
Да, это правда, технологии накопились
за всё время существования человека,
за всё время существования человека,
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
и сейчас технологии
развиваются чрезвычайно быстро —
развиваются чрезвычайно быстро —
01:35
that is the proximate cause,
26
83713
1565
это непосредственная причина,
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
вот почему мы в последнее время
очень продуктивны.
очень продуктивны.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Но мне хочется думать дальше,
об окончательной цели.
об окончательной цели.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Взгляните на этих двух
выдающихся джентльменов:
выдающихся джентльменов:
01:48
We have Kanzi --
30
96880
1600
У нас есть Канзи,
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
он освоил 200 лексем,
невероятный подвиг.
невероятный подвиг.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
И Эд Уиттен, развязавший
вторую революцию в теории струн.
вторую революцию в теории струн.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Если мы посмотрим вглубь,
вот что мы найдём:
вот что мы найдём:
02:01
basically the same thing.
34
109141
1570
в основном одно и то же.
02:02
One is a little larger,
35
110711
1813
Один чуть крупнее,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
может быть, хитрее устроен изнутри.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Как бы там ни было, невидимые различия
не могут быть очень сложными,
не могут быть очень сложными,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
потому что появилось
всего 250 000 поколений
всего 250 000 поколений
02:15
since our last common ancestor.
39
123379
1732
после нашего последнего общего предка.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Мы знаем, что сложным механизмам
для эволюции требуется много времени.
для эволюции требуется много времени.
02:22
So a bunch of relatively minor changes
41
130000
2499
Куча относительно незначительных изменений
02:24
take us from Kanzi to Witten,
42
132499
3067
привела нас от Канзи к Уиттену,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
от палок-копалок к межконтинентальным
баллистическим ракетам.
баллистическим ракетам.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Поэтому становится довольно очевидным,
что всё достигнутое,
что всё достигнутое,
02:36
and everything we care about,
45
144774
1378
и всё важное для нас
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
кардинально зависит от незначительных
изменений, создавших человеческий разум.
изменений, создавших человеческий разум.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
И следствием, конечно же, является,
то, что какие-либо дальнейшие изменения,
то, что какие-либо дальнейшие изменения,
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
которые могли бы существенно
изменить основание мышления,
изменить основание мышления,
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
могут иметь потенциально
огромные последствия.
огромные последствия.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Некоторые из моих коллег думают,
что мы на грани
что мы на грани
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
чего-то, что может создать
глубокое изменение в том основании
глубокое изменение в том основании
03:03
and that is machine superintelligence.
52
171134
3213
и это машинный суперинтеллект.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
Искусственным интеллектом ранее считался
ввод команд в ящик.
ввод команд в ящик.
03:11
You would have human programmers
54
179086
1665
У вас есть программисты-люди,
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
которые кропотливо вручную
создавали крупицы знаний.
создавали крупицы знаний.
03:15
You build up these expert systems,
56
183886
2086
Вы строите экспертные системы,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
и они были в какой-то степени полезны
для некоторых целей,
для некоторых целей,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
но они были очень хрупкими,
они не масштабировались.
они не масштабировались.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
В основном мы получали
только то, что вводили.
только то, что вводили.
03:26
But since then,
60
194410
997
Но с тех пор
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
в области искусственного интеллекта
произошла смена парадигмы.
произошла смена парадигмы.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Сегодня вся активность сосредоточена
вокруг машинного обучения.
вокруг машинного обучения.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Вместо создания знания вручную
мы создаём алгоритмы,
мы создаём алгоритмы,
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
которые обучаются, зачастую
из необработанных сигналов сенсоров.
из необработанных сигналов сенсоров.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Почти то же, что делает младенец.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
В результате ИИ не ограничен
одной областью знаний.
одной областью знаний.
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
Одна и та же система может научиться переводить
между несколькими парами языков,
между несколькими парами языков,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
или научиться играть в компьютерные игры
на игровой приставке Atari.
на игровой приставке Atari.
04:05
Now of course,
69
233338
1779
Конечно,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
ИИ до сих пор далёк
от мощной междисциплинарной способности
от мощной междисциплинарной способности
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
обучаться и планировать,
как это делает человек.
как это делает человек.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
У коры мозга всё ещё есть
некоторые алгоритмические приёмы,
некоторые алгоритмические приёмы,
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
которые мы ещё не знаем,
как реализовать в машинах.
как реализовать в машинах.
04:19
So the question is,
74
247886
1899
Вопрос в том,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
как мы далеки от возможности
реализовать эти приёмы?
реализовать эти приёмы?
04:26
A couple of years ago,
76
254245
1083
Пару лет назад
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
мы опросили
ведущих мировых экспертов по ИИ.
ведущих мировых экспертов по ИИ.
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
Одним из наших вопросов был:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
«К какому году будет 50% вероятности,
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
что мы достигнем машинного интеллекта
человеческого уровня?»
человеческого уровня?»
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Мы определили человеческий уровень
как способность выполнять
как способность выполнять
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
практически любую работу также хорошо,
как взрослый человек.
как взрослый человек.
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
Обычный человеческий уровень, не только
в пределах какой-то ограниченной области.
в пределах какой-то ограниченной области.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
И средний ответ был 2040 или 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
в зависимости от группы экспертов,
которую мы опрашивали.
которую мы опрашивали.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Это может произойти намного-намного
позднее или же раньше,
позднее или же раньше,
05:02
the truth is nobody really knows.
87
290339
1940
по правде говоря, никто точно не знает.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
Но мы точно знаем, что предел скорости
обработки информации машинами
обработки информации машинами
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
лежит далеко за пределами
возможностей биологической ткани.
возможностей биологической ткани.
05:15
This comes down to physics.
90
303241
2378
Всё сводится к физике.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Биологический нейрон срабатывает
примерно 200 раз в секунду, 200 герц.
примерно 200 раз в секунду, 200 герц.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Но даже современный транзистор
работает на гигагерцах.
работает на гигагерцах.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Нейроны медленно двигаются в аксонах,
максимум 100 метров в секунду.
максимум 100 метров в секунду.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
А в компьютерах сигналы могут
путешествовать со скоростью света.
путешествовать со скоростью света.
05:35
There are also size limitations,
95
323079
1869
Есть также ограничения по размеру.
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
Человеческий мозг
обязан умещаться внутри черепа,
обязан умещаться внутри черепа,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
а компьютер может быть
размером со склад или даже больше.
размером со склад или даже больше.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Потенциал для интеллекта
дремлет в материи,
дремлет в материи,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
так же как энергия атома дремала
на протяжении всей человеческой истории,
на протяжении всей человеческой истории,
05:56
patiently waiting there until 1945.
100
344047
4405
терпеливо ожидая 1945 года.
06:00
In this century,
101
348452
1248
В этом столетии
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
учёные могут узнать, как пробудить
энергию искусственного интеллекта.
энергию искусственного интеллекта.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
И я думаю, что тогда мы могли бы
увидеть взрыв интеллекта.
увидеть взрыв интеллекта.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
Сейчас большинство людей, когда они думают
о том, что умно, а что глупо,
о том, что умно, а что глупо,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
думаю у них в голове
примерно такая картинка.
примерно такая картинка.
06:17
So at one end we have the village idiot,
106
365386
2598
На одном конце у нас есть
деревенский идиот,
деревенский идиот,
06:19
and then far over at the other side
107
367984
2483
а далеко на другой стороне
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
у нас есть Эд Уиттен или Альберт Эйнштейн,
или кто-либо из ваших любимых гуру.
или кто-либо из ваших любимых гуру.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Но я думаю, что с точки зрения
искусственного интеллекта
искусственного интеллекта
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
настоящая картинка выглядит
примерно вот так.
примерно вот так.
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
ИИ начинается отсюда,
в нулевом интеллекте
в нулевом интеллекте
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
и затем, после многих, многих лет
очень тяжёлой работы,
очень тяжёлой работы,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
может быть, в итоге, мы получим
искусственный интеллект уровня мыши.
искусственный интеллект уровня мыши.
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
Что-то, что сможет перемещаться
по беспорядочным средам,
по беспорядочным средам,
06:47
as well as a mouse can.
115
395921
1987
также как может мышь.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
Затем, после многих, многих лет
тяжёлой работы, множества инвестиций,
тяжёлой работы, множества инвестиций,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
может быть, в итоге, мы получим
искусственный интеллект уровня шимпанзе.
искусственный интеллект уровня шимпанзе.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
Затем, после многих, многих лет
очень, очень тяжёлой работы,
очень, очень тяжёлой работы,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
мы придём к искусственному интеллекту
деревенского дурачка.
деревенского дурачка.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
И несколько мгновений спустя
окажемся дальше Эда Уиттена.
окажемся дальше Эда Уиттена.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
Поезд не останавливается
на станции «Человечество».
на станции «Человечество».
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
Скорее он со свистом пронесётся мимо.
07:14
Now this has profound implications,
123
422247
1984
У этого далеко идущие последствия,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
особенно когда это касается
вопросов энергии.
вопросов энергии.
07:20
For example, chimpanzees are strong --
125
428093
1899
Например, шимпанзе сильные
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
во всех отношениях, шимпанзе примерно
в два раза сильнее мужчины в форме.
в два раза сильнее мужчины в форме.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
И ещё — судьба Канзи и его товарищей
гораздо больше зависит
гораздо больше зависит
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
от людей, чем от самих шимпанзе.
07:37
Once there is superintelligence,
129
445228
2314
Как только появится суперинтеллект,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
судьба человечества может зависеть
от того, что будет делать суперинтеллект.
от того, что будет делать суперинтеллект.
07:44
Think about it:
131
452451
1057
Подумайте об этом:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
машинный интеллект —
последнее изобретение человечества.
последнее изобретение человечества.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
Тогда машины будут лучше
в изобретениях, чем мы,
в изобретениях, чем мы,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
и они будут это делать
с цифровой скоростью.
с цифровой скоростью.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
Это означает
телескопичность будущего.
телескопичность будущего.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Подумайте обо всех
сумасшедших технологиях,
сумасшедших технологиях,
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
которые люди могли бы открыть,
имея время в избытке:
имея время в избытке:
08:07
cures for aging, space colonization,
138
475322
3258
лекарства от старения,
колонизация космоса,
колонизация космоса,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
самовоспроизводящиеся нанороботы
или загрузка мозгов в компьютеры,
или загрузка мозгов в компьютеры,
08:14
all kinds of science fiction-y stuff
140
482311
2159
все виды вещей из научной фантастики,
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
в рамках законов физики, конечно.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Всё это мог бы открыть суперинтеллект
и, возможно, довольно таки быстро.
и, возможно, довольно таки быстро.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Суперинтеллект
с такой технологической зрелостью
с такой технологической зрелостью
08:28
would be extremely powerful,
144
496007
2179
был бы чрезвычайно влиятельным,
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
и, по крайней мере по некоторым сценариям,
он сможет получить всё, что захочет.
он сможет получить всё, что захочет.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Мы бы тогда имели будущее,
сформированное предпочтениями этого ИИ.
сформированное предпочтениями этого ИИ.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Теперь интересный вопрос в том,
каковы эти предпочтения?
каковы эти предпочтения?
08:46
Here it gets trickier.
148
514244
1769
Тут всё хитрее.
08:48
To make any headway with this,
149
516013
1435
Чтобы как-то сдвинуться,
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
прежде всего мы обязаны
избегать очеловечивания.
избегать очеловечивания.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
И это иронично, потому что
в каждой газетной статье
в каждой газетной статье
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
о будущем ИИ есть такая картинка.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Я думаю, что нам необходимо
представить проблему более абстрактно,
представить проблему более абстрактно,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
без ярких голливудских сценариев.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Нам нужно подумать об интеллекте,
как о процессе оптимизации,
как о процессе оптимизации,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
процессе, регулирующем будущее
в определённый набор конфигураций.
в определённый набор конфигураций.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
Суперинтеллект это очень сильный
процесс оптимизации.
процесс оптимизации.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
Он чрезвычайно хорош
в использовании доступных средств
в использовании доступных средств
09:26
in which its goal is realized.
159
554098
1909
для достижения цели.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Это значит, что нет
обязательной связи между
обязательной связи между
09:31
being highly intelligent in this sense,
161
559119
2734
«быть очень интеллектуальным»
в этом смысле
в этом смысле
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
и «иметь цель, которую мы люди
нашли бы стоящей и значимой».
нашли бы стоящей и значимой».
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
Предположим, что мы дали ИИ цель —
«улыбнуть» людей.
«улыбнуть» людей.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Когда ИИ слаб, он выполняет
полезные и забавные действия,
полезные и забавные действия,
09:46
that cause its user to smile.
165
574097
2517
которые вызывают улыбку у пользователя.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
Когда ИИ становится суперумным,
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
он понимает, что существует более
эффективный способ достичь эту цель:
эффективный способ достичь эту цель:
09:54
take control of the world
168
582554
1922
взять мир под контроль
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
и вживлять электроды
в лицевые мышцы людей,
в лицевые мышцы людей,
09:59
to cause constant, beaming grins.
170
587638
2941
вызывая постоянные сияющие улыбки.
10:02
Another example,
171
590579
1035
Другой пример.
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
Предположим, мы даём ИИ цель —
решить трудную математическую проблему.
решить трудную математическую проблему.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Когда ИИ становится суперумным,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
он понимает, что самый эффективный способ
решить проблему —
решить проблему —
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
преобразовать планету
в гигантский компьютер,
в гигантский компьютер,
10:16
so as to increase its thinking capacity.
176
604035
2246
чтобы улучшить
свою мыслительную способность.
свою мыслительную способность.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
И заметьте, что это даёт ИИ
инструментальное обоснование
инструментальное обоснование
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
делать для нас вещи,
которые мы можем не одобрить.
которые мы можем не одобрить.
10:23
Human beings in this model are threats,
179
611561
1935
Люди в этой модели являются угрозами —
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
мы могли препятствовать решению
математической проблемы.
математической проблемы.
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
Конечно, вещи не выйдут из-под контроля
именно такими способами,
именно такими способами,
10:32
these are cartoon examples.
182
620701
1753
это надуманные примеры.
10:34
But the general point here is important:
183
622454
1939
Но главная суть здесь важна:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
если вы создаёте
очень мощный процесс оптимизации
очень мощный процесс оптимизации
10:39
to maximize for objective x,
185
627266
2234
для максимизации цели «икс»,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
вам лучше убедиться,
что ваше определение «икс»
что ваше определение «икс»
10:43
incorporates everything you care about.
187
631776
2469
включает всё, что вас волнует.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Это урок, который также
давался во многих мифах.
давался во многих мифах.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
Король Мидас желает, чтобы всё,
чего он касается, превращалось в золото.
чего он касается, превращалось в золото.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Он трогает свою дочь,
она превращается в золото.
она превращается в золото.
10:59
He touches his food, it turns into gold.
191
647378
2553
Он трогает свою еду,
она превращается в золото.
она превращается в золото.
11:01
This could become practically relevant,
192
649931
2589
Это могло стать актуальным на практике,
11:04
not just as a metaphor for greed,
193
652520
2070
не только как метафора для жадности,
11:06
but as an illustration of what happens
194
654590
1895
но как иллюстрация возможности,
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
что будет, если вы создадите
мощный процесс оптимизации
мощный процесс оптимизации
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
и дадите ему неправильное представление
или плохо определённые цели.
или плохо определённые цели.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Вы можете сказать, что если компьютер
начнёт вживлять электроды в лица людей,
начнёт вживлять электроды в лица людей,
11:21
we'd just shut it off.
198
669300
2265
мы просто отключим его.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
А) это не обязательно легко сделать,
если мы стали зависимыми от системы.
если мы стали зависимыми от системы.
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
Например, где кнопка отключения интернета?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
Б) почему шимпанзе не отключили
кнопку человечества
кнопку человечества
11:37
or the Neanderthals?
202
685747
1551
или неандертальцы?
11:39
They certainly had reasons.
203
687298
2666
У них определённо были причины.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
У нас есть кнопка выключения,
например, прямо здесь.
например, прямо здесь.
11:44
(Choking)
205
692759
1554
(Душит)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
Причина в том, что мы
интеллектуальные соперники:
интеллектуальные соперники:
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
мы можем предвидеть угрозы
и планировать обходные пути.
и планировать обходные пути.
11:51
But so could a superintelligent agent,
208
699966
2504
Но это может и суперумный агент,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
и он будет намного лучше в этом, чем мы.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
Суть в том, что мы не должны быть уверены,
что у нас это под контролем.
что у нас это под контролем.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
И мы могли бы попытаться сделать
нашу работу проще, скажем,
нашу работу проще, скажем,
12:08
putting the A.I. in a box,
212
716358
1590
запихнув ИИ в коробку,
12:09
like a secure software environment,
213
717948
1796
в безопасную программную среду,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
виртуальную имитацию реальности
из которой он не сможет сбежать.
из которой он не сможет сбежать.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Но насколько мы можем быть уверены,
что ИИ не сможет найти такую ошибку.
что ИИ не сможет найти такую ошибку.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Учитывая, что даже человеческие хакеры
находят ошибки всё время,
находят ошибки всё время,
12:22
I'd say, probably not very confident.
217
730081
3036
я бы сказал, возможно, не очень уверены.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Мы отсоединили сетевой кабель,
чтобы создать воздушный зазор.
чтобы создать воздушный зазор.
12:30
but again, like merely human hackers
219
738785
2668
Но опять же, человеческие хакеры
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
регулярно нарушают воздушные зазоры,
используя социальную инженерию.
используя социальную инженерию.
12:36
Right now, as I speak,
221
744834
1259
В то время как я говорю,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
я уверен, где-то там
есть некий работник,
есть некий работник,
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
которого убедил раскрыть свой пароль
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
кто-то, утверждающий,
что он из отдела ИТ.
что он из отдела ИТ.
12:46
More creative scenarios are also possible,
225
754574
2127
Возможно, будут
ещё более творческие сценарии,
ещё более творческие сценарии,
12:48
like if you're the A.I.,
226
756701
1315
как если бы ИИ
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
представлялся вам шевелящимися
электродами вокруг вашей внутренней схемы,
электродами вокруг вашей внутренней схемы,
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
создающим радиоволны, которые
вы можете использовать для общения.
вы можете использовать для общения.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Или, может, вы могли бы
симулировать сбои,
симулировать сбои,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
и затем, когда программисты вскроют вас,
что же с вами пошло не так,
что же с вами пошло не так,
13:02
they look at the source code -- Bam! --
231
770931
1936
они посмотрят на исходный код — Бам!
13:04
the manipulation can take place.
232
772867
2447
Манипуляция имеет место быть.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Или он может напечатать схему
действительно отличной технологии,
действительно отличной технологии,
13:10
and when we implement it,
234
778744
1398
и когда мы реализуем её,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
будут некоторые тайные побочные эффекты,
которые ИИ уже спланировал.
которые ИИ уже спланировал.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
Суть здесь в том, что мы не должны
быть уверены в нашей способности
быть уверены в нашей способности
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
вечно держать сверхразумного
джина взаперти в бутылке.
джина взаперти в бутылке.
13:23
Sooner or later, it will out.
238
791810
2254
Рано или поздно он выйдет наружу.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Я верю, что ответ заключается в том,
чтобы выяснить,
чтобы выяснить,
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
как создать сверхразумный ИИ с учётом, что если он сбежит,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
он всё равно будет безопасен, потому что
он по существу на нашей стороне
он по существу на нашей стороне
13:38
because it shares our values.
242
806438
1899
и разделяет наши ценности.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Я не вижу путей обхода
этой сложной проблемы.
этой сложной проблемы.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Вообще я довольно оптимистичен,
что эту проблему можно решить.
что эту проблему можно решить.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Не нужно писать длинный список
всего что нас волнует,
всего что нас волнует,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
или ещё хуже, расшифровывать
это на каком-нибудь компьютерном языке,
это на каком-нибудь компьютерном языке,
13:55
like C++ or Python,
247
823937
1454
как C++ или Python.
13:57
that would be a task beyond hopeless.
248
825391
2767
Это было бы безнадёжной задачей.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Вместо этого мы бы создали ИИ,
который использует свой интеллект
который использует свой интеллект
14:04
to learn what we value,
250
832455
2771
для познания того, чем мы дорожим.
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
ИИ, который был бы мотивирован
преследовать наши ценности
преследовать наши ценности
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
или выполнять действия,
наше одобрение на которые он предсказал.
наше одобрение на которые он предсказал.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Следовательно, мы бы использовали
его интеллект как можно больше,
его интеллект как можно больше,
14:21
to solve the problem of value-loading.
254
849152
2745
чтобы решить проблему наполнения ценностями.
14:24
This can happen,
255
852727
1512
Это может произойти,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
и результат может быть
очень полезен для человечества.
очень полезен для человечества.
14:29
But it doesn't happen automatically.
257
857835
3957
Но это не произойдёт автоматически.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
Начальные условия
для взрыва интеллекта
для взрыва интеллекта
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
нуждаются в правильной установке,
14:39
if we are to have a controlled detonation.
260
867653
3530
если мы хотим иметь
контролируемый взрыв.
контролируемый взрыв.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Ценности ИИ должны
согласовываться с нашими,
согласовываться с нашими,
14:45
not just in the familiar context,
262
873801
1760
не просто в знакомых контекстах,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
где мы можем легко проверить,
как ИИ себя ведёт,
как ИИ себя ведёт,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
но также во всех новых контекстах,
с которыми ИИ может столкнуться
с которыми ИИ может столкнуться
14:53
in the indefinite future.
265
881233
1557
в неопределённом будущем.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
Также, есть несколько необычных проблем,
которые нам необходимо решить:
которые нам необходимо решить:
14:59
the exact details of its decision theory,
267
887527
2089
точные детали его теории принятия решений,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
как обращаться с логической
неуверенностью и так далее.
неуверенностью и так далее.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Технические проблемы,
нужные для завершения этой работы,
нужные для завершения этой работы,
15:08
look quite difficult --
270
896432
1113
выглядят весьма трудно,
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
не так трудно,
как создание сверхразумного ИИ,
как создание сверхразумного ИИ,
15:12
but fairly difficult.
272
900925
2868
но довольно трудно.
15:15
Here is the worry:
273
903793
1695
Вот что нас волнует:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
создание сверхразумного ИИ —
действительно сложная задача.
действительно сложная задача.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Создание сверхразумного и безопасного ИИ
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
включает в себя ещё некоторые
дополнительные проблемы.
дополнительные проблемы.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
Риск в том, что кто-то
сможет решить первую задачу
сможет решить первую задачу
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
без решения второй задачи,
15:34
of ensuring perfect safety.
279
922704
1901
без обеспечения безопасности.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Я думаю, мы должны заранее найти
15:40
to the control problem in advance,
281
928706
2822
решение проблемы контроля,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
чтобы оно было доступно,
когда понадобится.
когда понадобится.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Возможно, мы не сможем решить
проблему контроля целиком и заранее,
проблему контроля целиком и заранее,
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
потому что, возможно, некоторые
элементы могут быть разработаны
элементы могут быть разработаны
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
только со знанием деталей архитектуры
места реализации.
места реализации.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Но чем большую часть проблемы контроля
мы решим заранее,
мы решим заранее,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
тем больше наши шансы
на благополучный переход
на благополучный переход
16:04
will go well.
288
952766
1540
к эре машинного интеллекта.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Для меня это выглядит
проблемой, достойной решения,
проблемой, достойной решения,
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
и я могу представить,
что если всё пойдёт хорошо,
что если всё пойдёт хорошо,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
через миллион лет люди взглянут назад
на этот век, и, вполне возможно,
на этот век, и, вполне возможно,
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
они скажут,
что единственной важной вещью
что единственной важной вещью
16:22
was to get this thing right.
293
970942
1567
была именно эта.
16:24
Thank you.
294
972509
1689
Спасибо.
16:26
(Applause)
295
974198
2813
(Аплодисменты)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com