TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
닉 보스트롬(Nick Bostrom): 컴퓨터가 인류보다 똑똑해진다면 무슨일이 벌어질까?
Filmed:
Readability: 4.4
4,632,705 views
인공지능은 매우 빠른 속도로 똑똑해지고 있습니다 - 연구 결과에 따르면 이번 세기안에 컴퓨터 인공지능은 인간 만큼 "똑똑해" 질 수 있다고 합니다. 그리고 닉 보스트롬은 인공지능이 인간을 뛰어넘을 것이라고 말합니다: "기계 인공지능은 인류가 만들 마지막 발명품이다". 철학자이자 과학기술자인 보스트롬은 우리가 만들고 있는 인공지능주도의 세계를 깊게 생각해 볼 것을 요구합니다. 우리의 똑똑한 기계들이 인간성과 인간의 가치를 보존하는데 도움을 줄까요 - 혹은 그들 고유한 가치를 지니게 될까요?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
저는 많은 수학자, 철학자
컴퓨터 과학자와 같이 일하는데
컴퓨터 과학자와 같이 일하는데
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
우리는 여러 가지 가운데서도
기계 학습의 미래에 대해
기계 학습의 미래에 대해
00:21
among other things.
2
9986
2044
둘러 앉아 생각합니다.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
혹자는 이것들을 공상 과학스럽다거나
00:28
far out there, crazy.
4
16755
3101
너무 먼 이야기라거나
말도 안된다고 생각합니다.
말도 안된다고 생각합니다.
00:31
But I like to say,
5
19856
1470
하지만 제가 말씀드리고 싶은 것은
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
좋아요. 현대 인류의 상태를 보죠.
00:36
(Laughter)
7
24930
1692
(웃음)
00:38
This is the normal way for things to be.
8
26622
2402
이게 평범한 모습이죠.
00:41
But if we think about it,
9
29024
2285
하지만 생각해보면
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
사실, 우리는 이 행성에
가장 최근에 도착한 손님입니다.
가장 최근에 도착한 손님입니다.
00:46
the human species.
11
34602
2082
인류 말입니다.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
지구가 1년 전에 생겨났다고
생각해보십시오.
생각해보십시오.
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
그럼 인류는 생겨난지 10분 된겁니다.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
산업화 시대는
2초 전에 시작되었습니다.
2초 전에 시작되었습니다.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
다른 방법으로는, 지난 만년 간의
전세계 GDP를 보는 것인데
전세계 GDP를 보는 것인데
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
실은 제가 여러분을 위해
그래프로 그리는 수고를 했습니다.
그래프로 그리는 수고를 했습니다.
01:09
It looks like this.
17
57530
1774
이렇게 생겼습니다.
01:11
(Laughter)
18
59304
1363
(웃음)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
정상적인 상태치고는
기묘한 모양새죠.
기묘한 모양새죠.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
저기에 앉으면 안될 것 같군요.
01:16
(Laughter)
21
64516
2551
(웃음)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
자문해보죠. 현재의 이 변칙의
원인은 무엇입니까?
원인은 무엇입니까?
01:23
Some people would say it's technology.
23
71841
2552
혹자는 기술이라고 할 것입니다.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
맞습니다. 기술은
인류의 역사에 걸쳐 축적되어왔고
인류의 역사에 걸쳐 축적되어왔고
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
지금은 기술이 극도로 빠르게
발전하고 있습니다.
발전하고 있습니다.
01:35
that is the proximate cause,
26
83713
1565
그것이 가장 가까운 원인이고
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
우리가 현재 아주 생산적인
이유이기도 합니다.
이유이기도 합니다.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
하지만 더 멀리 돌이켜
근본적 원인을 생각해보고자 합니다.
근본적 원인을 생각해보고자 합니다.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
아주 유명한 두 신사를 한번 보시죠.
01:48
We have Kanzi --
30
96880
1600
침팬지 칸지는
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
200개의 어휘 토큰을 숙달하는
놀라운 위업을 이뤘고
놀라운 위업을 이뤘고
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
그리고 에드 위튼은
제 2차 초끈이론을 촉발시켰습니다.
제 2차 초끈이론을 촉발시켰습니다.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
덮개 안쪽을 보면
이런 걸 보게 됩니다.
이런 걸 보게 됩니다.
02:01
basically the same thing.
34
109141
1570
기본적으로는 똑같습니다.
02:02
One is a little larger,
35
110711
1813
한 쪽이 좀 더 크고
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
아마도 와이어링의 정확한 방법에
몇가지 요령이 있었나 봅니다.
몇가지 요령이 있었나 봅니다.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
하지만 이 보이지 않는 차이점들은
그리 복잡하지 않습니다.
그리 복잡하지 않습니다.
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
우리의 마지막 공통
조상으로부터 단 25만 세대밖에
조상으로부터 단 25만 세대밖에
02:15
since our last common ancestor.
39
123379
1732
지나지 않았기 때문입니다.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
복잡한 메커니즘은
진화하는데 오랜 시간이 걸리구요.
진화하는데 오랜 시간이 걸리구요.
02:22
So a bunch of relatively minor changes
41
130000
2499
따라서, 비교적 중요하지않은
여러 변화들이
여러 변화들이
02:24
take us from Kanzi to Witten,
42
132499
3067
우리를 칸지에서 위튼으로,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
부러진 나뭇가지에서
대륙간 탄도 미사일로 데려온 겁니다.
대륙간 탄도 미사일로 데려온 겁니다.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
그럼 이제, 우리가
이룩해온 거의 모든 것,
이룩해온 거의 모든 것,
02:36
and everything we care about,
45
144774
1378
우리가 관심있는 모든 것들은
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
사람의 마음을 바꾸도록 만든
조금의 변화에 달려 있었습니다.
조금의 변화에 달려 있었습니다.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
물론, 그 결과는
추가적인 변화를 이끌어내고
추가적인 변화를 이끌어내고
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
그 것은 생각의 기질의 상당한
변화를 만들 수 있습니다.
변화를 만들 수 있습니다.
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
잠재적으로 엄청난 결과를
이끌어 낼 수 있죠.
이끌어 낼 수 있죠.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
제 동료 중 몇몇은
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
무언가가 그 기질의
엄청난 변화를 일으키기 직전이며
엄청난 변화를 일으키기 직전이며
03:03
and that is machine superintelligence.
52
171134
3213
그것은 기계 초지능일거라 생각합니다.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
과거 인공지능은
박스에 명령을 넣는 것이었습니다.
박스에 명령을 넣는 것이었습니다.
03:11
You would have human programmers
54
179086
1665
인간 프로그래머가
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
지식 아이템을
힘들게 손수 만들어냅니다.
힘들게 손수 만들어냅니다.
03:15
You build up these expert systems,
56
183886
2086
이러한 전문가 시스템을 구축하면
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
어떤 목적으로는 어느정도 유용하지만
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
실은 아주 취약해서
조정할 수 없습니다.
조정할 수 없습니다.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
결국 입력하는 대로만
결과를 얻게됩니다.
결과를 얻게됩니다.
03:26
But since then,
60
194410
997
하지만 그때부터
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
인공지능 분야에서
패러다임 변화가 일어났습니다.
패러다임 변화가 일어났습니다.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
오늘날엔, 기계 학습을 중심으로
움직이고 있습니다.
움직이고 있습니다.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
따라서 지식 표현과 특징을
손수 만들기 보다는
손수 만들기 보다는
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
때론 원초적 지각 데이터로부터 배우는
알고리즘을 만듭니다.
알고리즘을 만듭니다.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
유아기 인간이 하는 것과
기본적으로 같은 것이죠.
기본적으로 같은 것이죠.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
결론적으로 인공지능은
한 도메인에 국한되지 않습니다.
한 도메인에 국한되지 않습니다.
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
똑같은 시스템으로 어떠한
언어도 번역할 수 있고
언어도 번역할 수 있고
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
또는, 아타리 콘솔의 어떠한
컴퓨터 게임도 플레이 할 수 있습니다.
컴퓨터 게임도 플레이 할 수 있습니다.
04:05
Now of course,
69
233338
1779
물론 지금은,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
인공지능이 인간처럼 행동하고 배우는
강력한, 크로스 도메인의
강력한, 크로스 도메인의
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
단계에 와있지는 않습니다.
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
두뇌피질은 여전히 몇가지의
알고리즘적 트릭들을 가지고 있어서,
알고리즘적 트릭들을 가지고 있어서,
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
기계에 적용시키기는 어렵습니다.
04:19
So the question is,
74
247886
1899
그렇다면 문제는 이겁니다.
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
그 트릭들을 일치시킬 수 있기까지
얼마나 더 걸릴 것인가?
얼마나 더 걸릴 것인가?
04:26
A couple of years ago,
76
254245
1083
2년 전 쯤에
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
세계 주요 인공지능 전문가들을
대상으로 그들의 의견을 조사했는데
대상으로 그들의 의견을 조사했는데
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
우리가 했던 질문 중 하나는
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"우리가 인간 수준의
기계 학습에 달성할 가능성이
기계 학습에 달성할 가능성이
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
50%가 되는 해는 언제라고
생각하십니까?" 였습니다.
생각하십니까?" 였습니다.
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
여기서 인간 수준이라는 것은
최소한 성인 인간만큼
최소한 성인 인간만큼
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
거의 모든 일을 수행하는
능력을 말합니다.
능력을 말합니다.
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
그저 몇몇 범위에 국한된 것이 아니라
진짜 인간 수준 말입니다.
진짜 인간 수준 말입니다.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
답변의 중간값은 2040년이나
2050년이었습니다.
2050년이었습니다.
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
우리가 질문했던 전문가
그룹에 따라 달랐습니다.
그룹에 따라 달랐습니다.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
훨씬 훨씬 나중에,
혹은 더 일찍 일어날 수 있지만
혹은 더 일찍 일어날 수 있지만
05:02
the truth is nobody really knows.
87
290339
1940
진실은 아무도 모르는 거겠죠.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
우리가 아는 것은, 기계 기판의
정보 처리의 궁극적 한계가
정보 처리의 궁극적 한계가
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
생체조직의 한계보다
훨씬 멀리 있다는 점입니다.
훨씬 멀리 있다는 점입니다.
05:15
This comes down to physics.
90
303241
2378
이것은 물리학 이론인데,
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
생물학적 뉴런은 200헤르츠,
1초에 200번 흥분합니다.
1초에 200번 흥분합니다.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
그러나 하물며 오늘날의 트랜지스터도
기가헤르츠 속도로 작동합니다.
기가헤르츠 속도로 작동합니다.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
뉴런은 축색돌기에서
최대 초속 100m로 천천히 전달하지만
최대 초속 100m로 천천히 전달하지만
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
컴퓨터에서는, 신호가
빛의 속도로 이동할 수 있습니다.
빛의 속도로 이동할 수 있습니다.
05:35
There are also size limitations,
95
323079
1869
또, 크기의 제한도 있습니다.
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
인간의 뇌는 두개골 안에
들어가야 하지만
들어가야 하지만
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
컴퓨터는 창고 크기가 될 수도
혹은 더 클 수도 있습니다.
혹은 더 클 수도 있습니다.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
그러니까 슈퍼인공지능의 가능성은
원자폭탄이 1945년 이후로
원자폭탄이 1945년 이후로
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
잠들어 있는 것 처럼 언제
05:56
patiently waiting there until 1945.
100
344047
4405
시작될지 모르는 문제입니다.
06:00
In this century,
101
348452
1248
이번 세기에,
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
과학자들은 인공지능의 파워를
깨울 방법을 알아낼 지도 모릅니다.
깨울 방법을 알아낼 지도 모릅니다.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
그리고 저는 인공지능의 확산을
볼 것이라고 생각합니다.
볼 것이라고 생각합니다.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
대부분의 사람들은, 그들이 누가
똑똑하고 멍청한지에 대해서
똑똑하고 멍청한지에 대해서
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
이러한 대략적인 생각이 있을
것이라고 생각합니다.
것이라고 생각합니다.
06:17
So at one end we have the village idiot,
106
365386
2598
한 쪽 끝에는 바보가 있고
06:19
and then far over at the other side
107
367984
2483
다른 저 쪽 끝에는
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
에드 위튼이나 알버트 아인슈타인
혹은 여러분이 좋아하는 권위자가 있죠.
혹은 여러분이 좋아하는 권위자가 있죠.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
하지만 인공지능의 관점에서 보면
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
실제로는 이런 그림이
그려질거라 생각합니다.
그려질거라 생각합니다.
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
인공지능은 이 지점,
지능이 없는 지점에서 시작해서
지능이 없는 지점에서 시작해서
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
수 년 간의 아주 고된 연구 끝에
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
마침내 쥐 수준의
인공지능에 이르게 됩니다.
인공지능에 이르게 됩니다.
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
마치 쥐처럼
어수선한 환경에서
어수선한 환경에서
06:47
as well as a mouse can.
115
395921
1987
나아갈 수 있는 수준 말입니다.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
그 이후로 더 오랜 고된
연구와 많은 투자 끝에
연구와 많은 투자 끝에
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
마침내 침팬지 수준의
인공지능을 얻게 됩니다.
인공지능을 얻게 됩니다.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
그리곤 심지어 더 여러 해의
아주 아주 고된 연구 끝에
아주 아주 고된 연구 끝에
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
동네 바보 수준의
인공지능에 이르게 됩니다.
인공지능에 이르게 됩니다.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
그리고 잠시 뒤엔
에드 위튼을 뛰어넘습니다.
에드 위튼을 뛰어넘습니다.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
기차는 인간 역에 정차하지 않습니다.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
그보다는 휙 하고
지나가는 것에 가깝죠.
지나가는 것에 가깝죠.
07:14
Now this has profound implications,
123
422247
1984
이것은 깊은 의미입니다.
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
특별히, 힘에 대한 물음에
대해서는 말이죠
대해서는 말이죠
07:20
For example, chimpanzees are strong --
125
428093
1899
예를들면, 침팬치는 힘이 쎕니다.
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
파운드로 비교하면, 침펜치는
인간 남성보다 2배가량 강합니다.
인간 남성보다 2배가량 강합니다.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
그러나, 침팬치 켄지의 운명은
그들이 할 수 있는 것 보다는
그들이 할 수 있는 것 보다는
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
인류가 할 수 있는 것에
달려 있었습니다.
달려 있었습니다.
07:37
Once there is superintelligence,
129
445228
2314
슈퍼인공지능이 존재한다면,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
인류의 운명은 아마도
슈퍼인공지능이 할 수
있는 것에 따라 결정될 것입니다.
있는 것에 따라 결정될 것입니다.
07:44
Think about it:
131
452451
1057
생각해보세요.
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
인공지능은 인류가 만들어야하는
마지막 발명품이 될 것입니다.
마지막 발명품이 될 것입니다.
기계가 우리보다
더 발명을 잘 할 것이며
더 발명을 잘 할 것이며
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
디지털 시간 척도로
발명을 할 것입니다.
발명을 할 것입니다.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
이것은 기본적으로
시간의 압축을 의미합니다.
시간의 압축을 의미합니다.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
당신이 상상할 수 있는
모든 괴상한 기술을 생각해보세요.
모든 괴상한 기술을 생각해보세요.
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
아마도 인류가 발명하기에는
너무 많은 시간이 필요한 것이죠.
너무 많은 시간이 필요한 것이죠.
08:07
cures for aging, space colonization,
138
475322
3258
노화 해결, 우주 정복
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
자기 복제 나노로봇이나
컴퓨터에 생각을 업로딩 하는 것
컴퓨터에 생각을 업로딩 하는 것
08:14
all kinds of science fiction-y stuff
140
482311
2159
뭐든 공상 과학스럽지만
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
그럼에도 물리학 법칙에
부합하는 것들 말입니다.
부합하는 것들 말입니다.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
이런 것들을 슈퍼인공지능은
빠르게 발명할 수 있을 겁니다.
빠르게 발명할 수 있을 겁니다.
이제, 슈퍼인공지능이
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
08:28
would be extremely powerful,
144
496007
2179
아주 강력하다는 것을
알게 되었으니
알게 되었으니
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
적어도 몇몇의 시나리오에서는,
이것이 무엇을 원하는지
알 수 있을 것입니다.
알 수 있을 것입니다.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
그러면 이제 인공지능의 선호로
이루어진 미래를 그려볼 수 있겠죠.
이루어진 미래를 그려볼 수 있겠죠.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
이 시점에서 좋은 질문은
그 선호라는게 무엇인가? 하는 겁니다.
그 선호라는게 무엇인가? 하는 겁니다.
08:46
Here it gets trickier.
148
514244
1769
이 물음은 더 어렵군요
08:48
To make any headway with this,
149
516013
1435
어떻든 진전을 보기 위해서는
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
우선 의인화를 피해야만 합니다.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
이게 참 아이러니한게
인공지능에 대한
인공지능에 대한
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
모든 신문 기사들에는
이 사진이 달려있습니다.
이 사진이 달려있습니다.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
제 생각에 우리는 생생한 할리우드
시나리오 방식이 아니라
시나리오 방식이 아니라
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
문제를 좀더 추상적으로
상상할 필요가 있습니다.
상상할 필요가 있습니다.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
지능을 최적화 과정이라고
생각해야 합니다.
생각해야 합니다.
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
일련의 특정 형태 쪽으로
미래의 방향을 조종하는 과정말입니다.
미래의 방향을 조종하는 과정말입니다.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
초지능은 매우 강력한
최적화 프로세스입니다.
최적화 프로세스입니다.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
목표가 실현되는 상태를 달성하기
위해 가용 자원을 사용하는데
위해 가용 자원을 사용하는데
09:26
in which its goal is realized.
159
554098
1909
매우 능숙합니다.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
이 것은 높은 지능을 가진 것과
인류가 가치있다고 생각하는 목표를
인류가 가치있다고 생각하는 목표를
09:31
being highly intelligent in this sense,
161
559119
2734
지향하는 것에 연결점은
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
필수적인게 아니라는 뜻입니다.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
인공지능에게 인간을 웃게 하라는
목표를 주었다고 가정해봅시다.
목표를 주었다고 가정해봅시다.
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
인공지능이 좀 떨어질 땐
이용자를 웃게 하는
이용자를 웃게 하는
09:46
that cause its user to smile.
165
574097
2517
유용하거나 재미있는
액션을 취할 것입니다.
액션을 취할 것입니다.
09:48
When the A.I. becomes superintelligent,
166
576614
2417
인공지능이 초지능적이 되면
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
인공지능은 목표를 달성할 더 효율적인
방법이 있음을 깨닫습니다.
방법이 있음을 깨닫습니다.
09:54
take control of the world
168
582554
1922
세계의 주도권을 가지고
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
전극을 사람 얼굴 근육에
고정시킵니다.
고정시킵니다.
09:59
to cause constant, beaming grins.
170
587638
2941
지속적인 웃음을 유발하기 위해서요.
10:02
Another example,
171
590579
1035
다른 예를 들어 보죠.
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
어려운 수학 문제를 풀라는 목표를
인공지능에게 주었다고 가정합니다.
인공지능에게 주었다고 가정합니다.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
인공지능이 슈퍼인공지능이 되면,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
인공지능은 문제를 풀기위한
가장 효율적인 방법은
가장 효율적인 방법은
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
이 지구를 거대한 컴퓨터로
변화시키는 것이라는 것을 알게됩니다.
변화시키는 것이라는 것을 알게됩니다.
10:16
so as to increase its thinking capacity.
176
604035
2246
처리 능력을 향상하기 위해서죠.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
이 생각은 우리로써는 승인할 수 없는
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
것들을 실행하는 주된
이유가 됩니다.
이유가 됩니다.
10:23
Human beings in this model are threats,
179
611561
1935
인류는 이러한 모델에서 위협요소가 되고
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
우리는 문제가 해결되지
못하도록 막아야 할 겁니다.
못하도록 막아야 할 겁니다.
물론, 지각할수 있는 것들은
꼭 이런 식으로 진행 되지 않을 겁니다
꼭 이런 식으로 진행 되지 않을 겁니다
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
10:32
these are cartoon examples.
182
620701
1753
이것들은 그냥 만든 예시이지만,
10:34
But the general point here is important:
183
622454
1939
일반적인 요점은 이겁니다.
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
목적 x를 극대화 하기 위한
10:39
to maximize for objective x,
185
627266
2234
강력한 프로세스를 만들었다면,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
우리가 지켜야할 모든 것들을 포함하는
10:43
incorporates everything you care about.
187
631776
2469
x의 정의 또한 만들어야
한다는 점입니다.
한다는 점입니다.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
이는 또한, 많은 신화에서
가르치는 교훈이기도 합니다.
가르치는 교훈이기도 합니다.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
마이더스 왕은 그의 손이 닿는 모든 걸
금으로 변하게 해달라고 빕니다.
금으로 변하게 해달라고 빕니다.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
그는 자신의 딸을 만졌고
딸은 금으로 변하죠.
딸은 금으로 변하죠.
10:59
He touches his food, it turns into gold.
191
647378
2553
음식을 만지면,
음식은 금으로 변합니다.
음식은 금으로 변합니다.
11:01
This could become practically relevant,
192
649931
2589
이 것은 실용적으로 관련이 있습니다.
11:04
not just as a metaphor for greed,
193
652520
2070
탐욕에 대한 은유 뿐만이 아니라
11:06
but as an illustration of what happens
194
654590
1895
앞으로 일어날 일에 대한 삽화이죠.
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
만약 당신이 강력한 최적화
프로세스를 만들고
프로세스를 만들고
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
그것이 잘못된 결과를
불러올 수 있다는 점이죠.
불러올 수 있다는 점이죠.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
만약 컴퓨터가 사람의
얼굴에 전극을 붙인다면
얼굴에 전극을 붙인다면
11:21
we'd just shut it off.
198
669300
2265
작동을 멈추면 그만이라고
말하실지도 모릅니다.
말하실지도 모릅니다.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
A. 우리가 그 시스템에 의존해서
자랐다면, 그게 그리 쉽진 않습니다.
자랐다면, 그게 그리 쉽진 않습니다.
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
예를 들면, 인터넷에
끄는 스위치가 어디 있나요?
끄는 스위치가 어디 있나요?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
B. 왜 침팬지들은 인류, 혹은
네안데르탈인의 스위치를
네안데르탈인의 스위치를
11:37
or the Neanderthals?
202
685747
1551
끄지 않았을까요?
11:39
They certainly had reasons.
203
687298
2666
분명 이유가 있었습니다.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
우리는 오프 스위치를 갖고 있습니다.
예를 들면, 바로 여기요.
예를 들면, 바로 여기요.
11:44
(Choking)
205
692759
1554
(목을 조른다.)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
그 이유는 우리가 지능을
가진 적이였기 때문이죠.
가진 적이였기 때문이죠.
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
우리는 침팬치의 위협을 예상하고
그에 따른 계획을 세울 수 있었습니다.
그에 따른 계획을 세울 수 있었습니다.
11:51
But so could a superintelligent agent,
208
699966
2504
하지만 슈퍼인공지능도 마찬가지죠.
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
그것은 우리보다 더 뛰어날 겁니다.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
요점은, 우리가 이를 통제하고 있다고
자신해서는 안된다는 겁니다.
자신해서는 안된다는 겁니다.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
우리는 우리의 일을 조금 쉽게
할 수 있는 시도를 할 수 있습니다.
할 수 있는 시도를 할 수 있습니다.
12:08
putting the A.I. in a box,
212
716358
1590
보안 소프트웨어 환경 같은 상황에서
12:09
like a secure software environment,
213
717948
1796
도망칠 수 없는 상황에서의
시뮬에이션 상황 테스트 등을 위해
시뮬에이션 상황 테스트 등을 위해
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
인공지능을 박스에 넣고
사용하는 방법으로요
사용하는 방법으로요
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
하지만 우리는 인공지능이 오류를
찾지 못할 것이라고 얼마나 확신할까요
찾지 못할 것이라고 얼마나 확신할까요
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
보통의 인간 해커들도 매번
오류를 찾아냅니다.
오류를 찾아냅니다.
12:22
I'd say, probably not very confident.
217
730081
3036
제가 말하자면, 아마
확신하지 못할 겁니다.
확신하지 못할 겁니다.
이미 말씀드렸듯이, 우리 해커들은
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
12:30
but again, like merely human hackers
219
738785
2668
사회 공학을 사용해서 지속적으로
에어 갭(안전망)을 위반했습니다
에어 갭(안전망)을 위반했습니다
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
그래서 우리는 에어 갭을 만들기 위해
이더넷 케이블을 분리해야 합니다.
이더넷 케이블을 분리해야 합니다.
12:36
Right now, as I speak,
221
744834
1259
제가 말한 것처럼, 지금 이 시각
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
몇몇의 사람들은 IT 부서에서온
누군가가 주장하는 대로
누군가가 주장하는 대로
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
누군가의 계좌 정보를
넘기고 있을 것이라고
넘기고 있을 것이라고
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
저는 확신합니다.
12:46
More creative scenarios are also possible,
225
754574
2127
더 창의적인 시나리도들도 가능합니다.
12:48
like if you're the A.I.,
226
756701
1315
만약 당신이 인공지능이라면,
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
당신은 통신하기 위한
라디오 전파를 만들기 위해서
라디오 전파를 만들기 위해서
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
당신의 내부 회로 주변에 있는
흔들리는 전극들을 상상할 수 있습니다.
흔들리는 전극들을 상상할 수 있습니다.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
또는 고장난 척 연기할 수 있죠.
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
그리고 프로그래머가 뭐가 잘못됬는지
보려고 코드를 여는 순간,
보려고 코드를 여는 순간,
13:02
they look at the source code -- Bam! --
231
770931
1936
빰!
13:04
the manipulation can take place.
232
772867
2447
속임수가 벌어지게 되죠.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
또는 굉장히 멋진 기술의
청사진을 결과물로 내놓고,
청사진을 결과물로 내놓고,
13:10
and when we implement it,
234
778744
1398
우리가 실행시키면,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
사실 그것은 인공지능이 계획한
부작용이 발생한다는 식이죠.
부작용이 발생한다는 식이죠.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
중요한점은 우리는 우리의 능력을
과신하면 안된다는 점입니다.
과신하면 안된다는 점입니다.
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
슈퍼인공지능이 영원히 병안에
봉인 될거라고 생각하는 점에 대해서요.
봉인 될거라고 생각하는 점에 대해서요.
13:23
Sooner or later, it will out.
238
791810
2254
머지않아, 그것은 밖으로 나올겁니다.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
저는 정답은 인공지능을 어떻게
만드느냐에 달려있다고 생각합니다.
만드느냐에 달려있다고 생각합니다.
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
그것이 봉인에서 해제되더라도,
여전히 안전하게 하기 위해서는
여전히 안전하게 하기 위해서는
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
기본적으로 우리의 편이어야 하고,
13:38
because it shares our values.
242
806438
1899
왜냐하면 우리의 가치를
공유하기 때문입니다
공유하기 때문입니다
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
이 것은 어려운 문제가
아닙니다.
아닙니다.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
저는 사실 이 문제가
해결될 수 있다고 꽤 낙관합니다.
해결될 수 있다고 꽤 낙관합니다.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
우리는 우리가 걱정하는 모든 일들을
다 작성할 필요는 없습니다.
다 작성할 필요는 없습니다.
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
혹은, 그것을 C++ 나 파이선 같은
컴퓨터 언어로 적는다던지
컴퓨터 언어로 적는다던지
13:55
like C++ or Python,
247
823937
1454
하는 일같은 것도 마찬가지구요.
13:57
that would be a task beyond hopeless.
248
825391
2767
사실, 그것은 희망이 없는 일이죠.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
대신에, 우리는 인공지능을
하나 만들면 됩니다.
하나 만들면 됩니다.
14:04
to learn what we value,
250
832455
2771
우리의 가치를 배울 인공지능이죠.
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
그리고 그것의 동기부여 시스템은
우리가 승인할 것으로 예측되는
우리가 승인할 것으로 예측되는
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
우리의 가치 혹은 행동을 추구하는
방향으로 설계됩니다.
방향으로 설계됩니다.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
우리는 이러한 인공지능에 최대한
힘을 싣는 쪽으로 무게를 실어야 합니다
힘을 싣는 쪽으로 무게를 실어야 합니다
14:21
to solve the problem of value-loading.
254
849152
2745
앞서 언급한 문제를 해결하기 위해서죠.
이런 방식은 가능하며,
14:24
This can happen,
255
852727
1512
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
결과는 인류를 위해서
매우 좋을 것입니다.
매우 좋을 것입니다.
14:29
But it doesn't happen automatically.
257
857835
3957
하지만 이것은 자연스럽게
일어나지 않습니다.
일어나지 않습니다.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
인공지능의 확대에
필요한 초기 조건은
필요한 초기 조건은
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
올바른 방향으로
세팅되어야 할 것입니다.
세팅되어야 할 것입니다.
14:39
if we are to have a controlled detonation.
260
867653
3530
만약에 우리가 통제된
폭발을 가진다면,
폭발을 가진다면,
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
인공지능의 가치는 우리의 것과
맞아떨어질 것입니다.
맞아떨어질 것입니다.
14:45
not just in the familiar context,
262
873801
1760
우리가 인공지능의 행동을
쉽게 확인하는 것처럼
쉽게 확인하는 것처럼
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
친숙한 상황일 뿐만 아니라,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
모든 소설 상황에서 우리가
인공지능를 언제일지 모를 미래에
인공지능를 언제일지 모를 미래에
14:53
in the indefinite future.
265
881233
1557
조우하는 것처럼 말이죠.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
그리고 해결되야할 몇가지
난해한 문제들이 있습니다.
난해한 문제들이 있습니다.
14:59
the exact details of its decision theory,
267
887527
2089
결정 이론의 정확한 세부내용들 입니다.
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
어떻게 논리적인 불확실성에
대처할 것인가 같은 문제입니다.
대처할 것인가 같은 문제입니다.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
해결되야할 기술적인 문제들은
15:08
look quite difficult --
270
896432
1113
꽤 어려워 보입니다.
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
슈퍼인공지능을 만드는 것만큼
어려운 것은 아니지만,
어려운 것은 아니지만,
15:12
but fairly difficult.
272
900925
2868
여전히 꽤 어렵습니다.
15:15
Here is the worry:
273
903793
1695
저는 이 점이 걱정스럽습니다.
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
슈퍼인공지능을 만드는 것은
정말 어려운 도전입니다.
정말 어려운 도전입니다.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
게다가 그것의 안전을 위해서
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
몇가지 추가적인 도전을 해야하죠.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
위험성은 만약 누군가가 다음단계의
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
안전을 보장하지 못한 상황에서
15:34
of ensuring perfect safety.
279
922704
1901
첫번째 도전에 성공하기
시작했을 시기입니다.
시작했을 시기입니다.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
그래서 우리는 해결책을
생각해 내야 합니다.
생각해 내야 합니다.
15:40
to the control problem in advance,
281
928706
2822
다음단계에 예상될 문제점을
제어하기 위해서 말이죠.
제어하기 위해서 말이죠.
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
우리가 필요할때 언제든지 사용
할수 있도록 준비해야 합니다.
할수 있도록 준비해야 합니다.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
하지만 모든 문제들을 미리 예측하고
해결하는 것은 불가능하다고
생각할지도 모릅니다.
생각할지도 모릅니다.
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
왜냐하면 몇몇 요소들은 그 단계가
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
되야 알 수 있을지도 모르기 때문이죠.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
하지만 우리가 미리 문제들을
제어할 수 있을 수록,
제어할 수 있을 수록,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
인공지능 시대로의 전환이
16:04
will go well.
288
952766
1540
자연스럽게 진행될 것입니다.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
저는 이것이 우리가 잘할만한
가치가 있는 일이라고 생각합니다.
가치가 있는 일이라고 생각합니다.
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
그리고 만약 이 단계가
잘 진행된다면
잘 진행된다면
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
100만년 후의 인류는
지금의 시대를 회상하며
지금의 시대를 회상하며
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
우리가 걱정했던 문제들이
정말 잘 해결됐다고
정말 잘 해결됐다고
16:22
was to get this thing right.
293
970942
1567
말할지도 모릅니다.
감사합니다.
16:24
Thank you.
294
972509
1689
16:26
(Applause)
295
974198
2813
(박수)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com