ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
TEDxCambridge

Iyad Rahwan: What moral decisions should driverless cars make?

아이야드 라흐반(Iyad Rahwan): 자율주행차는 어떤 도덕적 판단을 내려야 할까?

Filmed:
1,147,381 views

보행자 다섯 명을 구하기 위해서라면, 당신의 자율주행차는 당신을 죽여야 할까요? 여기 자율주행차의 사회적 딜레마에 관한 입문 강연에서 아이야드 라흐반은 이 기술이 어떻게 우리의 도덕성에 도전 할 것인지를 탐구합니다. 그리고 그의 일에 대해 설명을 하는데, 그것은 실제 사람들로부터 그들이 기꺼이 하려는 (그리고 하지 않으려는) 윤리적인 트레이드 오프에 대한 자료를 수집하는 일입니다.
- Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio

Double-click the English transcript below to play the video.

00:13
Today오늘 I'm going to talk
about technology과학 기술 and society사회.
0
1000
4080
저는 오늘 기술과 사회에 대한
이야기를 하려고 합니다.
00:19
The Department학과 of Transport수송
estimated추정 된 that last year년
1
7040
3696
교통부 추산에 따르면
작년 한 해 동안 미국에서만
3만 5천 명이 교통사고로 죽었습니다.
00:22
35,000 people died사망 한
from traffic교통 crashes사고 in the US alone혼자.
2
10760
4080
00:28
Worldwide세계적인, 1.2 million백만 people
die주사위 every...마다 year년 in traffic교통 accidents사고.
3
16040
4800
세계적으로는 매년 120만 명이
교통사고로 죽죠.
00:33
If there was a way we could eliminate죽이다
90 percent퍼센트 of those accidents사고,
4
21760
4096
만약 이런 사고의 90%를
없앨 수 있는 방법이 있다면
00:37
would you support지원하다 it?
5
25880
1200
여러분은 지지하시겠습니까?
00:39
Of course코스 you would.
6
27720
1296
물론 그러시겠죠.
00:41
This is what driverless운전자가없는 car차 technology과학 기술
promises약속하다 to achieve이루다
7
29040
3655
이것이 바로 자율주행차
기술의 목표입니다.
00:44
by eliminating제거 the main본관
source출처 of accidents사고 --
8
32720
2816
사고의 주요 원인이라 할 수 있는
인간의 실수를 없앰으로써 말이죠.
00:47
human인간의 error오류.
9
35560
1200
00:49
Now picture그림 yourself당신 자신
in a driverless운전자가없는 car차 in the year년 2030,
10
37920
5416
2030년에 자율주행차에
타고 있다고 상상해 보세요.
느긋이 앉아서 오래된
TEDxCambridge 영상을 보고 있죠.
00:55
sitting좌석 back and watching보고있다
this vintage포도 수확 TEDxCambridgeTEDxCambridge video비디오.
11
43360
3456
00:58
(Laughter웃음)
12
46840
2000
(웃음)
01:01
All of a sudden갑자기,
13
49520
1216
여기서 갑자기
01:02
the car차 experiences경험담 mechanical기계의 failure실패
and is unable할 수 없는 to stop.
14
50760
3280
차량 오작동으로 인해
차를 멈출 수 없게 됩니다.
01:07
If the car차 continues계속하다,
15
55360
1520
만약 계속 간다면
01:09
it will crash추락 into a bunch다발
of pedestrians보행자 crossing횡단 the street거리,
16
57720
4120
길 건너편에 있는
보행자들과 부딪칠 거예요.
01:15
but the car차 may할 수있다 swerve곡구,
17
63080
2135
하지만 차는 방향을 바꾸어서
01:17
hitting때리는 one bystander방관자,
18
65239
1857
한 사람만 치어 죽이고
01:19
killing죽이는 them to save구하다 the pedestrians보행자.
19
67120
2080
보행자 무리를 구할 수도 있어요.
01:22
What should the car차 do,
and who should decide결정하다?
20
70040
2600
차는 무엇을 해야 하며,
이런 결정은 누가 해야 할까요?
01:25
What if instead대신에 the car차
could swerve곡구 into a wall벽,
21
73520
3536
만약에 보행자들을 구하기 위해서
01:29
crashing부서지는 and killing죽이는 you, the passenger승객,
22
77080
3296
차가 벽으로 돌진해서
01:32
in order주문 to save구하다 those pedestrians보행자?
23
80400
2320
탑승자인 당신을 죽게 한다면요?
01:35
This scenario대본 is inspired영감을 얻은
by the trolley트롤리 problem문제,
24
83240
3080
이 시나리오는 '트롤리의 문제'에서
영감을 받았어요.
01:38
which어느 was invented발명 된
by philosophers철학자 a few조금 decades수십 년 ago...전에
25
86960
3776
수 십 년전에 철학자들이
윤리에 대해 생각하기 위해 고안한 문제죠.
01:42
to think about ethics윤리학.
26
90760
1240
01:46
Now, the way we think
about this problem문제 matters사안.
27
94120
2496
우리가 이 문제에 대해
생각하는 방식은 중요합니다.
01:48
We may할 수있다 for example예
not think about it at all.
28
96640
2616
예를 들어, 우리는 이 문제에 대해
전혀 생각하지 않을 수 있고요.
01:51
We may할 수있다 say this scenario대본 is unrealistic비현실적인,
29
99280
3376
이 시나리오가 비현실적이라거나
01:54
incredibly엄청나게 unlikely있을 것 같지 않게, or just silly바보.
30
102680
2320
있을 수 없는 일이라거나,
그저 바보같다고도 할 수도 있죠.
01:57
But I think this criticism비판
misses그리워하다 the point포인트
31
105760
2736
하지만 이런 비판은 논점을 벗어나요.
02:00
because it takes
the scenario대본 too literally말 그대로.
32
108520
2160
시나리오를 문자 그대로
받아들이기 때문이죠.
02:03
Of course코스 no accident사고
is going to look like this;
33
111920
2736
물론 사고가 이런 식으로
일어나긴 힘듭니다.
02:06
no accident사고 has two or three세 options옵션들
34
114680
3336
사고가 일어날 수 있는
두 세가지의 확률에서
02:10
where everybody각자 모두 dies죽다 somehow어쩐지.
35
118040
2000
모든 경우에 사망자가
생기는 경우는 잘 없죠.
02:13
Instead대신, the car차 is going
to calculate계산하다 something
36
121480
2576
대신에 차는 어떤
확률 같은 걸 계산 할 거예요.
02:16
like the probability개연성 of hitting때리는
a certain어떤 group그룹 of people,
37
124080
4896
각 경우에 사람들을
치게 되는 확률 말이죠.
02:21
if you swerve곡구 one direction방향
versus대 another다른 direction방향,
38
129000
3336
가령, 여러분이 저 쪽 대신
이 쪽으로 방향을 바꾸면
02:24
you might힘 slightly약간 increase증가하다 the risk위험
to passengers승객 or other drivers운전사
39
132360
3456
탑승자나 다른 운전자들의 위험도가
보행자에 비해 더 증가할겁니다.
02:27
versus대 pedestrians보행자.
40
135840
1536
02:29
It's going to be
a more complex복잡한 calculation계산,
41
137400
2160
조금 더 복잡한 계산이 되겠지만
02:32
but it's still going
to involve감다 trade-offs절충점,
42
140480
2520
이것은 트레이드 오프와
관련이 있습니다.
02:35
and trade-offs절충점 often자주 require요구하다 ethics윤리학.
43
143840
2880
트레이드 오프는
흔히 도덕성을 필요로 합니다.
02:39
We might힘 say then,
"Well, let's not worry걱정 about this.
44
147840
2736
그럼 이렇게 말하겠죠
"음, 이건 신경쓰지 말자"
02:42
Let's wait until...까지 technology과학 기술
is fully충분히 ready준비된 and 100 percent퍼센트 safe안전한."
45
150600
4640
"기술이 좀 더 발전해서
100% 안전해 질 때까지 기다리자"
02:48
Suppose가정 해보자. that we can indeed과연
eliminate죽이다 90 percent퍼센트 of those accidents사고,
46
156520
3680
우리가 앞으로 10년안에
02:53
or even 99 percent퍼센트 in the next다음 것 10 years연령.
47
161080
2840
사고율을 90%, 혹은 99% 까지
감소시킬 수 있다고 가정해 봅시다.
02:56
What if eliminating제거
the last one percent퍼센트 of accidents사고
48
164920
3176
나머지 1% 의 사고확률을 없애기 위해
03:00
requires요구하다 50 more years연령 of research연구?
49
168120
3120
50 여년의 연구가 더 필요하다면요?
03:04
Should we not adopt채택하다 the technology과학 기술?
50
172400
1800
그 기술을 사용하지 말아야 할까요?
03:06
That's 60 million백만 people
dead죽은 in car차 accidents사고
51
174720
4776
이 말은 현재의 추세로 따져보았을 때,
6천만 명의 사람들이
03:11
if we maintain유지하다 the current흐름 rate율.
52
179520
1760
차 사고로 죽는 셈이 됩니다.
03:14
So the point포인트 is,
53
182760
1216
요점은
03:16
waiting기다리는 for full완전한 safety안전 is also또한 a choice선택,
54
184000
3616
완벽한 안전을 위해 기다리는 것
또한 하나의 선택이고
03:19
and it also또한 involves관련 trade-offs절충점.
55
187640
2160
트레이드 오프와 관련이 있다는 겁니다.
03:23
People online온라인 on social사회적인 media미디어
have been coming오는 up with all sorts종류 of ways길
56
191560
4336
사람들은 온라인 소셜미디어에서
이 문제를 회피하기 위한
온갖 방법을 제시해 왔습니다.
03:27
to not think about this problem문제.
57
195920
2016
03:29
One person사람 suggested제안 된
the car차 should just swerve곡구 somehow어쩐지
58
197960
3216
어떤 사람은 차가 어떻게 해서든지
탑승자들과 행인 사이로 가도록
03:33
in between중에서 the passengers승객 --
59
201200
2136
03:35
(Laughter웃음)
60
203360
1016
(웃음)
03:36
and the bystander방관자.
61
204400
1256
방향을 틀어야 한다고 했죠.
03:37
Of course코스 if that's what the car차 can do,
that's what the car차 should do.
62
205680
3360
만약 차가 그렇게 할 수만 있다면,
그렇게 해야 할 겁니다.
03:41
We're interested관심있는 in scenarios시나리오
in which어느 this is not possible가능한.
63
209920
2840
우리는 이런 시나리오가 불가능한 경우에
관심이 있습니다.
03:45
And my personal개인적인 favorite특히 잘하는
was a suggestion암시 by a blogger블로거
64
213280
5416
제가 개인적으로 가장 좋아하는 의견은
어떤 블로거가 제안한 것인데요.
03:50
to have an eject꺼내다 button단추 in the car차
that you press프레스 --
65
218720
3016
차에 탈출 버튼이 있어서
03:53
(Laughter웃음)
66
221760
1216
(웃음)
차가 부서지기 직전에
그 버튼을 누르는 거예요.
03:55
just before the car차 self-destructs자기 파괴하다.
67
223000
1667
03:56
(Laughter웃음)
68
224691
1680
(웃음)
03:59
So if we acknowledge인정하다 that cars자동차
will have to make trade-offs절충점 on the road도로,
69
227840
5200
이렇게 차들이 도로에서
트레이드 오프 함을 인정한다면
04:06
how do we think about those trade-offs절충점,
70
234200
1880
우리는 이 트레이드 오프를
어떤 방식으로 대해야 하며
04:09
and how do we decide결정하다?
71
237320
1576
어떻게 결정을 내려야 할까요?
04:10
Well, maybe we should run운영 a survey측량
to find out what society사회 wants,
72
238920
3136
사회가 원하는 게 무엇인지 알기 위해
우리는 아마 설문 조사를 해야 할 거예요.
04:14
because ultimately궁극적으로,
73
242080
1456
왜냐하면, 궁극적으로
04:15
regulations규정 and the law법
are a reflection반사 of societal사회 values값.
74
243560
3960
규제과 법은 사회적 가치를
반영하고 있기 때문입니다.
04:20
So this is what we did.
75
248040
1240
그래서 우리는 다음과 같은 일을 했어요
04:21
With my collaborators공동 작업자,
76
249880
1616
저는 제 동료인
04:23
Jean-Fran장 프랑çois오이스 Bonnefon본 네폰 and Azim아짐 Shariff샤리프,
77
251520
2336
장 프랑수아 보네퐁,
아짐 샤리프와 함께
04:25
we ran달렸다 a survey측량
78
253880
1616
설문조사를 실시했어요.
04:27
in which어느 we presented제시된 people
with these types유형 of scenarios시나리오.
79
255520
2855
이런 종류의 시나리오들을
사람들에게 보여줍니다.
04:30
We gave준 them two options옵션들
inspired영감을 얻은 by two philosophers철학자:
80
258399
3777
두 철학자에게서 영감을 받은
두 가지 옵션을 줍니다.
04:34
Jeremy제레미 Bentham벤탐 and Immanuel임마누엘 Kant칸트.
81
262200
2640
제레미 벤담과 엠마누엘 칸트
04:37
Bentham벤탐 says말한다 the car차
should follow따르다 utilitarian실용적인 ethics윤리학:
82
265600
3096
벤담은 차가 공리주의적 윤리에
따라야 한다고 말합니다.
04:40
it should take the action동작
that will minimize최소화하다 total합계 harm해 --
83
268720
3416
전체의 피해를 최소화할 수 있는
행동을 취해야 한다는 입장이죠
04:44
even if that action동작 will kill죽이다 a bystander방관자
84
272160
2816
그 결정이 한 사람의 행인이나
04:47
and even if that action동작
will kill죽이다 the passenger승객.
85
275000
2440
탑승자를 죽이는 결정이라 하더라도요.
04:50
Immanuel임마누엘 Kant칸트 says말한다 the car차
should follow따르다 duty-bound의무 의무 principles원칙들,
86
278120
4976
칸트는 차가 의무에 입각한
원칙을 따라야 한다고 합니다.
04:55
like "Thou천개 shalt말 not kill죽이다."
87
283120
1560
가령 "살인을 하지 말라" 와
같은 원칙이죠.
04:57
So you should not take an action동작
that explicitly명시 적으로 harms해악 a human인간의 being존재,
88
285480
4456
명백하게 인류를 해치게 만드는
행위를 해서는 안되고
05:01
and you should let the car차 take its course코스
89
289960
2456
차가 원래 가던길을 가게 해야 합니다.
05:04
even if that's going to harm해 more people.
90
292440
1960
그 결정이 더 많은 사람들을
죽이게 될지라도요.
05:07
What do you think?
91
295640
1200
어떻게 생각하시나요?
05:09
Bentham벤탐 or Kant칸트?
92
297360
1520
벤담입니까? 칸트입니까?
05:11
Here's여기에 what we found녹이다.
93
299760
1256
설문조사의 결과입니다.
05:13
Most가장 people sided양면의 with Bentham벤탐.
94
301040
1800
대부분의 사람들이
벤담의 손을 들었습니다.
05:16
So it seems~ 같다 that people
want cars자동차 to be utilitarian실용적인,
95
304160
3776
사람들은 차가 공리주의적으로
05:19
minimize최소화하다 total합계 harm해,
96
307960
1416
전체 피해를 최소화하길 원하며
05:21
and that's what we should all do.
97
309400
1576
우리 모두가 그렇게 하길 바랍니다.
05:23
Problem문제 solved해결 된.
98
311000
1200
문제는 해결되었습니다.
05:25
But there is a little catch잡기.
99
313240
1480
하지만 조금 걸리는 점이 있어요.
05:27
When we asked물었다 people
whether인지 어떤지 they would purchase매수 such이러한 cars자동차,
100
315920
3736
우리가 사람들에게
이런 차를 사겠냐고 물었더니
05:31
they said, "Absolutely전혀 not."
101
319680
1616
절대로 사지 않겠다고 대답했어요.
05:33
(Laughter웃음)
102
321320
2296
(웃음)
05:35
They would like to buy사다 cars자동차
that protect보호 them at all costs소송 비용,
103
323640
3896
사람들은 어떻게 해서든
자기를 보호할 차를 사고싶어 하지만
05:39
but they want everybody각자 모두 else그밖에
to buy사다 cars자동차 that minimize최소화하다 harm해.
104
327560
3616
다른 사람들은 전체 피해를
최소화하는 차를 사길 원하죠.
05:43
(Laughter웃음)
105
331200
2520
(웃음)
05:46
We've우리는 seen본 this problem문제 before.
106
334720
1856
우리는 전에
이 문제를 본 적이 있어요.
05:48
It's called전화 한 a social사회적인 dilemma양도 논법.
107
336600
1560
이것을 사회적 딜레마라고 합니다.
05:51
And to understand알다 the social사회적인 dilemma양도 논법,
108
339160
1816
사회적 딜레마를 이해하기 위해서는
05:53
we have to go a little bit비트
back in history역사.
109
341000
2040
역사를 잠시 살펴보아야 합니다.
05:56
In the 1800s,
110
344000
2576
1800년대에
05:58
English영어 economist경제학자 William윌리엄 Forster포스터 Lloyd로이드
published출판 된 a pamphlet팸플릿
111
346600
3736
영국 경제학자인 윌리엄 포스터 로이드가
글을 발표했는데
06:02
which어느 describes기술하다 the following수행원 scenario대본.
112
350360
2216
다음과 같은 시나리오를 담고 있어요.
06:04
You have a group그룹 of farmers농부 --
113
352600
1656
한 무리의 농부들이 있어요.
06:06
English영어 farmers농부 --
114
354280
1336
영국 농부들이구요
06:07
who are sharing나누는 a common공유지 land땅
for their그들의 sheep양 to graze찰과상.
115
355640
2680
이들은 양을 방목하기 위한
땅을 공유하고 있어요.
06:11
Now, if each마다 farmer농장주
brings가져다 준다 a certain어떤 number번호 of sheep양 --
116
359520
2576
각 농부마다
몇 마리의 양을 데리고 와요.
06:14
let's say three세 sheep양 --
117
362120
1496
농부당 세 마리 라고 합시다.
06:15
the land땅 will be rejuvenated젊어지게하는,
118
363640
2096
땅은 활력을 찾을 것이고
06:17
the farmers농부 are happy행복,
119
365760
1216
농부들은 행복하고
06:19
the sheep양 are happy행복,
120
367000
1616
양들도 행복하고
06:20
everything is good.
121
368640
1200
모든 것이 좋을 거예요.
06:22
Now, if one farmer농장주 brings가져다 준다 one extra특별한 sheep양,
122
370440
2520
이제 한 농부가 양을
한 마리 더 데리고 와요.
06:25
that farmer농장주 will do slightly약간 better,
and no one else그밖에 will be harmed해를 입은.
123
373800
4720
그 농부는 조금 더 이익을 보지만,
여기서 손해를 보는 사람은 아무도 없어요.
06:31
But if every...마다 farmer농장주 made만든
that individually개별적으로 rational이성적인 decision결정,
124
379160
3640
하지만 모든 농부가 이렇게
개인에게 합리적인 선택을 한다면
06:35
the land땅 will be overrun오버런,
and it will be depleted고갈 된
125
383840
2720
땅은 꽉 차게 되고, 고갈될 거예요.
06:39
to the detriment상해 of all the farmers농부,
126
387360
2176
농부들에게 해를 입히고
06:41
and of course코스,
to the detriment상해 of the sheep양.
127
389560
2120
양들에게까지 해를 입힐 정도로 말이죠.
06:44
We see this problem문제 in many많은 places장소들:
128
392720
3680
우리는 많은 곳에서
이와 비슷한 문제를 봅니다.
06:49
in the difficulty어려움 of managing관리 overfishing남획,
129
397080
3176
남획 관리의 어려움에서
06:52
or in reducing감소시키는 carbon탄소 emissions배출
to mitigate완화시키다 climate기후 change변화.
130
400280
4560
혹은 기후 변화를 완화하기 위해
탄소 배출량을 줄이는 것에서요.
06:59
When it comes온다 to the regulation규제
of driverless운전자가없는 cars자동차,
131
407160
2920
자율주행차에 대한 규제에 있어서
07:03
the common공유지 land땅 now
is basically원래 public공공의 safety안전 --
132
411080
4336
공유지는 기본적으로 공공안전입니다.
07:07
that's the common공유지 good --
133
415440
1240
그것이 공익입니다.
07:09
and the farmers농부 are the passengers승객
134
417400
1976
농부들은 탑승자들 혹은
07:11
or the car차 owners주인 who are choosing고르는
to ride타기 in those cars자동차.
135
419400
3600
그 차에 타는 결정을 한
차량소유주들 이겠죠.
07:16
And by making만들기 the individually개별적으로
rational이성적인 choice선택
136
424960
2616
본인의 안전을 우선으로 하는
07:19
of prioritizing우선 순위 결정 their그들의 own개인적인 safety안전,
137
427600
2816
개인에게 합리적인 선택을 함으로써
07:22
they may할 수있다 collectively공동으로 be
diminishing점감하는 the common공유지 good,
138
430440
3136
총체적으로는
전체적인 피해를 최소화하는, 이 공익을
약화시킬 겁니다.
07:25
which어느 is minimizing최소화하는 total합계 harm해.
139
433600
2200
07:30
It's called전화 한 the tragedy비극 of the commons평민,
140
438320
2136
이것은 공유지의 비극으로 불립니다
07:32
traditionally전통적으로,
141
440480
1296
전통적으로요,
07:33
but I think in the case케이스
of driverless운전자가없는 cars자동차,
142
441800
3096
하지만 자율주행차의 경우엔
07:36
the problem문제 may할 수있다 be
a little bit비트 more insidious교활한
143
444920
2856
이 문제는 좀 미묘하게 됩니다.
07:39
because there is not necessarily필연적으로
an individual개인 human인간의 being존재
144
447800
3496
왜냐하면 개개인이 반드시
그런 선택을 해야하는 것은
07:43
making만들기 those decisions결정들.
145
451320
1696

아니기 때문입니다.
07:45
So car차 manufacturers제조업 자
may할 수있다 simply간단히 program프로그램 cars자동차
146
453040
3296
따라서 자동차 제조사들은 아마
고객의 안전을 최대한 보장하도록
07:48
that will maximize최대화하다 safety안전
for their그들의 clients고객,
147
456360
2520
차량 프로그램을 단순하게 할 겁니다.
07:52
and those cars자동차 may할 수있다 learn배우다
automatically자동으로 on their그들의 own개인적인
148
460080
2976
그러면 차들은 자동으로
자율학습을 할 수 있습니다.
07:55
that doing so requires요구하다 slightly약간
increasing증가하는 risk위험 for pedestrians보행자.
149
463080
3520
그러한 선택이 보행자들의 위험을
살짝 증가시킨다는 점을 말이죠.
07:59
So to use the sheep양 metaphor은유,
150
467520
1416
양으로 비유하자면
08:00
it's like we now have electric전기 같은 sheep양
that have a mind마음 of their그들의 own개인적인.
151
468960
3616
우린 이제 스스로 생각할 수 있는
전자 양으로 가진 셈이죠.
08:04
(Laughter웃음)
152
472600
1456
(웃음)
08:06
And they may할 수있다 go and graze찰과상
even if the farmer농장주 doesn't know it.
153
474080
3080
이 양들은 농부 몰래 가서
풀을 뜯어 먹을 수 있어요.
08:10
So this is what we may할 수있다 call
the tragedy비극 of the algorithmic알고리즘의 commons평민,
154
478640
3976
우리는 이것을 알고리즘적
공유지의 비극이라 부를 수 있겠고요.
08:14
and if offers제안 new새로운 types유형 of challenges도전.
155
482640
2360
이는 새로운 종류의 도전을 야기합니다.
08:22
Typically일반적으로, traditionally전통적으로,
156
490520
1896
일반적으로, 전통적으로
08:24
we solve풀다 these types유형
of social사회적인 dilemmas딜레마 using~을 사용하여 regulation규제,
157
492440
3336
이런 종류의 사회적 딜레마를 해결하기 위해서
규제가 사용됩니다.
08:27
so either어느 한 쪽 governments정부
or communities커뮤니티 get together함께,
158
495800
2736
정부나 지역사회들이 함께 모여
집단적으로 결정합니다.
08:30
and they decide결정하다 collectively공동으로
what kind종류 of outcome결과 they want
159
498560
3736
어떤 종류의 결과를 원하는지
08:34
and what sort종류 of constraints제약
on individual개인 behavior행동
160
502320
2656
그리고 개인들의 행동에 대해선
어떤 종류의 제한을
둘 것인지를 말이죠.
08:37
they need to implement도구.
161
505000
1200
08:39
And then using~을 사용하여 monitoring모니터링 and enforcement시행,
162
507600
2616
그런 다음에, 감시과 강화를 통해
08:42
they can make sure
that the public공공의 good is preserved보존 된.
163
510240
2559
공익이 보존됨을 확인할 수 있죠.
08:45
So why don't we just,
164
513440
1575
그렇다면 우리는
08:47
as regulators규제 기관,
165
515039
1496
규제를 만드는 입장으로서
08:48
require요구하다 that all cars자동차 minimize최소화하다 harm해?
166
516559
2897
모든 차량들에게 그저 피해를
최소화하도록 요구하면 되는 것 아닐까요?
08:51
After all, this is
what people say they want.
167
519480
2240
결국엔 이것이
사람들이 원한다고 말하는 것이에요.
08:55
And more importantly중요하게,
168
523200
1416
그리고 더 중요한 것은
08:56
I can be sure that as an individual개인,
169
524640
3096
한 개인으로서 저는 확신합니다.
08:59
if I buy사다 a car차 that may할 수있다
sacrifice희생 me in a very rare드문 case케이스,
170
527760
3856
제가 만약 아주 드물 확율로
저를 희생시킬 수도 있는 차를 산다면
다른 모든 사람들이
무조건적인 보호를 즐기는 동안
09:03
I'm not the only sucker빨판 doing that
171
531640
1656
09:05
while everybody각자 모두 else그밖에
enjoys즐긴다 unconditional무조건적인 protection보호.
172
533320
2680
저만 홀로 그런 선택을 하는 사람은
아닐 겁니다.
09:09
In our survey측량, we did ask청하다 people
whether인지 어떤지 they would support지원하다 regulation규제
173
537120
3336
우리 설문 조사에서 사람들에게
규제를 지지하는지를 물어보았고
09:12
and here's여기에 what we found녹이다.
174
540480
1200
여기 그 결과가 있습니다.
09:14
First of all, people
said no to regulation규제;
175
542360
3760
우선 사람들은
규제에는 반대한다고 했습니다.
09:19
and second둘째, they said,
176
547280
1256
그리고 말하더군요.
09:20
"Well if you regulate규제하다 cars자동차 to do this
and to minimize최소화하다 total합계 harm해,
177
548560
3936
"만약 차량에 대해 이런식으로 규제를 하고,
전체 피해를 줄이고자 한다면"
09:24
I will not buy사다 those cars자동차."
178
552520
1480
"그 차를 사지 않겠어요"
09:27
So ironically역설적으로,
179
555400
1376
아이러니하게도
09:28
by regulating규제하는 cars자동차 to minimize최소화하다 harm해,
180
556800
3496
피해를 최소화하려고 규제를 하는 것은
09:32
we may할 수있다 actually사실은 end종료 up with more harm해
181
560320
1840
더 큰 피해를 불러올 수 있습니다
09:35
because people may할 수있다 not
opt고르다 into the safer더 안전한 technology과학 기술
182
563040
3656
왜냐하면 사람들이 더 안전한 기술에
동의하지 않을 수도 있기 때문이죠.
09:38
even if it's much safer더 안전한
than human인간의 drivers운전사.
183
566720
2080
비록 그것이 사람이 운전하는 것보다
훨씬 안전하다 할지라도요.
09:42
I don't have the final결정적인
answer대답 to this riddle수수께끼,
184
570360
3416
이 난제에 대한 최종 정답은 없습니다.
09:45
but I think as a starting출발 point포인트,
185
573800
1576
하지만 출발점으로서
09:47
we need society사회 to come together함께
186
575400
3296
사회를 한 곳에 모을 필요는 있습니다.
09:50
to decide결정하다 what trade-offs절충점
we are comfortable편안 with
187
578720
2760
어떤 트레이드 오프가
우리에게 편안한지를 결정하고
09:54
and to come up with ways길
in which어느 we can enforce억지로 시키다 those trade-offs절충점.
188
582360
3480
그 트레이드 오프를 실행하기 위한 방법들을
제시하기 위해서 말이죠
09:58
As a starting출발 point포인트,
my brilliant훌륭한 students재학생,
189
586520
2536
출발점으로서
저의 똑똑한 학생들인
에드몬드 어와드와 소한 드수자는
10:01
Edmond에드먼드 Awad와드 and Sohan소한 DsouzaDsouza,
190
589080
2456
도덕 기계 (Moral Machine)
웹사이트를 만들었습니다.
10:03
built세워짐 the Moral사기 Machine기계 website웹 사이트,
191
591560
1800
10:06
which어느 generates생성하다 random무작위의 scenarios시나리오 at you --
192
594200
2680
랜덤한 시나리오들을
여러분에게 보여줍니다.
10:10
basically원래 a bunch다발
of random무작위의 dilemmas딜레마 in a sequence순서
193
598080
2456
기본적으로 랜덤한 딜레마들이
연속적으로 나오는 것이고요.
10:12
where you have to choose고르다 what
the car차 should do in a given주어진 scenario대본.
194
600560
3920
여러분은 차가 무엇을
해야 하는지를 골라야 합니다.
10:17
And we vary다르다 the ages나이 and even
the species종 of the different다른 victims피해자.
195
605040
4600
여기서 희생자들의
나이와 인종은 각각 다릅니다.
10:23
So far멀리 we've우리는 collected모은
over five다섯 million백만 decisions결정들
196
611040
3696
지금까지 우리는
500만 건이 넘는 결정들을 수집했습니다.
10:26
by over one million백만 people worldwide세계적인
197
614760
2200
전 세계적으로
100만명이 넘는 사람들이
10:30
from the website웹 사이트.
198
618400
1200
웹사이트를 통해 참여했습니다.
10:32
And this is helping거들기 us
form형태 an early이른 picture그림
199
620360
2416
이 결과는 저희가 초기 연구를 만드는 데에
도움이 되고 있습니다.
10:34
of what trade-offs절충점
people are comfortable편안 with
200
622800
2616
사람들이 편안해 하는
트레이드 오프가 무엇이고
10:37
and what matters사안 to them --
201
625440
1896
무엇이 그들에게 중요한지에 대해서
10:39
even across건너서 cultures문화.
202
627360
1440
문화를 넘어서까지 말이죠.
10:42
But more importantly중요하게,
203
630240
1496
하지만 더 중요한 것은
10:43
doing this exercise운동
is helping거들기 people recognize인정하다
204
631760
3376
이 훈련은 사람들로 하여금
이런 선택을 하는 것이 힘들다는 것과
10:47
the difficulty어려움 of making만들기 those choices선택
205
635160
2816
10:50
and that the regulators규제 기관
are tasked임무가 부여 된 with impossible불가능한 choices선택.
206
638000
3800
결정권자들이 불가능한 선택을 가지고 일함을
인지시키는데에 도움이 되고 있습니다.
10:55
And maybe this will help us as a society사회
understand알다 the kinds종류 of trade-offs절충점
207
643360
3576
이것은 사회가 궁극적으로 규제로 만들
트레이드 오프의 종류를 이해하는 데
10:58
that will be implemented이행 된
ultimately궁극적으로 in regulation규제.
208
646960
3056
도움이 될 것입니다.
11:02
And indeed과연, I was very happy행복 to hear듣다
209
650040
1736
지난주에 교통부에서
11:03
that the first set세트 of regulations규정
210
651800
2016
첫 번째 규제를 발표했다는 소식을 듣고
11:05
that came왔다 from
the Department학과 of Transport수송 --
211
653840
2136
저는 참으로 기뻤습니다.
11:08
announced발표하다 last week주 --
212
656000
1376
11:09
included포함 된 a 15-point-포인트 checklist체크리스트
for all carmakers자동차 메이커 to provide~을 제공하다,
213
657400
6576
이 규제는 모든 자동차 회사들이 제공해야 할
15개의 체크리스트를 담고 있는데
11:16
and number번호 14 was ethical윤리적 인 consideration고려 --
214
664000
3256
이 중 14번이 윤리적인 고려입니다.
11:19
how are you going to deal거래 with that.
215
667280
1720
그걸 어떻게 처리할 것이냐
하는 것이죠.
11:23
We also또한 have people
reflect비추다 on their그들의 own개인적인 decisions결정들
216
671800
2656
우리는 또 사람들에게
자신의 선택들을 돌이켜보게 합니다.
11:26
by giving주는 them summaries요약
of what they chose선택한.
217
674480
3000
그들이 선택한 것을
다시 요약해줌으로써 말이죠.
11:30
I'll give you one example예 --
218
678440
1656
한 가지 예를 들어볼게요.
11:32
I'm just going to warn경고하다 you
that this is not your typical전형적인 example예,
219
680120
3536
여러분에게 경고드립니다.
이것은 일반적인 예나
일반적인 사용자가 아닙니다.
11:35
your typical전형적인 user사용자.
220
683680
1376
11:37
This is the most가장 sacrificed희생 된 and the most가장
saved저장된 character캐릭터 for this person사람.
221
685080
3616
이것은 이 사람에게
가장 희생되고 가장 구원받은 캐릭터입니다.
11:40
(Laughter웃음)
222
688720
5200
(웃음)
11:46
Some of you may할 수있다 agree동의하다 with him,
223
694680
1896
여러분 중 일부는
11:48
or her, we don't know.
224
696600
1640
이 사람에게 동의하실지도 모르겠어요.
11:52
But this person사람 also또한 seems~ 같다 to slightly약간
prefer취하다 passengers승객 over pedestrians보행자
225
700480
6136
하지만 이 사람의 선택을 살펴보면
보행자 보다는
탑승자를 약간 더 선호하고
11:58
in their그들의 choices선택
226
706640
2096
12:00
and is very happy행복 to punish벌하다 jaywalking제이 워킹.
227
708760
2816
무단횡단자를 벌주고 싶어해요.
12:03
(Laughter웃음)
228
711600
3040
(웃음)
12:09
So let's wrap덮개 up.
229
717320
1216
정리하겠습니다.
12:10
We started시작한 with the question문제 --
let's call it the ethical윤리적 인 dilemma양도 논법 --
230
718559
3416
우리는 이 질문과 함께 시작했어요.
윤리적 딜레마라고 부를게요.
12:14
of what the car차 should do
in a specific특유한 scenario대본:
231
722000
3056
시나리오 상에서 차가
어떻게 해야하는지를 물어요.
12:17
swerve곡구 or stay머무르다?
232
725080
1200
방향을 틀 것인가? 가만히 있을 것인가?
12:19
But then we realized깨달은
that the problem문제 was a different다른 one.
233
727240
2736
그런 다음에 우린 문제는
다른 것이라는 사실을 깨닫죠.
12:22
It was the problem문제 of how to get
society사회 to agree동의하다 on and enforce억지로 시키다
234
730000
4536
그것은 어떻게
사회적인 합의를 이끌어내고
12:26
the trade-offs절충점 they're comfortable편안 with.
235
734560
1936
사람들이 편안해하는 트레이드 오프를
집행할 것인가의 문제였죠.
12:28
It's a social사회적인 dilemma양도 논법.
236
736520
1256
이것은 사회적 딜레마입니다.
12:29
In the 1940s, Isaac이삭 Asimov아시모프
wrote쓴 his famous유명한 laws법률 of robotics로봇 공학 --
237
737800
5016
1940년대에 아이작 아시모프는
그의 유명한
로봇의 3원칙을 저술합니다.
12:34
the three세 laws법률 of robotics로봇 공학.
238
742840
1320
12:37
A robot기계 인간 may할 수있다 not harm해 a human인간의 being존재,
239
745240
2456
로봇은 인간에게 해를 끼칠 수 없고
12:39
a robot기계 인간 may할 수있다 not disobey좇지 않다 a human인간의 being존재,
240
747720
2536
로봇은 인간이 내리는
명령에 복종해야 하며
12:42
and a robot기계 인간 may할 수있다 not allow허용하다
itself그 자체 to come to harm해 --
241
750280
3256
로봇은 자신의 존재를 보호해야 한다.
12:45
in this order주문 of importance중요성.
242
753560
1960
순서대로 중요하죠.
12:48
But after 40 years연령 or so
243
756360
2136
하지만 40여년의 세월이 흐르고
12:50
and after so many많은 stories이야기
pushing미는 these laws법률 to the limit한도,
244
758520
3736
많은 스토리들이 나타나며
이 법칙들이 한계에 부딪치자
12:54
Asimov아시모프 introduced도입 된 the zeroth제로 law법
245
762280
3696
아시모프는 0번째 법칙을 소개했습니다.
12:58
which어느 takes precedence상위 above위에 all,
246
766000
2256
이는 3가지 법칙보다 우선하는 법칙으로
13:00
and it's that a robot기계 인간
may할 수있다 not harm해 humanity인류 as a whole완전한.
247
768280
3280
바로, 로봇은 인류 전체에게
해를 끼칠 수 없다는 것입니다.
13:04
I don't know what this means방법
in the context문맥 of driverless운전자가없는 cars자동차
248
772480
4376
저는 이것이 자율주행차의
경우나 다른 경우에 있어
13:08
or any specific특유한 situation상태,
249
776880
2736
어떤 의미가 되는지 잘 모르겠습니다.
13:11
and I don't know how we can implement도구 it,
250
779640
2216
우리가 어떻게
구현할지도 잘 모르겠고요.
13:13
but I think that by recognizing인식하는
251
781880
1536
하지만 자율주행차에 대한 규제가
13:15
that the regulation규제 of driverless운전자가없는 cars자동차
is not only a technological기술적 인 problem문제
252
783440
6136
단지 기술적인 문제가 아니라
13:21
but also또한 a societal사회 cooperation협력 problem문제,
253
789600
3280
사회적 협력 문제임을 인식함으로써
13:25
I hope기대 that we can at least가장 작은 begin시작하다
to ask청하다 the right questions질문들.
254
793800
2880
우리가 적어도 올바른 질문을
시작할 수 있게 되기를 희망해봅니다.
13:29
Thank you.
255
797200
1216
감사합니다.
13:30
(Applause박수 갈채)
256
798440
2920
(박수)
Translated by Moonjeong Kang
Reviewed by Jihyeon J. Kim

▲Back to top

ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM