TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Іяд Ровен: Які моральні рішення мають приймати безпілотні автомобілі?
Filmed:
Readability: 4.4
1,147,381 views
Чи повинен ваш автомобіль вбити вас, якщо це означає врятувати п'ятьох пішоходів? На цьому підґрунті соціальних дилем безпілотних автомобілів Іяд Ровен досліджує, які виклики кидає технологія нашій моралі та пояснює свою роботу зі збору даних від людей щодо того, на які компроміси вони згодні (чи не згодні) піти.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Сьогодні я буду говорити
про технології та суспільство.
про технології та суспільство.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
Міністерство Транспорту встановило,
що минулого року
що минулого року
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
35 000 людей загинуло
в автомобільних аваріях лише у США.
в автомобільних аваріях лише у США.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
В усьому світі 1,2 мільйони людей
помирають щороку в автомобільних аваріях.
помирають щороку в автомобільних аваріях.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
Якщо була б можливість усунути
90 процентів з цих аварій,
90 процентів з цих аварій,
00:37
would you support it?
5
25880
1200
чи ви підтримали б її?
00:39
Of course you would.
6
27720
1296
Звичайно, що так.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
Це те, чого технологія безпілотних
автомобілів обіцяє досягнути
автомобілів обіцяє досягнути
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
шляхом усунення основного джерела аварій -
00:47
human error.
9
35560
1200
людського фактору.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Уявіть себе у безпілотному
автомобілі у 2030 році,
автомобілі у 2030 році,
як ви сидите позаду
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
та дивитесь це вінтажне відео
від TEDxCambridge.
від TEDxCambridge.
00:58
(Laughter)
12
46840
2000
(Сміх)
01:01
All of a sudden,
13
49520
1216
Аж раптом
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
в автомобіля стається механічний збій
і він не може зупинитись.
і він не може зупинитись.
01:07
If the car continues,
15
55360
1520
Якщо автомобіль продовжить рух,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
він вріжеться у групу пішоходів,
що переходять вулицю,
що переходять вулицю,
01:15
but the car may swerve,
17
63080
2135
але автомобіль може повернути,
01:17
hitting one bystander,
18
65239
1857
і врізатись в одного перехожого,
01:19
killing them to save the pedestrians.
19
67120
2080
вбивши його, щоб врятувати пішоходів.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
Що має зробити автомобіль,
та хто має вирішувати?
та хто має вирішувати?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
Що, як замість того автомобіль
міг би повернути у напрямку стіни,
міг би повернути у напрямку стіни,
01:29
crashing and killing you, the passenger,
22
77080
3296
врізатись і вбити вас, пасажира,
01:32
in order to save those pedestrians?
23
80400
2320
щоб врятувати тих пішоходів?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
На цей сценарій надихнула
проблема вагонетки,
проблема вагонетки,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
яка була запропонована
філософами кілька десятиліть тому
філософами кілька десятиліть тому
для обмірковування
етичної сторони.
етичної сторони.
01:42
to think about ethics.
26
90760
1240
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
Наше ставлення
до цієї проблеми має значення.
до цієї проблеми має значення.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
Ми могли б, наприклад,
не думати про це зовсім.
не думати про це зовсім.
01:51
We may say this scenario is unrealistic,
29
99280
3376
Ми могли б сказати,
що такий сценарій є нереалістичний,
що такий сценарій є нереалістичний,
01:54
incredibly unlikely, or just silly.
30
102680
2320
дуже малоймовірний
або просто безглуздий.
або просто безглуздий.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
Але я вважаю, що такий критицизм
втрачає головне,
втрачає головне,
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
тому що сприймає сценарій
надто буквально.
надто буквально.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
Звичайно, що ніяка аварія
не буде саме такою;
не буде саме такою;
02:06
no accident has two or three options
34
114680
3336
ніяка аварія не має два чи три шляхи,
02:10
where everybody dies somehow.
35
118040
2000
в яких всі помирають так чи інакше.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Натомість, автомобіль буде
дещо розраховувати,
дещо розраховувати,
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
на кшталт можливості наїхати
на якусь групу людей,
на якусь групу людей,
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
якщо повернути в певному напрямку
замість іншого,
замість іншого,
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
можна трохи підвищити ризик
для пасажирів чи інших водіїв
для пасажирів чи інших водіїв
02:27
versus pedestrians.
40
135840
1536
замість пішоходів.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
Це буде складніший розрахунок,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
але все одно будуть компроміси,
02:35
and trade-offs often require ethics.
43
143840
2880
а компроміси часто вимагають етики.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
Ми могли б сказати: "Давайте
не хвилюватись про це.
не хвилюватись про це.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
Давайте зачекаємо, поки технологія
буде повністю готова
буде повністю готова
та на 100 процентів безпечна."
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
Припускаючи це, ми справді можемо
усунути 90 процентів тих аварій,
усунути 90 процентів тих аварій,
02:53
or even 99 percent in the next 10 years.
47
161080
2840
або навіть 99 процентів
у найближчі 10 років.
у найближчі 10 років.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
Що, як усунення останнього
одного проценту аварій
одного проценту аварій
03:00
requires 50 more years of research?
49
168120
3120
вимагатиме ще 50 років досліджень?
03:04
Should we not adopt the technology?
50
172400
1800
Чи маємо відмовитися
від технології?
від технології?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
Це 60 мільйонів людей,
загиблих у автомобільних аваріях,
загиблих у автомобільних аваріях,
03:11
if we maintain the current rate.
52
179520
1760
при поточному рівні аварій.
03:14
So the point is,
53
182760
1216
Тож суть у тому,
03:16
waiting for full safety is also a choice,
54
184000
3616
що очікування на повну безпеку -
це також вибір,
це також вибір,
03:19
and it also involves trade-offs.
55
187640
2160
і він також потребує компромісів.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
Люди в інтернеті на соціальних ресурсах
пропонували різноманітні шляхи,
пропонували різноманітні шляхи,
03:27
to not think about this problem.
57
195920
2016
як уникнути міркувань про цю проблему.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Одна людина запропонувала,
щоб автомобіль просто вивернув якось
щоб автомобіль просто вивернув якось
03:33
in between the passengers --
59
201200
2136
поміж пасажирами
03:35
(Laughter)
60
203360
1016
(Сміх)
03:36
and the bystander.
61
204400
1256
та спостерігачем.
Звичайно, якщо це те, що автомобіль
може зробити,
може зробити,
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
то це те, що автомобіль має зробити.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
Нас цікавлять сценарії,
в яких це неможливо.
в яких це неможливо.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
Та мою улюблену пропозицію
запропонував блогер:
запропонував блогер:
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
вбудувати в автомобіль кнопку катапульти,
яку ти натискаєш
яку ти натискаєш
03:53
(Laughter)
66
221760
1216
(Сміх)
перед тим, як автомобіль самознищується.
03:55
just before the car self-destructs.
67
223000
1667
(Сміх)
03:56
(Laughter)
68
224691
1680
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Тож, якщо ми визнаємо,
що автомобілі будуть змушені
що автомобілі будуть змушені
робити компроміси на дорозі,
04:06
how do we think about those trade-offs,
70
234200
1880
то що ми думаємо
з приводу цих компромісів,
з приводу цих компромісів,
04:09
and how do we decide?
71
237320
1576
та як нам вирішувати?
Можливо, треба провести опитування,
щоб дізнатися, чого суспільство хоче,
щоб дізнатися, чого суспільство хоче,
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
04:14
because ultimately,
73
242080
1456
тому що зрештою,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
правила та закон -
це відображення суспільних цінностей.
це відображення суспільних цінностей.
04:20
So this is what we did.
75
248040
1240
Це те, що ми зробили.
04:21
With my collaborators,
76
249880
1616
З моїми співробітниками,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Жаном-Франсуа Боннефоном
та Азімом Шаріфом,
та Азімом Шаріфом,
04:25
we ran a survey
78
253880
1616
ми провели опитування,
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
в якому презентували людям
ці види сценаріїв.
ці види сценаріїв.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Ми дали їм два варіанти,
що були натхненні двома філософами:
що були натхненні двома філософами:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
Джеремі Бентамом та Іммануїлом Кантом.
Бентам стверджує, що автомобіль
має дотримуватися утилітарної етики:
має дотримуватися утилітарної етики:
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
він має вжити дій,
що мінімізують загальну шкоду,
що мінімізують загальну шкоду,
04:44
even if that action will kill a bystander
84
272160
2816
навіть, якщо ця дія вб'є спостерігача,
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
і навіть, якщо ця дія вб'є пасажира.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
Іммануїл Кант стверджує, що автомобіль
має дотримуватись відчуття обов'язку,
має дотримуватись відчуття обов'язку,
04:55
like "Thou shalt not kill."
87
283120
1560
як заповіді "Не вбивай".
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
Тож, тобі не слід вживати дію,
що вочевидь шкодить людині,
що вочевидь шкодить людині,
05:01
and you should let the car take its course
89
289960
2456
та слід дозволити автомобілю
рухатися своїм шляхом,
рухатися своїм шляхом,
05:04
even if that's going to harm more people.
90
292440
1960
навіть, якщо це нашкодить
більшій кількості людей.
більшій кількості людей.
05:07
What do you think?
91
295640
1200
Як ви вважаєте?
05:09
Bentham or Kant?
92
297360
1520
Бентам чи Кант?
05:11
Here's what we found.
93
299760
1256
Ось, що ми з'ясували.
05:13
Most people sided with Bentham.
94
301040
1800
Більшість людей стали на бік Бентама.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Тож здається, що люди хочуть,
щоб автомобілі були утилітарними,
щоб автомобілі були утилітарними,
05:19
minimize total harm,
96
307960
1416
мінімізували загальну шкоду,
05:21
and that's what we should all do.
97
309400
1576
і це те, що нам всім слід робити.
05:23
Problem solved.
98
311000
1200
Проблему вирішено.
05:25
But there is a little catch.
99
313240
1480
Але є маленький нюанс.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Коли ми спитали людей,
чи придбали б вони такі автомобілі,
чи придбали б вони такі автомобілі,
05:31
they said, "Absolutely not."
101
319680
1616
вони сказали: "Ні в якому разі."
05:33
(Laughter)
102
321320
2296
(Сміх)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Вони хотіли б придбати автомобілі,
які б захищали їх за будь-яку ціну,
які б захищали їх за будь-яку ціну,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
але вони хочуть, щоб усі інші
купували автомобілі, що мінімізують шкоду.
купували автомобілі, що мінімізують шкоду.
05:43
(Laughter)
105
331200
2520
(Сміх)
05:46
We've seen this problem before.
106
334720
1856
Ми стикалися з такою проблемою раніше.
05:48
It's called a social dilemma.
107
336600
1560
Це називається соціальна дилема.
05:51
And to understand the social dilemma,
108
339160
1816
І щоб зрозуміти соціальну дилему,
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
нам треба звернутися трошки до історії.
05:56
In the 1800s,
110
344000
2576
У 1800-х роках
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
англійський економіст
Вільям Фостер Лойд опублікував памфлет,
Вільям Фостер Лойд опублікував памфлет,
06:02
which describes the following scenario.
112
350360
2216
в якому описано наступний сценарій.
06:04
You have a group of farmers --
113
352600
1656
Маєте групу фермерів -
06:06
English farmers --
114
354280
1336
англійських фермерів -
які використовують спільну
земельну ділянку для випасу їхніх овець.
земельну ділянку для випасу їхніх овець.
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Якщо кожен фермер
виведе певну кількість овець -
виведе певну кількість овець -
06:14
let's say three sheep --
117
362120
1496
скажімо, три вівці -
06:15
the land will be rejuvenated,
118
363640
2096
ділянка буде оновлюватись,
06:17
the farmers are happy,
119
365760
1216
фермери - щасливі,
06:19
the sheep are happy,
120
367000
1616
вівці - щасливі,
06:20
everything is good.
121
368640
1200
все добре.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Якщо ж один фермер
виведе ще одну вівцю,
виведе ще одну вівцю,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
цьому фермеру буде трохи краще,
і ніхто інший не постраждає.
і ніхто інший не постраждає.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Але якщо всі фермери приймуть таке
індивідуально раціональне рішення,
індивідуально раціональне рішення,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
ділянка буде виснажена та збіднена,
06:39
to the detriment of all the farmers,
126
387360
2176
що зашкодить усім фермерам,
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
і, звичайно ж, зашкодить вівцям.
06:44
We see this problem in many places:
128
392720
3680
Ми бачимо цю проблему у багатьох місцях:
06:49
in the difficulty of managing overfishing,
129
397080
3176
у складнощах керування переловом риби
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
чи у зменшенні викидів вуглецю,
щоб пом'якшити кліматичні зміни.
щоб пом'якшити кліматичні зміни.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
Стосовно ж регулювань
для безпілотних автомобілів,
для безпілотних автомобілів,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
спільна земельна ділянка -
це загальна безпека,
це загальна безпека,
07:07
that's the common good --
133
415440
1240
це спільне благо -
07:09
and the farmers are the passengers
134
417400
1976
а фермери - це пасажири
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
або власники автомобілів,
які обирають їздити у цих автомобілях.
які обирають їздити у цих автомобілях.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
Та зробивши індивідуально
раціональний вибір
раціональний вибір
07:19
of prioritizing their own safety,
137
427600
2816
і надавши пріоритет їх власній безпеці,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
вони разом могли б
зменшити спільне благо,
зменшити спільне благо,
07:25
which is minimizing total harm.
139
433600
2200
яке мінімізує загальну шкоду.
07:30
It's called the tragedy of the commons,
140
438320
2136
Це називається трагедія спільного,
07:32
traditionally,
141
440480
1296
традиційно,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
але я гадаю, що у випадку
безпілотних автомобілів,
безпілотних автомобілів,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
проблема може бути трошки більш підступною
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
через те, що це необов'язково людина
07:43
making those decisions.
145
451320
1696
приймає ці рішення.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Виробники автомобілів можуть
просто запрограмувати автомобілі,
просто запрограмувати автомобілі,
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
щоб максимізувати безпеку
для їхніх клієнтів,
для їхніх клієнтів,
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
і такі автомобілі можуть
автоматично навчатися,
автоматично навчатися,
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
що певна дія вимагає трохи
підвищити ризик для пішоходів.
підвищити ризик для пішоходів.
Використовуючи
метафору з вівцями,
метафору з вівцями,
07:59
So to use the sheep metaphor,
150
467520
1416
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
це ніби у нас електричні вівці,
які мають власний розум.
які мають власний розум.
08:04
(Laughter)
152
472600
1456
(Сміх)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
І вони можуть піти та випасатися,
навіть, якщо фермер не знає про це.
навіть, якщо фермер не знає про це.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
Це те, що ми можемо назвати
трагедією алгоритмічного спільного,
трагедією алгоритмічного спільного,
08:14
and if offers new types of challenges.
155
482640
2360
і це пропонує нові виклики.
08:22
Typically, traditionally,
156
490520
1896
Зазвичай, традиційно,
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
ми вирішуємо такі типи соціальних дилем
за допомогою правил,
за допомогою правил,
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
тож держава або спільнота збираються разом
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
та колективно вирішують,
який результат вони хочуть,
який результат вони хочуть,
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
та які обмеження поведінки суб'єкта
08:37
they need to implement.
161
505000
1200
їм треба розробити.
08:39
And then using monitoring and enforcement,
162
507600
2616
А потім, за допомогою
моніторингу та примушення,
моніторингу та примушення,
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
вони можуть переконатися,
що суспільне благо зберігається.
що суспільне благо зберігається.
08:45
So why don't we just,
164
513440
1575
Тож чому б нам, як регулювальникам,
08:47
as regulators,
165
515039
1496
08:48
require that all cars minimize harm?
166
516559
2897
не вимагати, щоб всі автомобілі
мінімізували шкоду?
мінімізували шкоду?
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
Зрештою, це те, чого люди
хочуть, за їх словами.
хочуть, за їх словами.
08:55
And more importantly,
168
523200
1416
І що більш важливо,
08:56
I can be sure that as an individual,
169
524640
3096
я можу бути впевнений, як окрема людина,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
що якщо я куплю автомобіль, який може
пожертвувати мною у рідкому випадку,
пожертвувати мною у рідкому випадку,
то я не єдиний невдаха,
який це робить,
який це робить,
09:03
I'm not the only sucker doing that
171
531640
1656
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
поки всі інші насолоджуються
безумовним захистом.
безумовним захистом.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
У нашому опитуванні ми запитали людей,
чи підтримали б вони правила,
чи підтримали б вони правила,
09:12
and here's what we found.
174
540480
1200
і ось, що ми виявили.
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
Перш за все, люди відмовилися від правил;
09:19
and second, they said,
176
547280
1256
і по-друге, вони сказали:
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"Якщо за правилами автомобілі будуть
робити це і мінімізувати загальну шкоду,
робити це і мінімізувати загальну шкоду,
то я не купуватиму
такі автомобілі."
такі автомобілі."
09:24
I will not buy those cars."
178
552520
1480
09:27
So ironically,
179
555400
1376
Тож за іронією,
09:28
by regulating cars to minimize harm,
180
556800
3496
встановивши правила
для автомобілів мінімізувати шкоду,
для автомобілів мінімізувати шкоду,
09:32
we may actually end up with more harm
181
560320
1840
ми можемо зрештою прийти
до ще більшої шкоди,
до ще більшої шкоди,
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
адже люди не підтримають
більш безпечну технологію,
більш безпечну технологію,
навіть, якщо вона набагато
безпечніша, ніж люди-водії.
безпечніша, ніж люди-водії.
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
В мене немає остаточної відповіді
на цю дилему,
на цю дилему,
але я вважаю,
що для початку треба,
що для початку треба,
09:45
but I think as a starting point,
185
573800
1576
09:47
we need society to come together
186
575400
3296
щоб суспільство зібралося разом
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
для вирішення, які компроміси
є комфортними для нас
є комфортними для нас
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
та придумати шляхи
для втілення цих компромісів.
для втілення цих компромісів.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
У якості стартової точки,
мої блискучі студенти,
мої блискучі студенти,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Едмонд Авад та Сохан Дсоуза,
10:03
built the Moral Machine website,
191
591560
1800
створили веб-сайт - Моральну Машину,
10:06
which generates random scenarios at you --
192
594200
2680
яка генерує для вас випадкові сценарії -
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
по суті, набір випадкових дилем
одна за одною,
одна за одною,
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
де вам потрібно обрати, що автомобіль
має зробити у наданому сценарії.
має зробити у наданому сценарії.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
Ми також змінюємо вік і навіть
біологічні види різних потерпілих.
біологічні види різних потерпілих.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
На даний момент ми зібрали більше
п'яти мільйонів рішень
п'яти мільйонів рішень
10:26
by over one million people worldwide
197
614760
2200
від більше, ніж одного мільйона людей
по всьому світу
по всьому світу
10:30
from the website.
198
618400
1200
з веб-сайту.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
І це допомагає нам
отримати первинну картину того,
отримати первинну картину того,
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
які компроміси є прийнятні для людей
10:37
and what matters to them --
201
625440
1896
та що є важливо для них -
10:39
even across cultures.
202
627360
1440
навіть поміж різних культур.
10:42
But more importantly,
203
630240
1496
Та що важливіше,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
виконання цієї вправи
допомагає людям усвідомити
допомагає людям усвідомити
10:47
the difficulty of making those choices
205
635160
2816
складність прийняття таких рішень
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
і те, що перед регулювальниками
постає неможливий вибір.
постає неможливий вибір.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
І, можливо, це допоможе нам,
як суспільству, зрозуміти ті компроміси,
як суспільству, зрозуміти ті компроміси,
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
що будуть запроваджені
зрештою у регулюваннях.
зрештою у регулюваннях.
11:02
And indeed, I was very happy to hear
209
650040
1736
І справді, я був щасливий почути,
11:03
that the first set of regulations
210
651800
2016
що перший набір регулювань,
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
що видали у Міністерстві Транспорту -
11:08
announced last week --
212
656000
1376
оголошено минулого тижня -
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
містить 15 пунктів, що мають забезпечити
всі виробники автомобілів,
всі виробники автомобілів,
11:16
and number 14 was ethical consideration --
214
664000
3256
і номер 14 стосувався етичного аспекту -
11:19
how are you going to deal with that.
215
667280
1720
як ви вчините щодо цього.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
Ми також даємо людям
обміркувати їх власні рішення,
обміркувати їх власні рішення,
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
надавши їм підсумки того,
що вони обирали.
що вони обирали.
11:30
I'll give you one example --
218
678440
1656
Ось один приклад -
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
але попереджаю, що це
нетиповий приклад,
нетиповий приклад,
11:35
your typical user.
220
683680
1376
типовий користувач.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Це - найбільш постраждалий
та найбільш врятований персонажі
та найбільш врятований персонажі
для цієї людини.
11:40
(Laughter)
222
688720
5200
(Сміх)
11:46
Some of you may agree with him,
223
694680
1896
Дехто з вас може погодитися з ним,
11:48
or her, we don't know.
224
696600
1640
чи з нею, ми не знаємо.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
Але ця людина також надає трохи більше
переваги пасажирам, ніж пішоходам
переваги пасажирам, ніж пішоходам
11:58
in their choices
226
706640
2096
у своїх рішеннях
12:00
and is very happy to punish jaywalking.
227
708760
2816
та дуже охоче наказує порушників.
12:03
(Laughter)
228
711600
3040
(Сміх)
12:09
So let's wrap up.
229
717320
1216
Тож, підсумуємо.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
Ми почали з питання -
назвемо це етичною дилемою -
назвемо це етичною дилемою -
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
що автомобіль має робити
у наданому сценарії:
у наданому сценарії:
12:17
swerve or stay?
232
725080
1200
повернути чи залишитись?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
Але згодом ми усвідомили,
що проблема, насправді, у іншому.
що проблема, насправді, у іншому.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
Вона у тому, як погодити суспільство
та запровадити
та запровадити
12:26
the trade-offs they're comfortable with.
235
734560
1936
компроміси, з якими воно погоджується.
12:28
It's a social dilemma.
236
736520
1256
Це соціальна дилема.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
У 1940-х роках Айзек Азімов написав
свої відомі закони робототехніки -
свої відомі закони робототехніки -
12:34
the three laws of robotics.
238
742840
1320
три закони робототехніки.
12:37
A robot may not harm a human being,
239
745240
2456
Робот не може заподіяти шкоду людині,
12:39
a robot may not disobey a human being,
240
747720
2536
робот повинен підкорятися наказам людини,
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
і робот повинен захищати самого себе -
12:45
in this order of importance.
242
753560
1960
у цій послідовності за важливістю.
12:48
But after 40 years or so
243
756360
2136
Але після 40 років чи близько цього,
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
та після стількох історій, що
наполягають на цих трьох законах,
наполягають на цих трьох законах,
12:54
Asimov introduced the zeroth law
245
762280
3696
Азімов впроваджує нульовий закон,
12:58
which takes precedence above all,
246
766000
2256
що має перевагу над усіма,
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
і він про те, що робот не може
заподіяти шкоду людству в цілому.
заподіяти шкоду людству в цілому.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
Я не знаю, що це значить
у контексті безпілотних автомобілів
у контексті безпілотних автомобілів
13:08
or any specific situation,
249
776880
2736
або будь-якої конкретної ситуації,
13:11
and I don't know how we can implement it,
250
779640
2216
і я не знаю, як ми можемо
це реалізувати,
це реалізувати,
13:13
but I think that by recognizing
251
781880
1536
але я думаю, що визнавши,
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
що регулювання безпілотних автомобілів -
це не лише технологічна проблема,
це не лише технологічна проблема,
13:21
but also a societal cooperation problem,
253
789600
3280
але також проблема
соціальної співдружності,
соціальної співдружності,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
сподіваюсь, ми принаймні можемо
почати ставити правильні питання.
почати ставити правильні питання.
13:29
Thank you.
255
797200
1216
Дякую.
13:30
(Applause)
256
798440
2920
(Оплиски)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com