TEDxCambridge
Iyad Rahwan: What moral decisions should driverless cars make?
Iyad Rahwan: ¿Qué decisiones morales deberían tomar los vehículos autónomos?
Filmed:
Readability: 4.4
1,147,381 views
Si para salvarle a vida a cinco peatones tu vehículo autónomo tuviera que matarte a ti ¿debería hacerlo? En esta introducción a los dilemas sociales de los vehículos autónomos, Iyad Rahwan analiza cómo esta tecnología va a desafiar nuestra moralidad. Asimismo, Rahwan explica su trabajo de recolección de datos a través de encuestas con el público, acerca de los compromisos éticos que estamos dispuestos a hacer, o no.
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio
Double-click the English transcript below to play the video.
00:13
Today I'm going to talk
about technology and society.
about technology and society.
0
1000
4080
Hoy voy a hablar de tecnología
y de la sociedad.
y de la sociedad.
00:19
The Department of Transport
estimated that last year
estimated that last year
1
7040
3696
El Departamento de Transporte
estimó que, el año pasado,
estimó que, el año pasado,
00:22
35,000 people died
from traffic crashes in the US alone.
from traffic crashes in the US alone.
2
10760
4080
hubo 35 000 muertos
en accidentes de auto, tan solo en EE.UU.
en accidentes de auto, tan solo en EE.UU.
00:28
Worldwide, 1.2 million people
die every year in traffic accidents.
die every year in traffic accidents.
3
16040
4800
A nivel mundial, mueren 1,2 millones
de personas por año en accidentes de auto.
de personas por año en accidentes de auto.
00:33
If there was a way we could eliminate
90 percent of those accidents,
90 percent of those accidents,
4
21760
4096
Si hubiera una manera de eliminar
el 90 % de esos accidentes,
el 90 % de esos accidentes,
00:37
would you support it?
5
25880
1200
¿apoyarían la causa?
00:39
Of course you would.
6
27720
1296
Por supuesto que lo harían.
00:41
This is what driverless car technology
promises to achieve
promises to achieve
7
29040
3655
Esto es lo que promete
la tecnología de vehículos autónomos,
la tecnología de vehículos autónomos,
00:44
by eliminating the main
source of accidents --
source of accidents --
8
32720
2816
al eliminar la principal causa
de accidentes:
de accidentes:
00:47
human error.
9
35560
1200
el error humano.
00:49
Now picture yourself
in a driverless car in the year 2030,
in a driverless car in the year 2030,
10
37920
5416
Imagínense en el año 2030,
viajando en un vehículo autónomo,
viajando en un vehículo autónomo,
00:55
sitting back and watching
this vintage TEDxCambridge video.
this vintage TEDxCambridge video.
11
43360
3456
sentados, mirando este video vintage
de un evento TEDxCambridge.
de un evento TEDxCambridge.
00:58
(Laughter)
12
46840
2000
(Risas)
01:01
All of a sudden,
13
49520
1216
De pronto,
01:02
the car experiences mechanical failure
and is unable to stop.
and is unable to stop.
14
50760
3280
el auto tiene una falla mecánica
y no puede detenerse.
y no puede detenerse.
01:07
If the car continues,
15
55360
1520
Si el auto continúa,
01:09
it will crash into a bunch
of pedestrians crossing the street,
of pedestrians crossing the street,
16
57720
4120
va a atropellar a un grupo
de peatones que cruza la calle.
de peatones que cruza la calle.
01:15
but the car may swerve,
17
63080
2135
Pero el auto puede cambiar de dirección,
01:17
hitting one bystander,
18
65239
1857
atropellar a un solo transeúnte,
01:19
killing them to save the pedestrians.
19
67120
2080
matarlo, y así salvar a los peatones.
01:22
What should the car do,
and who should decide?
and who should decide?
20
70040
2600
¿Qué debería hacer el auto,
y quién debería decidir?
y quién debería decidir?
01:25
What if instead the car
could swerve into a wall,
could swerve into a wall,
21
73520
3536
¿Y si en cambio el auto
pudiera irse contra una pared,
pudiera irse contra una pared,
01:29
crashing and killing you, the passenger,
22
77080
3296
chocar y matarte a ti, el pasajero,
01:32
in order to save those pedestrians?
23
80400
2320
para salvar a los peatones?
01:35
This scenario is inspired
by the trolley problem,
by the trolley problem,
24
83240
3080
Este caso hipotético está inspirado
en el dilema del tranvía,
en el dilema del tranvía,
01:38
which was invented
by philosophers a few decades ago
by philosophers a few decades ago
25
86960
3776
que fue inventado por unos filósofos
hace unas décadas
hace unas décadas
01:42
to think about ethics.
26
90760
1240
para reflexionar sobre la ética.
01:46
Now, the way we think
about this problem matters.
about this problem matters.
27
94120
2496
Es importante saber
cómo pensamos en este problema.
cómo pensamos en este problema.
01:48
We may for example
not think about it at all.
not think about it at all.
28
96640
2616
Podríamos, por ejemplo,
no pensar en esto en absoluto.
no pensar en esto en absoluto.
01:51
We may say this scenario is unrealistic,
29
99280
3376
Podríamos decir que la situación
es poco realista,
es poco realista,
01:54
incredibly unlikely, or just silly.
30
102680
2320
remotamente probable,
o simplemente absurda.
o simplemente absurda.
01:57
But I think this criticism
misses the point
misses the point
31
105760
2736
Pero para mí esta crítica
pierde de vista el problema,
pierde de vista el problema,
02:00
because it takes
the scenario too literally.
the scenario too literally.
32
108520
2160
porque se toma la situación
muy al pie de la letra.
muy al pie de la letra.
02:03
Of course no accident
is going to look like this;
is going to look like this;
33
111920
2736
Por supuesto que ningún accidente
es exactamente así;
es exactamente así;
02:06
no accident has two or three options
34
114680
3336
ningún accidente tiene dos o tres opciones
02:10
where everybody dies somehow.
35
118040
2000
donde de una forma u otra muere alguien.
02:13
Instead, the car is going
to calculate something
to calculate something
36
121480
2576
Lo que va a ocurrir,
es que el auto va a calcular algo,
es que el auto va a calcular algo,
02:16
like the probability of hitting
a certain group of people,
a certain group of people,
37
124080
4896
como la probabilidad de atropellar
a un determinado grupo de personas
a un determinado grupo de personas
02:21
if you swerve one direction
versus another direction,
versus another direction,
38
129000
3336
si toma una dirección u otra.
02:24
you might slightly increase the risk
to passengers or other drivers
to passengers or other drivers
39
132360
3456
Se podría aumentar levemente el riesgo
de los pasajeros y conductores,
de los pasajeros y conductores,
02:27
versus pedestrians.
40
135840
1536
en favor de los peatones.
02:29
It's going to be
a more complex calculation,
a more complex calculation,
41
137400
2160
Va a ser un cálculo más complejo,
02:32
but it's still going
to involve trade-offs,
to involve trade-offs,
42
140480
2520
pero aun así va a implicar
hacer concesiones,
hacer concesiones,
02:35
and trade-offs often require ethics.
43
143840
2880
y las concesiones normalmente
requieren una ética.
requieren una ética.
02:39
We might say then,
"Well, let's not worry about this.
"Well, let's not worry about this.
44
147840
2736
Podríamos decir: "Bueno,
no nos preocupemos por esto.
no nos preocupemos por esto.
02:42
Let's wait until technology
is fully ready and 100 percent safe."
is fully ready and 100 percent safe."
45
150600
4640
Esperemos a que la tecnología esté
totalmente preparada y sea 100 % segura".
totalmente preparada y sea 100 % segura".
02:48
Suppose that we can indeed
eliminate 90 percent of those accidents,
eliminate 90 percent of those accidents,
46
156520
3680
Supongamos que efectivamente podemos
eliminar el 90 % de esos accidentes,
eliminar el 90 % de esos accidentes,
02:53
or even 99 percent in the next 10 years.
47
161080
2840
o incluso el 99 % en los próximos 10 años.
02:56
What if eliminating
the last one percent of accidents
the last one percent of accidents
48
164920
3176
¿Qué pasaría si eliminar el 1 %
de los accidentes restante
de los accidentes restante
03:00
requires 50 more years of research?
49
168120
3120
llevara 50 años más de investigación?
03:04
Should we not adopt the technology?
50
172400
1800
¿No deberíamos adoptar la tecnología?
03:06
That's 60 million people
dead in car accidents
dead in car accidents
51
174720
4776
Estaríamos hablando de 60 millones
de muertos en accidentes de auto
de muertos en accidentes de auto
03:11
if we maintain the current rate.
52
179520
1760
si seguimos al ritmo al que vamos.
03:14
So the point is,
53
182760
1216
Quiere decir que,
03:16
waiting for full safety is also a choice,
54
184000
3616
esperar a tener seguridad total
también es una elección
también es una elección
03:19
and it also involves trade-offs.
55
187640
2160
y también implica hacer concesiones.
03:23
People online on social media
have been coming up with all sorts of ways
have been coming up with all sorts of ways
56
191560
4336
En línea, en las redes sociales, la gente
ha estado proponiendo todo tipo de ideas
ha estado proponiendo todo tipo de ideas
03:27
to not think about this problem.
57
195920
2016
para no pensar en este problema.
03:29
One person suggested
the car should just swerve somehow
the car should just swerve somehow
58
197960
3216
Una persona sugirió que el auto
debería zigzaguear de alguna forma
debería zigzaguear de alguna forma
03:33
in between the passengers --
59
201200
2136
entre los peatones...
03:35
(Laughter)
60
203360
1016
(Risas)
03:36
and the bystander.
61
204400
1256
y el transeúnte.
03:37
Of course if that's what the car can do,
that's what the car should do.
that's what the car should do.
62
205680
3360
Por supuesto que, si el auto fuera capaz
de hacer eso, debería hacerlo.
de hacer eso, debería hacerlo.
03:41
We're interested in scenarios
in which this is not possible.
in which this is not possible.
63
209920
2840
Pero nos interesan las situaciones
donde esto no es posible.
donde esto no es posible.
03:45
And my personal favorite
was a suggestion by a blogger
was a suggestion by a blogger
64
213280
5416
Mi favorita fue la idea de un bloguero
03:50
to have an eject button in the car
that you press --
that you press --
65
218720
3016
que propuso un botón de "eyectarse"
que se presiona justo antes...
que se presiona justo antes...
03:53
(Laughter)
66
221760
1216
(Risas)
03:55
just before the car self-destructs.
67
223000
1667
de que el auto se autodestruya.
03:56
(Laughter)
68
224691
1680
(Risas)
03:59
So if we acknowledge that cars
will have to make trade-offs on the road,
will have to make trade-offs on the road,
69
227840
5200
Entonces, si aceptamos que los autos
van a tener que hacer concesiones,
van a tener que hacer concesiones,
04:06
how do we think about those trade-offs,
70
234200
1880
¿cómo pensamos en esas concesiones,
04:09
and how do we decide?
71
237320
1576
y cómo decidimos cuáles son?
04:10
Well, maybe we should run a survey
to find out what society wants,
to find out what society wants,
72
238920
3136
Tal vez deberíamos hacer una encuesta
y ver qué quiere la sociedad,
y ver qué quiere la sociedad,
04:14
because ultimately,
73
242080
1456
porque en última instancia,
04:15
regulations and the law
are a reflection of societal values.
are a reflection of societal values.
74
243560
3960
las regulaciones y las leyes
son el reflejo de los valores sociales.
son el reflejo de los valores sociales.
04:20
So this is what we did.
75
248040
1240
Y fue lo que hicimos.
04:21
With my collaborators,
76
249880
1616
Con mis colaboradores,
04:23
Jean-François Bonnefon and Azim Shariff,
77
251520
2336
Jean-François Bonnefon y Azim Shariff,
04:25
we ran a survey
78
253880
1616
hicimos una encuesta
04:27
in which we presented people
with these types of scenarios.
with these types of scenarios.
79
255520
2855
en la que le propusimos a la gente
este tipo de situaciones.
este tipo de situaciones.
04:30
We gave them two options
inspired by two philosophers:
inspired by two philosophers:
80
258399
3777
Les dimos dos opciones
inspiradas en dos filósofos:
inspiradas en dos filósofos:
04:34
Jeremy Bentham and Immanuel Kant.
81
262200
2640
Jeremy Bentham e Immanuel Kant.
04:37
Bentham says the car
should follow utilitarian ethics:
should follow utilitarian ethics:
82
265600
3096
Bentham dice que el auto
debería seguir la ética del utilitarismo:
debería seguir la ética del utilitarismo:
04:40
it should take the action
that will minimize total harm --
that will minimize total harm --
83
268720
3416
debería tomar la acción
que minimice el daño total,
que minimice el daño total,
04:44
even if that action will kill a bystander
84
272160
2816
aun si esto implica matar a un transeúnte,
04:47
and even if that action
will kill the passenger.
will kill the passenger.
85
275000
2440
y aun si esto implica matar al pasajero.
04:50
Immanuel Kant says the car
should follow duty-bound principles,
should follow duty-bound principles,
86
278120
4976
Immanuel Kant dice que el auto
debería seguir la ética del deber,
debería seguir la ética del deber,
04:55
like "Thou shalt not kill."
87
283120
1560
tal como "No matarás".
04:57
So you should not take an action
that explicitly harms a human being,
that explicitly harms a human being,
88
285480
4456
O sea que no deberías tomar ninguna acción
que implique hacerle daño a un ser humano,
que implique hacerle daño a un ser humano,
05:01
and you should let the car take its course
89
289960
2456
y deberías dejar que el auto siga su curso
05:04
even if that's going to harm more people.
90
292440
1960
aun si eso resulta en más heridos.
05:07
What do you think?
91
295640
1200
¿Uds. qué piensan?
05:09
Bentham or Kant?
92
297360
1520
¿Bentham o Kant?
05:11
Here's what we found.
93
299760
1256
El resultado fue este:
05:13
Most people sided with Bentham.
94
301040
1800
la mayoría optó por Bentham.
05:16
So it seems that people
want cars to be utilitarian,
want cars to be utilitarian,
95
304160
3776
Así que parece que la gente quiere
que los autos sean utilitarios,
que los autos sean utilitarios,
05:19
minimize total harm,
96
307960
1416
minimizar el daño total,
05:21
and that's what we should all do.
97
309400
1576
y eso es lo que deberíamos hacer.
05:23
Problem solved.
98
311000
1200
Problema solucionado.
05:25
But there is a little catch.
99
313240
1480
Pero hay una pequeña trampa.
05:27
When we asked people
whether they would purchase such cars,
whether they would purchase such cars,
100
315920
3736
Cuando le preguntamos a la gente
si comprarían estos autos,
si comprarían estos autos,
05:31
they said, "Absolutely not."
101
319680
1616
la respuesta fue un "No" rotundo.
05:33
(Laughter)
102
321320
2296
(Risas)
05:35
They would like to buy cars
that protect them at all costs,
that protect them at all costs,
103
323640
3896
Les gustaría comprar un auto
que los proteja a ellos a toda costa,
que los proteja a ellos a toda costa,
05:39
but they want everybody else
to buy cars that minimize harm.
to buy cars that minimize harm.
104
327560
3616
pero quieren que los demás compren autos
que minimicen el daño.
que minimicen el daño.
05:43
(Laughter)
105
331200
2520
(Risas)
05:46
We've seen this problem before.
106
334720
1856
Ya conocemos este tipo de problema.
05:48
It's called a social dilemma.
107
336600
1560
Es un dilema social.
05:51
And to understand the social dilemma,
108
339160
1816
Y para entender el dilema social,
05:53
we have to go a little bit
back in history.
back in history.
109
341000
2040
hay que retroceder
un poco en la historia.
un poco en la historia.
05:56
In the 1800s,
110
344000
2576
En el 1800,
05:58
English economist William Forster Lloyd
published a pamphlet
published a pamphlet
111
346600
3736
el economista inglés William Forster Lloyd
publicó un folleto
publicó un folleto
06:02
which describes the following scenario.
112
350360
2216
que describe la siguiente situación.
06:04
You have a group of farmers --
113
352600
1656
Hay un grupo de pastores,
06:06
English farmers --
114
354280
1336
pastores ingleses,
06:07
who are sharing a common land
for their sheep to graze.
for their sheep to graze.
115
355640
2680
que comparten un prado común
donde pastan sus ovejas.
donde pastan sus ovejas.
06:11
Now, if each farmer
brings a certain number of sheep --
brings a certain number of sheep --
116
359520
2576
Si cada pastor
trae una cierta cantidad de ovejas,
trae una cierta cantidad de ovejas,
06:14
let's say three sheep --
117
362120
1496
digamos tres ovejas,
06:15
the land will be rejuvenated,
118
363640
2096
el suelo se recupera bien,
06:17
the farmers are happy,
119
365760
1216
los pastores contentos,
06:19
the sheep are happy,
120
367000
1616
las ovejas contentas,
06:20
everything is good.
121
368640
1200
todo va bien.
06:22
Now, if one farmer brings one extra sheep,
122
370440
2520
Ahora, si uno de los pastores
trae una oveja extra,
trae una oveja extra,
06:25
that farmer will do slightly better,
and no one else will be harmed.
and no one else will be harmed.
123
373800
4720
ese pastor va a estar un poquito mejor,
y nadie más va a salir perjudicado.
y nadie más va a salir perjudicado.
06:31
But if every farmer made
that individually rational decision,
that individually rational decision,
124
379160
3640
Pero si cada pastor tomara esa decisión
individualmente racional,
individualmente racional,
06:35
the land will be overrun,
and it will be depleted
and it will be depleted
125
383840
2720
el prado se vería sobreexplotado
y el pasto se agotaría,
y el pasto se agotaría,
06:39
to the detriment of all the farmers,
126
387360
2176
en detrimento de todos los pastores,
06:41
and of course,
to the detriment of the sheep.
to the detriment of the sheep.
127
389560
2120
y por supuesto,
en detrimento de las ovejas.
en detrimento de las ovejas.
06:44
We see this problem in many places:
128
392720
3680
Es un problema que se ve mucho:
06:49
in the difficulty of managing overfishing,
129
397080
3176
en la dificultad de
controlar la sobrepesca,
controlar la sobrepesca,
06:52
or in reducing carbon emissions
to mitigate climate change.
to mitigate climate change.
130
400280
4560
o al reducir las emisiones de carbono
para contrarrestar el cambio climático.
para contrarrestar el cambio climático.
06:59
When it comes to the regulation
of driverless cars,
of driverless cars,
131
407160
2920
Volviendo al tema de la regulación
de vehículos autónomos,
de vehículos autónomos,
07:03
the common land now
is basically public safety --
is basically public safety --
132
411080
4336
el prado común vendría a ser
básicamente la seguridad pública;
básicamente la seguridad pública;
07:07
that's the common good --
133
415440
1240
ese es el bien común.
07:09
and the farmers are the passengers
134
417400
1976
Y los pastores serían los pasajeros
07:11
or the car owners who are choosing
to ride in those cars.
to ride in those cars.
135
419400
3600
o los dueños de los autos que
eligen viajar en esos vehículos.
eligen viajar en esos vehículos.
07:16
And by making the individually
rational choice
rational choice
136
424960
2616
Y al tomar la decisión
individualmente racional
individualmente racional
07:19
of prioritizing their own safety,
137
427600
2816
de priorizar su propia seguridad,
07:22
they may collectively be
diminishing the common good,
diminishing the common good,
138
430440
3136
podrían estar disminuyendo
colectivamente el bien común,
colectivamente el bien común,
07:25
which is minimizing total harm.
139
433600
2200
que es minimizar el daño total.
07:30
It's called the tragedy of the commons,
140
438320
2136
Esto se llama "tragedia de los comunes",
07:32
traditionally,
141
440480
1296
tradicionalmente,
07:33
but I think in the case
of driverless cars,
of driverless cars,
142
441800
3096
pero creo que en el caso
de los vehículos autónomos,
de los vehículos autónomos,
07:36
the problem may be
a little bit more insidious
a little bit more insidious
143
444920
2856
el problema es tal vez
un poquito más traicionero
un poquito más traicionero
07:39
because there is not necessarily
an individual human being
an individual human being
144
447800
3496
porque no es necesariamente
un ser humano
un ser humano
07:43
making those decisions.
145
451320
1696
el que toma las decisiones.
07:45
So car manufacturers
may simply program cars
may simply program cars
146
453040
3296
Entonces, los fabricantes podrían
simplemente programar los autos
simplemente programar los autos
07:48
that will maximize safety
for their clients,
for their clients,
147
456360
2520
para maximizar la seguridad
de sus clientes.
de sus clientes.
07:52
and those cars may learn
automatically on their own
automatically on their own
148
460080
2976
Y esos autos podrían aprender,
automáticamente y por su cuenta,
automáticamente y por su cuenta,
07:55
that doing so requires slightly
increasing risk for pedestrians.
increasing risk for pedestrians.
149
463080
3520
que hacer eso requiere aumentar
levemente el riesgo de los peatones.
levemente el riesgo de los peatones.
07:59
So to use the sheep metaphor,
150
467520
1416
O sea que, volviendo a las ovejas:
08:00
it's like we now have electric sheep
that have a mind of their own.
that have a mind of their own.
151
468960
3616
es como si ahora tuviéramos
ovejas eléctricas que piensan solas.
ovejas eléctricas que piensan solas.
08:04
(Laughter)
152
472600
1456
(Risas)
08:06
And they may go and graze
even if the farmer doesn't know it.
even if the farmer doesn't know it.
153
474080
3080
Y pueden irse a pastar solas
aunque el pastor no lo sepa.
aunque el pastor no lo sepa.
08:10
So this is what we may call
the tragedy of the algorithmic commons,
the tragedy of the algorithmic commons,
154
478640
3976
O sea que a esto podríamos llamarlo
"la tragedia de los comunes algorítmicos",
"la tragedia de los comunes algorítmicos",
08:14
and if offers new types of challenges.
155
482640
2360
y nos presenta nuevos desafíos.
08:22
Typically, traditionally,
156
490520
1896
Típicamente, tradicionalmente,
08:24
we solve these types
of social dilemmas using regulation,
of social dilemmas using regulation,
157
492440
3336
este tipo de dilemas sociales
se resuelven implementando regulación.
se resuelven implementando regulación.
08:27
so either governments
or communities get together,
or communities get together,
158
495800
2736
Ya sea el gobierno
o la comunidad, se juntan
o la comunidad, se juntan
08:30
and they decide collectively
what kind of outcome they want
what kind of outcome they want
159
498560
3736
y deciden colectivamente
qué resultado quieren obtener,
qué resultado quieren obtener,
08:34
and what sort of constraints
on individual behavior
on individual behavior
160
502320
2656
y qué tipo de restricciones
a la conducta individual
a la conducta individual
08:37
they need to implement.
161
505000
1200
necesitan implementar.
08:39
And then using monitoring and enforcement,
162
507600
2616
Y luego, a través del control
y la imposición de normas,
y la imposición de normas,
08:42
they can make sure
that the public good is preserved.
that the public good is preserved.
163
510240
2559
pueden garantizar
la preservación del bien común.
la preservación del bien común.
08:45
So why don't we just,
164
513440
1575
Entonces ¿por qué no exigimos,
08:47
as regulators,
165
515039
1496
en nuestro rol de reguladores,
que todos los autos
tienen que minimizar el daño?
tienen que minimizar el daño?
08:48
require that all cars minimize harm?
166
516559
2897
08:51
After all, this is
what people say they want.
what people say they want.
167
519480
2240
A fin de cuentas, eso es
lo que la gente dice que quiere.
lo que la gente dice que quiere.
08:55
And more importantly,
168
523200
1416
Y más importante aún,
08:56
I can be sure that as an individual,
169
524640
3096
puedo estar seguro de que, como individuo,
08:59
if I buy a car that may
sacrifice me in a very rare case,
sacrifice me in a very rare case,
170
527760
3856
si compro un auto que en un caso
muy extremo podría llegar a sacrificarme,
muy extremo podría llegar a sacrificarme,
09:03
I'm not the only sucker doing that
171
531640
1656
no soy el único papanatas haciéndolo
09:05
while everybody else
enjoys unconditional protection.
enjoys unconditional protection.
172
533320
2680
mientras todos los demás
gozan de protección ilimitada.
gozan de protección ilimitada.
09:09
In our survey, we did ask people
whether they would support regulation
whether they would support regulation
173
537120
3336
En nuestra encuesta indagamos
acerca de la idea de la regulación,
acerca de la idea de la regulación,
09:12
and here's what we found.
174
540480
1200
y el resultado fue este:
09:14
First of all, people
said no to regulation;
said no to regulation;
175
542360
3760
Primero, la gente dijo
"no" a la regulación;
"no" a la regulación;
09:19
and second, they said,
176
547280
1256
y segundo:
09:20
"Well if you regulate cars to do this
and to minimize total harm,
and to minimize total harm,
177
548560
3936
"Bueno, si van a regular los autos
para actuar así y minimizar el daño total,
para actuar así y minimizar el daño total,
09:24
I will not buy those cars."
178
552520
1480
yo no los voy a comprar".
09:27
So ironically,
179
555400
1376
Entonces, irónicamente,
09:28
by regulating cars to minimize harm,
180
556800
3496
al regular los autos
para minimizar el daño,
para minimizar el daño,
09:32
we may actually end up with more harm
181
560320
1840
podríamos acabar con más daño
09:35
because people may not
opt into the safer technology
opt into the safer technology
182
563040
3656
porque la gente no adoptaría
esta nueva tecnología
esta nueva tecnología
09:38
even if it's much safer
than human drivers.
than human drivers.
183
566720
2080
aun cuando es mucho más segura
que los conductores humanos.
que los conductores humanos.
09:42
I don't have the final
answer to this riddle,
answer to this riddle,
184
570360
3416
No tengo la respuesta final
a este acertijo,
a este acertijo,
09:45
but I think as a starting point,
185
573800
1576
pero creo que, para empezar,
09:47
we need society to come together
186
575400
3296
necesitamos que la sociedad
se ponga de acuerdo
se ponga de acuerdo
09:50
to decide what trade-offs
we are comfortable with
we are comfortable with
187
578720
2760
sobre las concesiones
que está dispuesta a aceptar,
que está dispuesta a aceptar,
09:54
and to come up with ways
in which we can enforce those trade-offs.
in which we can enforce those trade-offs.
188
582360
3480
y las posibles maneras
de imponer esas concesiones.
de imponer esas concesiones.
09:58
As a starting point,
my brilliant students,
my brilliant students,
189
586520
2536
Como punto de partida,
mis brillantes alumnos,
mis brillantes alumnos,
10:01
Edmond Awad and Sohan Dsouza,
190
589080
2456
Edmond Awad y Sohan Dsouza,
10:03
built the Moral Machine website,
191
591560
1800
construyeron el sitio web Moral Machine,
10:06
which generates random scenarios at you --
192
594200
2680
que genera y presenta
situaciones hipotéticas al azar;
situaciones hipotéticas al azar;
10:10
basically a bunch
of random dilemmas in a sequence
of random dilemmas in a sequence
193
598080
2456
es básicamente una secuencia
aleatoria de dilemas
aleatoria de dilemas
10:12
where you have to choose what
the car should do in a given scenario.
the car should do in a given scenario.
194
600560
3920
donde tienes que elegir
qué debería hacer el auto en cada caso.
qué debería hacer el auto en cada caso.
10:17
And we vary the ages and even
the species of the different victims.
the species of the different victims.
195
605040
4600
Y variamos las edades y hasta las especies
de las distintas víctimas.
de las distintas víctimas.
10:23
So far we've collected
over five million decisions
over five million decisions
196
611040
3696
Hasta ahora hemos recolectado
más de 5 millones de decisiones,
más de 5 millones de decisiones,
10:26
by over one million people worldwide
197
614760
2200
de más de un millón de personas
en todo el mundo
en todo el mundo
10:30
from the website.
198
618400
1200
a través del sitio web.
10:32
And this is helping us
form an early picture
form an early picture
199
620360
2416
Esto nos está ayudando
a pintar un panorama inicial
a pintar un panorama inicial
10:34
of what trade-offs
people are comfortable with
people are comfortable with
200
622800
2616
de las concesiones
que la gente está dispuesta a hacer
que la gente está dispuesta a hacer
10:37
and what matters to them --
201
625440
1896
y de qué es lo que les importa,
10:39
even across cultures.
202
627360
1440
incluso en distintas culturas.
10:42
But more importantly,
203
630240
1496
Pero, lo que es más importante,
10:43
doing this exercise
is helping people recognize
is helping people recognize
204
631760
3376
este ejercicio está ayudando
a la gente a comprender
a la gente a comprender
10:47
the difficulty of making those choices
205
635160
2816
lo difícil que es tomar esas decisiones,
10:50
and that the regulators
are tasked with impossible choices.
are tasked with impossible choices.
206
638000
3800
y que los organismos reguladores
se enfrentan con decisiones imposibles.
se enfrentan con decisiones imposibles.
10:55
And maybe this will help us as a society
understand the kinds of trade-offs
understand the kinds of trade-offs
207
643360
3576
Y tal vez esto nos ayude, como sociedad,
a entender el tipo de concesiones
a entender el tipo de concesiones
10:58
that will be implemented
ultimately in regulation.
ultimately in regulation.
208
646960
3056
que se van a implementar,
en última instancia, como normativa.
en última instancia, como normativa.
11:02
And indeed, I was very happy to hear
209
650040
1736
Me alegré mucho cuando me enteré
11:03
that the first set of regulations
210
651800
2016
de que el primer conjunto de regulaciones
11:05
that came from
the Department of Transport --
the Department of Transport --
211
653840
2136
que publicó el Departamento de Transporte
11:08
announced last week --
212
656000
1376
la semana pasada
11:09
included a 15-point checklist
for all carmakers to provide,
for all carmakers to provide,
213
657400
6576
incluye una lista de 15 ítems
que deben presentar los fabricantes,
que deben presentar los fabricantes,
11:16
and number 14 was ethical consideration --
214
664000
3256
y el número 14
es "consideraciones éticas";
es "consideraciones éticas";
11:19
how are you going to deal with that.
215
667280
1720
cómo van a manejar ese tema.
11:23
We also have people
reflect on their own decisions
reflect on their own decisions
216
671800
2656
En el sitio, la gente también
puede reflexionar sobre sus decisiones
puede reflexionar sobre sus decisiones
11:26
by giving them summaries
of what they chose.
of what they chose.
217
674480
3000
al recibir un resumen
de las opciones que eligieron.
de las opciones que eligieron.
11:30
I'll give you one example --
218
678440
1656
Les voy a dar un ejemplo.
11:32
I'm just going to warn you
that this is not your typical example,
that this is not your typical example,
219
680120
3536
Les advierto que no es un ejemplo típico;
11:35
your typical user.
220
683680
1376
no es un usuario típico.
11:37
This is the most sacrificed and the most
saved character for this person.
saved character for this person.
221
685080
3616
Estos son los individuos que esta persona
más salvó y más sacrificó.
más salvó y más sacrificó.
11:40
(Laughter)
222
688720
5200
(Risas)
11:46
Some of you may agree with him,
223
694680
1896
Algunos de Uds. estarán de acuerdo con él,
11:48
or her, we don't know.
224
696600
1640
o ella, no sabemos.
11:52
But this person also seems to slightly
prefer passengers over pedestrians
prefer passengers over pedestrians
225
700480
6136
Esta persona también parece inclinarse
más a favor del pasajero que del peatón,
más a favor del pasajero que del peatón,
11:58
in their choices
226
706640
2096
según las opciones que escogió,
12:00
and is very happy to punish jaywalking.
227
708760
2816
y no tiene problema
en castigar al peatón imprudente.
en castigar al peatón imprudente.
12:03
(Laughter)
228
711600
3040
(Risas)
12:09
So let's wrap up.
229
717320
1216
Entonces, redondeando.
12:10
We started with the question --
let's call it the ethical dilemma --
let's call it the ethical dilemma --
230
718559
3416
Empezamos con la pregunta,
llamémosle dilema ético,
llamémosle dilema ético,
12:14
of what the car should do
in a specific scenario:
in a specific scenario:
231
722000
3056
de qué debería hacer el auto
en una situación específica:
en una situación específica:
12:17
swerve or stay?
232
725080
1200
¿cambiar de dirección o seguir?
12:19
But then we realized
that the problem was a different one.
that the problem was a different one.
233
727240
2736
Pero luego nos dimos cuenta
de que el problema es otro.
de que el problema es otro.
12:22
It was the problem of how to get
society to agree on and enforce
society to agree on and enforce
234
730000
4536
El problema es que la sociedad
se ponga de acuerdo
se ponga de acuerdo
sobre qué concesiones le son aceptables
y cómo imponerlas.
y cómo imponerlas.
12:26
the trade-offs they're comfortable with.
235
734560
1936
12:28
It's a social dilemma.
236
736520
1256
Es un dilema social.
12:29
In the 1940s, Isaac Asimov
wrote his famous laws of robotics --
wrote his famous laws of robotics --
237
737800
5016
En 1940, Isaac Asimov escribió
sus famosas leyes de la robótica;
sus famosas leyes de la robótica;
12:34
the three laws of robotics.
238
742840
1320
las tres leyes de la robótica.
12:37
A robot may not harm a human being,
239
745240
2456
Un robot no hará daño al ser humano,
12:39
a robot may not disobey a human being,
240
747720
2536
un robot debe obedecer al ser humano,
12:42
and a robot may not allow
itself to come to harm --
itself to come to harm --
241
750280
3256
y un robot debe preservarse a sí mismo.
12:45
in this order of importance.
242
753560
1960
En ese orden de importancia.
12:48
But after 40 years or so
243
756360
2136
Pero después de 40 años más o menos,
12:50
and after so many stories
pushing these laws to the limit,
pushing these laws to the limit,
244
758520
3736
y después de tantas historias
que llevaron estas leyes al límite,
que llevaron estas leyes al límite,
12:54
Asimov introduced the zeroth law
245
762280
3696
Asimov introdujo la ley cero,
12:58
which takes precedence above all,
246
766000
2256
que precede a las demás,
13:00
and it's that a robot
may not harm humanity as a whole.
may not harm humanity as a whole.
247
768280
3280
y es que un robot
no hará daño a la Humanidad.
no hará daño a la Humanidad.
13:04
I don't know what this means
in the context of driverless cars
in the context of driverless cars
248
772480
4376
No sé qué quiere decir esto
en el contexto de los vehículos autónomos,
en el contexto de los vehículos autónomos,
13:08
or any specific situation,
249
776880
2736
o en cualquier situación específica,
13:11
and I don't know how we can implement it,
250
779640
2216
y no sé cómo lo podemos implementar,
13:13
but I think that by recognizing
251
781880
1536
pero creo que reconociendo
13:15
that the regulation of driverless cars
is not only a technological problem
is not only a technological problem
252
783440
6136
que la regulación de vehículos autónomos
no es solo un problema tecnológico
no es solo un problema tecnológico
13:21
but also a societal cooperation problem,
253
789600
3280
sino también un problema
de cooperación social,
de cooperación social,
13:25
I hope that we can at least begin
to ask the right questions.
to ask the right questions.
254
793800
2880
espero que podamos al menos empezar
a hacer las preguntas adecuadas.
a hacer las preguntas adecuadas.
13:29
Thank you.
255
797200
1216
Gracias.
13:30
(Applause)
256
798440
2920
(Aplausos)
ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientistIyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.
Why you should listen
Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.
(Photo: Victoriano Izquierdo)
Iyad Rahwan | Speaker | TED.com