TED2017
Cathy O'Neil: The era of blind faith in big data must end
Cathy O'Neil: La era de la fe ciega en los datos masivos ha de terminar
Filmed:
Readability: 4.4
1,391,460 views
Los algoritmos deciden quién obtiene un préstamo, quién será invitado a una entrevista de trabajo, quién obtiene un seguro y muchas cosas más importantes. Pero estos no hacen automáticamente que las cosas sean justas, ya que suelen estar lejos de ser científicas.
La matemática y científica de datos Cathy O'Neil acuñó un término para algoritmos que son secretos, importantes y nocivos: "armas matemáticas de destrucción "
Aprenda más sobre las agendas ocultas detrás de estas fórmulas supuestamente objetivas y por qué necesitamos empezar a construirlas mejor.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
Hay algoritmos por todos lados.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
Ordenan y separan a los ganadores
de los perdedores.
de los perdedores.
00:20
The winners get the job
2
8019
2264
Los ganadores consiguen el trabajo
00:22
or a good credit card offer.
3
10307
1743
o buenas condiciones de crédito.
00:24
The losers don't even get an interview
4
12074
2651
A los perdedores ni siquiera
se les invita a una entrevista
se les invita a una entrevista
00:27
or they pay more for insurance.
5
15590
1777
o tienen que pagar más por el seguro.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
Se nos califica mediante fórmulas
secretas que no entendemos
secretas que no entendemos
00:34
that often don't have systems of appeal.
7
22675
3217
y a las que no se puede apelar.
00:39
That begs the question:
8
27240
1296
Eso plantea una pregunta:
00:40
What if the algorithms are wrong?
9
28560
2913
¿Qué pasa si los algoritmos se equivocan?
00:45
To build an algorithm you need two things:
10
33100
2040
Un algoritmo necesita dos cosas:
00:47
you need data, what happened in the past,
11
35164
1981
datos ocurridos en el pasado
00:49
and a definition of success,
12
37169
1561
y una definición del éxito;
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
esto es, lo que uno quiere y lo que desea.
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
Los algoritmos se entrenan
mirando, descubriendo.
mirando, descubriendo.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
El algoritmo calcula a qué
se asocia el éxito,
se asocia el éxito,
01:01
What situation leads to success?
16
49739
2463
qué situaciones llevan al éxito.
01:04
Actually, everyone uses algorithms.
17
52881
1762
En general todos usamos algoritmos
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
pero no los formalizamos
mediante un código escrito.
mediante un código escrito.
01:09
Let me give you an example.
19
57409
1348
Les doy un ejemplo.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
Yo uso un algoritmo todos los días
para preparar la comida en casa.
para preparar la comida en casa.
01:14
The data I use
21
62121
1476
Los datos que uso
01:16
is the ingredients in my kitchen,
22
64394
1659
son los ingredientes de la cocina,
01:18
the time I have,
23
66077
1527
el tiempo que tengo
01:19
the ambition I have,
24
67628
1233
y lo ambiciosa que estoy.
01:20
and I curate that data.
25
68885
1709
Y así organizo los datos.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
No incluyo esos paquetitos
de fideos como comida.
de fideos como comida.
01:26
(Laughter)
27
74893
1869
(Risas)
01:28
My definition of success is:
28
76786
1845
Mi definición del éxito es:
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
la comida tiene éxito,
si mis hijos comen verdura.
si mis hijos comen verdura.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
Lo que sería muy distinto,
si mi hijito tuviera el control.
si mi hijito tuviera el control.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
Para él el éxito es comer
mucha Nutella.
mucha Nutella.
01:41
But I get to choose success.
32
89179
2226
Pero yo soy quien elige el éxito.
01:43
I am in charge. My opinion matters.
33
91429
2707
Estoy al mando. Mi opinión cuenta.
01:46
That's the first rule of algorithms.
34
94160
2675
Esa es la primera regla de los algoritmos.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
Los algoritmos se embeben en código.
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
Es muy diferente a cómo la gente
se imagina los algoritmos.
se imagina los algoritmos.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
Se creen que los algoritmos son
objetivos, verdaderos y científicos.
objetivos, verdaderos y científicos.
02:02
That's a marketing trick.
38
110387
1699
Ese en un truco del marketing.
02:05
It's also a marketing trick
39
113269
2125
Tambien es un truco del marketing
02:07
to intimidate you with algorithms,
40
115418
3154
la intimidación con algoritmos,
02:10
to make you trust and fear algorithms
41
118596
3661
que nos hacer confiar
y temer los algoritmos
y temer los algoritmos
02:14
because you trust and fear mathematics.
42
122281
2018
porque confiamos y tememos
las matemáticas.
las matemáticas.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Muchas cosas pueden salir mal si
confiamos a ciegas en datos masivos.
confiamos a ciegas en datos masivos.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
Esta es Kiri Soares. Es la directora
de una escuela de Brooklyn.
de una escuela de Brooklyn.
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
En 2011 me contó que
sus maestros se clasificaban
sus maestros se clasificaban
mediante un algoritmo complejo y secreto
02:29
with a complex, secret algorithm
46
137691
2727
llamado "modelo del valor añadido".
02:32
called the "value-added model."
47
140442
1489
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
Le dije, "Intente saber
cuál es la fórmula, muéstremela.
cuál es la fórmula, muéstremela.
02:37
I'm going to explain it to you."
49
145621
1541
Se la voy a explicar".
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
Me respondió,
"Trate de conseguir la fórmula,
"Trate de conseguir la fórmula,
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
pero un conocido del Departamento
de Educación me dijo
de Educación me dijo
02:44
and I wouldn't understand it."
52
152147
1546
que era matemática y
que no la entendería".
que no la entendería".
02:47
It gets worse.
53
155266
1338
Esto se pone peor.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
El New York Post la solicitó bajo la
Ley de Libertad a la Información.
Ley de Libertad a la Información.
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
Obtuvo los nombres de los maestros
y su puntuación
y su puntuación
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
y los publicó como un acto para
avergonzar a los maestros.
avergonzar a los maestros.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
Cuando intenté conseguir las fórmulas en
código base, usando el mismo mecanismo,
código base, usando el mismo mecanismo,
03:02
I was told I couldn't.
58
170968
2149
me dijeron que no se podía.
03:05
I was denied.
59
173141
1236
Me lo negaron.
03:06
I later found out
60
174401
1174
Más tarde descubrí
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
que nadie tenía derecho
a la fórmula en Nueva York.
a la fórmula en Nueva York.
03:10
No one understood it.
62
178489
1305
Nadie lo podía entender.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Entonces apareció un tipo muy
inteligente, Gary Rubenstein.
inteligente, Gary Rubenstein.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
Localizó a 665 maestros por
los datos del New York Post
los datos del New York Post
03:20
that actually had two scores.
65
188822
1866
que tenían dos puntuaciones.
03:22
That could happen if they were teaching
66
190712
1881
Eso podía ocurrir si enseñaban
03:24
seventh grade math and eighth grade math.
67
192617
2439
matemática en 7º y 8º grado.
03:27
He decided to plot them.
68
195080
1538
Decidió hacer un gráfico.
03:28
Each dot represents a teacher.
69
196642
1993
Donde cada punto representa
a un maestro.
a un maestro.
03:31
(Laughter)
70
199104
2379
(Risas)
03:33
What is that?
71
201507
1521
Y eso ¿qué es?
03:35
(Laughter)
72
203052
1277
(Risas)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
Eso no debiera haberse usado nunca
para evaluar a una persona.
para evaluar a una persona.
03:39
It's almost a random number generator.
74
207823
1926
Es casi un generador de números al azar.
03:41
(Applause)
75
209773
2946
(Aplausos)
03:44
But it was.
76
212743
1162
Pero lo fue.
03:45
This is Sarah Wysocki.
77
213929
1176
Esta es Sarah Wysocki.
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
La echaron junto a otros 205 maestros
03:49
from the Washington, DC school district,
79
217328
2662
de una escuela en Washington DC,
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
a pesar de tener muy buena recomendación
de la directora
de la directora
03:54
and the parents of her kids.
81
222947
1428
y de los padres de sus alumnos.
Me imagino lo que estarán pensando,
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
especialmente los cientificos de
datos, los expertos en IA
datos, los expertos en IA
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
Pensarán "Nosotros nunca produciríamos
un algoritmo tan inconsistente."
un algoritmo tan inconsistente."
04:06
But algorithms can go wrong,
85
234853
1683
Pero los algoritmos a veces fallan,
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
y tambien provocar mucha destrucción
sin querer.
sin querer.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
Y mientras un avión mal diseñado
04:16
crashes to the earth and everyone sees it,
88
244934
2001
se estrella y todos lo ven,
04:18
an algorithm designed badly
89
246959
1850
un algoritmo mal diseñado
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
puede funcionar mucho tiempo
provocando un desastre silenciosamente.
provocando un desastre silenciosamente.
04:27
This is Roger Ailes.
91
255748
1570
Este es Roger Ailes.
04:29
(Laughter)
92
257342
2000
(Risas)
04:32
He founded Fox News in 1996.
93
260524
2388
Fundador de Fox News en el 1996.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
Mas de 20 mujeres se quejaron de
acoso sexual.
acoso sexual.
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
Dijeron que no pudieron
tener éxito en Fox News.
tener éxito en Fox News.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
Lo echaron el año pasado,
pero hemos visto que hace poco
pero hemos visto que hace poco
04:43
that the problems have persisted.
97
271844
2670
los problemas han continuado.
04:47
That begs the question:
98
275654
1400
Esto plantea una pregunta:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
¿Qué debe hacer Fox News para cambiar?
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
Y si substituyeran su mecanismo
de contratación
de contratación
con un algoritmo de auto-
aprendizaje automatizado?
aprendizaje automatizado?
04:56
with a machine-learning algorithm?
101
284310
1654
04:57
That sounds good, right?
102
285988
1595
¿Suena bien?
04:59
Think about it.
103
287607
1300
Piénsenlo,
05:00
The data, what would the data be?
104
288931
2105
Los datos, ¿qué datos serían?
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Una eleccion razonable serian las últimas
21 solicitudes recibidas por Fox News
21 solicitudes recibidas por Fox News
05:08
Reasonable.
106
296031
1502
Razonable.
05:09
What about the definition of success?
107
297557
1938
Y ¿cuál sería la definición del éxito?
05:11
Reasonable choice would be,
108
299921
1324
Algo razonable sería
preguntar, quién es exitoso en Fox News.
05:13
well, who is successful at Fox News?
109
301269
1778
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
Me imagino que alguien que
hubiera estado alli unos 4 años
hubiera estado alli unos 4 años
05:18
and was promoted at least once.
111
306675
1654
y subido de puesto por lo menosuna vez.
05:20
Sounds reasonable.
112
308816
1561
¿Suena razonable?
05:22
And then the algorithm would be trained.
113
310401
2354
Y así se adiestraría el algoritmo.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
Se adiestraría para buscar a gente
que logra el éxito.
que logra el éxito.
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
Y qué solicitudes antiguas
llegaron al éxito
llegaron al éxito
05:33
by that definition.
116
321561
1294
según esa definición.
05:36
Now think about what would happen
117
324200
1775
Ahora piensen que ocurriría
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
si lo usáramos con los candidatos de hoy.
05:41
It would filter out women
119
329119
1629
Filtraría a las mujeres
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
ya que no parecen ser personas que
hayan tenido éxito en el pasado.
hayan tenido éxito en el pasado.
05:51
Algorithms don't make things fair
121
339752
2537
Los algoritmos no son justos
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
si uno usa algoritmos a ciegas.
05:57
They don't make things fair.
123
345031
1482
No son justos.
05:58
They repeat our past practices,
124
346537
2128
Repiten prácticas anteriores,
06:00
our patterns.
125
348689
1183
nuestros patrones.
06:01
They automate the status quo.
126
349896
1939
Automatizan al status quo.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
Sería genial en un mundo perfecto,
06:07
but we don't.
128
355905
1312
pero no lo tenemos.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
Y aclaro que la mayoria de las empresas
no estan involucradas en litigios,
no estan involucradas en litigios,
06:14
but the data scientists in those companies
130
362446
2588
pero los cientificos de datos
de esas empresas
de esas empresas
06:17
are told to follow the data,
131
365058
2189
emplean esos datos
06:19
to focus on accuracy.
132
367271
2143
para lograr la precisión.
06:22
Think about what that means.
133
370273
1381
Piensen qué significa esto.
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
Porque todos tenemos prejuicios,
y así podríamos codificar sexismo
y así podríamos codificar sexismo
06:27
or any other kind of bigotry.
135
375729
1836
u otro tipo de fanatismo.
06:31
Thought experiment,
136
379488
1421
Un experimento de pensamiento,
06:32
because I like them:
137
380933
1509
porque me gusta,
06:35
an entirely segregated society --
138
383574
2975
una sociedad totalmente segregada.
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
segregada racialmente,
todas las ciudades y los barrios
todas las ciudades y los barrios
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
y donde enviamos a la policia
solo a barrios minoritarios
solo a barrios minoritarios
06:46
to look for crime.
141
394660
1193
para detectar delitos.
06:48
The arrest data would be very biased.
142
396451
2219
Los arrestos serían sesgados.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
Y, además, elegimos a los
cientificos de datos
cientificos de datos
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
y pagamos por los datos para predecir
dónde ocurrirán los próximos delitos.
dónde ocurrirán los próximos delitos.
06:59
Minority neighborhood.
145
407275
1487
El barrio de una minoría.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
O a predecir quien será
el próximo criminal.
el próximo criminal.
07:04
A minority.
147
412888
1395
Una minoría.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Los cientificos de datos se jactarían
de su grandeza y de la precisión
de su grandeza y de la precisión
07:11
their model would be,
149
419514
1297
de su modelo,
07:12
and they'd be right.
150
420835
1299
y tendrían razón.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
La realidad no es tan drástica,
pero tenemos grandes segregaciones
pero tenemos grandes segregaciones
07:20
in many cities and towns,
152
428590
1287
en muchas ciudades
07:21
and we have plenty of evidence
153
429901
1893
y tenemos muchas pruebas
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
de datos políticos y
legislativos sesgados.
legislativos sesgados.
07:27
And we actually do predict hotspots,
155
435632
2815
Y podemos predecir puntos calientes,
07:30
places where crimes will occur.
156
438471
1530
lugares donde podrá ocurrir un delito
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
Y así predecir un crimen individual
07:36
the criminality of individuals.
158
444291
1770
y la criminalidad de los individuos.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
El organismo de noticias ProPublica
lo estudió hace poco.
lo estudió hace poco.
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
un algoritmo de "riesgo recidivista"
07:45
as they're called,
161
453007
1163
según los llaman
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
usado en Florida
al hacer sentencias judiciales.
al hacer sentencias judiciales.
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
Bernardo, a la izquierda, un hombre negro
sacó una puntuación de 10 de 10.
sacó una puntuación de 10 de 10.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
Dylan, a la derecha, 3 de 10.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
10 de 10, alto riesgo
3 de 10, bajo riesgo.
3 de 10, bajo riesgo.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Los sentenciaron por tener drogas.
08:03
They both had records,
167
471007
1154
Ambos con antecedentes penales
08:04
but Dylan had a felony
168
472185
2806
pero Dylan habia cometido un delito
08:07
but Bernard didn't.
169
475015
1176
Bernard, no.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
Esto importa porque
a mayor puntuación
a mayor puntuación
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
mayor probabilidad de
una sentencia más larga.
una sentencia más larga.
08:18
What's going on?
172
486294
1294
¿Que sucede?
08:20
Data laundering.
173
488526
1332
Lavado de datos.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
El proceso que se usa para
ocultar verdades feas
ocultar verdades feas
08:27
inside black box algorithms
175
495381
1821
dentro de una caja negra
de algoritmos
de algoritmos
08:29
and call them objective;
176
497226
1290
y llamarlos objetivos;
08:31
call them meritocratic.
177
499320
1568
llamándolos meritocráticos
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
cuando son secretos,
importantes y destructivos
importantes y destructivos
08:37
I've coined a term for these algorithms:
179
505527
2487
Les puse un nombre a estos algoritmos:
08:40
"weapons of math destruction."
180
508038
1999
"armas matemáticas de destrucción"
08:42
(Laughter)
181
510061
1564
(Risas)
08:43
(Applause)
182
511649
3054
(Aplausos)
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
Estan en todos sitios
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Son empresas privadas
que construyen algoritmos privados
que construyen algoritmos privados
08:53
for private ends.
185
521442
1392
para fines privados.
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Incluso los mencionados
de los maestros y la policía pública
de los maestros y la policía pública
08:58
those were built by private companies
187
526452
1869
fueron diseñados por empresas privadas
09:00
and sold to the government institutions.
188
528345
2231
y vendidos a
instituciones gubernamentales.
instituciones gubernamentales.
09:02
They call it their "secret sauce" --
189
530600
1873
Lo llaman su "salsa secreta"
09:04
that's why they can't tell us about it.
190
532497
2128
por eso no nos pueden hablar de ello.
09:06
It's also private power.
191
534649
2220
Es un poder privado
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
que saca provecho por su
autoridad inescrutable.
autoridad inescrutable.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
Entonces uno ha de pensar,
ya que todo esto es privado
ya que todo esto es privado
09:20
and there's competition,
194
548072
1158
y hay competición,
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
tal vez un mercado libre
podrá solucionarlo
podrá solucionarlo
09:23
It won't.
196
551584
1249
Pero no.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
Se puede ganar mucho dinero
con la injusticia.
con la injusticia.
09:29
Also, we're not economic rational agents.
198
557127
3369
Tampoco somos agentes
económicos racionales.
económicos racionales.
09:33
We all are biased.
199
561031
1292
Todos tenemos prejuicios
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Somos racistas y fanáticos
de una forma que no quisiéramos,
de una forma que no quisiéramos,
09:38
in ways that we don't even know.
201
566361
2019
de maneras que desconocemos.
09:41
We know this, though, in aggregate,
202
569352
3081
Lo sabemos al sumarlo
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
porque los sociólogos
lo han demostrado consistentemente
lo han demostrado consistentemente
09:47
with these experiments they build,
204
575701
1665
con experimentos que construyeron
donde mandan una cantidad de solicitudes
de empleo
de empleo
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
de personas de calificaciones iguales
pero algunas con apellidos blancos
pero algunas con apellidos blancos
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
09:54
and some have black-sounding names,
207
582507
1706
y otras con apellidos negros,
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
y los resultados siempre los
decepcionan, siempre.
decepcionan, siempre.
09:59
So we are the ones that are biased,
209
587510
1771
Nosotros somos los prejuiciosos
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
que inyectamos prejuicios
a nuestros algoritmos
a nuestros algoritmos
10:04
by choosing what data to collect,
211
592758
1812
al elegir qué datos recoger,
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
así como yo elegí no pensar
en los fideos--
en los fideos--
10:09
I decided it was irrelevant.
213
597361
1625
Y decidi que no era importante.
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
Pero tenerle confianza a los datos
basados en prácticas pasadas
basados en prácticas pasadas
10:16
and by choosing the definition of success,
215
604718
2014
y eligiendo la definición del éxito,
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
¿cómo pretendemos que los
algoritmos emerjan intactos?
algoritmos emerjan intactos?
10:22
We can't. We have to check them.
217
610763
2356
No podemos. Tenemos que verificarlos.
10:26
We have to check them for fairness.
218
614165
1709
Hay que revisarlos por equidad.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
Y las buenas noticias son
10:30
Algorithms can be interrogated,
220
618633
3352
que los algoritmos pueden ser
interrogados,
interrogados,
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
y nos dirán la verdad todas las veces.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
Y los podemos arreglar.
Y mejorarlos.
Y mejorarlos.
10:38
I call this an algorithmic audit,
223
626584
2375
Lo explico. Esto se llama revisión
del algoritmo,
del algoritmo,
10:40
and I'll walk you through it.
224
628983
1679
lo explico.
10:42
First, data integrity check.
225
630686
2196
Primero, verificación de
integridad de datos.
integridad de datos.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
por el riesgo recidivista.
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
La verificación de la integridad de datos
implicaría una conciliación
implicaría una conciliación
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
que en EE. UU. los blancos y los
negros fuman marihuana
negros fuman marihuana
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
pero a los negros es mas fácil que
los arresten
los arresten
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
más probablemente cuatro o cinco
veces más dependiendo de la zona.
veces más dependiendo de la zona.
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
Y ¿cómo son los prejuicios en
otras categorías criminales,
otras categorías criminales,
11:06
and how do we account for it?
232
654167
1451
y cómo lo justificamos?
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
Segundo, debemos pensar
en la definición del éxito,
en la definición del éxito,
11:11
audit that.
234
659225
1381
revisarla.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
¿Recuerdan el algoritmo
de la contratación?
de la contratación?
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
alguien que se queda cuatro años
y asciende de cargo una vez?
y asciende de cargo una vez?
11:18
Well, that is a successful employee,
237
666595
1769
Ese es el empleado exitoso,
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
pero tambien es el empleado
apoyado por la cultura.
apoyado por la cultura.
11:24
That said, also it can be quite biased.
239
672089
1926
Esto puede ser bastante injusto.
11:26
We need to separate those two things.
240
674039
2065
Tenemos que separar dos cosas.
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
Mirar a la audicion de una
orquesta de ciegos
orquesta de ciegos
11:30
as an example.
242
678578
1196
por ejemplo.
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
Los que dan la audición están
detrás de la partitura.
detrás de la partitura.
11:34
What I want to think about there
244
682946
1931
Lo que quiero que piensen
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
es que la gente que escucha
decide lo que es importante
decide lo que es importante
11:40
and they've decided what's not important,
246
688342
2029
y lo que no lo es,
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
sin que eso nos distraiga.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
Cuando empezaron las audiciones
de orquesta de ciegos
de orquesta de ciegos
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
la cantidad de mujeres aumentó
un factor de cinco veces.
un factor de cinco veces.
11:52
Next, we have to consider accuracy.
250
700253
2015
Tambien hay que pensar en la precisión
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
y así el modelo
del valor añadido fallaría.
del valor añadido fallaría.
11:59
No algorithm is perfect, of course,
252
707578
2162
Por supuesto ningún algoritmo es perfecto,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
asi que hay que considerar los
errores de cada algoritmo.
errores de cada algoritmo.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
¿Qué frecuencia tienen los errores
y con quiénes falla?
y con quiénes falla?
12:11
What is the cost of that failure?
255
719850
1718
Y ¿cuál es el costo de dicha falla?
12:14
And finally, we have to consider
256
722434
2207
Y por último, tenemos que considerar
12:17
the long-term effects of algorithms,
257
725973
2186
los efectos a largo plazo
de los algoritmos,
de los algoritmos,
12:20
the feedback loops that are engendering.
258
728866
2207
los bucles de retroalimentación
que engendran.
que engendran.
12:23
That sounds abstract,
259
731586
1236
Eso suena a abstracto.
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
Pero imagínese si los ingenieros
de Facebook lo hubieran considerado
de Facebook lo hubieran considerado
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
antes de mostrarnos cosas
publicadas por nuestros amigos.
publicadas por nuestros amigos.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
Tengo dos mensajes,
uno para los científicos de datos.
uno para los científicos de datos.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Cientificos de datos: no debemos
ser los árbitros de la verdad.
ser los árbitros de la verdad.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Debemos ser tradutores de las
discusiones éticas que ocurren
discusiones éticas que ocurren
12:45
in larger society.
265
753327
1294
en toda la sociedad.
12:47
(Applause)
266
755579
2133
(Aplausos)
12:49
And the rest of you,
267
757736
1556
Y para el resto de Uds.
12:52
the non-data scientists:
268
760011
1396
los que no son científicos de datos:
12:53
this is not a math test.
269
761431
1498
esta no es un examen de matemáticas.
12:55
This is a political fight.
270
763632
1348
Es una lucha politica.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Tenemos que exigir responsabilidad
a los lores de los algoritmos.
a los lores de los algoritmos.
13:04
(Applause)
272
772118
1499
(Aplausos)
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
La era de la fe ciega en los
datos masivos debe terminar.
datos masivos debe terminar.
13:09
Thank you very much.
274
777890
1167
Muchas gracias.
13:11
(Applause)
275
779081
5303
(Aplauso)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com