TED2017
Cathy O'Neil: The era of blind faith in big data must end
Cathy O'Neil: A era da fé cega no Big data tem de acabar
Filmed:
Readability: 4.4
1,391,460 views
Os algoritmos decidem quem vai receber um empréstimo, quem vai ser selecionado para uma entrevista de emprego, quem vai ter direito ao seguro, e muito mais -- mas eles não garantem automaticamente que as coisas sejam justas. Cathy O'Neil, matemática e engenheira de dados, cunhou um termo para esses algoritmos secretos, importantes e nocivos: "armas de destruição em matemática". Saiba mais sobre as agendas secretas por trás das fórmulas dos algoritmos.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
Os algoritmos estão por toda parte.
00:12
Algorithms are everywhere.
0
975
1596
Eles selecionam e separam
os vencedores dos perdedores.
os vencedores dos perdedores.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
00:20
The winners get the job
2
8019
2264
Os vencedores conseguem o emprego
ou a oferta de um bom cartão de crédito.
ou a oferta de um bom cartão de crédito.
00:22
or a good credit card offer.
3
10307
1743
00:24
The losers don't even get an interview
4
12074
2651
Os perdedores não conseguem
nem mesmo uma entrevista.
nem mesmo uma entrevista.
00:27
or they pay more for insurance.
5
15590
1777
Ou pagam mais caro pelo seu seguro.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
Estamos sendo avaliados
com fórmulas secretas que não entendemos,
com fórmulas secretas que não entendemos,
00:34
that often don't have systems of appeal.
7
22675
3217
que geralmente não têm
como serem contestadas.
como serem contestadas.
00:39
That begs the question:
8
27240
1296
Isso coloca uma questão:
00:40
What if the algorithms are wrong?
9
28560
2913
e se os algoritmos estiverem errados?
Precisamos de duas coisas
para criar um algoritmo:
para criar um algoritmo:
00:45
To build an algorithm you need two things:
10
33100
2040
de dados, o que aconteceu no passado,
e uma definição de sucesso,
e uma definição de sucesso,
00:47
you need data, what happened in the past,
11
35164
1981
00:49
and a definition of success,
12
37169
1561
aquilo que estamos procurando
e geralmente esperando.
e geralmente esperando.
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
Treinamos um algoritmo
procurando, calculando.
procurando, calculando.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
O algoritmo descobre
o que está associado com o sucesso,
o que está associado com o sucesso,
que situação leva ao sucesso.
01:01
What situation leads to success?
16
49739
2463
01:04
Actually, everyone uses algorithms.
17
52881
1762
Na verdade, todos usamos algoritmos,
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
apenas não os formalizamos
num código escrito.
num código escrito.
Querem um exemplo?
01:09
Let me give you an example.
19
57409
1348
Todo dia uso um algoritmo pra preparar
as refeições da minha família.
as refeições da minha família.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
01:14
The data I use
21
62121
1476
Os dados que uso
01:16
is the ingredients in my kitchen,
22
64394
1659
são os ingredientes da minha cozinha,
o tempo disponível,
o tempo disponível,
01:18
the time I have,
23
66077
1527
01:19
the ambition I have,
24
67628
1233
minha ambição,
01:20
and I curate that data.
25
68885
1709
e quem seleciona os dados sou eu.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
Não conto um pacote de Miojo como comida.
01:26
(Laughter)
27
74893
1869
(Risos)
01:28
My definition of success is:
28
76786
1845
Minha definição de sucesso é:
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
uma refeição é um sucesso
quando meus filhos comem verduras.
quando meus filhos comem verduras.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
Muito diferente se meu filho
mais novo estiver no comando.
mais novo estiver no comando.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
Para ele, sucesso
é comer montes de Nutella.
é comer montes de Nutella.
01:41
But I get to choose success.
32
89179
2226
Mas eu é que escolho o que é sucesso.
01:43
I am in charge. My opinion matters.
33
91429
2707
Eu estou no comando; minha opinião conta.
01:46
That's the first rule of algorithms.
34
94160
2675
Essa é a primeira regra dos algoritmos.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
Algoritmos são opiniões
embutidas num código.
embutidas num código.
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
Bem diferente do que a maioria
de nós pensa sobre os algoritmos.
de nós pensa sobre os algoritmos.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
Achamos que os algoritmos são
objetivos, verdadeiros e científicos.
objetivos, verdadeiros e científicos.
02:02
That's a marketing trick.
38
110387
1699
Esse é um truque de marketing.
02:05
It's also a marketing trick
39
113269
2125
É também um truque de marketing
02:07
to intimidate you with algorithms,
40
115418
3154
intimidar vocês com algoritmos,
02:10
to make you trust and fear algorithms
41
118596
3661
fazê-los acreditar nos algoritmos
ou ter medo deles
ou ter medo deles
02:14
because you trust and fear mathematics.
42
122281
2018
porque acreditamos
na matemática, e temos medo dela.
na matemática, e temos medo dela.
Muita coisa pode dar errado
quando confiamos cegamente no Big Data.
quando confiamos cegamente no Big Data.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Esta é Kiri Soares,
diretora de um colégio no Brooklyn.
diretora de um colégio no Brooklyn.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
Em 2011, ela me disse que seus professores
estavam sendo avaliados
por um algoritmo complexo e secreto,
por um algoritmo complexo e secreto,
02:29
with a complex, secret algorithm
46
137691
2727
chamado "modelo de valor agregado".
02:32
called the "value-added model."
47
140442
1489
Disse a ela: "Descubra
a fórmula dele e me mostre.
a fórmula dele e me mostre.
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
Aí, posso explicá-lo a você".
02:37
I'm going to explain it to you."
49
145621
1541
Ela disse: "Tentei conseguir a fórmula,
mas meu contato na Secretaria de Educação
mas meu contato na Secretaria de Educação
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
me falou que era matemática
e que eu não iria entender".
e que eu não iria entender".
02:44
and I wouldn't understand it."
52
152147
1546
02:47
It gets worse.
53
155266
1338
E a história só fica pior.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
O "New York Post" protocolou
um pedido de transparência,
um pedido de transparência,
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
pegou o nome de todos os professores,
e todas suas avaliações
e todas suas avaliações
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
e publicou como um ato
para expor os professores.
para expor os professores.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
Quando tentei conseguir as fórmulas,
o código-fonte, através dos mesmos meios,
o código-fonte, através dos mesmos meios,
me disseram que não podia, me foi negado.
03:02
I was told I couldn't.
58
170968
2149
03:05
I was denied.
59
173141
1236
Descobri mais tarde que ninguém em
Nova Iorque tinha acesso àquela fórmula.
Nova Iorque tinha acesso àquela fórmula.
03:06
I later found out
60
174401
1174
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
03:10
No one understood it.
62
178489
1305
Ninguém a entendia.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Então, Gary Rubenstein,
um cara muito inteligente, se envolveu.
um cara muito inteligente, se envolveu.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
Ele descobriu 665 professores
naqueles dados do "New York Post"
naqueles dados do "New York Post"
que na verdade tinham duas avaliações.
03:20
that actually had two scores.
65
188822
1866
03:22
That could happen if they were teaching
66
190712
1881
Aquilo podia acontecer se eles ensinavam
matemática na sétima e na oitava série.
matemática na sétima e na oitava série.
03:24
seventh grade math and eighth grade math.
67
192617
2439
03:27
He decided to plot them.
68
195080
1538
Ele decidiu marcá-los.
03:28
Each dot represents a teacher.
69
196642
1993
Cada ponto representa um professor.
03:31
(Laughter)
70
199104
2379
(Risos)
03:33
What is that?
71
201507
1521
O que é isto?
03:35
(Laughter)
72
203052
1277
(Risos)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
Isso nunca deveria ter sido usado
numa avaliação individual.
numa avaliação individual.
É quase um gerador aleatório de número.
03:39
It's almost a random number generator.
74
207823
1926
(Aplausos) (Vivas)
03:41
(Applause)
75
209773
2946
Mas foi usado.
03:44
But it was.
76
212743
1162
Esta é Sarah Wysocki.
03:45
This is Sarah Wysocki.
77
213929
1176
Ela foi demitida, juntamente
com 205 outros professores,
com 205 outros professores,
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
03:49
from the Washington, DC school district,
79
217328
2662
da superintendência de ensino
de Washington, D.C.,
de Washington, D.C.,
mesmo tendo excelente recomendação
de sua diretora e dos pais das crianças.
de sua diretora e dos pais das crianças.
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
03:54
and the parents of her kids.
81
222947
1428
Muitos aqui devem estar pensando,
especialmente cientistas de dados,
especialmente cientistas de dados,
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
os especialistas em IA:
"Eu nunca faria um algoritmo
inconsistente assim".
inconsistente assim".
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
Mas os algoritmos podem dar errado,
04:06
But algorithms can go wrong,
85
234853
1683
mesmo os bem-intencionados podem ter
efeitos profundamente destrutivos.
efeitos profundamente destrutivos.
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
E enquanto um avião mal projetado
cai, e todo mundo vê,
cai, e todo mundo vê,
04:16
crashes to the earth and everyone sees it,
88
244934
2001
um algoritmo mal projetado
04:18
an algorithm designed badly
89
246959
1850
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
pode continuar a causar destruição
de forma silenciosa, por um longo tempo.
de forma silenciosa, por um longo tempo.
04:27
This is Roger Ailes.
91
255748
1570
Este é Roger Ailes.
04:29
(Laughter)
92
257342
2000
(Risos)
04:32
He founded Fox News in 1996.
93
260524
2388
Ele fundou a Fox News em 1996.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
Mais de 20 mulheres
reclamaram de assédio sexual.
reclamaram de assédio sexual.
Elas disseram que não lhes foi
permitido subir na Fox News.
permitido subir na Fox News.
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
Ele foi afastado ano passado,
mas vimos recentemente
mas vimos recentemente
04:43
that the problems have persisted.
97
271844
2670
que os problemas continuaram.
04:47
That begs the question:
98
275654
1400
Uma pergunta se impõe aqui:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
o que a Fox News deveria fazer
para virar essa página?
para virar essa página?
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
Que tal se eles substituírem
seu processo de contratação
seu processo de contratação
04:56
with a machine-learning algorithm?
101
284310
1654
por um algoritmo de aprendizado
de máquina? Parece boa ideia, né?
de máquina? Parece boa ideia, né?
04:57
That sounds good, right?
102
285988
1595
04:59
Think about it.
103
287607
1300
Pensem bem.
05:00
The data, what would the data be?
104
288931
2105
Os dados, quais seriam os dados?
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Uma escolha razoável seria os últimos
21 anos de contratação da Fox News.
21 anos de contratação da Fox News.
05:08
Reasonable.
106
296031
1502
Bem razoável.
05:09
What about the definition of success?
107
297557
1938
E a definição de sucesso?
05:11
Reasonable choice would be,
108
299921
1324
Seria uma escolha racional:
quem é bem-sucedido para a Fox News?
quem é bem-sucedido para a Fox News?
05:13
well, who is successful at Fox News?
109
301269
1778
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
Digamos que seja alguém
que tenha ficado lá por quatro anos
que tenha ficado lá por quatro anos
05:18
and was promoted at least once.
111
306675
1654
e promovido pelo menos uma vez.
05:20
Sounds reasonable.
112
308816
1561
Parece razoável.
05:22
And then the algorithm would be trained.
113
310401
2354
E então o algoritmo poderia ser treinado.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
Seria treinado para procurar pessoas
para aprender o que leva ao sucesso,
para aprender o que leva ao sucesso,
que tipo de contratações
historicamente levaram ao sucesso
historicamente levaram ao sucesso
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
segundo aquela definição.
05:33
by that definition.
116
321561
1294
05:36
Now think about what would happen
117
324200
1775
Agora pensem sobre o que aconteceria
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
se aplicado a um conjunto
atual de pedidos de emprego.
atual de pedidos de emprego.
05:41
It would filter out women
119
329119
1629
Ele filtraria as mulheres,
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
pois aparentemente elas não
tiveram sucesso no passado.
tiveram sucesso no passado.
05:51
Algorithms don't make things fair
121
339752
2537
Os algoritmos não tornam as coisas justas
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
se forem aplicados
de forma cega e displicente.
de forma cega e displicente.
05:57
They don't make things fair.
123
345031
1482
Não tornam as coisas justas.
05:58
They repeat our past practices,
124
346537
2128
Eles repetem nossas práticas
passadas, nossos padrões.
passadas, nossos padrões.
06:00
our patterns.
125
348689
1183
Eles automatizam o status quo.
06:01
They automate the status quo.
126
349896
1939
Isso seria ótimo se tivéssemos
um mundo perfeito,
um mundo perfeito,
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
06:07
but we don't.
128
355905
1312
mas não temos.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
E mais: a maioria das empresas
não inclui os litígios constrangedores,
não inclui os litígios constrangedores,
06:14
but the data scientists in those companies
130
362446
2588
mas os cientistas de dados dessas empresas
06:17
are told to follow the data,
131
365058
2189
são orientados a seguirem os dados,
06:19
to focus on accuracy.
132
367271
2143
a terem rigor.
06:22
Think about what that means.
133
370273
1381
Pensem no que isso significa.
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
Como todos somos tendenciosos, significa
que poderiam estar codificando sexismo
que poderiam estar codificando sexismo
06:27
or any other kind of bigotry.
135
375729
1836
ou qualquer outro tipo de intolerância.
06:31
Thought experiment,
136
379488
1421
Vamos fazer um exercício
intelectual, pois gosto deles:
intelectual, pois gosto deles:
06:32
because I like them:
137
380933
1509
06:35
an entirely segregated society --
138
383574
2975
uma sociedade inteiramente segregada,
racialmente segregada,
todas as cidades, todos os bairros,
todas as cidades, todos os bairros,
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
e onde enviamos a polícia apenas
a bairros de minorias atrás de crimes.
a bairros de minorias atrás de crimes.
06:46
to look for crime.
141
394660
1193
06:48
The arrest data would be very biased.
142
396451
2219
Os dados sobre os presos
seriam muito tendenciosos.
seriam muito tendenciosos.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
E se, além disso, pegássemos
cientistas de dados
cientistas de dados
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
e pagássemos a eles para predizerem
onde vai ocorrer o próximo crime?
onde vai ocorrer o próximo crime?
06:59
Minority neighborhood.
145
407275
1487
Bairros de minorias.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
Ou predizer quem será o próximo criminoso?
07:04
A minority.
147
412888
1395
Alguém das minorias.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Os cientistas de dados se gabariam
da excelência e da precisão de seu modelo,
da excelência e da precisão de seu modelo,
07:11
their model would be,
149
419514
1297
07:12
and they'd be right.
150
420835
1299
e estariam certos.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
Bem, a realidade não é drástica assim,
mas temos graves segregações
mas temos graves segregações
07:20
in many cities and towns,
152
428590
1287
em muitas cidades e vilas,
e muitas evidências
e muitas evidências
07:21
and we have plenty of evidence
153
429901
1893
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
de dados policiais
e judiciários tendenciosos.
e judiciários tendenciosos.
07:27
And we actually do predict hotspots,
155
435632
2815
Na verdade, predizemos focos de crise,
07:30
places where crimes will occur.
156
438471
1530
lugares onde crimes podem ocorrer.
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
E predizemos, de fato,
a criminalidade individual,
a criminalidade individual,
07:36
the criminality of individuals.
158
444291
1770
a criminalidade dos indivíduos.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
A organização de notícias ProPublica
recentemente estudou
recentemente estudou
um desses algoritmos,
chamados de "risco de recidiva",
chamados de "risco de recidiva",
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
07:45
as they're called,
161
453007
1163
que têm sido usados por juízes
na Flórida para proferirem sentenças.
na Flórida para proferirem sentenças.
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
Bernard, à esquerda,
o homem negro, atingiu dez em dez.
o homem negro, atingiu dez em dez.
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
Dylan, à direita, três em dez.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
Então, dez em dez, alto risco;
três em dez, baixo risco.
três em dez, baixo risco.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Ambos foram pegos por posse de droga.
08:03
They both had records,
167
471007
1154
Ambos tinham antecedentes,
e Dylan tinha um delito grave,
e Dylan tinha um delito grave,
08:04
but Dylan had a felony
168
472185
2806
08:07
but Bernard didn't.
169
475015
1176
mas Bernard não.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
Isso é importante,
pois, quanto maior a pontuação,
pois, quanto maior a pontuação,
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
maior a chance de se receber
uma sentença mais severa.
uma sentença mais severa.
08:18
What's going on?
172
486294
1294
O que que está havendo?
Branqueamento dos dados.
08:20
Data laundering.
173
488526
1332
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
É um processo por meio do qual tecnólogos
escondem verdades sujas
escondem verdades sujas
08:27
inside black box algorithms
175
495381
1821
dentro da caixa-preta dos algoritmos,
e os chamam de objetivos,
e os chamam de objetivos,
08:29
and call them objective;
176
497226
1290
08:31
call them meritocratic.
177
499320
1568
de meritocráticos.
Cunhei um termo para esses algoritmos
secretos, importantes e destrutivos:
secretos, importantes e destrutivos:
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
08:37
I've coined a term for these algorithms:
179
505527
2487
08:40
"weapons of math destruction."
180
508038
1999
"armas de destruição em matemática".
08:42
(Laughter)
181
510061
1564
(Aplausos) (Vivas)
08:43
(Applause)
182
511649
3054
Eles estão por toda parte,
e isso não é um erro.
e isso não é um erro.
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Trata-se de empresas privadas
criando algoritmos privados
criando algoritmos privados
para fins privados.
08:53
for private ends.
185
521442
1392
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Mesmos aqueles que mencionei,
para os professores e a polícia,
para os professores e a polícia,
08:58
those were built by private companies
187
526452
1869
foram criados por empresas privadas
e vendidos a instituições governamentais.
e vendidos a instituições governamentais.
09:00
and sold to the government institutions.
188
528345
2231
Eles os chamam de seu "molho secreto",
e por isso não nos contam sobre eles.
e por isso não nos contam sobre eles.
09:02
They call it their "secret sauce" --
189
530600
1873
09:04
that's why they can't tell us about it.
190
532497
2128
09:06
It's also private power.
191
534649
2220
Isso é poder privado também.
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
Eles estão lucrando para exercerem
a autoridade do inescrutável.
a autoridade do inescrutável.
Vocês podem achar, já que isso é privado
e não há competição,
e não há competição,
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
09:20
and there's competition,
194
548072
1158
que talvez o livre comércio
resolva o problema.
resolva o problema.
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
09:23
It won't.
196
551584
1249
Não vai resolver.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
Há muito dinheiro
a ser ganho com a injustiça.
a ser ganho com a injustiça.
09:29
Also, we're not economic rational agents.
198
557127
3369
Além disso, não somos
agentes econômicos racionais.
agentes econômicos racionais.
09:33
We all are biased.
199
561031
1292
Somos todos tendenciosos.
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Somos todos racistas e intolerantes
de maneiras que desejávamos não ser,
de maneiras que desejávamos não ser,
09:38
in ways that we don't even know.
201
566361
2019
de maneiras das nem temos consciência.
09:41
We know this, though, in aggregate,
202
569352
3081
No entanto, sabemos disso
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
porque os sociólogos têm
demonstrado isso consistentemente
demonstrado isso consistentemente
09:47
with these experiments they build,
204
575701
1665
com experimentos nos quais
enviam um monte de currículos,
enviam um monte de currículos,
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
todos igualmente qualificados,
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
mas alguns com nomes que parecem
ser de brancos, e outros, de negros,
ser de brancos, e outros, de negros,
09:54
and some have black-sounding names,
207
582507
1706
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
e os resultados são sempre frustrantes.
Então, nós somos tendenciosos,
09:59
So we are the ones that are biased,
209
587510
1771
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
e estamos instilando
esses preconceitos nos algoritmos
esses preconceitos nos algoritmos
10:04
by choosing what data to collect,
211
592758
1812
quando escolhemos quais dados coletar,
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
como quando escolhi descartar o Miojo,
porque decidi que ele era irrelevante.
porque decidi que ele era irrelevante.
10:09
I decided it was irrelevant.
213
597361
1625
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
Mas, ao confiar em dados
que se baseiam em práticas do passado
que se baseiam em práticas do passado
10:16
and by choosing the definition of success,
215
604718
2014
e ao escolher a definição de sucesso,
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
como podemos esperar
que os algoritmos saiam incólumes?
que os algoritmos saiam incólumes?
10:22
We can't. We have to check them.
217
610763
2356
Não dá, temos de fiscalizá-los.
10:26
We have to check them for fairness.
218
614165
1709
Temos de checar se são justos.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
A boa notícia é que isso é possível.
10:30
Algorithms can be interrogated,
220
618633
3352
Os algoritmos podem ser questionados,
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
e eles sempre vão nos dizer a verdade.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
E podemos repará-los, aperfeiçoá-los.
10:38
I call this an algorithmic audit,
223
626584
2375
Podemos chamar de auditoria de algoritmos,
10:40
and I'll walk you through it.
224
628983
1679
e vou mostrar como seria.
10:42
First, data integrity check.
225
630686
2196
Primeiro, temos de checar
a integridade dos dados.
a integridade dos dados.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
Para o algoritmo de risco
de recidiva que mencionei,
de recidiva que mencionei,
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
checar a integridade dos dados
significa aceitarmos o fato
significa aceitarmos o fato
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
de que, nos EUA, brancos e negros
fumam maconha na mesma proporção,
fumam maconha na mesma proporção,
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
mas os negros têm
muito mais chance de serem presos,
muito mais chance de serem presos,
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
quatro ou cinco vezes mais,
dependendo da região.
dependendo da região.
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
E como esse viés surge
em outras categorias de crime
em outras categorias de crime
11:06
and how do we account for it?
232
654167
1451
e como justificamos isso?
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
Segundo, devemos pensar
na definição de sucesso,
na definição de sucesso,
11:11
audit that.
234
659225
1381
auditar esse conceito.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
Lembram-se do algoritmo
de contratação de que falei?
de contratação de que falei?
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
Alguém que trabalhou por quatro anos
e foi promovido uma vez?
e foi promovido uma vez?
11:18
Well, that is a successful employee,
237
666595
1769
Bem, esse é um empregado de sucesso,
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
mas é também um empregado
que tem apoio da cultura da empresa.
que tem apoio da cultura da empresa.
Isso pode ser bem tendencioso.
11:24
That said, also it can be quite biased.
239
672089
1926
Precisamos separar essas duas coisas.
11:26
We need to separate those two things.
240
674039
2065
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
Deveríamos nos mirar
na audição às cegas de orquestras.
na audição às cegas de orquestras.
11:30
as an example.
242
678578
1196
É quando os examinadores
ficam atrás de uma planilha.
ficam atrás de uma planilha.
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
11:34
What I want to think about there
244
682946
1931
O importante aí
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
é que os examinadores
decidem o que é importante
decidem o que é importante
11:40
and they've decided what's not important,
246
688342
2029
e o que não é,
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
e não se distraem com outras coisas.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
Quando as audições às cegas
de orquestras começaram,
de orquestras começaram,
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
o número de mulheres em orquestras
cresceu cinco vezes mais.
cresceu cinco vezes mais.
11:52
Next, we have to consider accuracy.
250
700253
2015
Depois, temos de considerar o rigor.
É aí que o modelo valor agregado para
professores fracassaria imediatamente.
professores fracassaria imediatamente.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
11:59
No algorithm is perfect, of course,
252
707578
2162
Nenhum algoritmo é perfeito, claro,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
assim, temos de partir
do pressuposto de que todos erram.
do pressuposto de que todos erram.
Qual a frequência desses erros,
e com quem esse modelo falha?
e com quem esse modelo falha?
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
12:11
What is the cost of that failure?
255
719850
1718
Qual o preço desse fracasso?
12:14
And finally, we have to consider
256
722434
2207
E, finalmente, temos de considerar
12:17
the long-term effects of algorithms,
257
725973
2186
os efeitos de longo prazo dos algoritmos,
os círculos viciosos que são gerados.
12:20
the feedback loops that are engendering.
258
728866
2207
Isso parece abstrato, mas imaginem
se os engenheiros do Facebook
se os engenheiros do Facebook
12:23
That sounds abstract,
259
731586
1236
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
tivessem considerado isso
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
antes de decidirem nos mostrar
apenas coisas que nossos amigos postam.
apenas coisas que nossos amigos postam.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
Tenho mais duas mensagens,
uma para os cientistas de dados.
uma para os cientistas de dados.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Cientistas de dados: não devemos
ser os árbitros da verdade.
ser os árbitros da verdade.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Devemos ser tradutores
dos debates éticos que ocorrem
dos debates éticos que ocorrem
12:45
in larger society.
265
753327
1294
na sociedade como um todo.
12:47
(Applause)
266
755579
2133
(Aplausos) (Vivas)
12:49
And the rest of you,
267
757736
1556
E os demais,
12:52
the non-data scientists:
268
760011
1396
os que não são cientistas de dados:
isso não é um teste de matemática.
isso não é um teste de matemática.
12:53
this is not a math test.
269
761431
1498
12:55
This is a political fight.
270
763632
1348
Essa é uma luta política.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Precisamos exigir prestação de contas
dos "senhores dos algoritmos".
dos "senhores dos algoritmos".
(Aplausos) (Vivas)
13:04
(Applause)
272
772118
1499
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
A era da fé cega
no Big Data tem de acabar.
no Big Data tem de acabar.
Muito obrigada.
13:09
Thank you very much.
274
777890
1167
13:11
(Applause)
275
779081
5303
(Aplausos) (Vivas)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com