TED2017
Cathy O'Neil: The era of blind faith in big data must end
Cathy O'Neil: L'ère de la confiance absolue dans le Big Data doit prendre fin
Filmed:
Readability: 4.4
1,391,460 views
Les algorithmes déterminent qui peut obtenir un prêt, un entretien, une assurance ou beaucoup d'autres choses encore -- mais ce n'est pas pour ça qu'ils rendent les choses équitables. Cathy O'Neil, mathématicienne et scientifique de données, a inventé un nom pour les algorithmes qui sont secrets, importants et dangereux : « armes de destruction math-ive ». Apprenez-en plus sur les intentions cachées derrière les formules.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
Les algorithmes sont partout.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
Ils trient et séparent
les vainqueurs des perdants.
les vainqueurs des perdants.
00:20
The winners get the job
2
8019
2264
Les vainqueurs obtiennent le poste
ou une bonne offre de carte de crédit.
00:22
or a good credit card offer.
3
10307
1743
00:24
The losers don't even get an interview
4
12074
2651
Les perdants n'obtiennent
même pas un entretien
même pas un entretien
00:27
or they pay more for insurance.
5
15590
1777
ou paient leur assurance plus cher.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
On nous classe avec des formules secrètes
que nous ne comprenons pas
que nous ne comprenons pas
00:34
that often don't have systems of appeal.
7
22675
3217
qui n'offrent pas souvent
de systèmes de recours.
de systèmes de recours.
00:39
That begs the question:
8
27240
1296
La question se pose donc :
00:40
What if the algorithms are wrong?
9
28560
2913
et si les algorithmes sont faux ?
00:45
To build an algorithm you need two things:
10
33100
2040
Deux choses constituent un algorithme :
00:47
you need data, what happened in the past,
11
35164
1981
des données historiques,
00:49
and a definition of success,
12
37169
1561
et une définition du succès,
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
ce que l'on espère trouver.
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
On forme un algorithme
en observant, en comprenant,
en observant, en comprenant,
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
l'algorithme trouve ce que
l'on associe au succès,
l'on associe au succès,
01:01
What situation leads to success?
16
49739
2463
la situation qui mène au succès.
En fait,
tout le monde utilise des algorithmes
tout le monde utilise des algorithmes
01:04
Actually, everyone uses algorithms.
17
52881
1762
sans forcément les formaliser
en les écrivant.
en les écrivant.
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
01:09
Let me give you an example.
19
57409
1348
Voici un exemple :
chaque jour, en cuisinant
je me sers d'un algorithme.
je me sers d'un algorithme.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
Les données que j'utilise
01:14
The data I use
21
62121
1476
sont les ingrédients à disposition,
01:16
is the ingredients in my kitchen,
22
64394
1659
le temps dont je dispose,
01:18
the time I have,
23
66077
1527
l'ambition que j'ai,
01:19
the ambition I have,
24
67628
1233
01:20
and I curate that data.
25
68885
1709
et je conserve ces données.
Je ne considère pas les paquets
de ramen comme de la nourriture.
de ramen comme de la nourriture.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
(Rires)
01:26
(Laughter)
27
74893
1869
01:28
My definition of success is:
28
76786
1845
Ma définition du succès est :
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
un repas est réussi si mes enfants
mangent des légumes.
mangent des légumes.
Si mon fils était aux commandes,
ce serait différent.
ce serait différent.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
Pour lui, le succès serait
de manger plein de Nutella.
de manger plein de Nutella.
Mais c'est moi qui choisis
ce qu'est le succès.
ce qu'est le succès.
01:41
But I get to choose success.
32
89179
2226
01:43
I am in charge. My opinion matters.
33
91429
2707
Je commande. C'est mon avis qui compte.
01:46
That's the first rule of algorithms.
34
94160
2675
C'est la première règle des algorithmes.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
Les algorithmes sont des opinions
intégrées dans du code.
intégrées dans du code.
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
C'est très différent de ce que
les gens pensent des algorithmes.
les gens pensent des algorithmes.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
Ils pensent que les algorithmes sont
objectifs, vrais et scientifiques.
objectifs, vrais et scientifiques.
02:02
That's a marketing trick.
38
110387
1699
C'est une astuce marketing.
02:05
It's also a marketing trick
39
113269
2125
C'en est une autre
02:07
to intimidate you with algorithms,
40
115418
3154
de vous intimider avec des algorithmes,
de vous faire croire et craindre
les algorithmes,
les algorithmes,
02:10
to make you trust and fear algorithms
41
118596
3661
car vous croyez et craignez
les mathématiques.
les mathématiques.
02:14
because you trust and fear mathematics.
42
122281
2018
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Tout peut mal tourner quand on a
une foi aveugle dans le Big Data.
une foi aveugle dans le Big Data.
Voici Kiri Soares. Elle est directrice
d'un lycée à Brooklyn.
d'un lycée à Brooklyn.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
En 2011, elle m'a dit que ses
professeurs étaient classés
professeurs étaient classés
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
02:29
with a complex, secret algorithm
46
137691
2727
par un algorithme complexe et secret
appelé le « modèle de valeur ajoutée ».
02:32
called the "value-added model."
47
140442
1489
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
Je lui ai dit : « Trouve la formule,
montre-la moi,
montre-la moi,
et je vais te l'expliquer. »
02:37
I'm going to explain it to you."
49
145621
1541
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
Elle m'a dit :
« J'ai essayé de la trouver,
« J'ai essayé de la trouver,
mais le Ministère de l'éducation
m'a dit que c'était des "maths"
m'a dit que c'était des "maths"
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
02:44
and I wouldn't understand it."
52
152147
1546
et que je ne comprendrais pas. »
Il y a pire.
02:47
It gets worse.
53
155266
1338
Le New York Post a invoqué la loi
sur la liberté d'information,
sur la liberté d'information,
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
a obtenu les noms des enseignants
ainsi que leur classement,
ainsi que leur classement,
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
et les ont publiés
pour humilier les enseignants.
pour humilier les enseignants.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
Quand j'ai tenté d'avoir les formules,
le code source, par les mêmes moyens,
le code source, par les mêmes moyens,
03:02
I was told I couldn't.
58
170968
2149
on m'a dit que je ne pouvais pas.
03:05
I was denied.
59
173141
1236
On me les a refusés.
03:06
I later found out
60
174401
1174
Plus tard, j'ai découvert
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
que personne à New York n'avait
accès à cette formule.
accès à cette formule.
03:10
No one understood it.
62
178489
1305
Personne ne la comprenait.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Puis quelqu'un de très malin
s'en est mêlé, Gary Rubinstein.
s'en est mêlé, Gary Rubinstein.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
Il a trouvé 665 enseignants
des données du New York Post
des données du New York Post
03:20
that actually had two scores.
65
188822
1866
qui avaient deux notes.
03:22
That could happen if they were teaching
66
190712
1881
Cela peut arriver s'ils enseignaient
03:24
seventh grade math and eighth grade math.
67
192617
2439
les maths en cinquième et en quatrième.
03:27
He decided to plot them.
68
195080
1538
Il a décidé d'en faire un graphique.
03:28
Each dot represents a teacher.
69
196642
1993
Chaque point représente un enseignant.
03:31
(Laughter)
70
199104
2379
(Rires)
03:33
What is that?
71
201507
1521
Qu'est-ce que c'est ?
03:35
(Laughter)
72
203052
1277
(Rires)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
Ça n'aurait jamais dû être utilisé
pour des évaluations individuelles.
pour des évaluations individuelles.
03:39
It's almost a random number generator.
74
207823
1926
On dirait presque un générateur aléatoire.
03:41
(Applause)
75
209773
2946
(Applaudissements)
03:44
But it was.
76
212743
1162
Mais ça l'a été.
Voici Sarah Wysocki.
03:45
This is Sarah Wysocki.
77
213929
1176
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
Elle a été virée
avec 205 autres enseignants
avec 205 autres enseignants
03:49
from the Washington, DC school district,
79
217328
2662
du secteur scolaire de Washington,
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
malgré les excellentes
recommandations de son directeur
recommandations de son directeur
03:54
and the parents of her kids.
81
222947
1428
et des parents de ses élèves.
Je sais ce que bon nombre
d'entre vous pensent,
d'entre vous pensent,
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
surtout les scientifiques de données,
vous vous dites que vous ne feriez jamais
un algorithme aussi incohérent.
un algorithme aussi incohérent.
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
Mais les algorithmes peuvent mal tourner,
04:06
But algorithms can go wrong,
85
234853
1683
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
voire avoir des effets destructeurs
avec de bonnes intentions.
avec de bonnes intentions.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
Alors que quand un avion
mal conçu s'écrase,
mal conçu s'écrase,
04:16
crashes to the earth and everyone sees it,
88
244934
2001
tout le monde le voit,
04:18
an algorithm designed badly
89
246959
1850
un algorithme mal conçu, lui,
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
peut continuer longtemps
à faire des ravages en silence.
à faire des ravages en silence.
04:27
This is Roger Ailes.
91
255748
1570
Voici Roger Ailes.
04:29
(Laughter)
92
257342
2000
(Rires)
04:32
He founded Fox News in 1996.
93
260524
2388
Il a fondé Fox News en 1996.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
Plus de 20 femmes se sont plaintes
de harcèlement sexuel,
de harcèlement sexuel,
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
elles ont dit ne pas avoir eu le droit
de réussir chez Fox News.
de réussir chez Fox News.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
Il a été viré l'an dernier,
mais on a vu récemment
mais on a vu récemment
04:43
that the problems have persisted.
97
271844
2670
que ces problèmes persistent.
04:47
That begs the question:
98
275654
1400
On peut se demander :
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
que devrait faire Fox News
pour tourner la page ?
pour tourner la page ?
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
Et s'ils remplaçaient leur procédure
de recrutement
de recrutement
04:56
with a machine-learning algorithm?
101
284310
1654
par un algorithme ?
04:57
That sounds good, right?
102
285988
1595
Ça a l'air bien, non ?
04:59
Think about it.
103
287607
1300
Pensez-y.
05:00
The data, what would the data be?
104
288931
2105
Les données,
quelles seraient les données ?
quelles seraient les données ?
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Un choix raisonnable serait les
candidatures des 21 dernières années.
candidatures des 21 dernières années.
05:08
Reasonable.
106
296031
1502
Raisonnable.
05:09
What about the definition of success?
107
297557
1938
Et la définition du succès ?
Le choix raisonnable serait,
05:11
Reasonable choice would be,
108
299921
1324
05:13
well, who is successful at Fox News?
109
301269
1778
mais qui a du succès chez Fox News ?
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
À mon avis, quelqu'un qui y est resté
au moins quatre ans,
au moins quatre ans,
05:18
and was promoted at least once.
111
306675
1654
qui a été promu au moins une fois.
05:20
Sounds reasonable.
112
308816
1561
Ça m'a l'air raisonnable.
05:22
And then the algorithm would be trained.
113
310401
2354
Et puis l'algorithme serait mis au point.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
Mis au point pour sonder les gens,
apprendre ce qui les a conduits au succès,
apprendre ce qui les a conduits au succès,
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
quels types de candidatures ont
historiquement mené au succès
historiquement mené au succès
05:33
by that definition.
116
321561
1294
par cette définition.
05:36
Now think about what would happen
117
324200
1775
Pensez à ce qu'il pourrait se passer
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
si on appliquait cela
à un groupe actuel de candidats.
à un groupe actuel de candidats.
05:41
It would filter out women
119
329119
1629
Le filtrage éliminerait les femmes
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
car elles ne ressemblent pas aux gens
qui ont eu du succès dans le passé.
qui ont eu du succès dans le passé.
05:51
Algorithms don't make things fair
121
339752
2537
Les algorithmes ne rendent pas
les choses équitables
les choses équitables
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
si on les applique aveuglément,
avec négligence.
avec négligence.
05:57
They don't make things fair.
123
345031
1482
Ils n'instaurent pas l'équité.
05:58
They repeat our past practices,
124
346537
2128
Ils reproduisent nos pratiques du passé,
06:00
our patterns.
125
348689
1183
nos habitudes.
06:01
They automate the status quo.
126
349896
1939
Ils automatisent le statu quo.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
Cela aurait été bien
si nous avions un monde parfait,
si nous avions un monde parfait,
06:07
but we don't.
128
355905
1312
mais ce n'est pas le cas.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
De plus, la plupart des sociétés ne
font pas l'objet de poursuites honteuses
font pas l'objet de poursuites honteuses
06:14
but the data scientists in those companies
130
362446
2588
mais les scientifiques de données
dans ces sociétés
dans ces sociétés
06:17
are told to follow the data,
131
365058
2189
sont invités à suivre les données,
06:19
to focus on accuracy.
132
367271
2143
à se concentrer sur la précision.
Imaginez ce que ça veut dire :
06:22
Think about what that means.
133
370273
1381
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
parce que nous avons tous un parti pris,
cela veut dire qu'ils pourraient coder
cela veut dire qu'ils pourraient coder
des idées sexistes, entre autres.
06:27
or any other kind of bigotry.
135
375729
1836
06:31
Thought experiment,
136
379488
1421
Petit exercice de réflexion
06:32
because I like them:
137
380933
1509
parce que j'aime en faire :
06:35
an entirely segregated society --
138
383574
2975
une société entièrement en proie
à la ségrégation --
à la ségrégation --
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
à la ségrégation raciale, dans toutes
les villes, tous les voisinages
les villes, tous les voisinages
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
et où la police va seulement
dans les quartiers de minorité
dans les quartiers de minorité
06:46
to look for crime.
141
394660
1193
à la recherche de crimes.
06:48
The arrest data would be very biased.
142
396451
2219
Les données policières seraient
complètement biaisées.
complètement biaisées.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
Et si, en plus, on trouvait
des experts en données
des experts en données
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
et qu'on les payait pour qu'ils nous
prédisent le lieu du prochain crime ?
prédisent le lieu du prochain crime ?
06:59
Minority neighborhood.
145
407275
1487
Le quartier des minorités.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
Ou encore qu'ils prédisent qui serait
le prochain criminel ?
le prochain criminel ?
07:04
A minority.
147
412888
1395
Un membre d'une minorité.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Les experts en données se vanteraient
de l'excellence et de l'exactitude
de l'excellence et de l'exactitude
de leur modèle,
07:11
their model would be,
149
419514
1297
07:12
and they'd be right.
150
420835
1299
et ils auraient raison.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
Bien sûr, la réalité n'est pas comme ça,
mais la ségrégation existe tout de même
mais la ségrégation existe tout de même
07:20
in many cities and towns,
152
428590
1287
dans beaucoup d'endroits,
07:21
and we have plenty of evidence
153
429901
1893
et nous avons assez de preuves
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
que les données policières et judiciaires
sont biaisées.
sont biaisées.
07:27
And we actually do predict hotspots,
155
435632
2815
Et nous prédisons vraiment
les zones sensibles,
les zones sensibles,
07:30
places where crimes will occur.
156
438471
1530
là où les crimes seront commis,
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
et nous prédisons aussi, en fait,
les infractions individuelles,
les infractions individuelles,
commises par un seul individu.
07:36
the criminality of individuals.
158
444291
1770
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
L'agence de presse « ProPublica »
s'est récemment penchée
s'est récemment penchée
sur l'un de ces algorithmes
de « risque de récidive »,
de « risque de récidive »,
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
comme on les appelle,
07:45
as they're called,
161
453007
1163
utilisé par les juges en Floride
pendant la détermination de la peine.
pendant la détermination de la peine.
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
Bernard, à gauche, l'homme noir,
a obtenu un 10 sur 10.
a obtenu un 10 sur 10.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
Dylan, à droite, 3 sur 10.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
10 sur 10 risque élevé,
3 sur 10, risque faible.
3 sur 10, risque faible.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Tous deux ont été jugés pour
possession de drogue.
possession de drogue.
08:03
They both had records,
167
471007
1154
Tous deux avaient un casier,
08:04
but Dylan had a felony
168
472185
2806
mais Dylan avait déjà commis un crime,
08:07
but Bernard didn't.
169
475015
1176
ce qui n'était pas le cas de Bernard.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
C'est important, car plus le score
est élevé,
est élevé,
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
plus il est probable que la sentence
soit longue.
soit longue.
08:18
What's going on?
172
486294
1294
Qu'est-ce qu'il se passe ?
08:20
Data laundering.
173
488526
1332
Un blanchiment de données.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
C'est un processus de technologues
pour cacher des vérités gênantes
pour cacher des vérités gênantes
08:27
inside black box algorithms
175
495381
1821
dans des algorithmes « boîte noire »
08:29
and call them objective;
176
497226
1290
soi-disant objectifs,
08:31
call them meritocratic.
177
499320
1568
soi-disant méritocratiques.
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
Quand ces algorithmes sont secrets,
importants et destructifs,
importants et destructifs,
08:37
I've coined a term for these algorithms:
179
505527
2487
je leur ai inventé un nom :
08:40
"weapons of math destruction."
180
508038
1999
« armes de destruction math-ive ».
08:42
(Laughter)
181
510061
1564
(Rires)
08:43
(Applause)
182
511649
3054
(Applaudissements)
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
Ils sont partout, et ce n'est pas
une erreur !
une erreur !
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Il s'agit de compagnie privées,
qui créent des algorithmes privés,
qui créent des algorithmes privés,
08:53
for private ends.
185
521442
1392
à des fins privées.
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Même ceux dont j'ai parlé,
pour les professeurs et la police,
pour les professeurs et la police,
08:58
those were built by private companies
187
526452
1869
ont été mis au point
par des sociétés privées
par des sociétés privées
09:00
and sold to the government institutions.
188
528345
2231
et vendus au gouvernement.
Ils appellent ça
leur « recette secrète »,
leur « recette secrète »,
09:02
They call it their "secret sauce" --
189
530600
1873
09:04
that's why they can't tell us about it.
190
532497
2128
et donc ne peuvent pas
nous en parler.
nous en parler.
09:06
It's also private power.
191
534649
2220
C'est aussi du pouvoir privé.
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
Ils tirent profit en donnant de
l'autorité à ce qu'on ne comprend pas.
l'autorité à ce qu'on ne comprend pas.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
Vous pourriez penser,
puisque tout ceci est privé,
puisque tout ceci est privé,
et qu'il y a concurrence,
09:20
and there's competition,
194
548072
1158
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
que le marché libre pourrait
résoudre ce problème.
résoudre ce problème.
09:23
It won't.
196
551584
1249
Eh bien non.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
Il y a beaucoup d'argent à gagner
grâce à l'injustice.
grâce à l'injustice.
09:29
Also, we're not economic rational agents.
198
557127
3369
De plus, nous ne sommes pas
des acteurs économiques rationnels.
des acteurs économiques rationnels.
09:33
We all are biased.
199
561031
1292
Nous sommes tous partiaux.
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Nous sommes tous racistes et intolérants
sans le vouloir,
sans le vouloir,
09:38
in ways that we don't even know.
201
566361
2019
sans parfois même le savoir.
09:41
We know this, though, in aggregate,
202
569352
3081
Globalement, pourtant, nous le savons,
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
car les sociologues l'ont
sans cesse démontré
sans cesse démontré
09:47
with these experiments they build,
204
575701
1665
avec ces expériences
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
où ils envoient des candidatures
à qualifications égales
à qualifications égales
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
mais certaines avec des noms « blancs »
et d'autres avec des noms « noirs » :
09:54
and some have black-sounding names,
207
582507
1706
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
les résultats sont toujours décevants.
Toujours.
Toujours.
Donc, nous sommes
porteurs de préjugés,
porteurs de préjugés,
09:59
So we are the ones that are biased,
209
587510
1771
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
et nous les injectons dans les algorithmes
10:04
by choosing what data to collect,
211
592758
1812
en choisissant
les données à collecter
les données à collecter
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
comme quand j'ai choisi
de mettre les ramen de côté,
de mettre les ramen de côté,
car ce n'était pas pertinent.
10:09
I decided it was irrelevant.
213
597361
1625
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
Mais en se basant sur des données
qui reprennent des pratiques passées
qui reprennent des pratiques passées
10:16
and by choosing the definition of success,
215
604718
2014
et en définissant soi-même la réussite,
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
comment peut-on s'attendre à ce que
les algorithmes en sortent indemnes ?
les algorithmes en sortent indemnes ?
10:22
We can't. We have to check them.
217
610763
2356
On ne peut pas. On doit les contrôler.
On doit contrôler leur équité.
10:26
We have to check them for fairness.
218
614165
1709
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
La bonne nouvelle, c'est qu'on peut
contrôler leur équité.
contrôler leur équité.
10:30
Algorithms can be interrogated,
220
618633
3352
Les algorithmes peuvent être interrogés,
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
et ils diront la vérité à chaque fois.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
Et on peut les corriger,
les améliorer.
les améliorer.
10:38
I call this an algorithmic audit,
223
626584
2375
J'appelle ça
un « audit algorithmique »,
un « audit algorithmique »,
10:40
and I'll walk you through it.
224
628983
1679
et je vais vous l'expliquer.
10:42
First, data integrity check.
225
630686
2196
D'abord, vérification
de l'intégrité des données.
de l'intégrité des données.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
Pour l'algorithme « risque de récidive »
dont j'ai parlé,
dont j'ai parlé,
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
cette vérification impliquera qu'il
faudra se rendre compte du fait
faudra se rendre compte du fait
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
qu'aux États-Unis, blancs et noirs
fument la même quantité de joints,
fument la même quantité de joints,
mais que les noirs ont bien plus de
chance d'être arrêtés,
chance d'être arrêtés,
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
quatre ou cinq fois plus selon la région.
A quoi ressemble ce préjugé
dans les autres catégories de crime,
dans les autres catégories de crime,
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
et comment en tient-on compte ?
11:06
and how do we account for it?
232
654167
1451
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
Ensuite, on doit réfléchir
à la définition du succès,
à la définition du succès,
11:11
audit that.
234
659225
1381
la contrôler.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
Vous vous souvenez,
l'algorithme de recrutement ?
l'algorithme de recrutement ?
Quelqu'un qui reste plus de quatre ans
et est promu une fois ?
et est promu une fois ?
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
11:18
Well, that is a successful employee,
237
666595
1769
Eh bien, cet employé est performant,
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
mais cet aussi un employé soutenu
par sa culture.
par sa culture.
11:24
That said, also it can be quite biased.
239
672089
1926
Cela peut donc aussi être biaisé.
11:26
We need to separate those two things.
240
674039
2065
Nous devons séparer ces deux idées.
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
Nous devrions prendre
les auditions à l'aveugle
les auditions à l'aveugle
11:30
as an example.
242
678578
1196
comme exemple.
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
Celles où les gens auditionnent
derrière un drap.
derrière un drap.
11:34
What I want to think about there
244
682946
1931
Ce à quoi je pense ici,
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
c'est que les gens qui écoutent
ont décidé de ce qui est important,
ont décidé de ce qui est important,
11:40
and they've decided what's not important,
246
688342
2029
et de ce qui ne l'est pas,
et ils ne se laissent pas distraire
par cela.
par cela.
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
Quand les auditions d'orchestre
à l'aveugle ont commencé,
à l'aveugle ont commencé,
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
le nombre de femmes dans les orchestres
s'est multiplié par 5.
s'est multiplié par 5.
Ensuite, nous devons tenir compte
de la précision.
de la précision.
11:52
Next, we have to consider accuracy.
250
700253
2015
Le modèle de « valeur-ajoutée » pour
professeurs échouerait dans ce cas-là.
professeurs échouerait dans ce cas-là.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
11:59
No algorithm is perfect, of course,
252
707578
2162
Aucun algorithme n'est parfait,
évidemment,
évidemment,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
donc nous devons examiner les
erreurs de tous les algorithmes.
erreurs de tous les algorithmes.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
Reviennent-elles souvent,
et pour qui est-ce que le modèle échoue ?
et pour qui est-ce que le modèle échoue ?
12:11
What is the cost of that failure?
255
719850
1718
Quel est le coût de cet échec ?
12:14
And finally, we have to consider
256
722434
2207
Enfin, nous devons prendre en compte
12:17
the long-term effects of algorithms,
257
725973
2186
l'effet à long terme des algorithmes,
12:20
the feedback loops that are engendering.
258
728866
2207
les boucles de réactions
qu'ils engendrent.
qu'ils engendrent.
12:23
That sounds abstract,
259
731586
1236
Cela semble abstrait,
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
mais imaginez, si les ingénieurs
de Facebook y avaient pensé
de Facebook y avaient pensé
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
avant de décider de nous montrer
seulement les publications de nos amis.
seulement les publications de nos amis.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
J'ai encore deux messages, un pour
les scientifiques de données ici.
les scientifiques de données ici.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Nous ne devrions pas être
les arbitres de la vérité.
les arbitres de la vérité.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Nous devrions être les traducteurs
des discussions d'ordre éthique
des discussions d'ordre éthique
12:45
in larger society.
265
753327
1294
de la société en général.
12:47
(Applause)
266
755579
2133
(Applaudissements)
12:49
And the rest of you,
267
757736
1556
Et pour le reste d'entre vous,
12:52
the non-data scientists:
268
760011
1396
qui n'êtes pas du milieu,
12:53
this is not a math test.
269
761431
1498
ceci n'est pas un test de math.
12:55
This is a political fight.
270
763632
1348
C'est une bataille politique.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Nous devons réclamer des comptes
à nos souverains algorithmiques.
à nos souverains algorithmiques.
13:04
(Applause)
272
772118
1499
(Applaudissements)
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
L'ère de la confiance absolue
dans le Big Data doit prendre fin.
dans le Big Data doit prendre fin.
13:09
Thank you very much.
274
777890
1167
Merci beaucoup.
13:11
(Applause)
275
779081
5303
(Applaudissements)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com