TED2017
Cathy O'Neil: The era of blind faith in big data must end
Cathy O'Neil: Vremea încrederii oarbe în volumele mari de date (big data) trebuie să ia sfârșit
Filmed:
Readability: 4.4
1,391,460 views
Algoritmii decid cine primește un împrumut, cine obține un interviu pentru un loc de muncă, cine obține asigurare și multe alte lucruri, dar asta nu înseamnă și că, automat, decizia lor e corectă. Cathy O'Neil, matematician și specialist în știința datelor, a inventat o denumire pentru algoritmii care sunt secreți, importanți și dăunători: „arme de distrugere matematică”. Aflați mai multe despre agenda secretă din spatele formulelor.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
Algoritmii sunt pretutindeni.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
Sortează și separă
învingătorii de învinși.
învingătorii de învinși.
00:20
The winners get the job
2
8019
2264
Învingătorii obțin locul de muncă
sau oferta bună pentru cardul de credit.
00:22
or a good credit card offer.
3
10307
1743
00:24
The losers don't even get an interview
4
12074
2651
Învinșii n-au parte nici măcar de interviu
00:27
or they pay more for insurance.
5
15590
1777
sau plătesc mai mult pentru asigurare.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
Suntem evaluați cu formule secrete
pe care nu le înțelegem
pe care nu le înțelegem
00:34
that often don't have systems of appeal.
7
22675
3217
și care, adesea, nu pot fi contestate.
00:39
That begs the question:
8
27240
1296
Asta impune întrebarea:
și dacă algoritmii conțin erori?
și dacă algoritmii conțin erori?
00:40
What if the algorithms are wrong?
9
28560
2913
00:45
To build an algorithm you need two things:
10
33100
2040
E nevoie de două lucruri pentru algoritmi:
date, ce s-a întâmplat în trecut,
date, ce s-a întâmplat în trecut,
00:47
you need data, what happened in the past,
11
35164
1981
și o definiție a succesului,
a ceea ce cauți și speri să obții.
a ceea ce cauți și speri să obții.
00:49
and a definition of success,
12
37169
1561
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
Algoritmul se formează
observând, descifrând.
observând, descifrând.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
Algoritmul deduce
ce se asociază cu succesul,
ce se asociază cu succesul,
01:01
What situation leads to success?
16
49739
2463
care situație conduce către succes.
01:04
Actually, everyone uses algorithms.
17
52881
1762
De fapt, toată lumea folosește algoritmi,
dar nu formalizați în scris.
dar nu formalizați în scris.
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
Vă dau un exemplu.
01:09
Let me give you an example.
19
57409
1348
Folosesc zilnic un algoritm
ca să pregătesc masa pentru familia mea.
ca să pregătesc masa pentru familia mea.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
Datele pe care le folosesc
01:14
The data I use
21
62121
1476
01:16
is the ingredients in my kitchen,
22
64394
1659
sunt ingredientele din bucătărie,
timpul disponibil,
timpul disponibil,
01:18
the time I have,
23
66077
1527
01:19
the ambition I have,
24
67628
1233
ambiția pe care o am,
apoi organizez datele.
apoi organizez datele.
01:20
and I curate that data.
25
68885
1709
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
Nu consider mâncare
pachețelele de tăieței ramen.
pachețelele de tăieței ramen.
(Râsete)
01:26
(Laughter)
27
74893
1869
01:28
My definition of success is:
28
76786
1845
Definiția mea a succesului e:
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
o masă e reușită
când copiii mei mănâncă legume.
când copiii mei mănâncă legume.
E foarte diferită de a mezinului meu
care, dacă ar fi după el,
care, dacă ar fi după el,
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
ar zice că succesul înseamnă
să mănânce multă Nutella.
să mănânce multă Nutella.
01:41
But I get to choose success.
32
89179
2226
Dar eu sunt cea care alege succesul.
Eu conduc. Părerea mea contează.
01:43
I am in charge. My opinion matters.
33
91429
2707
Asta e prima regulă a algoritmilor.
01:46
That's the first rule of algorithms.
34
94160
2675
Algoritmii sunt păreri încorporate în cod.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
E foarte diferit de ce credeți voi
că majoritatea crede despre algoritmi.
că majoritatea crede despre algoritmi.
Ei cred că algoritmii
sunt obiectivi, adevărați și științifici.
sunt obiectivi, adevărați și științifici.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
02:02
That's a marketing trick.
38
110387
1699
Ăsta e un truc de marketing.
02:05
It's also a marketing trick
39
113269
2125
Și tot un truc al marketingului
02:07
to intimidate you with algorithms,
40
115418
3154
e să vă intimideze cu algoritmi,
02:10
to make you trust and fear algorithms
41
118596
3661
să vă încredeți
și să vă temeți de algoritmi,
și să vă temeți de algoritmi,
pentru că vă încredeți
și vă temeți de matematică.
și vă temeți de matematică.
02:14
because you trust and fear mathematics.
42
122281
2018
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Pot apărea multe probleme când avem
încredere oarbă în volume mari de date.
încredere oarbă în volume mari de date.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
Ea e Kiri Soares, directoarea
unui liceu din Brooklyn.
unui liceu din Brooklyn.
În 2011 mi-a zis că profesorii ei
erau evaluați
erau evaluați
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
cu un algoritm complex și secret,
02:29
with a complex, secret algorithm
46
137691
2727
numit „modelul valoare adăugată”.
02:32
called the "value-added model."
47
140442
1489
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
I-am zis: „Află care e formula,
arată-mi-o și ți-o explic.”
arată-mi-o și ți-o explic.”
02:37
I'm going to explain it to you."
49
145621
1541
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
Ea a zis: „Am încercat să obțin formula,
dar la Departamentul de Educație
dar la Departamentul de Educație
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
mi s-a zis că e matematică
și n-o să înțeleg.”
și n-o să înțeleg.”
02:44
and I wouldn't understand it."
52
152147
1546
02:47
It gets worse.
53
155266
1338
Se poate și mai rău.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
New York Post a solicitat, conform
Legii privind libertatea de informare,
Legii privind libertatea de informare,
și a obținut numele
tuturor profesorilor și punctajele lor
tuturor profesorilor și punctajele lor
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
și le-a publicat pentru a-i blama public.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
Când am încercat să obțin formula,
codul sursă, cu aceleași mijloace,
codul sursă, cu aceleași mijloace,
03:02
I was told I couldn't.
58
170968
2149
mi s-a zis că nu se poate.
Mi s-a refuzat.
03:05
I was denied.
59
173141
1236
Mai târziu am aflat
03:06
I later found out
60
174401
1174
că nimeni din New York
n-avea acces la acea formulă.
n-avea acces la acea formulă.
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
Nimeni n-o înțelegea.
03:10
No one understood it.
62
178489
1305
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Apoi s-a implicat cineva
foarte inteligent: Gary Rubinstein.
foarte inteligent: Gary Rubinstein.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
A descoperit că 665 de profesori
din datele de la New York Post
din datele de la New York Post
aveau, de fapt, două punctaje.
03:20
that actually had two scores.
65
188822
1866
03:22
That could happen if they were teaching
66
190712
1881
Asta se putea întâmpla dacă predau
03:24
seventh grade math and eighth grade math.
67
192617
2439
matematică de clasa a șaptea și a opta.
A decis să facă un grafic.
03:27
He decided to plot them.
68
195080
1538
03:28
Each dot represents a teacher.
69
196642
1993
Fiecare punct reprezintă un profesor.
03:31
(Laughter)
70
199104
2379
(Râsete)
03:33
What is that?
71
201507
1521
Ce-i asta?
(Râsete)
03:35
(Laughter)
72
203052
1277
N-ar fi trebuit să fie niciodată
folosit pentru evaluare personală.
folosit pentru evaluare personală.
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
E mai degrabă un generator
de numere aleatorii.
de numere aleatorii.
03:39
It's almost a random number generator.
74
207823
1926
(Aplauze)
03:41
(Applause)
75
209773
2946
Dar a fost.
03:44
But it was.
76
212743
1162
Ea e Sarah Wysocki.
03:45
This is Sarah Wysocki.
77
213929
1176
A fost concediată,
împreună cu alți 205 profesori,
împreună cu alți 205 profesori,
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
din districtul școlar al Washington DC,
03:49
from the Washington, DC school district,
79
217328
2662
deși avea recomandări excelente
de la director și părinții copiilor.
de la director și părinții copiilor.
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
03:54
and the parents of her kids.
81
222947
1428
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
Știu ce gândesc mulți dintre voi,
mai ales experții în date
și inteligență artificială.
și inteligență artificială.
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
Vă ziceți: „N-aș face niciodată
un algoritm așa de inconsecvent.”
un algoritm așa de inconsecvent.”
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
04:06
But algorithms can go wrong,
85
234853
1683
Dar algoritmii pot da greș,
pot avea chiar efecte profund distructive
în ciuda bunelor intenții.
în ciuda bunelor intenții.
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
Dar în timp ce un avion
care e prost conceput
care e prost conceput
se prăbușește și poate fi văzut de toți,
04:16
crashes to the earth and everyone sees it,
88
244934
2001
un algoritm prost conceput
04:18
an algorithm designed badly
89
246959
1850
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
poate să funcționeze mult timp
făcând ravagii pe ascuns.
făcând ravagii pe ascuns.
04:27
This is Roger Ailes.
91
255748
1570
El e Roger Ailes.
(Râsete)
04:29
(Laughter)
92
257342
2000
04:32
He founded Fox News in 1996.
93
260524
2388
A fondat Fox News în 1996.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
Peste 20 de femei
s-au plâns de hărțuire sexuală.
s-au plâns de hărțuire sexuală.
Au zis că nu li s-a permis
să aibă succes la Fox News.
să aibă succes la Fox News.
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
A fost demis anul trecut,
dar am văzut recent
dar am văzut recent
că problemele au persistat.
04:43
that the problems have persisted.
97
271844
2670
04:47
That begs the question:
98
275654
1400
Asta impune întrebarea:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
ce ar trebui să facă Fox News
pentru a întoarce pagina?
pentru a întoarce pagina?
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
Cum ar fi dacă ar înlocui
procesul de recrutare
procesul de recrutare
cu algoritmi de învățare automatizată?
04:56
with a machine-learning algorithm?
101
284310
1654
04:57
That sounds good, right?
102
285988
1595
Sună bine, nu?
04:59
Think about it.
103
287607
1300
Gândiți-vă la asta.
Care ar fi datele?
05:00
The data, what would the data be?
104
288931
2105
O alegere rezonabilă ar fi cererile
de angajare din ultimii 21 de ani.
de angajare din ultimii 21 de ani.
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Rezonabilă.
05:08
Reasonable.
106
296031
1502
05:09
What about the definition of success?
107
297557
1938
Dar definiția succesului?
05:11
Reasonable choice would be,
108
299921
1324
Alegerea rezonabilă ar fi...
păi, cine are succes la Fox News?
05:13
well, who is successful at Fox News?
109
301269
1778
Presupun că cineva care, să zicem,
a lucrat acolo patru ani
a lucrat acolo patru ani
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
05:18
and was promoted at least once.
111
306675
1654
și a fost promovat cel puțin o dată.
05:20
Sounds reasonable.
112
308816
1561
Sună rezonabil.
Apoi algoritmul ar fi instruit.
05:22
And then the algorithm would be trained.
113
310401
2354
Va fi instruit să caute oameni,
ca să înțeleagă ce a condus la succes,
ca să înțeleagă ce a condus la succes,
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
ce fel de cereri de angajare
au condus de-a lungul timpului la succes,
au condus de-a lungul timpului la succes,
conform definiției.
05:33
by that definition.
116
321561
1294
05:36
Now think about what would happen
117
324200
1775
Acum gândiți-vă ce s-ar întâmpla
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
dacă am aplica asta
unui grup actual de candidați.
unui grup actual de candidați.
05:41
It would filter out women
119
329119
1629
Ar filtra femeile,
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
pentru că ele nu par genul
care să fi avut succes în trecut.
care să fi avut succes în trecut.
05:51
Algorithms don't make things fair
121
339752
2537
Algoritmii nu fac lucrurile echitabile,
dacă-i aplici fără griji și discernământ.
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
Nu fac lucrurile echitabile.
05:57
They don't make things fair.
123
345031
1482
05:58
They repeat our past practices,
124
346537
2128
Ei repetă procedeele noastre din trecut,
tiparele noastre.
06:00
our patterns.
125
348689
1183
06:01
They automate the status quo.
126
349896
1939
Automatizează status quo-ul.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
Asta ar fi minunat
dacă am trăi într-o lume perfectă,
dacă am trăi într-o lume perfectă,
06:07
but we don't.
128
355905
1312
dar nu trăim.
Adaug că majoritatea companiilor
n-au procese de judecată jenante,
n-au procese de judecată jenante,
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
06:14
but the data scientists in those companies
130
362446
2588
dar specialiștilor în date
din acele companii
din acele companii
06:17
are told to follow the data,
131
365058
2189
li se spune să urmărească datele,
să se concentreze pe acuratețe.
06:19
to focus on accuracy.
132
367271
2143
06:22
Think about what that means.
133
370273
1381
Gândiți-vă ce înseamnă asta.
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
Pentru că toți avem prejudecăți,
înseamnă că ar putea codifica
înseamnă că ar putea codifica
discriminarea sexuală
sau orice alt fel de intoleranță.
sau orice alt fel de intoleranță.
06:27
or any other kind of bigotry.
135
375729
1836
06:31
Thought experiment,
136
379488
1421
Un experiment de gândire,
pentru că-mi plac:
06:32
because I like them:
137
380933
1509
06:35
an entirely segregated society --
138
383574
2975
o societate complet scindată,
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
divizată religios, toate orașele,
toate cartierele,
toate cartierele,
și în care trimitem poliția
doar în cartierele cu minorități
doar în cartierele cu minorități
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
pentru a cerceta delicte.
06:46
to look for crime.
141
394660
1193
06:48
The arrest data would be very biased.
142
396451
2219
Datele arestărilor
ar fi foarte părtinitoare.
ar fi foarte părtinitoare.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
Ce-ar fi dacă, în plus,
am găsi specialiștii în date
am găsi specialiștii în date
și i-am plăti ca să prezică
unde ar avea loc următoarea infracțiune?
unde ar avea loc următoarea infracțiune?
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
06:59
Minority neighborhood.
145
407275
1487
Cartierul cu minorități.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
Sau să prezică cine ar fi
următorul infractor?
următorul infractor?
07:04
A minority.
147
412888
1395
Un cetățean minoritar.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Specialiștii în date s-ar lăuda
cu cât de grozav și precis
cu cât de grozav și precis
ar fi modelul lor
07:11
their model would be,
149
419514
1297
07:12
and they'd be right.
150
420835
1299
și ar avea dreptate.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
Realitatea nu-i așa de drastică,
dar avem diviziuni profunde
dar avem diviziuni profunde
în multe orașe și comune,
07:20
in many cities and towns,
152
428590
1287
și avem destule dovezi
07:21
and we have plenty of evidence
153
429901
1893
în acțiunile părtinitoare ale poliției
și datele sistemului judiciar.
și datele sistemului judiciar.
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
07:27
And we actually do predict hotspots,
155
435632
2815
Și chiar prezicem punctele critice,
locurile unde se desfășoară infracțiunile.
07:30
places where crimes will occur.
156
438471
1530
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
Și chiar prezicem, de fapt,
infracțiunile individuale,
infracțiunile individuale,
infracțiunile indivizilor.
07:36
the criminality of individuals.
158
444291
1770
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
Organizația de știri ProPublica
a analizat recent
a analizat recent
unul din algoritmii
„riscului de recidivă”, cum li se zice,
„riscului de recidivă”, cum li se zice,
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
07:45
as they're called,
161
453007
1163
folosiți în Florida
în sentințele judecătorești.
în sentințele judecătorești.
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
Bernard, în stânga, bărbatul de culoare,
a obținut zece puncte din zece.
a obținut zece puncte din zece.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
Dylan, în dreapta, trei din zece.
Zece din zece, risc ridicat.
Trei din zece, risc scăzut.
Trei din zece, risc scăzut.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Au fost acuzați de posesie de droguri.
08:03
They both had records,
167
471007
1154
Amândoi cu antecedente,
08:04
but Dylan had a felony
168
472185
2806
dar Dylan comisese o crimă,
iar Bernard nu.
08:07
but Bernard didn't.
169
475015
1176
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
Asta contează,
deoarece cu cât ai scorul mai mare,
deoarece cu cât ai scorul mai mare,
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
cu atât ai mai multe șanse
să primești o sentință mai lungă.
să primești o sentință mai lungă.
08:18
What's going on?
172
486294
1294
Ce se întâmplă?
08:20
Data laundering.
173
488526
1332
Spălare de date.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
E un proces prin care tehnologii
ascund adevăruri neplăcute
ascund adevăruri neplăcute
în algoritmi de tip cutie neagră,
08:27
inside black box algorithms
175
495381
1821
08:29
and call them objective;
176
497226
1290
pe care-i numesc obiectivi
08:31
call them meritocratic.
177
499320
1568
și meritocratici.
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
Când sunt secreți,
importanți și distructivi,
importanți și distructivi,
08:37
I've coined a term for these algorithms:
179
505527
2487
am inventat o denumire
pentru algoritmii ăștia:
pentru algoritmii ăștia:
08:40
"weapons of math destruction."
180
508038
1999
„arme de distrugere matematică”.
(Râsete)
08:42
(Laughter)
181
510061
1564
(Aplauze)
08:43
(Applause)
182
511649
3054
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
Sunt peste tot și nu din greșeală.
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Sunt companii private
care construiesc algoritmi privați
care construiesc algoritmi privați
pentru scopuri private.
08:53
for private ends.
185
521442
1392
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Chiar și cei de care am vorbit,
pentru profesori și poliție,
pentru profesori și poliție,
au fost construiți de companii private
și vânduți instituțiilor guvernamentale.
și vânduți instituțiilor guvernamentale.
08:58
those were built by private companies
187
526452
1869
09:00
and sold to the government institutions.
188
528345
2231
09:02
They call it their "secret sauce" --
189
530600
1873
Ei numesc asta „sosul lor secret”,
09:04
that's why they can't tell us about it.
190
532497
2128
de asta nu ni-l pot dezvălui.
E și o putere privată.
09:06
It's also private power.
191
534649
2220
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
Profită de faptul că exercită
autoritatea impenetrabilă.
autoritatea impenetrabilă.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
Acum o să vă gândiți
că, din moment ce totul e privat,
că, din moment ce totul e privat,
și există concurență,
09:20
and there's competition,
194
548072
1158
poate că piața liberă
o să rezolve problema.
o să rezolve problema.
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
09:23
It won't.
196
551584
1249
N-o s-o facă.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
Sunt mulți bani de câștigat
din inechitate.
din inechitate.
09:29
Also, we're not economic rational agents.
198
557127
3369
În plus, nu suntem
agenți economici raționali.
agenți economici raționali.
09:33
We all are biased.
199
561031
1292
Toți suntem părtinitori.
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Toți suntem rasiști și intoleranți
într-un fel în care ne dorim să nu fi fost
și de care nici nu ne dăm seama.
și de care nici nu ne dăm seama.
09:38
in ways that we don't even know.
201
566361
2019
09:41
We know this, though, in aggregate,
202
569352
3081
Dar știm asta, în ansamblu,
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
pentru că sociologii
au demonstrat-o constant
au demonstrat-o constant
cu experimentele pe care le-au creat,
09:47
with these experiments they build,
204
575701
1665
când trimit mai multe cereri
la anunțurile de angajare,
la anunțurile de angajare,
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
cu aceleași calificări, dar unele
au nume ca de albi și altele ca de negri,
au nume ca de albi și altele ca de negri,
09:54
and some have black-sounding names,
207
582507
1706
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
iar rezultatele sunt mereu dezamăgitoare.
09:59
So we are the ones that are biased,
209
587510
1771
Deci noi suntem cei părtinitori,
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
și introducem acele prejudecăți
în algoritmi,
în algoritmi,
10:04
by choosing what data to collect,
211
592758
1812
alegând ce date să fie selectate,
așa cum aleg eu să nu mă gândesc
la tăiețeii ramen,
la tăiețeii ramen,
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
am decis că nu-i relevant.
10:09
I decided it was irrelevant.
213
597361
1625
Dar având încredere în datele
care reiau practicile din trecut
care reiau practicile din trecut
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
10:16
and by choosing the definition of success,
215
604718
2014
și alegând definiția succesului,
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
cum să ne putem aștepta
ca algoritmii să fie neafectați?
ca algoritmii să fie neafectați?
Nu putem. Trebuie să-i verificăm.
10:22
We can't. We have to check them.
217
610763
2356
10:26
We have to check them for fairness.
218
614165
1709
Trebuie să le verificăm echitatea.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
Vestea bună e
că le putem verifica echitatea.
că le putem verifica echitatea.
10:30
Algorithms can be interrogated,
220
618633
3352
Algoritmii pot fi interogați
și ne vor spune adevărul de fiecare dată.
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
Și putem să-i reparăm.
Putem să-i îmbunătățim.
Putem să-i îmbunătățim.
Eu numesc asta un audit algoritmic
10:38
I call this an algorithmic audit,
223
626584
2375
și o să vă explic ce presupune.
10:40
and I'll walk you through it.
224
628983
1679
10:42
First, data integrity check.
225
630686
2196
Mai întâi,
verificarea integrității datelor.
verificarea integrității datelor.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
Pentru algoritmul riscului de recidivă
de care am vorbit,
de care am vorbit,
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
o verificare a integrității datelor
ar însemna să acceptăm faptul
ar însemna să acceptăm faptul
că în SUA, albii și cei de culoare
fumează canabis în egală măsură,
fumează canabis în egală măsură,
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
dar cei de culoare
au mai multe șanse să fie arestați,
au mai multe șanse să fie arestați,
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
de patru sau cinci ori mai des,
în funcție de regiune.
în funcție de regiune.
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
Cum arată prejudecata asta
în alte categorii de infracțiuni
în alte categorii de infracțiuni
11:06
and how do we account for it?
232
654167
1451
și cum o justificăm?
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
În al doilea rând, ar trebui să ne gândim
la definiția succesului, să audităm asta.
la definiția succesului, să audităm asta.
11:11
audit that.
234
659225
1381
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
Vă amintiți algoritmul pentru angajare?
Am vorbit de el.
Am vorbit de el.
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
Cineva care lucrează patru ani
și e promovat o dată?
și e promovat o dată?
11:18
Well, that is a successful employee,
237
666595
1769
Ăsta e un angajat de succes,
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
dar și unul
care e susținut de cultura lor.
care e susținut de cultura lor.
11:24
That said, also it can be quite biased.
239
672089
1926
Dar și asta poate fi părtinitor.
Trebuie să separăm aceste două aspecte.
11:26
We need to separate those two things.
240
674039
2065
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
Ar trebui să luăm audiția pe nevăzute
drept exemplu.
drept exemplu.
11:30
as an example.
242
678578
1196
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
Presupune că cei care sunt audiați
stau după un paravan.
stau după un paravan.
11:34
What I want to think about there
244
682946
1931
În cazul ăsta vreau să mă gândesc
că cei care ascultă au decis
ce-i important și ce nu
ce-i important și ce nu
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
11:40
and they've decided what's not important,
246
688342
2029
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
și nu li se distrage atenția de la asta.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
Când s-a început cu audițiile pe nevăzute,
numărul femeilor în orchestre
a crescut de cinci ori.
a crescut de cinci ori.
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
11:52
Next, we have to consider accuracy.
250
700253
2015
Mai departe,
trebuie să examinăm acuratețea.
trebuie să examinăm acuratețea.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
În cazul ăsta, modelul valorii adăugate
pentru profesori ar eșua imediat.
pentru profesori ar eșua imediat.
11:59
No algorithm is perfect, of course,
252
707578
2162
Niciun algoritm nu e perfect, desigur,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
deci trebuie să ne gândim
la erorile fiecărui algoritm.
la erorile fiecărui algoritm.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
Cât de des apar erori
și pentru cine nu funcționează modelul?
și pentru cine nu funcționează modelul?
12:11
What is the cost of that failure?
255
719850
1718
Care e costul acestui eșec?
12:14
And finally, we have to consider
256
722434
2207
Și, în sfârșit, trebuie să analizăm
12:17
the long-term effects of algorithms,
257
725973
2186
efectele pe termen lung ale algoritmilor,
12:20
the feedback loops that are engendering.
258
728866
2207
buclele de feedback care se generează.
12:23
That sounds abstract,
259
731586
1236
Sună abstract,
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
dar imaginați-vă că tehnicienii Facebook
s-ar fi gândit la asta
s-ar fi gândit la asta
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
înainte să decidă să ne arate
doar ce au publicat prietenii noștri.
doar ce au publicat prietenii noștri.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
Mai am două mesaje, unul e
pentru specialiștii în date dintre voi.
pentru specialiștii în date dintre voi.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Specialiști în date,
nu trebuie să fim arbitrii adevărului.
nu trebuie să fim arbitrii adevărului.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Ar trebui să fim traducătorii
discuțiilor etice care au loc
discuțiilor etice care au loc
12:45
in larger society.
265
753327
1294
în societate la scară largă.
12:47
(Applause)
266
755579
2133
(Aplauze)
12:49
And the rest of you,
267
757736
1556
Iar pentru voi, ceilalți,
12:52
the non-data scientists:
268
760011
1396
nespecializați în date:
ăsta nu-i un test de matematică.
12:53
this is not a math test.
269
761431
1498
12:55
This is a political fight.
270
763632
1348
E o luptă politică.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Trebuie să pretindem responsabilizarea
suzeranilor noștri algoritmici.
suzeranilor noștri algoritmici.
13:04
(Applause)
272
772118
1499
(Aplauze)
Vremea încrederii oarbe în volumele mari
de date trebuie să ia sfârșit.
de date trebuie să ia sfârșit.
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
Mulțumesc mult.
13:09
Thank you very much.
274
777890
1167
13:11
(Applause)
275
779081
5303
(Aplauze)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com