ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
TED2017

Cathy O'Neil: The era of blind faith in big data must end

Cathy O'Neil: Tiden när vi trodde blint på big data måste få ett slut

Filmed:
1,391,460 views

Algoritmer bestämmer vem som får ta ett lån, vem som kommer på jobbintervju, vem som kan teckna försäkring och mycket mer - men de gör inte automatiskt saker och ting rättvisa. Matematikern och dataanalytikern Cathy O'Neil har myntat ett begrepp för algoritmer som är hemliga, betydelsefulla och skadliga: "matte-förstörelsevapen". Lär dig mer om de dolda agendorna bakom formlerna.
- Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio

Double-click the English transcript below to play the video.

00:12
AlgorithmsAlgoritmer are everywhereöverallt.
0
975
1596
Algoritmer finns överallt.
De sorterar ut vinnarna från förlorarna.
00:16
They sortsortera and separateseparat
the winnersvinnare from the losersförlorare.
1
4111
3125
00:20
The winnersvinnare get the jobjobb
2
8019
2264
Vinnarna får jobbet
00:22
or a good creditkreditera cardkort offererbjudande.
3
10307
1743
eller ett bra kreditkortserbjudande.
00:24
The losersförlorare don't even get an interviewintervju
4
12074
2651
Förlorarna får inte ens en intervju
00:27
or they paybetala more for insuranceförsäkring.
5
15590
1777
eller så får de en dyrare försäkring.
00:30
We're beingvarelse scoredgjorde with secrethemlighet formulasformler
that we don't understandförstå
6
18197
3549
Vi poängsätts av hemliga formler
som vi inte förstår
00:34
that oftenofta don't have systemssystem of appealöverklagande.
7
22675
3217
och som oftast inte går att överklaga.
00:39
That begsväcker the questionfråga:
8
27240
1296
Det väcker frågan:
00:40
What if the algorithmsalgoritmer are wrongfel?
9
28560
2913
Tänk om algoritmerna har fel?
För att bygga en algoritm krävs två saker:
00:45
To buildbygga an algorithmalgoritm you need two things:
10
33100
2040
man behöver data, vad har hänt tidigare,
00:47
you need datadata, what happenedhände in the pastdåtid,
11
35164
1981
och en definition av framgång,
00:49
and a definitiondefinition of successframgång,
12
37169
1561
det man letar efter och ofta hoppas på.
00:50
the thing you're looking for
and oftenofta hopinghoppas for.
13
38754
2457
00:53
You traintåg an algorithmalgoritm
by looking, figuringräkna out.
14
41235
5037
Man lär en algoritm
genom att titta och fundera.
00:58
The algorithmalgoritm figuressiffror out
what is associatedassocierad with successframgång.
15
46296
3419
Algoritmen räknar ut
vad som associeras med framgång.
01:01
What situationsituation leadsleads to successframgång?
16
49739
2463
Vilken situation leder till framgång?
Faktum är att alla använder algoritmer.
01:04
ActuallyFaktiskt, everyonealla usesanvändningar algorithmsalgoritmer.
17
52881
1762
01:06
They just don't formalizeformalisera them
in writtenskriven codekoda.
18
54667
2718
De formulerar dem bara inte
i skriftlig kod.
01:09
Let me give you an exampleexempel.
19
57409
1348
Låt mig ge ett exempel.
01:10
I use an algorithmalgoritm everyvarje day
to make a mealmåltid for my familyfamilj.
20
58781
3316
Jag använder en algoritm varje
dag för att laga mat.
01:14
The datadata I use
21
62121
1476
Datan jag använder
är ingredienserna jag har hemma,
01:16
is the ingredientsIngredienser in my kitchenkök,
22
64394
1659
01:18
the time I have,
23
66077
1527
den tid jag har på mig,
01:19
the ambitionambition I have,
24
67628
1233
min ambitionsnivå,
01:20
and I curatekomminister that datadata.
25
68885
1709
och jag granskar den datan.
01:22
I don't counträkna those little packagespaket
of ramenRamen noodlesnudlar as foodmat.
26
70618
4251
Jag räknar inte småpåsarna
med nudlar som mat.
01:26
(LaughterSkratt)
27
74893
1869
(Skratt)
01:28
My definitiondefinition of successframgång is:
28
76786
1845
Min definition av framgång är:
01:30
a mealmåltid is successfulframgångsrik
if my kidsbarn eatäta vegetablesgrönsaker.
29
78655
2659
En måltid är lyckad
om barnen äter grönsakerna.
01:34
It's very differentannorlunda
from if my youngestyngst sonson were in chargeavgift.
30
82181
2854
Den skiljer sig ifrån min
yngste sons definition.
01:37
He'dHan skulle say successframgång is if
he getsblir to eatäta lots of NutellaNutella.
31
85059
2788
Han skulle säga att framgång är
om han får äta mycket Nutella.
01:41
But I get to choosevälja successframgång.
32
89179
2226
Men jag definierar vad framgången är.
01:43
I am in chargeavgift. My opinionåsikt mattersfrågor.
33
91429
2707
Jag bestämmer. Mina åsikter har betydelse.
01:46
That's the first ruleregel of algorithmsalgoritmer.
34
94160
2675
Det här är den första regeln
för en algoritm.
01:48
AlgorithmsAlgoritmer are opinionsyttranden embeddedinbäddad in codekoda.
35
96859
3180
Algoritmer är åsikter inbäddade i kod.
01:53
It's really differentannorlunda from what you think
mostmest people think of algorithmsalgoritmer.
36
101562
3663
Det är stor skillnad mot vad man tror
att folk tror om algoritmer.
01:57
They think algorithmsalgoritmer are objectivemål
and truesann and scientificvetenskaplig.
37
105249
4504
Folk tror att algoritmer är objektiva,
sanna och vetenskapligt underbyggda.
02:02
That's a marketingmarknadsföring tricklura.
38
110387
1699
Det är ett marknadsföringstrick.
02:05
It's alsoockså a marketingmarknadsföring tricklura
39
113269
2125
Det är också ett marknadsföringstrick
för att skrämma dig med algoritmer,
02:07
to intimidateskrämma you with algorithmsalgoritmer,
40
115418
3154
02:10
to make you trustförtroende and fearrädsla algorithmsalgoritmer
41
118596
3661
få dig att lita på och frukta algoritmerna
02:14
because you trustförtroende and fearrädsla mathematicsmatematik.
42
122281
2018
eftersom du litar på
och fruktar matematik.
02:17
A lot can go wrongfel when we put
blindblind faithtro in bigstor datadata.
43
125567
4830
Mycket kan gå fel
när vi tror blint på big data.
Det här är Kiri Soares.
Hon är gymnasierektor i Brooklyn.
02:23
This is KiriKiri SoaresSoares.
She's a highhög schoolskola principalPrincipal in BrooklynBrooklyn.
44
131684
3373
02:27
In 2011, she told me
her teacherslärare were beingvarelse scoredgjorde
45
135081
2586
2011 berättade hon att
hennes lärare poängsattes
02:29
with a complexkomplex, secrethemlighet algorithmalgoritm
46
137691
2727
med en komplicerad, hemlig algoritm
02:32
calledkallad the "value-addedförädlingsvärde modelmodell."
47
140442
1489
som kallades "mervärdesmodellen."
Jag sade, "Fundera ut
vilken formeln är, och visa mig den.
02:34
I told her, "Well, figurefigur out
what the formulaformel is, showshow it to me.
48
142505
3092
Jag ska förklara den för dig."
02:37
I'm going to explainförklara it to you."
49
145621
1541
Hon svarade,"Jag försökte få fram formeln,
02:39
She said, "Well, I triedförsökte
to get the formulaformel,
50
147186
2141
men min kontakt på skolmyndigheten
sade att det var matte
02:41
but my DepartmentInstitutionen of EducationUtbildning contactkontakta
told me it was mathmatematik
51
149351
2772
och att jag inte skulle förstå."
02:44
and I wouldn'tskulle inte understandförstå it."
52
152147
1546
Det blir värre.
02:47
It getsblir worsevärre.
53
155266
1338
New York Post krävde ut resultatet
med stöd av lagen om informationsfrihet,
02:48
The NewNya YorkYork PostInlägg filedarkiverat
a FreedomFrihet of InformationInformation ActAct requestbegäran,
54
156628
3530
02:52
got all the teachers'lärarnas namesnamn
and all theirderas scorespoäng
55
160182
2959
fick alla lärares namn och poäng
02:55
and they publishedpublicerat them
as an actspela teater of teacher-shaminglärare-shaming.
56
163165
2782
och publicerade det
för att skämma ut lärarna.
02:59
When I triedförsökte to get the formulasformler,
the sourcekälla codekoda, throughgenom the samesamma meansbetyder,
57
167084
3860
När jag försökte få tag i formlerna,
källkoden, på samma vis,
03:02
I was told I couldn'tkunde inte.
58
170968
2149
fick jag höra att det inte gick.
03:05
I was deniednekas.
59
173141
1236
Jag nekades.
03:06
I latersenare foundhittades out
60
174401
1174
Senare upptäckte jag
03:07
that nobodyingen in NewNya YorkYork CityStaden
had accesstillgång to that formulaformel.
61
175599
2866
att ingen i New York
hade tillgång till formeln.
03:10
No one understoodförstått it.
62
178489
1305
Ingen förstod den.
03:13
Then someonenågon really smartsmart
got involvedinvolverade, GaryGary RubensteinRubenstein.
63
181929
3224
Sedan blev någon som var riktigt smart
inblandad, Gary Rubenstein.
03:17
He foundhittades 665 teacherslärare
from that NewNya YorkYork PostInlägg datadata
64
185177
3621
Han upptäckte att 665 lärare
i New York Posts reportage
egentligen hade två resultat.
03:20
that actuallyfaktiskt had two scorespoäng.
65
188822
1866
03:22
That could happenhända if they were teachingundervisning
66
190712
1881
Det kunde hända om de undervisade
både sjunde- och åttondeklassare
03:24
seventhsjunde gradekvalitet mathmatematik and eighthåttonde gradekvalitet mathmatematik.
67
192617
2439
i matematik.
03:27
He decidedbestämt to plotkomplott them.
68
195080
1538
Han gjorde ett diagram.
03:28
EachVarje dotpunkt representsrepresenterar a teacherlärare.
69
196642
1993
Varje prick representerar en lärare.
03:31
(LaughterSkratt)
70
199104
2379
(Skratt)
03:33
What is that?
71
201507
1521
Vad är det här?
03:35
(LaughterSkratt)
72
203052
1277
(Skratt)
03:36
That should never have been used
for individualenskild assessmentbedömning.
73
204353
3446
Det här skulle aldrig ha använts
för individuella bedömningar.
03:39
It's almostnästan a randomslumpmässig numbersiffra generatorgenerator.
74
207823
1926
Det är nästan som en slumpgenerator.
03:41
(ApplauseApplåder)
75
209773
2946
(Applåder)
03:44
But it was.
76
212743
1162
Men det gjordes.
03:45
This is SarahSarah WysockiWysocki.
77
213929
1176
Detta är Sarah Wysocki.
03:47
She got firedsparken, alonglängs
with 205 other teacherslärare,
78
215129
2175
Hon och 205 andra lärare fick sparken,
03:49
from the WashingtonWashington, DCDC schoolskola districtdistrikt,
79
217328
2662
från Washington DCs skoldistrikt,
03:52
even thoughdock she had great
recommendationsrekommendationer from her principalPrincipal
80
220014
2909
trots att hon hade strålande omdömen
från sin rektor och elevernas föräldrar.
03:54
and the parentsföräldrar of her kidsbarn.
81
222947
1428
Jag vet vad många av er tänker nu,
03:57
I know what a lot
of you guys are thinkingtänkande,
82
225390
2032
särskilt dataanalytikerna,
AI-experterna här inne.
03:59
especiallyspeciellt the datadata scientistsvetenskapsmän,
the AIAI expertsexperter here.
83
227446
2487
Ni tänker, "Jag skulle aldrig skriva
en sådan inkonsekvent algoritm."
04:01
You're thinkingtänkande, "Well, I would never make
an algorithmalgoritm that inconsistentinkonsekvent."
84
229957
4226
Men algoritmer kan bli fel,
04:06
But algorithmsalgoritmer can go wrongfel,
85
234853
1683
04:08
even have deeplydjupt destructivedestruktiva effectseffekter
with good intentionsavsikter.
86
236560
4598
till och med ha djupt destruktiva effekter
även om intentionerna är goda.
04:14
And whereasmedan an airplaneflygplan
that's designeddesignat badlydåligt
87
242531
2379
Medan ett illa konstruerat flygplan
04:16
crasheskrascher to the earthjord and everyonealla seesser it,
88
244934
2001
kraschar och alla kan se det,
04:18
an algorithmalgoritm designeddesignat badlydåligt
89
246959
1850
kan en illa skriven algoritm
04:22
can go on for a long time,
silentlytyst wreakingwreaking havocförödelse.
90
250245
3865
användas under lång tid,
och i tysthet skapa kaos.
04:27
This is RogerRoger AilesAiles.
91
255748
1570
Det här är Roger Ailes.
04:29
(LaughterSkratt)
92
257342
2000
(Skratt)
04:32
He foundedgrundad FoxFox NewsNyheter in 1996.
93
260524
2388
Han grundade Fox News 1996.
Fler än tjugo kvinnor
anmälde sexuella trakasserier.
04:35
More than 20 womenkvinnor complainedklagade
about sexualsexuell harassmenttrakasserier.
94
263436
2581
04:38
They said they weren'tinte allowedtillåten
to succeedlyckas at FoxFox NewsNyheter.
95
266041
3235
De menade att de inte tilläts
att lyckas på Fox News.
04:41
He was oustedstörtade last yearår,
but we'vevi har seensett recentlynyligen
96
269300
2520
Han fick sparken förra året,
men nyligen såg vi
04:43
that the problemsproblem have persistedkvarstod.
97
271844
2670
att problemen har fortsatt.
04:47
That begsväcker the questionfråga:
98
275654
1400
Det leder oss in på frågan:
04:49
What should FoxFox NewsNyheter do
to turnsväng over anotherannan leafblad?
99
277078
2884
Vad ska Fox News göra för att vända blad?
04:53
Well, what if they replacedersatt
theirderas hiringuthyrning processbearbeta
100
281245
3041
Tänk om de bytte ut
sin anställningsprocess
04:56
with a machine-learningMaskininlärning algorithmalgoritm?
101
284310
1654
med en maskininlärningsalgoritm?
04:57
That soundsljud good, right?
102
285988
1595
Det låter väl bra?
04:59
Think about it.
103
287607
1300
Fundera på det.
05:00
The datadata, what would the datadata be?
104
288931
2105
Data, vilken data skulle användas?
05:03
A reasonablerimlig choiceval would be the last
21 yearsår of applicationstillämpningar to FoxFox NewsNyheter.
105
291060
4947
Ett rimligt val skulle vara
de senaste 21 årens ansökningar
till Fox News.
05:08
ReasonableRimliga.
106
296031
1502
Det låter rimligt.
05:09
What about the definitiondefinition of successframgång?
107
297557
1938
Hur skulle framgång definieras?
05:11
ReasonableRimliga choiceval would be,
108
299921
1324
Ett rimligt val vore,
05:13
well, who is successfulframgångsrik at FoxFox NewsNyheter?
109
301269
1778
ja, vem är framgångsrik på Fox News?
05:15
I guessgissa someonenågon who, say,
stayedstannade there for fourfyra yearsår
110
303071
3580
Jag gissar på någon som,
låt säga, stannat där i fyra år
05:18
and was promotedfrämjas at leastminst onceen gång.
111
306675
1654
och befordrats minst en gång.
05:20
SoundsLjud reasonablerimlig.
112
308816
1561
Det låter rimligt.
05:22
And then the algorithmalgoritm would be trainedtränad.
113
310401
2354
Därefter skulle algoritmen tränas.
05:24
It would be trainedtränad to look for people
to learnlära sig what led to successframgång,
114
312779
3877
Den skulle tränas i att hitta personer för
att lära sig vad som lett till framgång,
05:29
what kindsnäll of applicationstillämpningar
historicallyhistoriskt led to successframgång
115
317219
4318
vilken typ av ansökningar
som historiskt lett till framgång
05:33
by that definitiondefinition.
116
321561
1294
utifrån den definitionen.
05:36
Now think about what would happenhända
117
324200
1775
Fundera nu på vad som skulle hända
05:37
if we appliedapplicerad that
to a currentnuvarande poolslå samman of applicantssökande.
118
325999
2555
om vi applicerade det här
på jobbsökare idag.
05:41
It would filterfiltrera out womenkvinnor
119
329119
1629
Den skulle välja bort kvinnor
05:43
because they do not look like people
who were successfulframgångsrik in the pastdåtid.
120
331663
3930
för de liknar inte personer
som varit framgångsrika historiskt.
05:51
AlgorithmsAlgoritmer don't make things fairrättvis
121
339752
2537
Algoritmer gör inte saker rättvisa
05:54
if you just blithelyglatt,
blindlyblint applytillämpa algorithmsalgoritmer.
122
342313
2694
om man tillämpar dem tanklöst och blint.
05:57
They don't make things fairrättvis.
123
345031
1482
De skapar inte rättvisa.
05:58
They repeatupprepa our pastdåtid practicesmetoder,
124
346537
2128
De repeterar det vi gjort tidigare,
06:00
our patternsmönster.
125
348689
1183
våra mönster.
06:01
They automateAutomatisera the statusstatus quoquo.
126
349896
1939
De automatiserar rådande läge.
06:04
That would be great
if we had a perfectperfekt worldvärld,
127
352718
2389
Det skulle vara toppen
om världen vore perfekt,
06:07
but we don't.
128
355905
1312
men det är den inte.
06:09
And I'll addLägg till that mostmest companiesföretag
don't have embarrassingpinsamt lawsuitsstämningar,
129
357241
4102
Och jag kan tillägga att
de flesta företag inte har blivit stämda,
06:14
but the datadata scientistsvetenskapsmän in those companiesföretag
130
362446
2588
men dataanalytikerna i de här företagen
06:17
are told to followFölj the datadata,
131
365058
2189
är ålagda att använda datan,
06:19
to focusfokus on accuracynoggrannhet.
132
367271
2143
för att få tillförlitliga resultat.
06:22
Think about what that meansbetyder.
133
370273
1381
Fundera på vad det betyder.
06:23
Because we all have biaspartiskhet,
it meansbetyder they could be codifyingkodifiera sexismsexism
134
371678
4027
Eftersom vi alla har fördomar, betyder det
att de skulle kunna koda in sexism
06:27
or any other kindsnäll of bigotrybigotteri.
135
375729
1836
eller något annat trångsynt.
06:31
Thought experimentexperimentera,
136
379488
1421
Ett tankeexperiment,
06:32
because I like them:
137
380933
1509
eftersom jag gillar såna:
06:35
an entirelyhelt segregatedsegregerad societysamhälle --
138
383574
2975
Tänk er ett helt segregerat samhälle -
06:40
raciallyrasistiskt segregatedsegregerad, all townstowns,
all neighborhoodsstadsdelar
139
388247
3328
rassegregerat, i alla städer,
i alla områden
06:43
and where we sendskicka the policepolis
only to the minorityminoriteten neighborhoodsstadsdelar
140
391599
3037
och där vi bara skickar polisen
till minoritetsområdena
06:46
to look for crimebrottslighet.
141
394660
1193
för brottsbekämpning.
06:48
The arrestarrestera datadata would be very biasedpartisk.
142
396451
2219
Arresteringarna skulle vara
väldigt fördomsfulla.
06:51
What if, on toptopp of that,
we foundhittades the datadata scientistsvetenskapsmän
143
399851
2575
Tänk om, till råga på allt,
vi fann dataanalytikerna
06:54
and paidbetald the datadata scientistsvetenskapsmän to predictförutspå
where the nextNästa crimebrottslighet would occurinträffa?
144
402450
4161
och betalade dem för att tala om
var nästa brott skulle ske?
06:59
MinorityMinoriteten neighborhoodgrannskap.
145
407275
1487
I minoritetsområdena.
07:01
Or to predictförutspå who the nextNästa
criminalkriminell would be?
146
409285
3125
Eller förutspå vem nästa brottsling är?
07:04
A minorityminoriteten.
147
412888
1395
Någon från en minoritet.
07:07
The datadata scientistsvetenskapsmän would bragBrag
about how great and how accurateexakt
148
415949
3541
Dataanalytikerna skulle skryta om
hur bra och tillförlitlig
07:11
theirderas modelmodell would be,
149
419514
1297
deras modell skulle vara,
07:12
and they'dde hade be right.
150
420835
1299
och de skulle ha rätt.
07:15
Now, realityverklighet isn't that drasticdrastiska,
but we do have severesvår segregationssegregations
151
423951
4615
Nu är verkligheten inte så drastisk,
men vi har allvarlig segregation
07:20
in manymånga citiesstäder and townstowns,
152
428590
1287
i många städer och områden,
07:21
and we have plentymassor of evidencebevis
153
429901
1893
och vi har gott om bevis
07:23
of biasedpartisk policingpolisarbete
and justicerättvisa systemsystemet datadata.
154
431818
2688
om fördomsfullt polisarbete
och skev straffrättslig data.
07:27
And we actuallyfaktiskt do predictförutspå hotspotshotspots,
155
435632
2815
Vi förutspår faktiskt hotspots,
07:30
placesplatser where crimesbrott will occurinträffa.
156
438471
1530
platser där brott kan ske.
07:32
And we do predictförutspå, in factfaktum,
the individualenskild criminalitybrottslighet,
157
440401
3866
Faktum är, att vi förutspår
individers kriminalitet,
07:36
the criminalitybrottslighet of individualsindivider.
158
444291
1770
individers brottsbenägenhet.
07:38
The newsNyheter organizationorganisation ProPublicaProPublica
recentlynyligen lookedtittade into
159
446972
3963
Nyhetsorganisationen ProPublica
undersökte för en tid sedan
07:42
one of those "recidivismåterfall i brott riskrisk" algorithmsalgoritmer,
160
450959
2024
en av algoritmerna för "återfallsrisk",
07:45
as they're calledkallad,
161
453007
1163
som de kallas,
07:46
beingvarelse used in FloridaFlorida
duringunder sentencingstraff by judgesdomare.
162
454194
3194
och som används i Florida
när domar ska avkunnas.
07:50
BernardBernard, on the left, the blacksvart man,
was scoredgjorde a 10 out of 10.
163
458411
3585
Bernard, mannen till vänster,
fick 10 poäng av 10 möjliga.
07:55
DylanDylan, on the right, 3 out of 10.
164
463179
2007
Dylan, till höger, 3 poäng av 10 möjliga.
07:57
10 out of 10, highhög riskrisk.
3 out of 10, lowlåg riskrisk.
165
465210
2501
10 av 10, hög risk.
3 av 10, låg risk.
08:00
They were bothbåde broughttog med in
for drugläkemedel possessionbesittning.
166
468598
2385
Båda anhölls för droginnehav.
08:03
They bothbåde had recordsuppgifter,
167
471007
1154
Båda var dömda tidigare,
08:04
but DylanDylan had a felonygrovt brott
168
472185
2806
men Dylan hade begått ett grovt brott
vilket Bernard inte hade.
08:07
but BernardBernard didn't.
169
475015
1176
08:09
This mattersfrågor, because
the higherhögre scoregöra you are,
170
477818
3066
Det här har betydelse,
för ju högre poäng man har,
08:12
the more likelytroligt you're beingvarelse givengiven
a longerlängre sentencemeningen.
171
480908
3473
desto troligare är det
att man får ett längre straff.
08:18
What's going on?
172
486294
1294
Vad är det som händer?
08:20
DataData launderingpenningtvätt.
173
488526
1332
Datatvätt.
08:22
It's a processbearbeta by whichsom
technologiststeknologer hideDölj uglyful truthssanningar
174
490930
4427
Det är en process där tekniker
gömmer fula sanningar
08:27
insideinuti blacksvart boxlåda algorithmsalgoritmer
175
495381
1821
inuti automatiska algoritmer
08:29
and call them objectivemål;
176
497226
1290
som de kallar objektiva;
08:31
call them meritocraticmeritokratiska.
177
499320
1568
kallar meritokratiska.
08:35
When they're secrethemlighet,
importantViktig and destructivedestruktiva,
178
503118
2385
När de är hemliga, viktiga
och destruktiva,
08:37
I've coinedmyntade a termtermin for these algorithmsalgoritmer:
179
505527
2487
myntade jag ett begrepp för dem:
08:40
"weaponsvapen of mathmatematik destructionförstörelse."
180
508038
1999
"matte-förstörelsevapen."
08:42
(LaughterSkratt)
181
510061
1564
(Skratt)
08:43
(ApplauseApplåder)
182
511649
3054
(Applåder)
08:46
They're everywhereöverallt,
and it's not a mistakemisstag.
183
514727
2354
De finns överallt,
och det är inte ett misstag.
08:49
These are privateprivat companiesföretag
buildingbyggnad privateprivat algorithmsalgoritmer
184
517695
3723
Det här är privata företag
som skapar privata algoritmer
08:53
for privateprivat endsändarna.
185
521442
1392
för privata syften.
08:55
Even the onesettor I talkedtalade about
for teacherslärare and the publicoffentlig policepolis,
186
523214
3214
Även de för lärare och poliser
som jag pratat om,
08:58
those were builtbyggd by privateprivat companiesföretag
187
526452
1869
byggdes av privata företag
09:00
and soldsåld to the governmentregering institutionsinstitutioner.
188
528345
2231
och såldes till statliga myndigheter.
09:02
They call it theirderas "secrethemlighet saucesås" --
189
530600
1873
De kallar dem "hemliga recept" -
09:04
that's why they can't tell us about it.
190
532497
2128
det är därför de inte kan berätta om dem.
09:06
It's alsoockså privateprivat powerkraft.
191
534649
2220
Det är också privat makt.
09:09
They are profitingdra vinning for wieldingsvingar
the authorityauktoritet of the inscrutableoutgrundlig.
192
537924
4695
De skor sig genom att utöva
sin ogenomträngliga makt.
09:17
Now you mightmakt think,
sincesedan all this stuffgrejer is privateprivat
193
545114
2934
Nu kanske du tänker
att eftersom allt det här är privat
09:20
and there's competitionkonkurrens,
194
548072
1158
och fri konkurrens råder,
09:21
maybe the freefri marketmarknadsföra
will solvelösa this problemproblem.
195
549254
2306
kommer marknaden kanske lösa problemen.
09:23
It won'tvana.
196
551584
1249
Det gör den inte.
09:24
There's a lot of moneypengar
to be madegjord in unfairnessunfairness.
197
552857
3120
Det finns mycket pengar
att tjäna på orättvisa.
09:29
AlsoOckså, we're not economicekonomisk rationalrationell agentsmedel.
198
557127
3369
Dessutom, är vi inte
ekonomiskt rationella varelser.
09:33
We all are biasedpartisk.
199
561031
1292
Alla har vi fördomar.
09:34
We're all racistrasist and bigotedtrångsynt
in wayssätt that we wishönskar we weren'tinte,
200
562960
3377
Alla är vi rasister och bigotta på sätt
som vi önskar att vi inte var,
09:38
in wayssätt that we don't even know.
201
566361
2019
på sätt vi inte ens vet att vi är.
09:41
We know this, thoughdock, in aggregateaggregat,
202
569352
3081
Det här vet vi dock,
09:44
because sociologistssociologer
have consistentlykonsekvent demonstrateddemonstreras this
203
572457
3220
eftersom sociologer konsekvent visat det
09:47
with these experimentsexperiment they buildbygga,
204
575701
1665
genom olika expriment,
09:49
where they sendskicka a bunchknippa
of applicationstillämpningar to jobsjobb out,
205
577390
2568
där de skickar jobbansökningar,
09:51
equallylika qualifiedkvalificerade but some
have white-soundingvit-klingande namesnamn
206
579982
2501
alla lika kvalificerade
men några har "vita" namn
09:54
and some have black-soundingsvart-klingande namesnamn,
207
582507
1706
och några har "svarta" namn,
09:56
and it's always disappointingbesvikelse,
the resultsresultat -- always.
208
584237
2694
och resultaten är alltid
en besvikelse - alltid.
09:59
So we are the onesettor that are biasedpartisk,
209
587510
1771
Vi är alltså de som är fördomsfulla,
10:01
and we are injectingInjicera those biasesförspänner
into the algorithmsalgoritmer
210
589305
3429
och vi lägger in fördomarna i algoritmerna
10:04
by choosingatt välja what datadata to collectsamla,
211
592758
1812
genom att välja datan vi samlar in,
10:06
like I chosevalde not to think
about ramenRamen noodlesnudlar --
212
594594
2743
så som jag valde
att inte ta med japanska nudlar.
10:09
I decidedbestämt it was irrelevantirrelevant.
213
597361
1625
Jag bestämde att de var oviktiga.
10:11
But by trustinglita the datadata that's actuallyfaktiskt
pickingplockning up on pastdåtid practicesmetoder
214
599010
5684
Men genom att lita på data
som bygger på tidigare erfarenheter
10:16
and by choosingatt välja the definitiondefinition of successframgång,
215
604718
2014
och välja definitionen av framgång,
10:18
how can we expectförvänta the algorithmsalgoritmer
to emergeframträda unscathedoskadd?
216
606756
3983
hur kan vi då förvänta oss
att algoritmerna är harmlösa?
10:22
We can't. We have to checkkolla upp them.
217
610763
2356
Det kan vi inte. Vi måste kontrollera dem.
10:26
We have to checkkolla upp them for fairnessrättvisa.
218
614165
1709
Vi måste kolla att de är rättvisa.
10:27
The good newsNyheter is,
we can checkkolla upp them for fairnessrättvisa.
219
615898
2711
Den goda nyheten är
att vi kan kolla rättvisan i dem.
10:30
AlgorithmsAlgoritmer can be interrogatedförfrågas,
220
618633
3352
Algoritmer kan ifrågasättas,
10:34
and they will tell us
the truthsanning everyvarje time.
221
622009
2034
och de talar om sanningen varenda gång.
10:36
And we can fixfixera them.
We can make them better.
222
624067
2493
Vi kan rätta till dem.
Vi kan förbättra dem.
10:38
I call this an algorithmicalgoritmisk auditgranska,
223
626584
2375
Jag kallar det för
revision av algoritmer,
10:40
and I'll walk you throughgenom it.
224
628983
1679
och jag ska förklara.
10:42
First, datadata integrityintegritet checkkolla upp.
225
630686
2196
Först, integritetskontroll av datat.
10:46
For the recidivismåterfall i brott riskrisk
algorithmalgoritm I talkedtalade about,
226
634132
2657
För algoritmen för återfallsrisk
som jag pratade om,
10:49
a datadata integrityintegritet checkkolla upp would mean
we'dvI hADE have to come to termsvillkor with the factfaktum
227
637582
3573
skulle en integritetstest betyda
att vi behöver ta tag i det faktum
10:53
that in the US, whitesvita and blackssvarta
smokerök potpott at the samesamma rateBetygsätta
228
641179
3526
att i USA, röker vita och svarta
maruijana i samma utsträckning
10:56
but blackssvarta are farlångt more likelytroligt
to be arrestedarresterad --
229
644729
2485
men svarta löper större risk
att arresteras -
10:59
fourfyra or fivefem timesgånger more likelytroligt,
dependingberoende on the areaområde.
230
647238
3184
fyra till fem gånger högre risk
beroende på område.
11:03
What is that biaspartiskhet looking like
in other crimebrottslighet categorieskategorier,
231
651317
2826
Hur ser den fördomen ut
i andra brottskategorier
11:06
and how do we accountkonto for it?
232
654167
1451
och hur hanterar vi det?
11:08
SecondAndra, we should think about
the definitiondefinition of successframgång,
233
656162
3039
Två, vi borde tänka över
hur vi definierar framgång,
11:11
auditgranska that.
234
659225
1381
granska det.
11:12
RememberKom ihåg -- with the hiringuthyrning
algorithmalgoritm? We talkedtalade about it.
235
660630
2752
Kommer ni ihåg -
anställningsalgoritmen vi pratade om?
11:15
SomeoneNågon who staysvistelser for fourfyra yearsår
and is promotedfrämjas onceen gång?
236
663406
3165
Någon som stannar fyra år
och befordras en gång?
11:18
Well, that is a successfulframgångsrik employeeanställd,
237
666595
1769
Ja, det är en framgångsrik person,
11:20
but it's alsoockså an employeeanställd
that is supportedstöds by theirderas culturekultur.
238
668388
3079
men det är också någon
som stöttas av företagskulturen.
11:24
That said, alsoockså it can be quiteganska biasedpartisk.
239
672089
1926
Som sagt, även det kan vara partiskt.
11:26
We need to separateseparat those two things.
240
674039
2065
Vi måste skilja på de här två sakerna.
11:28
We should look to
the blindblind orchestraorkester auditionAudition
241
676128
2426
Vi bör titta på blindrekrytering
till orkestrar som ett exempel.
11:30
as an exampleexempel.
242
678578
1196
I en sådan är den sökande
bakom en skärm.
11:31
That's where the people auditioningAudition
are behindBakom a sheetark.
243
679798
2756
11:34
What I want to think about there
244
682946
1931
Det jag vill framhålla är
11:36
is the people who are listeninglyssnande
have decidedbestämt what's importantViktig
245
684901
3417
att de som lyssnar
har bestämt vad som är viktigt
11:40
and they'vede har decidedbestämt what's not importantViktig,
246
688342
2029
och vad som är oviktigt
11:42
and they're not getting
distractedförvirrad by that.
247
690395
2059
och de distraheras inte av det.
11:44
When the blindblind orchestraorkester
auditionsauditions startedsatte igång,
248
692961
2749
När den här typen
av rekryteringar startade,
11:47
the numbersiffra of womenkvinnor in orchestrasorkestrar
wentåkte up by a factorfaktor of fivefem.
249
695734
3444
steg andelen kvinnor
i orkestrarna femfalt.
11:52
NextNästa, we have to consideröverväga accuracynoggrannhet.
250
700253
2015
Sen måste vi överväga tillförlitligheten.
11:55
This is where the value-addedförädlingsvärde modelmodell
for teacherslärare would failmisslyckas immediatelyomedelbart.
251
703233
3734
Det är här mervärdesmodellen
för lärare skulle misslyckas omedelbart.
11:59
No algorithmalgoritm is perfectperfekt, of coursekurs,
252
707578
2162
Självklart är ingen algoritm perfekt,
12:02
so we have to consideröverväga
the errorsfel of everyvarje algorithmalgoritm.
253
710620
3605
så vi måste överväga felen
i varje algoritm.
12:06
How oftenofta are there errorsfel,
and for whomvem does this modelmodell failmisslyckas?
254
714836
4359
Hur ofta förekommer fel
och för vem misslyckas modellen?
12:11
What is the costkosta of that failurefel?
255
719850
1718
Vad är kostnaden för de felen?
12:14
And finallytill sist, we have to consideröverväga
256
722434
2207
Slutligen, måste vi överväga
12:17
the long-termlångsiktigt effectseffekter of algorithmsalgoritmer,
257
725973
2186
de långsiktiga effekterna av algoritmerna,
12:20
the feedbackåterkoppling loopsloopar that are engenderingEngendering.
258
728866
2207
och feedbacken som de medför.
12:23
That soundsljud abstractabstrakt,
259
731586
1236
Det låter abstrakt,
12:24
but imaginetänka if FacebookFacebook engineersingenjörer
had consideredanses vara that
260
732846
2664
men tänk om Facebooks ingenjörer
övervägt det här
12:28
before they decidedbestämt to showshow us
only things that our friendsvänner had postedPostad.
261
736270
4855
innan de bestämde sig för att bara
visa oss det våra vänner lagt upp.
12:33
I have two more messagesmeddelanden,
one for the datadata scientistsvetenskapsmän out there.
262
741761
3234
Jag har ytterligare två budskap,
ett för dataanalytikerna där ute.
12:37
DataData scientistsvetenskapsmän: we should
not be the arbitersskiljedomare of truthsanning.
263
745450
3409
Dataanalytiker: Vi bör inte vara
sanningens skiljedomare.
12:41
We should be translatorsöversättare
of ethicaletisk discussionsdiskussioner that happenhända
264
749520
3783
Vi bör vara översättare
av de etiska diskussioner som sker
12:45
in largerstörre societysamhälle.
265
753327
1294
i samhället i stort.
12:47
(ApplauseApplåder)
266
755579
2133
(Applåder)
12:49
And the restresten of you,
267
757736
1556
Och ni andra,
som inte är dataanalytiker:
12:52
the non-dataicke-data scientistsvetenskapsmän:
268
760011
1396
12:53
this is not a mathmatematik testtesta.
269
761431
1498
Det här är inte ett matteprov.
12:55
This is a politicalpolitisk fightbekämpa.
270
763632
1348
Det här är en politisk kamp.
12:58
We need to demandefterfrågan accountabilityansvarighet
for our algorithmicalgoritmisk overlordsöverherrar.
271
766587
3907
Vi måste kräva ansvarsskyldighet
från våra algoritmiska överherrar.
13:04
(ApplauseApplåder)
272
772118
1499
(Applåder)
13:05
The eraepok of blindblind faithtro
in bigstor datadata mustmåste endslutet.
273
773641
4225
Tiden när vi trodde blint
på big data måste få ett slut.
13:09
Thank you very much.
274
777890
1167
Tack så mycket.
13:11
(ApplauseApplåder)
275
779081
5303
(Applåder)
Translated by Anette Smedberg
Reviewed by Annika Bidner

▲Back to top

ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com