ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

Zeynep Tufekci: Machine-intelligentie maakt menselijke moraal belangrijker

Filmed:
1,648,711 views

Machine-intelligentie is er en we gebruiken ze al om persoonlijke beslissingen te nemen. Maar de complexe manier waarop AI groeit en verbetert, maakt ze moeilijk te begrijpen en nog moeilijker te beheersen. In deze kritische talk legt techno-socioloog Zeynep Tüfekçi uit hoe intelligente machines kunnen falen op een manier die niet passen in menselijke foutenpatronen -- en wel op een onverwachte manier waarop we niet zijn voorbereid.. "We mogen onze verantwoordelijkheden niet uitbesteden aan machines", zegt ze. "We moeten steeds strakker aan menselijke waarden en menselijke ethiek blijven vasthouden."
- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio

Double-click the English transcript below to play the video.

00:12
So, I startedbegonnen my first jobbaan
as a computercomputer programmerprogrammeur
0
739
4122
Ik begon mijn eerste baan
als computerprogrammeur
00:16
in my very first yearjaar of collegecollege --
1
4885
1956
in mijn eerste jaar aan de universiteit.
00:18
basicallyeigenlijk, as a teenagertiener.
2
6865
1507
Ik was nog een tiener.
Spoedig nadat ik er begon
00:20
SoonBinnenkort after I startedbegonnen workingwerkend,
3
8889
1732
met het schrijven
van software voor een bedrijf,
00:22
writingschrift softwaresoftware in a companybedrijf,
4
10645
1610
00:24
a managermanager who workedwerkte at the companybedrijf
camekwam down to where I was,
5
12799
3635
kwam een manager van het bedrijf
naar me toe en fluisterde:
00:28
and he whisperedfluisterde to me,
6
16458
1268
00:30
"Can he tell if I'm lyingaan het liegen?"
7
18229
2861
"Weet hij of ik lieg?"
00:33
There was nobodyniemand elseanders in the roomkamer.
8
21806
2077
Er was niemand anders in de kamer.
00:37
"Can who tell if you're lyingaan het liegen?
And why are we whisperingfluisteren?"
9
25032
4389
Ik: "Weet wie dat je liegt?
En waarom fluisteren we?"
00:42
The managermanager pointedpuntig
at the computercomputer in the roomkamer.
10
30266
3107
De manager wees
naar de computer in de kamer.
00:45
"Can he tell if I'm lyingaan het liegen?"
11
33397
3096
"Weet hij of ik lieg?"
00:49
Well, that managermanager was havingmet
an affairaffaire with the receptionistreceptioniste.
12
37613
4362
Nu had die manager
een affaire met de receptioniste.
00:53
(LaughterGelach)
13
41999
1112
(Gelach)
00:55
And I was still a teenagertiener.
14
43135
1766
En ik was nog een tiener.
00:57
So I whisper-shoutedWhisper schreeuwde- back to him,
15
45447
2019
Dus fluister-schreeuwde ik naar hem terug:
00:59
"Yes, the computercomputer can tell
if you're lyingaan het liegen."
16
47490
3624
"Ja, de computer weet of je liegt."
01:03
(LaughterGelach)
17
51138
1806
(Gelach)
01:04
Well, I laughedlachte, but actuallywerkelijk,
the laugh'sde lach on me.
18
52968
2923
Nou, ik lachte, maar op dit moment
zou ik moeten worden uitgelachen.
01:07
NowadaysTegenwoordig, there are computationalcomputational systemssystemen
19
55915
3268
Tegenwoordig zijn er computersystemen
01:11
that can sussSUSS out
emotionalemotioneel statesstaten and even lyingaan het liegen
20
59207
3548
die emotionele toestanden
en zelfs liegen herkennen
01:14
from processingverwerken humanmenselijk facesgezichten.
21
62779
2044
door het interpreteren
van menselijke gezichten.
01:17
AdvertisersAdverteerders and even governmentsoverheden
are very interestedgeïnteresseerd.
22
65248
4153
Adverteerders en zelfs regeringen
zijn zeer geïnteresseerd.
01:22
I had becomeworden a computercomputer programmerprogrammeur
23
70319
1862
Ik was computerprogrammeur geworden
01:24
because I was one of those kidskinderen
crazygek about mathwiskunde and sciencewetenschap.
24
72205
3113
omdat ik een van die kinderen was
die gek zijn op wiskunde en wetenschap.
01:27
But somewhereergens alonglangs the linelijn
I'd learnedgeleerd about nuclearnucleair weaponswapens,
25
75942
3108
Maar ik leerde wat over kernwapens
01:31
and I'd gottengekregen really concernedbezorgd
with the ethicsethiek of sciencewetenschap.
26
79074
2952
en werd echt bezorgd
over de ethiek van de wetenschap.
01:34
I was troubledverontrust.
27
82050
1204
Ik was in de war.
01:35
HoweverEchter, because of familyfamilie circumstancessituatie,
28
83278
2641
Door familieomstandigheden
01:37
I alsoook needednodig to startbegin workingwerkend
as soonspoedig as possiblemogelijk.
29
85943
3298
moest ik zo snel mogelijk
aan werk geraken.
01:41
So I thought to myselfmezelf, hey,
let me pickplukken a technicaltechnisch fieldveld-
30
89265
3299
Ik dacht, nou, laat me
een technisch gebied uitkiezen
01:44
where I can get a jobbaan easilygemakkelijk
31
92588
1796
waarin ik gemakkelijk een baan kan vinden
01:46
and where I don't have to dealtransactie
with any troublesomelastig questionsvragen of ethicsethiek.
32
94408
4018
en waar ik niet hoef in te gaan
op eventuele lastige vragen over ethiek.
01:51
So I pickeduitgekozen computerscomputers.
33
99022
1529
Dus koos ik voor computers.
01:52
(LaughterGelach)
34
100575
1104
(Gelach)
01:53
Well, haha, haha, haha!
All the laughslacht are on me.
35
101703
3410
Nou ja, ha, ha, ha! Lach maar.
01:57
NowadaysTegenwoordig, computercomputer scientistswetenschappers
are buildinggebouw platformsplatforms
36
105137
2754
Tegenwoordig bouwen
computerwetenschappers systemen
01:59
that controlcontrole what a billionmiljard
people see everyelk day.
37
107915
4209
die elke dag een miljard
mensen controleren.
02:05
They're developingontwikkelen carsauto's
that could decidebesluiten who to runrennen over.
38
113052
3822
Ze ontwikkelen auto's die zouden
kunnen beslissen wie ze overrijden.
02:09
They're even buildinggebouw machinesmachines, weaponswapens,
39
117707
3213
Ze bouwen zelfs machines, wapens,
02:12
that mightmacht killdoden humanmenselijk beingswezens in waroorlog.
40
120944
2285
die in de oorlog mensen
zouden kunnen doden.
02:15
It's ethicsethiek all the way down.
41
123253
2771
Het is ethiek, al wat de klok slaat.
02:19
MachineMachine intelligenceintelligentie- is here.
42
127183
2058
Machine-intelligentie is hier.
02:21
We're now usinggebruik makend van computationberekening
to make all sortsoort of decisionsbeslissingen,
43
129823
3474
We nemen allerlei beslissingen
aan de hand van berekeningen,
02:25
but alsoook newnieuwe kindssoorten of decisionsbeslissingen.
44
133321
1886
maar ook nieuwe typen beslissingen.
02:27
We're askingvragen questionsvragen to computationberekening
that have no singlesingle right answersantwoorden,
45
135231
5172
We stellen vragen aan de computer
waar niet één enkel antwoord op is,
02:32
that are subjectivesubjectief
46
140427
1202
die subjectief zijn
02:33
and open-endedvrijblijvend and value-ladenwaarde beladen.
47
141653
2325
met een open einde en waardegeladen.
02:36
We're askingvragen questionsvragen like,
48
144002
1758
We stellen vragen als:
02:37
"Who should the companybedrijf hirehuren?"
49
145784
1650
"Wie moet het bedrijf inhuren?"
02:40
"WhichDie updatebijwerken from whichwelke friendvriend
should you be showngetoond?"
50
148096
2759
"Welke update van welke vriend
moet je te zien krijgen?"
02:42
"WhichDie convictgevangene is more
likelywaarschijnlijk to reoffendrecidiveren?"
51
150879
2266
"Welke gevangene heeft
meer kans om te recidiveren?"
02:45
"WhichDie newsnieuws itemitem or moviefilm
should be recommendedAanbevolen to people?"
52
153514
3054
"Welke nieuwsbericht of film
moeten we aanbevelen?"
02:48
Look, yes, we'vewij hebben been usinggebruik makend van
computerscomputers for a while,
53
156592
3372
Ik weet dat we al een tijdje
computers gebruiken,
02:51
but this is differentverschillend.
54
159988
1517
maar dit is anders.
02:53
This is a historicalhistorisch twisttwist,
55
161529
2067
Dit is een historisch keerpunt,
02:55
because we cannotkan niet anchoranker computationberekening
for suchzodanig subjectivesubjectief decisionsbeslissingen
56
163620
5337
omdat we voor dergelijke
subjectieve beslissingen
niet op berekeningen kunnen vertrouwen,
03:00
the way we can anchoranker computationberekening
for flyingvliegend airplanesvliegtuigen, buildinggebouw bridgesbruggen,
57
168981
5420
zoals we dat doen voor het vliegen
van vliegtuigen, het bouwen van bruggen
03:06
going to the moonmaan.
58
174425
1259
of naar de maan gaan.
03:08
Are airplanesvliegtuigen saferveiliger?
Did the bridgebrug swayzwaaien and fallvallen?
59
176449
3259
Zijn vliegtuigen veiliger?
Is de brug gaan zwaaien en ingestort?
03:11
There, we have agreed-uponovereengekomen,
fairlytamelijk clearduidelijk benchmarksbenchmarks,
60
179732
4498
Daar hebben we vrij duidelijke
normen voor afgesproken
03:16
and we have lawswetten of naturenatuur to guidegids us.
61
184254
2239
en we hebben natuurwetten
om ons te leiden.
03:18
We have no suchzodanig anchorsankers and benchmarksbenchmarks
62
186517
3394
Dergelijke ijkpunten
en normen hebben we niet
03:21
for decisionsbeslissingen in messyrommelig humanmenselijk affairszaken.
63
189935
3963
voor besluiten in rommelige
menselijke aangelegenheden.
03:25
To make things more complicatedingewikkeld,
our softwaresoftware is gettingkrijgen more powerfulkrachtig,
64
193922
4237
Om de zaken nog ingewikkelder te maken,
wordt onze software steeds krachtiger,
03:30
but it's alsoook gettingkrijgen lessminder
transparenttransparant and more complexcomplex.
65
198183
3773
maar ook steeds
minder transparant en complexer.
03:34
RecentlyOnlangs, in the pastverleden decadedecennium,
66
202542
2040
Recentelijk, in het afgelopen decennium,
03:36
complexcomplex algorithmsalgoritmen
have madegemaakt great stridesvooruitgang.
67
204606
2729
hebben complexe algoritmen
grote vooruitgang geboekt.
03:39
They can recognizeherken humanmenselijk facesgezichten.
68
207359
1990
Ze kunnen menselijke gezichten herkennen.
03:41
They can decipherontcijferen handwritinghandschrift.
69
209985
2055
Ze kunnen handschrift ontcijferen.
03:44
They can detectopsporen creditcredit cardkaart fraudfraude
70
212436
2066
Ze kunnen creditcardfraude detecteren,
03:46
and blockblok spamspam
71
214526
1189
spam blokkeren
03:47
and they can translatevertalen betweentussen languagestalen.
72
215739
2037
en vertalingen maken.
03:49
They can detectopsporen tumorstumoren in medicalmedisch imagingImaging.
73
217800
2574
Ze kunnen tumoren detecteren
bij medische beeldvorming.
03:52
They can beatovertreffen humansmensen in chessschaak and Go.
74
220398
2205
Ze kunnen mensen
met schaken en go verslaan.
03:55
Much of this progressvooruitgang comeskomt
from a methodmethode calledriep "machinemachine learningaan het leren."
75
223264
4504
Een groot deel van deze vooruitgang
komt van een methode
'machine learning' genaamd.
04:00
MachineMachine learningaan het leren is differentverschillend
than traditionaltraditioneel programmingprogrammering,
76
228175
3187
Machine learning is anders
dan het traditionele programmeren,
04:03
where you give the computercomputer
detailedgedetailleerde, exactexact, painstakingzorgvuldige instructionsinstructies.
77
231386
3585
waar je de computer gedetailleerde,
exacte, nauwgezette instructies geeft.
04:07
It's more like you take the systemsysteem
and you feedeten geven it lots of datagegevens,
78
235378
4182
Het is meer alsof je
het systeem veel data voert,
04:11
includinginclusief unstructuredongestructureerde datagegevens,
79
239584
1656
ook ongestructureerde data,
04:13
like the kindsoort we generatevoortbrengen
in our digitaldigitaal liveslevens.
80
241264
2278
zoals we ze genereren
in ons digitale leven.
04:15
And the systemsysteem learnsleert
by churningkarnen throughdoor this datagegevens.
81
243566
2730
En het systeem leert
door op deze gegeven te broeden.
04:18
And alsoook, cruciallycruciaal,
82
246669
1526
Ook van cruciaal belang is
04:20
these systemssystemen don't operatebedienen
underonder a single-answerSingle-antwoord logiclogica.
83
248219
4380
dat deze systemen niet werken
met een één-antwoord logica.
04:24
They don't produceproduceren a simpleeenvoudig answerantwoord;
it's more probabilisticprobabilistische:
84
252623
2959
Ze geven geen simpel antwoord;
het is meer probabilistisch:
04:27
"This one is probablywaarschijnlijk more like
what you're looking for."
85
255606
3483
"Dit is waarschijnlijk meer wat je zoekt."
04:32
Now, the upsidebovenkant is:
this methodmethode is really powerfulkrachtig.
86
260023
3070
Het voordeel is dat deze methode
echt krachtig is.
04:35
The headhoofd of Google'sGoogles AIAI systemssystemen calledriep it,
87
263117
2076
Het hoofd van Google's
AI-systemen noemde het:
04:37
"the unreasonableonredelijk effectivenesseffectiviteit of datagegevens."
88
265217
2197
"De onredelijke effectiviteit van data."
04:39
The downsidekeerzijde is,
89
267791
1353
Het nadeel is
04:41
we don't really understandbegrijpen
what the systemsysteem learnedgeleerd.
90
269738
3071
dat we niet echt begrijpen
wat het systeem leerde.
04:44
In factfeit, that's its powermacht.
91
272833
1587
Dat is in feite zijn kracht.
04:46
This is lessminder like givinggeven
instructionsinstructies to a computercomputer;
92
274946
3798
Dit lijkt minder op het geven
van instructies aan een ​​computer
04:51
it's more like trainingopleiding
a puppy-machine-creaturepuppy-machine-schepsel
93
279200
4064
dan op het trainen
van een puppy-machine-schepsel
04:55
we don't really understandbegrijpen or controlcontrole.
94
283288
2371
dat we niet echt begrijpen of controleren.
04:58
So this is our problemprobleem.
95
286362
1551
Dus dit is ons probleem.
05:00
It's a problemprobleem when this artificialkunstmatig
intelligenceintelligentie- systemsysteem getskrijgt things wrongfout.
96
288427
4262
Als het kunstmatige-intelligentie systeem
in de fout gaat, hebben we een probleem.
05:04
It's alsoook a problemprobleem
when it getskrijgt things right,
97
292713
3540
Het is ook een probleem
wanneer het goed werkt,
05:08
because we don't even know whichwelke is whichwelke
when it's a subjectivesubjectief problemprobleem.
98
296277
3628
omdat we niet eens weten
wanneer het in de fout gaat
bij een subjectief probleem.
05:11
We don't know what this thing is thinkinghet denken.
99
299929
2339
We weten niet wat dit ding denkt.
05:15
So, consideroverwegen a hiringverhuren algorithmalgoritme --
100
303493
3683
Denk eens aan een algoritme
voor aanwerving --
05:20
a systemsysteem used to hirehuren people,
usinggebruik makend van machine-learningmachine-leren systemssystemen.
101
308123
4311
een systeem dat wordt gebruikt
om mensen aan te nemen
met behulp van machine learning-systemen.
05:25
SuchDergelijke a systemsysteem would have been trainedgetraind
on previousvoorgaand employees'werknemers datagegevens
102
313052
3579
Een dergelijk systeem werd getraind
met data van vroegere werknemers
05:28
and instructedde opdracht to find and hirehuren
103
316655
2591
en geïnstrueerd voor het vinden en inhuren
05:31
people like the existingbestaand
highhoog performersartiesten in the companybedrijf.
104
319270
3038
van mensen zoals de beste
presteerders in het bedrijf.
05:34
SoundsGeluiden good.
105
322814
1153
Klinkt goed.
05:35
I onceeen keer attendedbijgewoond a conferenceconferentie
106
323991
1999
Ik heb eens een conferentie bijgewoond
05:38
that broughtbracht togethersamen
humanmenselijk resourcesmiddelen managersmanagers and executivesleidinggevenden,
107
326014
3125
met human-resourcesmanagers
en leidinggevenden,
hoge pieten,
05:41
high-levelhoog niveau people,
108
329163
1206
die dergelijke systemen
voor het inhuren gebruiken.
05:42
usinggebruik makend van suchzodanig systemssystemen in hiringverhuren.
109
330393
1559
05:43
They were supersuper excitedopgewonden.
110
331976
1646
Ze waren superenthousiast.
05:45
They thought that this would make hiringverhuren
more objectivedoelstelling, lessminder biasedvooringenomen,
111
333646
4653
Ze dachten dat dit het inhuren
objectiever en minder
bevooroordeeld zou maken
05:50
and give womenvrouw
and minoritiesminderheden a better shotschot
112
338323
3000
en vrouwen en minderheden
betere kansen zouden geven
05:53
againsttegen biasedvooringenomen humanmenselijk managersmanagers.
113
341347
2188
ten opzichte van vooringenomen
menselijke managers.
05:55
And look -- humanmenselijk hiringverhuren is biasedvooringenomen.
114
343559
2843
En ja -- het inhuren
door mensen is bevooroordeeld.
05:59
I know.
115
347099
1185
Ik weet het.
06:00
I mean, in one of my earlyvroeg jobsjobs
as a programmerprogrammeur,
116
348308
3005
In een van mijn eerste banen
als programmeur
06:03
my immediateonmiddellijk managermanager would sometimessoms
come down to where I was
117
351337
3868
kwam mijn directe manager
soms naar me toe,
06:07
really earlyvroeg in the morningochtend-
or really latelaat in the afternoonmiddag,
118
355229
3753
heel vroeg in de ochtend
of erg laat in de middag,
06:11
and she'dschuur say, "ZeynepZeynep,
let's go to lunchlunch!"
119
359006
3062
en zei: "Zeynep, laten we gaan lunchen!"
06:14
I'd be puzzledraadsel by the weirdvreemd timingtiming.
120
362724
2167
Ik was verbaasd over de vreemde timing.
06:16
It's 4pmPM. LunchLunch?
121
364915
2129
Het is vier uur in de namiddag. Lunch?
06:19
I was brokekapot gegaan, so freegratis lunchlunch. I always wentgegaan.
122
367068
3094
Ik was blut. Dus gratis lunch?
Ik ging altijd mee.
06:22
I laterlater realizedrealiseerde what was happeninggebeurtenis.
123
370618
2067
Ik besefte pas later wat er loos was.
06:24
My immediateonmiddellijk managersmanagers
had not confessedbekende to theirhun higher-upshogere-ups
124
372709
4546
Mijn directe managers
hadden hun oversten niet verteld
dat de programmeur die ze
voor een serieuze baan hadden ingehuurd
06:29
that the programmerprogrammeur they hiredgehuurd
for a seriousernstig jobbaan was a teentiener girlmeisje
125
377279
3113
een tienermeisje was
06:32
who woredroeg jeansjeans and sneakerssportschoenen to work.
126
380416
3930
dat op het werk een spijkerbroek
en sportschoenen droeg.
Ik deed mijn werk goed,
ik zag er alleen niet uit
06:37
I was doing a good jobbaan,
I just lookedkeek wrongfout
127
385174
2202
06:39
and was the wrongfout ageleeftijd and gendergeslacht.
128
387400
1699
en had de verkeerde leeftijd en geslacht.
06:41
So hiringverhuren in a gender-gender- and race-blindrace-blind way
129
389123
3346
Dus inhuren zonder oog
voor geslacht of ras,
06:44
certainlyzeker soundsklanken good to me.
130
392493
1865
daar kan ik alleen maar blij mee zijn.
06:47
But with these systemssystemen,
it is more complicatedingewikkeld, and here'shier is why:
131
395031
3341
Maar met deze systemen
ligt het ingewikkelder en wel hierom:
06:50
CurrentlyOp dit moment, computationalcomputational systemssystemen
can inferafleiden all sortssoorten of things about you
132
398968
5791
momenteel kunnen computersystemen
allerlei dingen over je afleiden
06:56
from your digitaldigitaal crumbskruimels,
133
404783
1872
uit je digitale kruimels,
06:58
even if you have not
disclosedopenbaar gemaakt those things.
134
406679
2333
zelfs als je die dingen niet hebt verteld.
07:01
They can inferafleiden your sexualseksueel orientationafdrukstand,
135
409506
2927
Ze kunnen je seksuele geaardheid afleiden,
07:04
your personalitypersoonlijkheid traitseigenschappen,
136
412994
1306
je persoonlijkheidskenmerken,
07:06
your politicalpolitiek leaningskatholieken.
137
414859
1373
je politieke kleur.
07:08
They have predictivevoorspellende powermacht
with highhoog levelslevels of accuracynauwkeurigheid.
138
416830
3685
Ze kunnen met grote
nauwkeurigheid voorspellen.
Nogmaals -- ook voor dingen
die je nog niet eens hebt bekendgemaakt.
07:13
RememberVergeet niet -- for things
you haven'thebben niet even disclosedopenbaar gemaakt.
139
421362
2578
07:15
This is inferencegevolgtrekking.
140
423964
1591
Dat is inferentie.
07:17
I have a friendvriend who developedontwikkelde
suchzodanig computationalcomputational systemssystemen
141
425579
3261
Ik heb een vriend die dergelijke
computersystemen heeft ontwikkeld
07:20
to predictvoorspellen the likelihoodwaarschijnlijkheid
of clinicalklinisch or postpartumpostpartum depressiondepressie
142
428864
3641
om de waarschijnlijkheid van klinische
of postpartumdepressie te voorspellen
07:24
from socialsociaal mediamedia datagegevens.
143
432529
1416
op basis van social-mediagegevens.
07:26
The resultsuitslagen are impressiveindrukwekkend.
144
434676
1427
De resultaten zijn indrukwekkend.
07:28
Her systemsysteem can predictvoorspellen
the likelihoodwaarschijnlijkheid of depressiondepressie
145
436492
3357
Haar systeem kan de kans
op depressie voorspellen
07:31
monthsmaanden before the onsetbegin of any symptomssymptomen --
146
439873
3903
maanden vóór het begin van de symptomen --
07:35
monthsmaanden before.
147
443800
1373
maanden eerder.
07:37
No symptomssymptomen, there's predictionvoorspelling.
148
445197
2246
Geen symptomen, wel een voorspelling.
07:39
She hopeshoop it will be used
for earlyvroeg interventioninterventie. Great!
149
447467
4812
Ze hoopt dat ​​het zal worden gebruikt
voor vroege interventie. Geweldig!
07:44
But now put this in the contextcontext of hiringverhuren.
150
452911
2040
Maar bekijk dat nu eens
in het kader van aanwerven.
07:48
So at this humanmenselijk resourcesmiddelen
managersmanagers conferenceconferentie,
151
456027
3046
Op deze conferentie
voor human-resourcesmanagers
07:51
I approachedbenaderde a high-levelhoog niveau managermanager
in a very largegroot companybedrijf,
152
459097
4709
benaderde ik een vooraanstaande manager
van een zeer groot bedrijf
07:55
and I said to her, "Look,
what if, unbeknownstbuiten medeweten to you,
153
463830
4578
en zei tegen haar:
"Kijk, wat als zonder dat je het weet,
08:00
your systemsysteem is weedingWieden out people
with highhoog futuretoekomst likelihoodwaarschijnlijkheid of depressiondepressie?
154
468432
6549
je systeem mensen met een hoge
toekomstige kans op depressie uitwiedt?
08:07
They're not depressedterneergeslagen now,
just maybe in the futuretoekomst, more likelywaarschijnlijk.
155
475761
3376
Ze zijn nu niet depressief,
maar in de toekomst waarschijnlijk wel.
08:11
What if it's weedingWieden out womenvrouw
more likelywaarschijnlijk to be pregnantzwanger
156
479923
3406
Wat als het vrouwen uitwiedt
omdat ze kans hebben om zwanger te worden
08:15
in the nextvolgende yearjaar or two
but aren'tzijn niet pregnantzwanger now?
157
483353
2586
in de volgende paar jaar,
maar nu niet zwanger zijn?
08:18
What if it's hiringverhuren aggressiveagressief people
because that's your workplacewerkplaats culturecultuur?"
158
486844
5636
Wat als het agressieve mensen inhuurt,
omdat dat jullie werkplekcultuur is?"
Je weet dit niet door te kijken
naar analyses voor geslacht.
08:25
You can't tell this by looking
at gendergeslacht breakdownsstoringen.
159
493173
2691
08:27
Those maymei be balancedevenwichtige.
160
495888
1502
Die kunnen in evenwicht zijn.
08:29
And sincesinds this is machinemachine learningaan het leren,
not traditionaltraditioneel codingcodering,
161
497414
3557
En aangezien dit machine learning is
en geen traditioneel programmeren,
08:32
there is no variablevariabele there
labeledLabel "higherhoger riskrisico of depressiondepressie,"
162
500995
4907
is er geen variabele
gelabeld 'groter risico op depressie',
08:37
"higherhoger riskrisico of pregnancyzwangerschap,"
163
505926
1833
'hoger risico op zwangerschap'
08:39
"aggressiveagressief guy scaleschaal."
164
507783
1734
of een 'agressieve-man-schaal'.
08:41
Not only do you not know
what your systemsysteem is selectingselecteren on,
165
509995
3679
Niet alleen weet je niet
waarop jouw systeem selecteert,
08:45
you don't even know
where to beginbeginnen to look.
166
513698
2323
je weet niet eens
waar je moet gaan zoeken.
08:48
It's a blackzwart boxdoos.
167
516045
1246
Het is een zwarte doos.
08:49
It has predictivevoorspellende powermacht,
but you don't understandbegrijpen it.
168
517315
2807
Het heeft voorspellende kracht,
maar je begrijpt het niet.
08:52
"What safeguardsveiligheidscontrole," I askedgevraagd, "do you have
169
520486
2369
"Welke garanties", vroeg ik, "heb je
08:54
to make sure that your blackzwart boxdoos
isn't doing something shadyschaduwrijke?"
170
522879
3673
om ervoor te zorgen dat jouw zwarte doos
geen rare dingen gaat doen?"
09:00
She lookedkeek at me as if I had
just steppedgetrapte on 10 puppypuppy tailsrok.
171
528863
3878
Ze keek me aan alsof ik
op tien puppystaarten tegelijk trapte.
09:04
(LaughterGelach)
172
532765
1248
(Gelach)
09:06
She staredstaarde at me and she said,
173
534037
2041
Ze keek me aan en zei:
09:08
"I don't want to hearhoren
anothereen ander wordwoord about this."
174
536556
4333
"Hier wil ik geen woord meer over horen."
09:13
And she turnedgedraaid around and walkedwandelde away.
175
541458
2034
En ze draaide zich om en liep weg.
09:16
MindGeest you -- she wasn'twas niet rudeonbeleefd.
176
544064
1486
Let wel -- ze was niet onbeleefd.
09:17
It was clearlyduidelijk: what I don't know
isn't my problemprobleem, go away, deathdood starestaren.
177
545574
6308
Het was duidelijk: wat ik niet weet,
is mijn probleem niet, ga weg, lege blik.
09:23
(LaughterGelach)
178
551906
1246
(Gelach)
09:25
Look, suchzodanig a systemsysteem
maymei even be lessminder biasedvooringenomen
179
553862
3839
Kijk, een dergelijk systeem
kan misschien minder bevooroordeeld zijn
dan menselijke managers,
in sommige opzichten.
09:29
than humanmenselijk managersmanagers in some waysmanieren.
180
557725
2103
09:31
And it could make monetarymonetaire sensezin.
181
559852
2146
Het kan misschien wel geld besparen.
09:34
But it could alsoook leadlood
182
562573
1650
Maar het kan ook leiden
09:36
to a steadyvast but stealthyheimelijke
shuttingsluiten out of the jobbaan marketmarkt
183
564247
4748
tot een gestage, maar sluipende
uitsluiting uit de arbeidsmarkt
09:41
of people with higherhoger riskrisico of depressiondepressie.
184
569019
2293
van mensen met een
hoger risico op depressie.
09:43
Is this the kindsoort of societymaatschappij
we want to buildbouwen,
185
571753
2596
Is dit het soort
samenleving dat we willen,
zonder zelfs maar te weten
dat we dat hebben gedaan,
09:46
withoutzonder even knowingwetende we'vewij hebben donegedaan this,
186
574373
2285
09:48
because we turnedgedraaid decision-makingbesluitvorming
to machinesmachines we don't totallyhelemaal understandbegrijpen?
187
576682
3964
omdat we besluitvorming
delegeerden naar machines
die we niet helemaal begrijpen?
09:53
AnotherEen ander problemprobleem is this:
188
581265
1458
Een ander probleem is dit:
09:55
these systemssystemen are oftenvaak trainedgetraind
on datagegevens generatedgegenereerd by our actionsacties,
189
583314
4452
deze systemen worden vaak getraind
met data gegenereerd door onze acties,
09:59
humanmenselijk imprintsopdrukken.
190
587790
1816
menselijke indrukken.
10:02
Well, they could just be
reflectingreflecterende our biasesbiases,
191
590188
3808
Nou, die zouden wel eens
onze vooroordelen kunnen weerspiegelen,
10:06
and these systemssystemen
could be pickingpluk up on our biasesbiases
192
594020
3593
welke die systemen vervolgens
vlekkeloos overnemen,
10:09
and amplifyingfrequentiebanden te versterken them
193
597637
1313
ze versterken
10:10
and showingtonen them back to us,
194
598974
1418
en weer aan ons terugkaatsen,
10:12
while we're tellingvertellen ourselvesonszelf,
195
600416
1462
terwijl we onszelf wijsmaken:
10:13
"We're just doing objectivedoelstelling,
neutralneutrale computationberekening."
196
601902
3117
"We maken objectieve,
neutrale berekeningen."
10:18
ResearchersOnderzoekers foundgevonden that on GoogleGoogle,
197
606314
2677
Onderzoekers ontdekten dat op Google
10:22
womenvrouw are lessminder likelywaarschijnlijk than menmannen
to be showngetoond jobbaan adsadvertenties for high-payinghoog-betaalt jobsjobs.
198
610134
5313
vrouwen minder kans hebben dan mannen
om vacatures voor goedbetaalde banen
te zien te krijgen.
10:28
And searchingzoeken for African-AmericanAfro-Amerikaanse namesnamen
199
616463
2530
Het zoeken naar Afro-Amerikaanse namen
10:31
is more likelywaarschijnlijk to bringbrengen up adsadvertenties
suggestingsuggereren criminalcrimineel historygeschiedenis,
200
619017
4706
geeft een grotere kans op advertenties
die een criminele geschiedenis suggereren,
10:35
even when there is nonegeen.
201
623747
1567
zelfs wanneer er geen is.
10:38
SuchDergelijke hiddenverborgen biasesbiases
and black-boxzwarte-doos algorithmsalgoritmen
202
626693
3549
Dergelijke verborgen vooroordelen
en zwarte-doosalgoritmen,
10:42
that researchersonderzoekers uncoverontdekken sometimessoms
but sometimessoms we don't know,
203
630266
3973
die onderzoekers soms ontdekken
maar soms ook niet,
10:46
can have life-alteringlevensveranderende consequencesgevolgen.
204
634263
2661
kunnen iemands leven
diepgaand beïnvloeden.
10:49
In WisconsinWisconsin, a defendantverweerder
was sentencedveroordeeld to sixzes yearsjaar in prisongevangenis
205
637958
4159
In Wisconsin werd een verdachte
veroordeeld tot zes jaar gevangenis
10:54
for evadingom te ontduiken the policePolitie.
206
642141
1355
door te gaan lopen voor de politie.
Misschien weten jullie dit niet,
10:56
You maymei not know this,
207
644824
1186
10:58
but algorithmsalgoritmen are increasinglyin toenemende mate used
in paroleparole and sentencingveroordeling decisionsbeslissingen.
208
646034
3998
maar algoritmen
worden steeds meer gebruikt
bij voorwaardelijke
invrijheidstelling en straftoemeting.
11:02
He wanted to know:
How is this scorepartituur calculatedberekend?
209
650056
2955
Hij wilde weten hoe dat
deze score berekend wordt.
11:05
It's a commercialcommercieel blackzwart boxdoos.
210
653795
1665
Het is een commerciële zwarte doos.
11:07
The companybedrijf refusedgeweigerd to have its algorithmalgoritme
be challengeduitgedaagd in openOpen courtrechtbank.
211
655484
4205
Het bedrijf weigerde
zijn algoritme in een openbare
rechtszitting te laten betwisten.
11:12
But ProPublicaProPublica, an investigativeonderzoek
nonprofitnon-profit, auditedgecontroleerd that very algorithmalgoritme
212
660396
5532
Maar ProPublica, een onderzoekende
non-profit, testte dat algoritme
met openbare gegevens
die ze konden vinden,
11:17
with what publicopenbaar datagegevens they could find,
213
665952
2016
en vond dat de resultaten ervan
bevooroordeeld waren
11:19
and foundgevonden that its outcomesuitkomsten were biasedvooringenomen
214
667992
2316
11:22
and its predictivevoorspellende powermacht
was dismalsomber, barelynauwelijks better than chancekans,
215
670332
3629
en dat de voorspellende kracht onduidelijk
en nauwelijks beter dan het toeval was.
11:25
and it was wronglyten onrechte labelinglabelen
blackzwart defendantsverdachten as futuretoekomst criminalscriminelen
216
673985
4416
Ze labelde zwarte verdachten
onterecht als toekomstige criminelen
11:30
at twicetweemaal the ratetarief of whitewit defendantsverdachten.
217
678425
3895
en wel twee keer zo vaak als blanken.
11:35
So, consideroverwegen this casegeval:
218
683891
1564
Bekijk dit geval:
11:38
This womanvrouw was latelaat
pickingpluk up her godsistergodsister
219
686103
3852
deze vrouw was wat laat
om een meisje op te pikken
11:41
from a schoolschool- in BrowardBroward CountyCounty, FloridaFlorida,
220
689979
2075
op een school in Broward County, Florida.
11:44
runninglopend down the streetstraat
with a friendvriend of hersde hare.
221
692757
2356
Ze liep op straat met een vriendin.
11:47
They spottedgespot an unlockedontgrendeld kid'skinderen bikefiets
and a scooterscooter on a porchveranda
222
695137
4099
Op een veranda zagen ze
een kinderfiets en een scooter.
11:51
and foolishlydwaas jumpedsprong on it.
223
699260
1632
Zonder nadenken sprongen ze erop.
11:52
As they were speedingversnellen off,
a womanvrouw camekwam out and said,
224
700916
2599
Terwijl ze wegreden,
kwam een vrouw naar buiten en zei:
11:55
"Hey! That's my kid'skinderen bikefiets!"
225
703539
2205
"Hé! Dat is de fiets van mijn kind!"
11:57
They droppedliet vallen it, they walkedwandelde away,
but they were arrestedgearresteerd.
226
705768
3294
Ze lieten hem vallen, liepen door,
maar werden gearresteerd.
12:01
She was wrongfout, she was foolishdwaas,
but she was alsoook just 18.
227
709086
3637
Ze ging in de fout, ze was dom,
maar ze was ook pas 18.
12:04
She had a couplepaar of juvenilejeugdig misdemeanorsmisdemeanors.
228
712747
2544
Ze had een paar
jeugdmisdrijven op haar naam.
12:07
MeanwhileOndertussen, that man had been arrestedgearresteerd
for shopliftingwinkeldiefstal in Home DepotDepot --
229
715808
5185
Ondertussen werd deze man gearresteerd
voor winkeldiefstal in Home Depot --
12:13
85 dollars'dollars' worthwaard of stuffspul,
a similarsoortgelijk pettykleinzielig crimemisdrijf.
230
721017
2924
85 dollar aan spullen,
soortgelijke kleine criminaliteit.
12:16
But he had two priorvoorafgaand
armedgewapend robberyoverval convictionsovertuigingen.
231
724766
4559
Maar hij had twee eerdere veroordelingen
voor gewapende overval.
12:21
But the algorithmalgoritme scoredscoorde her
as highhoog riskrisico, and not him.
232
729955
3482
Het algoritme scoorde haar
als hoog risico en hem niet.
12:26
Two yearsjaar laterlater, ProPublicaProPublica foundgevonden
that she had not reoffendedreoffended.
233
734746
3874
Twee jaar later vond ProPublica
dat ze niet had gerecidiveerd.
12:30
It was just hardhard to get a jobbaan
for her with her recordrecord.
234
738644
2550
Maar ze vond wel moeilijk
een ​​baan met haar strafblad.
12:33
He, on the other handhand-, did reoffendrecidiveren
235
741218
2076
Hij daarentegen recidiveerde
12:35
and is now servingportie an eight-yearacht jaar
prisongevangenis termtermijn for a laterlater crimemisdrijf.
236
743318
3836
en zit nu voor acht jaar in de gevangenis
voor een latere misdaad.
12:40
ClearlyDuidelijk, we need to auditaudit our blackzwart boxesdozen
237
748088
3369
Het is duidelijk dat we
onze zwarte dozen moeten controleren
12:43
and not have them have
this kindsoort of uncheckedniet-gecontroleerde powermacht.
238
751481
2615
en ze niet dit soort ongecontroleerde
macht moeten geven.
12:46
(ApplauseApplaus)
239
754120
2879
(Applaus)
12:50
AuditsAudits are great and importantbelangrijk,
but they don't solveoplossen all our problemsproblemen.
240
758087
4242
Audits zijn geweldig en belangrijk,
maar ze lossen niet al onze problemen op.
12:54
Take Facebook'sFacebook's powerfulkrachtig
newsnieuws feedeten geven algorithmalgoritme --
241
762353
2748
Neem Facebook's krachtige
nieuwsfeed-algoritme --
12:57
you know, the one that ranksrangen everything
and decidesbeslist what to showtonen you
242
765125
4843
je weet wel, hetgeen dat alles sorteert
en beslist wat jij te zien krijgt
13:01
from all the friendsvrienden and pagespagina's you followvolgen.
243
769992
2284
van alle vrienden
en pagina's die je volgt.
Moet je nog een babyfoto
voorgeschoteld krijgen?
13:04
Should you be showngetoond anothereen ander babybaby pictureafbeelding?
244
772898
2275
13:07
(LaughterGelach)
245
775197
1196
(Gelach)
13:08
A sullennors noteNotitie from an acquaintanceKennismaking?
246
776417
2596
Een sombere opmerking van een kennis?
13:11
An importantbelangrijk but difficultmoeilijk newsnieuws itemitem?
247
779449
1856
Een belangrijk
maar moeilijk nieuwsbericht?
13:13
There's no right answerantwoord.
248
781329
1482
Er is geen juist antwoord.
13:14
FacebookFacebook optimizesoptimaliseert
for engagementverloving on the siteplaats:
249
782835
2659
Facebook optimaliseert
voor betrokkenheid op de site:
13:17
likessympathieën, sharesaandelen, commentsopmerkingen.
250
785518
1415
wat je leuk vindt, deelt
of becommentarieert.
13:20
In AugustAugustus of 2014,
251
788168
2696
In augustus 2014
13:22
protestsprotesten brokekapot gegaan out in FergusonFerguson, MissouriMissouri,
252
790888
2662
braken protesten uit
in Ferguson, Missouri,
13:25
after the killingdoden of an African-AmericanAfro-Amerikaanse
teenagertiener by a whitewit policePolitie officerofficier,
253
793574
4417
na het doden van een Afro-Amerikaanse
tiener door een blanke politieagent
13:30
underonder murkyduistere circumstancessituatie.
254
798015
1570
onder duistere omstandigheden.
13:31
The newsnieuws of the protestsprotesten was all over
255
799974
2007
Het nieuws van de protesten
was prominent aanwezig
13:34
my algorithmicallyalgoritmisch
unfilteredongefilterd TwitterTwitter feedeten geven,
256
802005
2685
op mijn algoritmisch
ongefilterde Twitter-feed,
13:36
but nowherenergens on my FacebookFacebook.
257
804714
1950
maar nergens op mijn Facebook.
13:39
Was it my FacebookFacebook friendsvrienden?
258
807182
1734
Waren het mijn Facebookvrienden?
13:40
I disabledinvalide Facebook'sFacebook's algorithmalgoritme,
259
808940
2032
Ik schakelde het Facebookalgoritme uit,
13:43
whichwelke is hardhard because FacebookFacebook
keepshoudt wantingwillen to make you
260
811472
2848
wat moeilijk is,
want Facebook houdt je liever
13:46
come underonder the algorithm'salgoritme van controlcontrole,
261
814344
2036
onder de controle van het algoritme.
13:48
and saw that my friendsvrienden
were talkingpratend about it.
262
816404
2238
Ik zag dat mijn vrienden erover praatten.
13:50
It's just that the algorithmalgoritme
wasn'twas niet showingtonen it to me.
263
818666
2509
Maar het algoritme liet het me niet zien.
13:53
I researchedonderzocht this and foundgevonden
this was a widespreadwijd verspreid problemprobleem.
264
821199
3042
Ik onderzocht dit en vond dat dit
een wijdverbreid probleem was.
13:56
The storyverhaal of FergusonFerguson
wasn'twas niet algorithm-friendlyalgoritme-vriendelijke.
265
824265
3813
Het verhaal van Ferguson
was niet 'algoritmevriendelijk'.
Het was niet 'sympathiek'.
14:00
It's not "likablesympathieke."
266
828102
1171
Wie gaat er een 'vind ik leuk' aan geven?
14:01
Who'sDie de going to clickKlik on "like?"
267
829297
1552
Het is zelfs niet makkelijk
te becommentariëren.
14:03
It's not even easygemakkelijk to commentcommentaar on.
268
831500
2206
14:05
WithoutZonder likessympathieën and commentsopmerkingen,
269
833730
1371
Zonder vind-ik-leuk's en commentaar
14:07
the algorithmalgoritme was likelywaarschijnlijk showingtonen it
to even fewerminder people,
270
835125
3292
toonde het algoritme het waarschijnlijk
aan nog minder mensen,
14:10
so we didn't get to see this.
271
838441
1542
zodat we het niet te zien kregen.
14:12
InsteadIn plaats daarvan, that weekweek,
272
840946
1228
In plaats daarvan benadrukte
Facebook's algoritme die week dit:
14:14
Facebook'sFacebook's algorithmalgoritme highlightedgemarkeerd this,
273
842198
2298
14:16
whichwelke is the ALSALS IceIjs BucketEmmer ChallengeUitdaging.
274
844520
2226
de ALS Ice Bucket Challenge.
14:18
WorthyWaardig causeoorzaak; dumpstortplaats iceijs- waterwater,
donatedoneren to charitygoed doel, fine.
275
846770
3742
Giet ijswater, doneer
aan een goed doel, allemaal fijn.
14:22
But it was supersuper algorithm-friendlyalgoritme-vriendelijke.
276
850536
1904
Maar het was uiterst
algoritmevriendelijk.
14:25
The machinemachine madegemaakt this decisionbesluit for us.
277
853219
2613
De machine nam die beslissing voor ons.
14:27
A very importantbelangrijk
but difficultmoeilijk conversationgesprek
278
855856
3497
Een zeer belangrijk maar moeilijk gesprek
14:31
mightmacht have been smotheredgesmoord,
279
859377
1555
zou zijn gesmoord,
14:32
had FacebookFacebook been the only channelkanaal.
280
860956
2696
als Facebook het enige kanaal was geweest.
14:36
Now, finallyTenslotte, these systemssystemen
can alsoook be wrongfout
281
864117
3797
Nu kunnen deze systemen ook verkeerd zijn
14:39
in waysmanieren that don't resemblelijken op humanmenselijk systemssystemen.
282
867938
2736
op een manier die niet
op menselijke systemen lijkt.
Herinneren jullie zich Watson,
IBM's machine-intelligentie-systeem
14:42
Do you guys rememberonthouden WatsonWatson,
IBM'sIBM's machine-intelligencemachine-intelligentie systemsysteem
283
870698
2922
14:45
that wipedgeveegd the floorverdieping
with humanmenselijk contestantsdeelnemers on JeopardyGevaar?
284
873644
3128
dat op Jeopardy de vloer aanveegde
met de menselijke deelnemers?
14:49
It was a great playerspeler.
285
877131
1428
Het was een geweldige speler.
14:50
But then, for FinalLaatste JeopardyGevaar,
WatsonWatson was askedgevraagd this questionvraag:
286
878583
3569
Maar in de finale kreeg Watson deze vraag:
"Zijn grootste luchthaven is vernoemd
naar een held uit WO II,
14:54
"Its largestDe grootste airportluchthaven is namedgenaamd
for a WorldWereld WarOorlog IIII heroheld,
287
882659
2932
14:57
its second-largesttweede-grootste
for a WorldWereld WarOorlog IIII battlestrijd."
288
885615
2252
zijn tweede grootste
naar een slag uit WO II."
14:59
(HumsZoemt FinalLaatste JeopardyGevaar musicmuziek-)
289
887891
1378
(Neuriet Final Jeopardy-muziek)
15:01
ChicagoChicago.
290
889582
1182
Chicago.
15:02
The two humansmensen got it right.
291
890788
1370
De twee mensen hadden het goed.
15:04
WatsonWatson, on the other handhand-,
answeredantwoordde "TorontoToronto" --
292
892697
4348
Maar Watson antwoordde "Toronto" --
15:09
for a US citystad categorycategorie!
293
897069
1818
voor een stad van de VS!
15:11
The impressiveindrukwekkend systemsysteem alsoook madegemaakt an errorfout
294
899596
2901
Het indrukwekkende systeem
maakte ook een fout
15:14
that a humanmenselijk would never make,
a second-gradertweede-grader wouldn'tzou het niet make.
295
902521
3651
die een mens nooit zou maken,
die een zevenjarige niet zou maken.
15:18
Our machinemachine intelligenceintelligentie- can failmislukken
296
906823
3109
Onze machine-intelligentie kan mislukken
15:21
in waysmanieren that don't fitpassen
errorfout patternspatronen of humansmensen,
297
909956
3100
op een manier die niet past
in foutpatronen van mensen,
15:25
in waysmanieren we won'tzal niet expectverwachten
and be preparedbereid for.
298
913080
2950
op een onverwachte manier
waarop we niet zijn voorbereid.
15:28
It'dHet zou be lousyberoerd not to get a jobbaan
one is qualifiedgekwalificeerd for,
299
916054
3638
Het zou stom zijn
om een ​​baan mis te lopen
waarvoor je gekwalificeerd bent,
15:31
but it would tripleverdrievoudigen suckzuigen
if it was because of stackstack overflowoverloop
300
919716
3727
maar het zou driedubbel stom zijn
als het was vanwege een stack overflow
15:35
in some subroutinesubroutine.
301
923467
1432
in de een of andere subroutine.
15:36
(LaughterGelach)
302
924923
1579
(Gelach)
15:38
In MayMei of 2010,
303
926526
2786
In mei 2010
15:41
a flashflash crashneerstorten on WallMuur StreetStraat
fueledaangewakkerd by a feedbackterugkoppeling looplus
304
929336
4044
ontstond een flash crash op Wall Street,
aangewakkerd door een terugkoppeling
15:45
in WallMuur Street'sStreet "sellverkopen" algorithmalgoritme
305
933404
3028
in Wall Streets 'verkopen'-algoritme.
15:48
wipedgeveegd a trillionbiljoen dollarsdollars
of valuewaarde in 36 minutesnotulen.
306
936456
4184
Het wiste een biljoen dollar weg
in 36 minuten.
15:53
I don't even want to think
what "errorfout" meansmiddelen
307
941722
2187
Ik wil er niet eens aan denken
wat 'fout' betekent
15:55
in the contextcontext of lethaldodelijk
autonomousautonoom weaponswapens.
308
943933
3589
als het over dodelijke
autonome wapens gaat.
16:01
So yes, humansmensen have always madegemaakt biasesbiases.
309
949894
3790
Dus ja, mensen hebben altijd vooroordelen.
16:05
DecisionBesluit makersmakers and gatekeepersportiers,
310
953708
2176
Beslissers en bewakers,
16:07
in courtsrechtbanken, in newsnieuws, in waroorlog ...
311
955908
3493
in rechtbanken, in het nieuws,
in de oorlog...
16:11
they make mistakesfouten;
but that's exactlyprecies my pointpunt.
312
959425
3038
maken ze fouten;
maar dat is precies wat ik bedoel.
16:14
We cannotkan niet escapeontsnappen
these difficultmoeilijk questionsvragen.
313
962487
3521
We kunnen niet ontsnappen
aan deze moeilijke vragen.
16:18
We cannotkan niet outsourceuitbesteden
our responsibilitiesverantwoordelijkheden to machinesmachines.
314
966596
3516
We kunnen onze verantwoordelijkheden
niet uitbesteden aan machines.
16:22
(ApplauseApplaus)
315
970676
4208
(Applaus)
16:29
ArtificialKunstmatige intelligenceintelligentie- does not give us
a "Get out of ethicsethiek freegratis" cardkaart.
316
977089
4447
Kunstmatige intelligentie stelt ons
niet vrij van de ethische vraagstukken.
16:34
DataGegevens scientistwetenschapper FredFred BenensonBenenson
callscalls this math-washingwiskunde-wassen.
317
982742
3381
Datawetenschapper Fred Benenson
noemt dit 'wiskunde-wassen'.
16:38
We need the oppositetegenover.
318
986147
1389
We moeten het tegenovergestelde doen.
16:39
We need to cultivatecultiveren algorithmalgoritme suspicionverdenking,
scrutinytoetsing and investigationonderzoek.
319
987560
5388
Algoritmes verdienen een cultuur
van achterdocht, controle en onderzoek.
16:45
We need to make sure we have
algorithmicalgoritmische accountabilityverantwoording,
320
993380
3198
We moeten zorgen
voor algoritmische verantwoording,
16:48
auditingcontrole and meaningfulbelangrijk transparencytransparantie.
321
996602
2445
auditing en betekenisvolle transparantie.
16:51
We need to acceptaccepteren
that bringingbrengen mathwiskunde and computationberekening
322
999380
3234
We moeten accepteren dat het toepassen
van wiskunde en berekening
16:54
to messyrommelig, value-ladenwaarde beladen humanmenselijk affairszaken
323
1002638
2970
op rommelige, waardegeladen
menselijke aangelegenheden
16:57
does not bringbrengen objectivityobjectiviteit;
324
1005632
2384
geen objectiviteit met zich meebrengt,
17:00
ratherliever, the complexityingewikkeldheid of humanmenselijk affairszaken
invadesbinnenvalt the algorithmsalgoritmen.
325
1008040
3633
maar dat de complexiteit van menselijke
aangelegenheden in de algoritmen sluipt.
17:04
Yes, we can and we should use computationberekening
326
1012148
3487
Ja, we kunnen en we moeten
berekening gebruiken
17:07
to help us make better decisionsbeslissingen.
327
1015659
2014
om ons te helpen
om betere beslissingen te nemen.
17:09
But we have to owneigen up
to our moralMoreel responsibilityverantwoordelijkheid to judgmentoordeel,
328
1017697
5332
Maar het uiteindelijke oordeel
blijft onze morele verantwoordelijkheid,
17:15
and use algorithmsalgoritmen withinbinnen that frameworkkader,
329
1023053
2818
en binnen dat kader kunnen
we algoritmen gebruiken,
17:17
not as a meansmiddelen to abdicateABDICATE
and outsourceuitbesteden our responsibilitiesverantwoordelijkheden
330
1025895
4935
niet als een middel om
onze verantwoordelijkheden
17:22
to one anothereen ander as humanmenselijk to humanmenselijk.
331
1030854
2454
van mens tot mens te ontlopen.
17:25
MachineMachine intelligenceintelligentie- is here.
332
1033807
2609
Machine-intelligentie is hier.
17:28
That meansmiddelen we mustmoet holdhouden on ever tighterstrengere
333
1036440
3421
Dat betekent dat we
steeds strakker moeten vasthouden
17:31
to humanmenselijk valueswaarden and humanmenselijk ethicsethiek.
334
1039885
2147
aan menselijke waarden
en menselijke ethiek.
17:34
Thank you.
335
1042056
1154
Dank je.
17:35
(ApplauseApplaus)
336
1043234
5020
(Applaus)
Translated by Rik Delaet
Reviewed by Peter Van de Ven

▲Back to top

ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com