ABOUT THE SPEAKER
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.

Why you should listen

Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.

According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.

More profile about the speaker
Janelle Shane | Speaker | TED.com
TED2019

Janelle Shane: The danger of AI is weirder than you think

Janelle Shane: La menace de l'IA est plus étrange que vous ne le pensez

Filmed:
376,501 views

Le danger avec l'intelligence artificielle n'est pas qu'elle va se rebeller contre nous, mais qu'elle va faire exactement ce que nous lui demandons, dit la chercheuse en IA Janelle Shane. En partageant les singeries étranges et parfois alarmantes des algorithmes d'IA alors qu'ils essayent de résoudre des problèmes humains -- comme créer de nouveaux parfums de glace ou reconnaître les voitures sur la route -- Janelle nous montre pourquoi l'IA n'est pas encore à la hauteur des vrais cerveaux.
- AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio

Double-click the English transcript below to play the video.

00:13
So, artificialartificiel intelligenceintelligence
0
1765
3000
L'intelligence artificielle
00:16
is knownconnu for disruptingperturbant
all kindssortes of industriesles industries.
1
4789
3529
est réputée pour chambouler
tous genres d'industries.
00:20
What about icela glace creamcrème?
2
8961
2043
Qu'en est-il des glaces ?
00:23
What kindgentil of mind-blowingépoustouflant
newNouveau flavorssaveurs could we generateGénérer
3
11879
3639
Quels genres de parfums hallucinants
pourrions-nous créer
00:27
with the powerPuissance of an advancedAvancée
artificialartificiel intelligenceintelligence?
4
15542
2976
avec les capacités d'une intelligence
artificielle avancée ?
00:31
So I teamedfait équipe up with a groupgroupe of coderscodeurs
from KealingKealing Kealing MiddleMoyen SchoolÉcole
5
19011
4161
J'ai fait équipe avec un groupe
de programmeurs d'un collège du Texas
00:35
to find out the answerrépondre to this questionquestion.
6
23196
2241
pour trouver la réponse à cette question.
00:37
They collectedrecueilli over 1,600
existingexistant icela glace creamcrème flavorssaveurs,
7
25461
5081
Ils ont collecté plus de 1 600
parfums de glace existants
00:42
and togetherensemble, we fednourris them to an algorithmalgorithme de
to see what it would generateGénérer.
8
30566
5522
et ensemble, nous les avons
présentées à un algorithme
pour voir ce qu'il générerait.
00:48
And here are some of the flavorssaveurs
that the AIAI camevenu up with.
9
36112
3753
Voici certains des parfums
que l'IA a inventés.
00:52
[PumpkinCitrouille TrashPoubelle BreakCasser]
10
40444
1471
[Pause poubelle au potiron]
00:53
(LaughterRires)
11
41939
1402
(Rires)
00:55
[PeanutArachide ButterBeurre SlimeSlime]
12
43365
2469
[Boue de beurre de cacahuètes]
00:58
[StrawberryFraise CreamCrème DiseaseMaladie]
13
46822
1343
[Maladie de crème à la fraise]
01:00
(LaughterRires)
14
48189
2126
(Rires)
01:02
These flavorssaveurs are not deliciousdélicieux,
as we mightpourrait have hopedespéré they would be.
15
50339
4597
Ces parfums ne sont pas délicieux,
comme nous aurions pu
espérer qu'ils soient.
01:06
So the questionquestion is: What happenedarrivé?
16
54960
1864
La question est : que s'est-il passé ?
01:08
What wentest allé wrongfaux?
17
56848
1394
Qu'est-ce qui a mal tourné ?
01:10
Is the AIAI tryingen essayant to killtuer us?
18
58266
1959
L'IA essaye-t-elle de nous tuer ?
01:13
Or is it tryingen essayant to do what we askeda demandé,
and there was a problemproblème?
19
61027
4310
Ou essaye-t-elle de faire
ce que nous avons demandé
et il y a un problème ?
01:18
In moviesfilms, when something
goesva wrongfaux with AIAI,
20
66567
2464
Dans les films, quand
cela tourne mal avec l'IA,
01:21
it's usuallyd'habitude because the AIAI has decideddécidé
21
69055
2712
c'est généralement que l'IA a décidé
01:23
that it doesn't want to obeyobéit
the humanshumains anymoreplus,
22
71791
2272
qu'elle ne voulait plus obéir aux humains
01:26
and it's got its ownposséder goalsbuts,
thank you very much.
23
74087
2623
et qu'elle a ses propres objectifs,
merci bien.
01:29
In realréal life, thoughbien que,
the AIAI that we actuallyréellement have
24
77266
3216
Dans la vraie vie, cependant,
l'IA que nous avons
01:32
is not nearlypresque smartintelligent enoughassez for that.
25
80506
1863
n'est pas assez intelligente pour cela.
01:34
It has the approximateapproximatif computingl'informatique powerPuissance
26
82781
2982
Elle a à peu près la puissance
de calcul d'un ver de terre
01:37
of an earthwormver de terre,
27
85787
1276
01:39
or maybe at mostles plus a singleunique honeybeeabeille,
28
87087
3403
ou peut-être, au mieux,
d'une seule abeille
01:42
and actuallyréellement, probablyProbablement maybe lessMoins.
29
90514
2215
et probablement moins que cela.
01:44
Like, we're constantlyconstamment learningapprentissage
newNouveau things about brainscerveaux
30
92753
2594
Nous apprenons constamment
de nouvelles choses sur le cerveau
01:47
that make it clearclair how much our AIsSIA
don't measuremesure up to realréal brainscerveaux.
31
95371
4360
qui établissent clairement
à quel point nos IA ne sont pas
à la hauteur de vrais cerveaux.
01:51
So today'saujourd'hui AIAI can do a tasktâche
like identifyidentifier a pedestrianpiéton in a picturephoto,
32
99755
5663
L'IA actuelle peut réaliser une tâche
comme identifier un piéton sur une photo
01:57
but it doesn't have a conceptconcept
of what the pedestrianpiéton is
33
105442
2983
mais n'a pas de concept
expliquant ce qu'est un piéton
02:00
beyondau-delà that it's a collectioncollection
of lineslignes and texturestextures and things.
34
108449
4824
au-delà d'un ensemble de lignes,
de textures et de choses.
02:05
It doesn't know what a humanHumain actuallyréellement is.
35
113792
2521
Elle ne sait pas
ce qu'est vraiment un humain.
02:08
So will today'saujourd'hui AIAI
do what we askdemander it to do?
36
116822
3282
L'IA actuelle fera-t-elle
ce que nous lui demandons de faire ?
02:12
It will if it can,
37
120128
1594
Oui, si elle le peut,
02:13
but it mightpourrait not do what we actuallyréellement want.
38
121746
2726
mais elle pourrait ne pas faire
ce que nous voulons.
02:16
So let's say that you
were tryingen essayant to get an AIAI
39
124496
2415
Disons que vous essayiez
de faire qu'une IA
02:18
to take this collectioncollection of robotrobot partsles pièces
40
126935
2619
prenne cet ensemble de pièces d'un robot
02:21
and assembleassembler them into some kindgentil of robotrobot
to get from PointPoint A to PointPoint B.
41
129578
4197
et les assemblent en une sorte de robot
pour aller du point A au point B.
02:25
Now, if you were going to try
and solverésoudre this problemproblème
42
133799
2481
Si vous essayiez de résoudre ce problème
02:28
by writingl'écriture a traditional-stylestyle traditionnel
computerordinateur programprogramme,
43
136304
2351
en écrivant un programme
informatique traditionnel,
02:30
you would give the programprogramme
step-by-steppas à pas instructionsinstructions
44
138679
3417
vous lui donneriez
des instructions par étapes
sur comment prendre ces pièces,
02:34
on how to take these partsles pièces,
45
142120
1329
02:35
how to assembleassembler them
into a robotrobot with legsjambes
46
143473
2407
les assembler en un robot ayant des jambes
02:37
and then how to use those legsjambes
to walkmarche to PointPoint B.
47
145904
2942
puis comment utiliser ces jambes
pour marcher jusqu'au point B.
02:41
But when you're usingen utilisant AIAI
to solverésoudre the problemproblème,
48
149441
2340
Si vous utilisez une IA
pour résoudre le problème,
02:43
it goesva differentlydifféremment.
49
151805
1174
cela est différent.
02:45
You don't tell it
how to solverésoudre the problemproblème,
50
153003
2382
Vous ne lui dites pas
comment résoudre le problème,
02:47
you just give it the goalobjectif,
51
155409
1479
vous lui donnez juste l'objectif
02:48
and it has to figurefigure out for itselfse
viavia trialprocès and errorErreur
52
156912
3262
et elle doit trouver par tâtonnements
comment atteindre cet objectif.
02:52
how to reachatteindre that goalobjectif.
53
160198
1484
02:54
And it turnsse tourne out that the way AIAI tendstendance
to solverésoudre this particularparticulier problemproblème
54
162254
4102
Il s'avère que l'IA a tendance
à résoudre ce problème en particulier
02:58
is by doing this:
55
166380
1484
en faisant ceci :
02:59
it assemblesassemble itselfse into a towerla tour
and then fallschutes over
56
167888
3367
elle s'assemble pour former une tour
puis se laisse tomber
03:03
and landsles terres at PointPoint B.
57
171279
1827
et atterrit au point B.
03:05
And technicallytechniquement, this solvesrésout the problemproblème.
58
173130
2829
Techniquement, cela résout le problème.
Techniquement,
elle est arrivée au point B.
03:07
TechnicallySur le plan technique, it got to PointPoint B.
59
175983
1639
03:09
The dangerdanger of AIAI is not that
it's going to rebelrebelle againstcontre us,
60
177646
4265
Le danger lié à l'IA n'est pas
qu'elle va se rebeller contre nous,
03:13
it's that it's going to do
exactlyexactement what we askdemander it to do.
61
181935
4274
c'est qu'elle va faire exactement
ce que nous lui demandons.
03:18
So then the tricktour
of workingtravail with AIAI becomesdevient:
62
186876
2498
L'astuce pour travailler
avec une IA devient :
03:21
How do we setensemble up the problemproblème
so that it actuallyréellement does what we want?
63
189398
3828
comment poser le problème
pour qu'elle fasse ce que l'on veut ?
03:26
So this little robotrobot here
is beingétant controlledcontrôlé by an AIAI.
64
194726
3306
Ce petit robot est contrôlé par une IA.
03:30
The AIAI camevenu up with a designconception
for the robotrobot legsjambes
65
198056
2814
L'IA a conçu un design
pour les jambes du robot
03:32
and then figuredfiguré out how to use them
to get pastpassé all these obstaclesobstacles.
66
200894
4078
puis elle a déterminé comment les utiliser
pour passer tous ces obstacles.
03:36
But when DavidDavid HaHa setensemble up this experimentexpérience,
67
204996
2741
Mais quand David Ha
a présenté cette expérience,
03:39
he had to setensemble it up
with very, very strictstrict limitslimites
68
207761
2856
il a dû établir des limites
très, très strictes
03:42
on how biggros the AIAI
was allowedpermis to make the legsjambes,
69
210641
3292
sur la taille autorisée
des jambes que l'IA pouvait créer,
03:45
because otherwiseautrement ...
70
213957
1550
car sinon...
03:55
(LaughterRires)
71
223058
3931
(Rires)
04:00
And technicallytechniquement, it got
to the endfin of that obstacleobstacle coursecours.
72
228563
3745
Techniquement, elle est arrivée
à la fin de cette course d'obstacles.
04:04
So you see how harddifficile it is to get AIAI
to do something as simplesimple as just walkmarche.
73
232332
4942
Vous voyez à quel point il est difficile
de faire faire une chose
aussi simple que marcher à une IA.
04:09
So seeingvoyant the AIAI do this,
you maymai say, OK, no fairjuste,
74
237298
3820
En voyant l'IA faire ceci, vous pourriez
dire que cela ne fonctionne pas,
04:13
you can't just be
a tallgrand towerla tour and falltomber over,
75
241142
2580
qu'elle ne peut pas juste
être une haute tour et tomber,
04:15
you have to actuallyréellement, like,
use legsjambes to walkmarche.
76
243746
3435
qu'elle doit utiliser
des jambes pour marcher.
04:19
And it turnsse tourne out,
that doesn't always work, eithernon plus.
77
247205
2759
Il s'avère que cela non plus
ne fonctionne pas toujours.
04:21
This AI'sAmnesty International jobemploi was to movebouge toi fastvite.
78
249988
2759
L'objectif de l'IA
était de se déplacer rapidement.
04:25
They didn't tell it that it had
to runcourir facingorienté vers forwardvers l'avant
79
253115
3593
On ne lui a pas dit qu'elle devait
courir vers l'avant
04:28
or that it couldn'tne pouvait pas use its armsbras.
80
256732
2258
ou qu'elle ne pouvait pas
utiliser ses bras.
04:31
So this is what you get
when you traintrain AIAI to movebouge toi fastvite,
81
259487
4618
Voilà ce qui arrive quand vous entraînez
une IA à se déplacer rapidement,
04:36
you get things like somersaultingculbutes
and sillyidiot walksdes promenades.
82
264129
3534
vous obtenez des sauts périlleux
et des démarches ridicules.
04:39
It's really commoncommun.
83
267687
1400
C'est très courant.
04:41
So is twitchingfasciculations alongle long de the floorsol in a heaptas.
84
269667
3179
Tout comme tressauter
sous forme d'amas informe.
04:44
(LaughterRires)
85
272870
1150
(Rires)
04:47
So in my opinionopinion, you know what
should have been a wholeentier lot weirderplus étrange
86
275241
3254
A mon avis, ce qui aurait dû être
bien plus étrange,
ce sont les robots de « Terminator ».
04:50
is the "TerminatorTerminator" robotsdes robots.
87
278519
1396
04:52
HackingPiratage informatique "The MatrixMatrice" is anotherun autre thing
that AIAI will do if you give it a chancechance.
88
280256
3755
Pirater la « Matrice » est une autre chose
que l'IA fera si elle en a l'occasion.
04:56
So if you traintrain an AIAI in a simulationsimulation,
89
284035
2517
Si vous entraînez votre IA
dans une simulation,
04:58
it will learnapprendre how to do things like
hackpirater into the simulation'sde simulation mathmath errorsles erreurs
90
286576
4113
elle apprendra à faire des choses
comme exploiter les erreurs
de maths de la simulation
05:02
and harvestrécolte them for energyénergie.
91
290713
2207
pour en tirer de l'énergie.
05:04
Or it will figurefigure out how to movebouge toi fasterPlus vite
by glitchingGlitching repeatedlyà plusieurs reprises into the floorsol.
92
292944
5475
Ou elle trouvera
comment se déplacer plus vite
en exploitant à répétition
un bug pour avancer sur le sol.
05:10
When you're workingtravail with AIAI,
93
298443
1585
Travailler avec une IA,
05:12
it's lessMoins like workingtravail with anotherun autre humanHumain
94
300052
2389
c'est moins comme travailler
avec un autre humain
05:14
and a lot more like workingtravail
with some kindgentil of weirdbizarre forceObliger of naturela nature.
95
302465
3629
et plutôt comme travailler
avec une étrange force de la nature.
05:18
And it's really easyfacile to accidentallyaccidentellement
give AIAI the wrongfaux problemproblème to solverésoudre,
96
306562
4623
Il est très facile de donner
accidentellement à l'IA
le mauvais problème à résoudre
05:23
and oftensouvent we don't realizeprendre conscience de that
untiljusqu'à something has actuallyréellement gonedisparu wrongfaux.
97
311209
4538
et nous ne nous en rendons
souvent pas compte
avant que quelque chose
n'ait très mal tourné.
05:28
So here'svoici an experimentexpérience I did,
98
316242
2080
Voici une expérience que j'ai réalisée
05:30
where I wanted the AIAI
to copycopie paintpeindre colorscouleurs,
99
318346
3182
où je voulais que l'IA
copie des couleurs de peinture
05:33
to inventinventer newNouveau paintpeindre colorscouleurs,
100
321552
1746
pour en inventer de nouvelles
05:35
givendonné the listliste like the onesceux
here on the left.
101
323322
2987
en ayant la liste de celles
qui sont sur la gauche.
05:38
And here'svoici what the AIAI
actuallyréellement camevenu up with.
102
326798
3004
Et voici ce que l'IA a inventé.
05:41
[SindisSindis (Sindis) PoopDunette, TurdlyTurdly (Turdly), SufferSouffrir, GrayGray PubicPubienne]
103
329826
3143
[Caca de Sindis, Merdouille,
Souffrance, Pubis gris]
05:44
(LaughterRires)
104
332993
4230
(Rires)
05:51
So technicallytechniquement,
105
339177
1886
Techniquement,
05:53
it did what I askeda demandé it to.
106
341087
1864
elle a fait ce que je lui avais demandé.
05:54
I thought I was askingdemandant it for,
like, niceagréable paintpeindre colorCouleur namesdes noms,
107
342975
3308
Je pensais lui demander
des noms de couleur sympa,
05:58
but what I was actuallyréellement askingdemandant it to do
108
346307
2307
mais ce que je lui demandais de faire,
06:00
was just imitateimiter the kindssortes
of letterlettre combinationscombinaisons
109
348638
3086
c'était d'imaginer le genre
de combinaisons de lettres
06:03
that it had seenvu in the originaloriginal.
110
351748
1905
qu'elle avait vues dans la liste initiale.
06:05
And I didn't tell it anything
about what wordsmots mean,
111
353677
3098
Je ne lui ai rien dit sur le sens des mots
06:08
or that there are maybe some wordsmots
112
356799
2560
ni sur le fait qu'il y a
peut-être des mots
06:11
that it should avoidéviter usingen utilisant
in these paintpeindre colorscouleurs.
113
359383
2889
qu'elle devrait éviter d'utiliser
dans ces couleurs de peinture.
06:15
So its entiretout worldmonde
is the dataLes données that I gavea donné it.
114
363141
3494
Son monde se limite
aux données que je lui ai données.
06:18
Like with the icela glace creamcrème flavorssaveurs,
it doesn't know about anything elseautre.
115
366659
4028
Comme pour les parfums de glace,
elle ne sait rien d'autre.
06:24
So it is throughpar the dataLes données
116
372491
1638
C'est à travers les données
06:26
that we oftensouvent accidentallyaccidentellement tell AIAI
to do the wrongfaux thing.
117
374153
4044
que nous disons souvent accidentellement
à l'IA de faire la mauvaise chose.
06:30
This is a fishpoisson calledappelé a tenchTanche.
118
378694
3032
Ceci est un poisson appelé une tanche.
06:33
And there was a groupgroupe of researchersdes chercheurs
119
381750
1815
Un groupe de chercheurs
06:35
who trainedqualifié an AIAI to identifyidentifier
this tenchTanche in picturesdes photos.
120
383589
3874
a entraîné l'IA à identifier
cette tanche sur les photos.
06:39
But then when they askeda demandé it
121
387487
1296
Mais quand ils lui ont demandé
06:40
what partpartie of the picturephoto it was actuallyréellement
usingen utilisant to identifyidentifier the fishpoisson,
122
388807
3426
quelle partie de la photo
elle utilisait pour identifier le poisson,
06:44
here'svoici what it highlighteda souligné.
123
392257
1358
voici ce qui a été sélectionné.
06:47
Yes, those are humanHumain fingersdes doigts.
124
395203
2189
Oui, ce sont des doigts humains.
06:49
Why would it be looking for humanHumain fingersdes doigts
125
397416
2059
Pourquoi chercherait-elle
des doigts humains
06:51
if it's tryingen essayant to identifyidentifier a fishpoisson?
126
399499
1921
si elle essaye d'identifier un poisson ?
06:54
Well, it turnsse tourne out that the tenchTanche
is a trophytrophée fishpoisson,
127
402126
3164
Il s'avère que la tanche
est un poisson trophée
06:57
and so in a lot of picturesdes photos
that the AIAI had seenvu of this fishpoisson
128
405314
3811
et donc sur de nombreuses photos
que l'IA avait vues de ce poisson
07:01
duringpendant trainingentraînement,
129
409149
1151
durant son entraînement,
07:02
the fishpoisson lookedregardé like this.
130
410324
1490
le poisson ressemblait à ceci.
07:03
(LaughterRires)
131
411838
1635
(Rires)
07:05
And it didn't know that the fingersdes doigts
aren'tne sont pas partpartie of the fishpoisson.
132
413497
3330
Et elle ne savait pas que les doigts
ne faisaient pas partie du poisson.
07:10
So you see why it is so harddifficile
to designconception an AIAI
133
418808
4120
Vous voyez pourquoi il est si dur
de concevoir une IA
07:14
that actuallyréellement can understandcomprendre
what it's looking at.
134
422952
3319
qui comprend vraiment
ce qu'elle considère.
07:18
And this is why designingconception
the imageimage recognitionreconnaissance
135
426295
2862
C'est pourquoi concevoir
la reconnaissance d'images
07:21
in self-drivingSelf-driving carsdes voitures is so harddifficile,
136
429181
2067
dans les voitures autonomes
est si difficile
07:23
and why so manybeaucoup self-drivingSelf-driving carvoiture failuresles échecs
137
431272
2205
et pourquoi tant
de défaillances de ces voitures
07:25
are because the AIAI got confusedconfus.
138
433501
2885
sont dues au fait
que l'IA ait confondu des choses.
07:28
I want to talk about an exampleExemple from 2016.
139
436410
4008
Je veux parler d'un exemple de 2016.
07:32
There was a fatalfatal accidentaccident when somebodyquelqu'un
was usingen utilisant Tesla'sTesla autopilotpilote automatique AIAI,
140
440442
4455
Il y a eu un accident mortel
où quelqu'un utilisait l'IA
de pilote automatique de Tesla,
07:36
but insteadau lieu of usingen utilisant it on the highwayAutoroute
like it was designedconçu for,
141
444921
3414
mais au lieu de l'utiliser
sur l'autoroute,
ce pour quoi elle était conçue,
07:40
they used it on cityville streetsdes rues.
142
448359
2205
il l'a utilisé dans les rues de la ville.
07:43
And what happenedarrivé was,
143
451239
1175
Ce qu'il s'est passé,
07:44
a truckun camion drovea conduit out in frontde face of the carvoiture
and the carvoiture failedéchoué to brakefrein.
144
452438
3396
c'est qu'un camion est passé
devant la voiture
et la voiture n'a pas freiné.
07:48
Now, the AIAI definitelyabsolument was trainedqualifié
to recognizereconnaître truckscamions in picturesdes photos.
145
456507
4762
L'IA avait été entraînée à reconnaître
les camions sur des photos.
07:53
But what it looksregards like happenedarrivé is
146
461293
2145
Mais il semble que ce qu'il s'est passé,
07:55
the AIAI was trainedqualifié to recognizereconnaître
truckscamions on highwayAutoroute drivingau volant,
147
463462
2931
c'est qu'elle reconnaissait
les camions sur l'autoroute,
07:58
where you would expectattendre
to see truckscamions from behindderrière.
148
466417
2899
où vous vous attendez
à les voir de derrière.
08:01
TrucksCamions on the sidecôté is not supposedsupposé
to happense produire on a highwayAutoroute,
149
469340
3420
Les camions ne sont pas censés
être vus de côté sur l'autoroute
08:04
and so when the AIAI saw this truckun camion,
150
472784
3455
et donc quand l'IA a vu ce camion,
08:08
it looksregards like the AIAI recognizedreconnu it
as mostles plus likelyprobable to be a roadroute signsigne
151
476263
4827
il semblerait que l'IA l'ait reconnu
comme étant un panneau de signalisation,
08:13
and thereforedonc, safesûr to driveconduire underneathsous.
152
481114
2273
il était donc sans danger
de passer en dessous.
08:16
Here'sVoici an AIAI misstepfaux pas
from a differentdifférent fieldchamp.
153
484114
2580
Voici une bévue de l'IA
dans un autre domaine.
08:18
AmazonAmazon recentlyrécemment had to give up
on a résumsommeé-sorting-triage algorithmalgorithme de
154
486718
3460
Amazon a récemment dû abandonner
un algorithme de tri de CV
08:22
that they were workingtravail on
155
490202
1220
sur lequel ils travaillaient
08:23
when they discovereddécouvert that the algorithmalgorithme de
had learnedappris to discriminateune discrimination againstcontre womenfemmes.
156
491446
3908
quand ils ont découvert
que l'algorithme avait appris
à discriminer contre les femmes.
08:27
What happenedarrivé is they had trainedqualifié it
on exampleExemplesumsommeés
157
495378
2716
Ils l'avaient entraîné
avec des exemples de CV
08:30
of people who they had hiredembauché in the pastpassé.
158
498118
2242
de gens qu'ils avaient
embauchés dans le passé.
08:32
And from these examplesexemples, the AIAI learnedappris
to avoidéviter the résumsommeés of people
159
500384
4023
D'après ces exemples, l'IA a appris
à éviter les CV les gens
08:36
who had gonedisparu to women'saux femmes collegescollèges
160
504431
2026
ayant été dans des universités de femmes
08:38
or who had the wordmot "womenfemmes"
somewherequelque part in theirleur resumecurriculum vitae,
161
506481
2806
ou ayant le mot « femmes »
quelque part sur leur CV
08:41
as in, "women'saux femmes soccerfootball teaméquipe"
or "SocietySociété of WomenFemmes EngineersIngénieurs."
162
509311
4576
comme dans « équipe de sport de femmes »
ou « Société des femmes ingénieures ».
08:45
The AIAI didn't know that it wasn'tn'était pas supposedsupposé
to copycopie this particularparticulier thing
163
513911
3974
L'IA ne savait pas
qu'elle n'était pas censée
copier cette chose en particulier
08:49
that it had seenvu the humanshumains do.
164
517909
1978
qu'elle avait vu les humains faire.
08:51
And technicallytechniquement, it did
what they askeda demandé it to do.
165
519911
3177
Techniquement, elle a fait
ce qu'ils lui ont demandé.
08:55
They just accidentallyaccidentellement askeda demandé it
to do the wrongfaux thing.
166
523112
2797
Ils lui ont juste accidentellement demandé
de faire la mauvaise chose.
08:58
And this happensarrive all the time with AIAI.
167
526653
2895
Cela arrive constamment avec l'IA.
09:02
AIAI can be really destructivedestructrice
and not know it.
168
530120
3591
L'IA peut être destructrice
et ne pas le savoir.
09:05
So the AIsSIA that recommendrecommander
newNouveau contentcontenu in FacebookFacebook, in YouTubeYouTube,
169
533735
5078
Les IA qui recommandent
de nouveaux contenus
sur Facebook, sur YouTube,
09:10
they're optimizedoptimisé to increaseaugmenter
the numbernombre of clicksclics and viewsvues.
170
538837
3539
elles sont optimisées pour augmenter
le nombre de clics et de vues.
09:14
And unfortunatelymalheureusement, one way
that they have founda trouvé of doing this
171
542400
3436
Malheureusement, une des façons
trouvées pour faire cela
09:17
is to recommendrecommander the contentcontenu
of conspiracyconspiration theoriesthéories or bigotrybigoterie.
172
545860
4503
est de recommander du contenu
de théories conspirationnistes
ou relevant du fanatisme religieux.
09:22
The AIsSIA themselvesse don't have any conceptconcept
of what this contentcontenu actuallyréellement is,
173
550902
5302
Les IA n'ont aucune idée
de ce qu'est ce contenu
09:28
and they don't have any conceptconcept
of what the consequencesconséquences mightpourrait be
174
556228
3395
et elles n'ont aucune idée
des conséquences possibles
09:31
of recommendingrecommander this contentcontenu.
175
559647
2109
de la recommandation de ce contenu.
09:34
So, when we're workingtravail with AIAI,
176
562296
2011
Quand nous travaillons avec une IA,
09:36
it's up to us to avoidéviter problemsproblèmes.
177
564331
4182
c'est à nous d'éviter les problèmes.
09:40
And avoidingéviter things going wrongfaux,
178
568537
2323
Éviter que les choses tournent mal,
09:42
that maymai come down to
the age-oldvieux problemproblème of communicationla communication,
179
570884
4526
cela pourrait se résumer au sempiternel
problème de communication
09:47
where we as humanshumains have to learnapprendre
how to communicatecommuniquer with AIAI.
180
575434
3745
où, en tant qu'humains,
nous devons apprendre
à communiquer avec l'IA.
09:51
We have to learnapprendre what AIAI
is capablecapable of doing and what it's not,
181
579203
4039
Nous devons apprendre ce dont l'IA
est capable et ce dont elle est incapable,
09:55
and to understandcomprendre that,
with its tinyminuscule little wormver braincerveau,
182
583266
3086
et comprendre qu'avec
son petit cerveau de ver,
09:58
AIAI doesn't really understandcomprendre
what we're tryingen essayant to askdemander it to do.
183
586376
4013
l'IA ne comprend pas vraiment
ce que nous lui demandons de faire.
10:03
So in other wordsmots, we have
to be preparedpréparé to work with AIAI
184
591148
3321
En d'autres mots, nous devons
être prêts à travailler avec une IA
10:06
that's not the super-competentsuper-compétent,
all-knowingOmniscient AIAI of sciencescience fictionfiction.
185
594493
5258
qui n'est pas l'IA super compétente,
omnisciente de la science-fiction.
10:11
We have to preparedpréparé to work with an AIAI
186
599775
2862
Nous devons être prêts
à travailler avec une IA
10:14
that's the one that we actuallyréellement have
in the presentprésent day.
187
602661
2938
qui est celle que nous avons actuellement.
10:17
And present-dayaujourd'hui AIAI is plentybeaucoup weirdbizarre enoughassez.
188
605623
4205
Et l'IA actuellement est très étrange.
10:21
Thank you.
189
609852
1190
Merci.
10:23
(ApplauseApplaudissements)
190
611066
5225
(Applaudissements)
Translated by Morgane Quilfen
Reviewed by Claire Ghyselen

▲Back to top

ABOUT THE SPEAKER
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.

Why you should listen

Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.

According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.

More profile about the speaker
Janelle Shane | Speaker | TED.com