TED2018
Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them
Supasorn Suwajanakorn: Fake video's van echte mensen -- en hoe ze te herkennen.
Filmed:
Readability: 4.6
1,453,308 views
Denk je dat je goed bent in het spotten van valse video's, waarin beroemde mensen dingen zeggen die ze nooit in het echte leven hebben gezegd? Zie hoe ze zijn gemaakt in deze verbluffende talk en technische demo. Computerwetenschapper Supasorn Suwajanakorn laat zien hoe hij als universiteitsstudent KI en 3D-modellering gebruikte om fotorealistische nepvideo's te maken van mensen die met audio zijn gesynchroniseerd. Leer over zowel de ethische implicaties als de creatieve mogelijkheden van deze technologie -- en de stappen die worden genomen om misbruik tegen te gaan.
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Double-click the English transcript below to play the video.
00:12
Look at these images.
0
876
1151
Kijk eens naar deze beelden.
00:14
Now, tell me which Obama here is real.
1
2051
2635
Wie is de echte Obama?
(Video) Barack Obama: Om families
te helpen hun huizen te herfinancieren,
te helpen hun huizen te herfinancieren,
00:16
(Video) Barack Obama: To help families
refinance their homes,
refinance their homes,
2
4710
2861
00:19
to invest in things
like high-tech manufacturing,
like high-tech manufacturing,
3
7595
2647
om te investeren in dingen
als hightechindustrie,
als hightechindustrie,
00:22
clean energy
4
10266
1159
schone energie
00:23
and the infrastructure
that creates good new jobs.
that creates good new jobs.
5
11449
2779
en infrastructuur
die goede nieuwe banen schept.
die goede nieuwe banen schept.
00:26
Supasorn Suwajanakorn: Anyone?
6
14647
1484
Supasorn Suwajanakorn: Iemand?
00:28
The answer is none of them.
7
16155
1874
Het antwoord is: geen enkele.
00:30
(Laughter)
8
18053
1114
(Gelach)
00:31
None of these is actually real.
9
19191
1786
Geen enkele is echt.
00:33
So let me tell you how we got here.
10
21001
1840
Ik vertel jullie hoe we hiertoe kwamen.
00:35
My inspiration for this work
11
23940
1578
Mijn inspiratie voor dit werk
was een project dat was
bedoeld als onze laatste kans
bedoeld als onze laatste kans
00:37
was a project meant to preserve our last
chance for learning about the Holocaust
chance for learning about the Holocaust
12
25542
5411
om iets over de Holocaust
te vernemen van de overlevenden.
te vernemen van de overlevenden.
00:42
from the survivors.
13
30977
1768
00:44
It's called New Dimensions in Testimony,
14
32769
2627
Het heet 'Nieuwe Dimensies in Getuigenis'
00:47
and it allows you to have
interactive conversations
interactive conversations
15
35420
3126
en het laat je interactief spreken
00:50
with a hologram
of a real Holocaust survivor.
of a real Holocaust survivor.
16
38570
2556
met een hologram van een echte
overlevende van de Holocaust.
overlevende van de Holocaust.
(Video) Man: Hoe heb je
de Holocaust overleeefd?
de Holocaust overleeefd?
00:53
(Video) Man: How did you
survive the Holocaust?
survive the Holocaust?
17
41793
1966
00:55
(Video) Hologram: How did I survive?
18
43783
1668
(Video) Hologram: Hoe overleefde ik?
00:57
I survived,
19
45912
1807
Ik heb het overleefd,
01:00
I believe,
20
48419
1527
geloof ik,
01:01
because providence watched over me.
21
49970
3023
omdat de voorzienigheid over mij waakte.
01:05
SS: Turns out these answers
were prerecorded in a studio.
were prerecorded in a studio.
22
53573
3454
SS: Blijkt dat deze antwoorden
vooraf opgenomen waren in een studio.
vooraf opgenomen waren in een studio.
01:09
Yet the effect is astounding.
23
57051
2452
Maar het effect is verbluffend.
01:11
You feel so connected to his story
and to him as a person.
and to him as a person.
24
59527
3619
Je voelt je zo verbonden
met zijn verhaal en hem als persoon.
met zijn verhaal en hem als persoon.
01:16
I think there's something special
about human interaction
about human interaction
25
64011
3301
Ik denk dat er iets bijzonders is
aan menselijke interactie
aan menselijke interactie
01:19
that makes it much more profound
26
67336
2757
dat het veel dieper
01:22
and personal
27
70117
2198
en persoonlijker maakt
01:24
than what books or lectures
or movies could ever teach us.
or movies could ever teach us.
28
72339
3485
dan wat boeken of lezingen of films
ons ooit kunnen bijbrengen.
ons ooit kunnen bijbrengen.
01:28
So I saw this and began to wonder,
29
76267
2425
Ik zag dit en begon me af te vragen
01:30
can we create a model
like this for anyone?
like this for anyone?
30
78716
2810
of we voor iedereen een model
als dit kunnen maken.
als dit kunnen maken.
01:33
A model that looks, talks
and acts just like them?
and acts just like them?
31
81550
2975
Een model dat er net als hen
uitziet, praat en handelt?
uitziet, praat en handelt?
Ik begon eraan te werken
om te zien of het kon
om te zien of het kon
01:37
So I set out to see if this could be done
32
85573
2007
01:39
and eventually came up with a new solution
33
87604
2310
en vond uiteindelijk een nieuwe oplossing
01:41
that can build a model of a person
using nothing but these:
using nothing but these:
34
89938
3220
die slechts hiermee
een model van een persoon kan bouwen:
een model van een persoon kan bouwen:
01:45
existing photos and videos of a person.
35
93747
2214
bestaande foto's en video's
van een persoon.
van een persoon.
01:48
If you can leverage
this kind of passive information,
this kind of passive information,
36
96701
2617
Als je dit soort passieve
informatie kan benutten,
informatie kan benutten,
01:51
just photos and video that are out there,
37
99342
2007
alleen met bestaande foto's en video's,
01:53
that's the key to scaling to anyone.
38
101373
2056
is dat de sleutel om het
voor iedereen aan te passen.
voor iedereen aan te passen.
01:56
By the way, here's Richard Feynman,
39
104119
1777
Hier is Richard Feynman,
01:57
who in addition to being
a Nobel Prize winner in physics
a Nobel Prize winner in physics
40
105920
3413
die naast het feit dat hij
de Nobelprijs voor natuurkunde kreeg
de Nobelprijs voor natuurkunde kreeg
02:01
was also known as a legendary teacher.
41
109357
2453
ook bekend stond
als een legendarische leraar.
als een legendarische leraar.
Zou het niet geweldig zijn
als we hem konden terugbrengen
als we hem konden terugbrengen
02:05
Wouldn't it be great
if we could bring him back
if we could bring him back
42
113080
2198
02:07
to give his lectures
and inspire millions of kids,
and inspire millions of kids,
43
115302
3265
om zijn lezingen te geven
en miljoenen jongeren te inspireren,
en miljoenen jongeren te inspireren,
02:10
perhaps not just in English
but in any language?
but in any language?
44
118591
2992
misschien niet alleen in het Engels,
maar in elke taal?
maar in elke taal?
02:14
Or if you could ask our grandparents
for advice and hear those comforting words
for advice and hear those comforting words
45
122441
4602
Of als we onze grootouders
om advies zouden kunnen vragen
om advies zouden kunnen vragen
en hun troostende woorden horen
02:19
even if they're no longer with us?
46
127067
1770
ook als ze er niet meer zijn?
02:21
Or maybe using this tool,
book authors, alive or not,
book authors, alive or not,
47
129683
3396
Of misschien zouden we hiermee
auteurs, al dan niet levend,
auteurs, al dan niet levend,
02:25
could read aloud all of their books
for anyone interested.
for anyone interested.
48
133103
2937
hun boeken voor geïnteresseerden
kunnen laten voorlezen.
kunnen laten voorlezen.
02:29
The creative possibilities
here are endless,
here are endless,
49
137199
2437
De creatieve mogelijkheden
hiervoor zijn eindeloos
hiervoor zijn eindeloos
02:31
and to me, that's very exciting.
50
139660
1713
en voor mij is dat heel spannend.
02:34
And here's how it's working so far.
51
142595
2002
Zo gaat dat tot nu toe.
02:36
First, we introduce a new technique
52
144621
1667
Eerst introduceren we een nieuwe techniek
02:38
that can reconstruct a high-detailed
3D face model from any image
3D face model from any image
53
146312
4572
om een hooggedetailleerd 3D-gezichtsmodel
van een afbeelding te reconstrueren
van een afbeelding te reconstrueren
02:42
without ever 3D-scanning the person.
54
150908
2119
zonder enige 3D-scan van de persoon.
02:45
And here's the same output model
from different views.
from different views.
55
153890
2642
Hier is hetzelfde outputmodel
vanuit verschillende standpunten.
vanuit verschillende standpunten.
02:49
This also works on videos,
56
157969
1502
Dit werkt ook met video's,
02:51
by running the same algorithm
on each video frame
on each video frame
57
159495
2852
door het hetzelfde algoritme
op elk videoframe uit te voeren
op elk videoframe uit te voeren
02:54
and generating a moving 3D model.
58
162371
2222
en een bewegend 3D-model te genereren.
02:57
And here's the same
output model from different angles.
output model from different angles.
59
165538
2772
Hier zie je hetzelfde outputmodel
vanuit verschillende invalshoeken.
vanuit verschillende invalshoeken.
03:01
It turns out this problem
is very challenging,
is very challenging,
60
169933
2534
Dit probleem blijkt zeer uitdagend,
maar de belangrijkste truc is dat we
een grote fotocollectie van de persoon
een grote fotocollectie van de persoon
03:04
but the key trick
is that we are going to analyze
is that we are going to analyze
61
172491
2525
03:07
a large photo collection
of the person beforehand.
of the person beforehand.
62
175040
2966
op voorhand gaan analyseren.
03:10
For George W. Bush,
we can just search on Google,
we can just search on Google,
63
178650
2539
George W. Bush kunnen we
gewoon opzoeken op Google.
gewoon opzoeken op Google.
Daaruit kunnen we
een gemiddeld model ontwerpen,
een gemiddeld model ontwerpen,
03:14
and from that, we are able
to build an average model,
to build an average model,
64
182309
2499
03:16
an iterative, refined model
to recover the expression
to recover the expression
65
184832
3111
een iteratief verfijnd model
om de uitdrukking te herstellen
om de uitdrukking te herstellen
03:19
in fine details,
like creases and wrinkles.
like creases and wrinkles.
66
187967
2336
met fijne details,
zoals plooien en rimpels.
zoals plooien en rimpels.
03:23
What's fascinating about this
67
191326
1403
Fascinerend hieraan is
03:24
is that the photo collection
can come from your typical photos.
can come from your typical photos.
68
192753
3423
dat de fotocollectie afkomstig
kan zijn van je typische foto's.
kan zijn van je typische foto's.
03:28
It doesn't really matter
what expression you're making
what expression you're making
69
196200
2603
Het maakt eigenlijk niet uit
welke uitdrukking je hebt
welke uitdrukking je hebt
03:30
or where you took those photos.
70
198827
1885
of waar die foto’s genomen zijn.
03:32
What matters is
that there are a lot of them.
that there are a lot of them.
71
200736
2400
Je moet er gewoon veel hebben.
03:35
And we are still missing color here,
72
203160
1736
Dit is nog steeds zonder kleur,
03:36
so next, we develop
a new blending technique
a new blending technique
73
204920
2348
maar dan ontwikkelden
we een nieuwe mengtechniek,
we een nieuwe mengtechniek,
03:39
that improves upon
a single averaging method
a single averaging method
74
207292
2836
een verbeterde versie
van een middelingsmethode
van een middelingsmethode
03:42
and produces sharp
facial textures and colors.
facial textures and colors.
75
210152
2818
die scherpe gezichtstexturen
en kleuren produceert.
en kleuren produceert.
03:45
And this can be done for any expression.
76
213779
2771
Dit kan voor elke uitdrukking.
Nu hebben we controle
over een model van een persoon
over een model van een persoon
03:49
Now we have a control
of a model of a person,
of a model of a person,
77
217485
2499
03:52
and the way it's controlled now
is by a sequence of static photos.
is by a sequence of static photos.
78
220008
3795
en dat gebeurt door een opeenvolging
van statische foto's.
van statische foto's.
03:55
Notice how the wrinkles come and go,
depending on the expression.
depending on the expression.
79
223827
3126
Merk op hoe de rimpels komen en gaan,
afhankelijk van de expressie.
afhankelijk van de expressie.
We kunnen ook een video gebruiken
om het model te laten werken.
om het model te laten werken.
04:00
We can also use a video
to drive the model.
to drive the model.
80
228109
2746
04:02
(Video) Daniel Craig: Right, but somehow,
81
230879
2593
(Video) Daniel Craig: Klopt,
maar op een of andere manier
maar op een of andere manier
04:05
we've managed to attract
some more amazing people.
some more amazing people.
82
233496
3771
zijn we erin geslaagd om wat meer
fantastische mensen aan te trekken.
fantastische mensen aan te trekken.
04:10
SS: And here's another fun demo.
83
238021
1642
SS: Hier nog een leuke demo.
04:11
So what you see here
are controllable models
are controllable models
84
239687
2246
Hier zie je controleerbare
modellen van mensen
modellen van mensen
04:13
of people I built
from their internet photos.
from their internet photos.
85
241957
2444
gebaseerd op hun foto’s op internet.
04:16
Now, if you transfer
the motion from the input video,
the motion from the input video,
86
244425
2904
Nu, als je hierop de beweging
van de inputvideo overbrengt,
van de inputvideo overbrengt,
04:19
we can actually drive the entire party.
87
247353
2152
kunnen we de hele groep laten werken.
George W. Bush:
Het wetsvoorstel ligt moeilijk,
Het wetsvoorstel ligt moeilijk,
04:21
George W. Bush:
It's a difficult bill to pass,
It's a difficult bill to pass,
88
249529
2172
want er zijn veel bewegende delen
04:23
because there's a lot of moving parts,
89
251725
2303
04:26
and the legislative processes can be ugly.
90
254052
5231
en de wetgevende processen
kunnen lelijk zijn.
kunnen lelijk zijn.
04:31
(Applause)
91
259307
1630
(Applaus)
SS: Om er een beetje op terug te komen:
04:32
SS: So coming back a little bit,
92
260961
1837
04:34
our ultimate goal, rather,
is to capture their mannerisms
is to capture their mannerisms
93
262822
3191
ons uiteindelijke doel is veeleer
om hun maniertjes te vangen
om hun maniertjes te vangen
04:38
or the unique way each
of these people talks and smiles.
of these people talks and smiles.
94
266037
3045
of de unieke manier waarop elk
van deze mensen praat en glimlacht.
van deze mensen praat en glimlacht.
04:41
So to do that, can we
actually teach the computer
actually teach the computer
95
269106
2313
Kunnen we daarvoor de computer
echt leren imiteren hoe iemand praat
echt leren imiteren hoe iemand praat
04:43
to imitate the way someone talks
96
271443
2222
04:45
by only showing it
video footage of the person?
video footage of the person?
97
273689
2420
door hem slechts videobeelden
van de persoon te laten zien?
van de persoon te laten zien?
04:48
And what I did exactly was,
I let a computer watch
I let a computer watch
98
276898
2577
Net wat ik deed,
ik liet een computer kijken
ik liet een computer kijken
04:51
14 hours of pure Barack Obama
giving addresses.
giving addresses.
99
279499
3277
naar 14 uur toespraken
van alleen maar Barack Obama.
van alleen maar Barack Obama.
04:55
And here's what we can produce
given only his audio.
given only his audio.
100
283443
3516
En hier is wat we kunnen produceren
met alleen zijn audio.
met alleen zijn audio.
04:58
(Video) BO: The results are clear.
101
286983
1777
(Video) BO: De resultaten zijn duidelijk.
05:00
America's businesses have created
14.5 million new jobs
14.5 million new jobs
102
288784
4349
Amerikaanse bedrijven schiepen
14,5 miljoen nieuwe banen
14,5 miljoen nieuwe banen
05:05
over 75 straight months.
103
293157
2774
in slechts 75 maanden.
05:07
SS: So what's being synthesized here
is only the mouth region,
is only the mouth region,
104
295955
2905
SS: Hier wordt alleen
het mondgebied gesynthetiseerd
het mondgebied gesynthetiseerd
05:10
and here's how we do it.
105
298884
1540
en zo doen we dat.
Onze pijplijn gebruikt een neuraal netwerk
05:12
Our pipeline uses a neural network
106
300764
1826
05:14
to convert and input audio
into these mouth points.
into these mouth points.
107
302614
2936
om inkomend geluid
te converteren in deze mondpunten.
te converteren in deze mondpunten.
05:18
(Video) BO: We get it through our job
or through Medicare or Medicaid.
or through Medicare or Medicaid.
108
306547
4225
(Video) BO: We krijgen het door onze baan
of door Medicare en Medicaid.
of door Medicare en Medicaid.
05:22
SS: Then we synthesize the texture,
enhance details and teeth,
enhance details and teeth,
109
310796
3420
SS: Dan synthetiseren we de textuur,
verbeteren de details en tanden,
verbeteren de details en tanden,
en vermengen het met het hoofd
en de achtergrond van een bronvideo.
en de achtergrond van een bronvideo.
05:26
and blend it into the head
and background from a source video.
and background from a source video.
110
314240
3074
(Video) BO: Vrouwen kunnen
gratis check-ups krijgen
gratis check-ups krijgen
05:29
(Video) BO: Women can get free checkups,
111
317338
1905
05:31
and you can't get charged more
just for being a woman.
just for being a woman.
112
319267
2968
en je hoeft niet meer te betalen
enkel omdat je een vrouw bent.
enkel omdat je een vrouw bent.
05:34
Young people can stay
on a parent's plan until they turn 26.
on a parent's plan until they turn 26.
113
322973
3306
Jongeren kunnen tot hun 26ste
verzekerd blijven via hun ouders.
verzekerd blijven via hun ouders.
SS: Ik denk dat deze resultaten
erg realistisch en intrigerend lijken,
erg realistisch en intrigerend lijken,
05:39
SS: I think these results
seem very realistic and intriguing,
seem very realistic and intriguing,
114
327267
2952
05:42
but at the same time
frightening, even to me.
frightening, even to me.
115
330243
3173
maar tegelijkertijd zelfs voor mij
wel beangstigend.
wel beangstigend.
Wij wilden een nauwkeurig model
van een persoon opbouwen,
van een persoon opbouwen,
05:45
Our goal was to build an accurate model
of a person, not to misrepresent them.
of a person, not to misrepresent them.
116
333440
4015
niet ze fout voorstellen.
05:49
But one thing that concerns me
is its potential for misuse.
is its potential for misuse.
117
337956
3111
Maar ik maak me wel zorgen
over mogelijk misbruik.
over mogelijk misbruik.
05:53
People have been thinking
about this problem for a long time,
about this problem for a long time,
118
341958
2971
Mensen hebben lang
nagedacht over dit probleem,
nagedacht over dit probleem,
sinds de dagen waarop Photoshop
voor het eerst op de markt kwam.
voor het eerst op de markt kwam.
05:56
since the days when Photoshop
first hit the market.
first hit the market.
119
344953
2381
05:59
As a researcher, I'm also working
on countermeasure technology,
on countermeasure technology,
120
347862
3801
Als onderzoeker ben ik ook bezig
met de tegenmaatregel-technologie
met de tegenmaatregel-technologie
en neem ik deel aan een voortdurende
inspanning op AI Foundation,
inspanning op AI Foundation,
06:03
and I'm part of an ongoing
effort at AI Foundation,
effort at AI Foundation,
121
351687
2942
die een combinatie van machineleren
en menselijke moderators gebruikt
en menselijke moderators gebruikt
06:06
which uses a combination
of machine learning and human moderators
of machine learning and human moderators
122
354653
3397
om nepafbeeldingen
en dito video's op te sporen.
en dito video's op te sporen.
06:10
to detect fake images and videos,
123
358074
2144
06:12
fighting against my own work.
124
360242
1514
Ik vecht tegen mijn eigen werk.
06:14
And one of the tools we plan to release
is called Reality Defender,
is called Reality Defender,
125
362675
3190
Een van de tools die we willen vrijgeven
heet Reality Defender,
heet Reality Defender,
06:17
which is a web-browser plug-in
that can flag potentially fake content
that can flag potentially fake content
126
365889
4039
een plug-in voor webbrowsers
die potentiële nepinhoud kan opmerken,
die potentiële nepinhoud kan opmerken,
06:21
automatically, right in the browser.
127
369952
2533
automatisch, in de browser zelf.
06:24
(Applause)
128
372509
4228
(Applaus)
06:28
Despite all this, though,
129
376761
1453
Ondanks dat kunnen nepvideo’s
veel schade aanrichten,
veel schade aanrichten,
06:30
fake videos could do a lot of damage,
130
378238
1840
06:32
even before anyone has a chance to verify,
131
380102
3294
nog voor iemand de kans heeft
om ze te controleren.
om ze te controleren.
Dus is het erg belangrijk
dat we iedereen op de hoogte houden
dat we iedereen op de hoogte houden
06:35
so it's very important
that we make everyone aware
that we make everyone aware
132
383420
2722
06:38
of what's currently possible
133
386166
2007
van wat er op dit moment mogelijk is
06:40
so we can have the right assumption
and be critical about what we see.
and be critical about what we see.
134
388197
3369
om de juiste instelling te hebben
en kritisch te zijn over wat we zien.
en kritisch te zijn over wat we zien.
06:44
There's still a long way to go before
we can fully model individual people
we can fully model individual people
135
392423
5007
Er is nog een lange weg te gaan
voordat we individuele mensen
volledig kunnen modelleren
volledig kunnen modelleren
06:49
and before we can ensure
the safety of this technology.
the safety of this technology.
136
397454
2786
en voordat we voor de veiligheid
van deze technologie kunnen zorgen.
van deze technologie kunnen zorgen.
06:53
But I'm excited and hopeful,
137
401097
1587
Maar ik ben enthousiast en hoopvol,
06:54
because if we use it right and carefully,
138
402708
3539
want als we ze goed
en zorgvuldig gebruiken,
en zorgvuldig gebruiken,
06:58
this tool can allow any individual's
positive impact on the world
positive impact on the world
139
406271
4309
kan deze tool het positieve effect
van elk individu op de wereld
van elk individu op de wereld
07:02
to be massively scaled
140
410604
2190
massaal opschalen
en onze toekomst helpen vormgeven
zoals we dat echt willen.
zoals we dat echt willen.
07:04
and really help shape our future
the way we want it to be.
the way we want it to be.
141
412818
2742
Dank je.
07:07
Thank you.
142
415584
1151
(Applaus)
07:08
(Applause)
143
416759
5090
ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientistSupasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.
Why you should listen
Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.
Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.
Supasorn Suwajanakorn | Speaker | TED.com