TED2018
Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them
Supasorn Suwajanakorn: Hamis videók valóságos emberekről – miről ismerhetők fel?
Filmed:
Readability: 4.6
1,453,308 views
Úgy gondolja, ön könnyedén felismeri a hamis videókat, ahol hírességek beszélnek olyan dolgokról, amiket valójában soha nem mondtak? Ebből a lenyűgöző előadásból és technikai bemutatóból megtudhatjuk, hogyan készülnek ezek a videók. Supasorn Suwajanakorn programozó bemutatja, hogyan alkotott valósághű, hanggal is szinkronizált hamis videókat híres emberekről mesterséges intelligencia és 3D-s modellek alkalmazásával még egyetemista korában. Tudjunk meg többet a technikai etikai oldaláról és kreatív lehetőségeiről, valamint ismerjük meg a kezdeti lépéseket, amikkel megakadályozhatjuk a technika rosszindulatú felhasználását.
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Double-click the English transcript below to play the video.
00:12
Look at these images.
0
876
1151
Nézzék ezeket a képeket!
00:14
Now, tell me which Obama here is real.
1
2051
2635
Most mondják meg, melyik Obama az igazi!
00:16
(Video) Barack Obama: To help families
refinance their homes,
refinance their homes,
2
4710
2861
(Video) Obama: – Segítsünk a családoknak
lakáskölcsönük kiváltásában,
lakáskölcsönük kiváltásában,
00:19
to invest in things
like high-tech manufacturing,
like high-tech manufacturing,
3
7595
2647
fektessünk be olyasmikbe,
mint high-tech termékek gyártása,
mint high-tech termékek gyártása,
00:22
clean energy
4
10266
1159
tiszta energia
00:23
and the infrastructure
that creates good new jobs.
that creates good new jobs.
5
11449
2779
és az olyan infrastruktúrába,
ami jó munkahelyeket teremt.
ami jó munkahelyeket teremt.
00:26
Supasorn Suwajanakorn: Anyone?
6
14647
1484
Supasorn Suwajanakorn: – Valaki?
00:28
The answer is none of them.
7
16155
1874
A válasz: egyik sem.
00:30
(Laughter)
8
18053
1114
(Nevetés)
00:31
None of these is actually real.
9
19191
1786
Egyikük sem valódi.
00:33
So let me tell you how we got here.
10
21001
1840
Hadd mondjam el az előzményeket.
00:35
My inspiration for this work
11
23940
1578
Egy olyan program ösztönzött
00:37
was a project meant to preserve our last
chance for learning about the Holocaust
chance for learning about the Holocaust
12
25542
5411
erre a munkára, aminek az volt a célja,
hogy megragadjuk az utolsó esélyt:
hogy megragadjuk az utolsó esélyt:
00:42
from the survivors.
13
30977
1768
beszélgessünk holokauszttúlélőkkel.
00:44
It's called New Dimensions in Testimony,
14
32769
2627
A program neve
New Dimensions in Testimony,
New Dimensions in Testimony,
00:47
and it allows you to have
interactive conversations
interactive conversations
15
35420
3126
interaktív beszélgetésbe elegyedhetünk
00:50
with a hologram
of a real Holocaust survivor.
of a real Holocaust survivor.
16
38570
2556
egy-egy valóságos holokauszttúlélő
hologramjával.
hologramjával.
(Videó) Férfi: Ön hogyan élte túl
a holokausztot?
a holokausztot?
00:53
(Video) Man: How did you
survive the Holocaust?
survive the Holocaust?
17
41793
1966
00:55
(Video) Hologram: How did I survive?
18
43783
1668
(Videó) Hologram: Hogyan éltem túl?
00:57
I survived,
19
45912
1807
Hiszem,
01:00
I believe,
20
48419
1527
hogy azért éltem túl,
01:01
because providence watched over me.
21
49970
3023
mert a Gondviselés vigyázott rám.
01:05
SS: Turns out these answers
were prerecorded in a studio.
were prerecorded in a studio.
22
53573
3454
SS: Ezeket a válaszokat előzetesen
vették fel egy stúdióban.
vették fel egy stúdióban.
01:09
Yet the effect is astounding.
23
57051
2452
A hatás mégis döbbenetes.
01:11
You feel so connected to his story
and to him as a person.
and to him as a person.
24
59527
3619
Úgy érezzük, személyesen
kötődünk hozzá és a történetéhez.
kötődünk hozzá és a történetéhez.
01:16
I think there's something special
about human interaction
about human interaction
25
64011
3301
Szerintem van valami különleges
az emberi interakcióban,
az emberi interakcióban,
01:19
that makes it much more profound
26
67336
2757
ami sokkal mélyebbé
01:22
and personal
27
70117
2198
és személyesebbé teszi ezt,
01:24
than what books or lectures
or movies could ever teach us.
or movies could ever teach us.
28
72339
3485
mint amit könyvekből, előadásokból
vagy filmekből valaha is tanulhatunk.
vagy filmekből valaha is tanulhatunk.
Amikor tehát ezt megnéztem,
felmerült bennem a kérdés:
felmerült bennem a kérdés:
01:28
So I saw this and began to wonder,
29
76267
2425
01:30
can we create a model
like this for anyone?
like this for anyone?
30
78716
2810
készíthetünk bárkiről hasonló modellt?
01:33
A model that looks, talks
and acts just like them?
and acts just like them?
31
81550
2975
Olyat, ami úgy néz ki, úgy beszél
és úgy cselekszik, mint ő?
és úgy cselekszik, mint ő?
01:37
So I set out to see if this could be done
32
85573
2007
Próbálgatni kezdtem,
01:39
and eventually came up with a new solution
33
87604
2310
és végül új megoldást találtam ki,
01:41
that can build a model of a person
using nothing but these:
using nothing but these:
34
89938
3220
ami csak meglévő fotói és videói alapján
01:45
existing photos and videos of a person.
35
93747
2214
épít fel modellt egy adott személyről.
Ha tudjuk, mit kezdjünk
olyan archív anyaggal,
olyan archív anyaggal,
01:48
If you can leverage
this kind of passive information,
this kind of passive information,
36
96701
2617
01:51
just photos and video that are out there,
37
99342
2007
mint elérhető fotók és videók,
01:53
that's the key to scaling to anyone.
38
101373
2056
úgy azok alapján bárki megeleveníthető.
Vegyük például a képen látható
Richard Feynmant,
Richard Feynmant,
01:56
By the way, here's Richard Feynman,
39
104119
1777
01:57
who in addition to being
a Nobel Prize winner in physics
a Nobel Prize winner in physics
40
105920
3413
aki nemcsak Nobel-díjas fizikus,
02:01
was also known as a legendary teacher.
41
109357
2453
de legendás hírű oktató is volt.
02:05
Wouldn't it be great
if we could bring him back
if we could bring him back
42
113080
2198
Hát nem lenne csodálatos
visszahozni őt,
visszahozni őt,
02:07
to give his lectures
and inspire millions of kids,
and inspire millions of kids,
43
115302
3265
hogy előadásokat tartson,
és gyerekek millióit lelkesítse,
és gyerekek millióit lelkesítse,
02:10
perhaps not just in English
but in any language?
but in any language?
44
118591
2992
esetleg nemcsak angolul,
hanem bármilyen nyelven?
hanem bármilyen nyelven?
02:14
Or if you could ask our grandparents
for advice and hear those comforting words
for advice and hear those comforting words
45
122441
4602
Vagy ha tanácsot kérhetnénk
nagyszüleinktől,
nagyszüleinktől,
hallgathatnánk megnyugtató szavaikat,
még ha már nincsenek is velünk?
még ha már nincsenek is velünk?
02:19
even if they're no longer with us?
46
127067
1770
02:21
Or maybe using this tool,
book authors, alive or not,
book authors, alive or not,
47
129683
3396
Vagy ezzel az eszközzel az írók,
akár élnek, akár már nem,
akár élnek, akár már nem,
02:25
could read aloud all of their books
for anyone interested.
for anyone interested.
48
133103
2937
felolvashatnák könyveiket
bárkinek, aki kíváncsi rájuk.
bárkinek, aki kíváncsi rájuk.
02:29
The creative possibilities
here are endless,
here are endless,
49
137199
2437
A lehetőségek tárháza végtelen,
02:31
and to me, that's very exciting.
50
139660
1713
és ez számomra rendkívül izgalmas.
02:34
And here's how it's working so far.
51
142595
2002
Mutatom, jelenleg hogyan működik.
02:36
First, we introduce a new technique
52
144621
1667
Először is, lássuk az új technikát,
02:38
that can reconstruct a high-detailed
3D face model from any image
3D face model from any image
53
146312
4572
mellyel bármilyen képből részletgazdag
3D-s arcmodell rekonstruálható,
3D-s arcmodell rekonstruálható,
02:42
without ever 3D-scanning the person.
54
150908
2119
nem kell hozzá 3D-s
szkennelés az illetőről.
szkennelés az illetőről.
02:45
And here's the same output model
from different views.
from different views.
55
153890
2642
Itt van ugyanaz a végeredmény,
más-más szemszögből.
más-más szemszögből.
02:49
This also works on videos,
56
157969
1502
Ez videók esetében is működik,
02:51
by running the same algorithm
on each video frame
on each video frame
57
159495
2852
ugyanazt az algoritmust futtatja
minden egyes képkockán,
minden egyes képkockán,
02:54
and generating a moving 3D model.
58
162371
2222
és mozgó 3D-s modellt generálunk.
02:57
And here's the same
output model from different angles.
output model from different angles.
59
165538
2772
Íme, ugyanaz a végeredmény
különböző látószögekből.
különböző látószögekből.
03:01
It turns out this problem
is very challenging,
is very challenging,
60
169933
2534
Ez a probléma nagy kihívást jelent,
03:04
but the key trick
is that we are going to analyze
is that we are going to analyze
61
172491
2525
de frappánsan úgy oldjuk meg,
hogy előzetesen elemezni fogunk
hogy előzetesen elemezni fogunk
03:07
a large photo collection
of the person beforehand.
of the person beforehand.
62
175040
2966
egy nagyobbacska fotógyűjteményt
az adott személyről.
az adott személyről.
03:10
For George W. Bush,
we can just search on Google,
we can just search on Google,
63
178650
2539
George W. Bush esetében
elég egy Google-keresés,
elég egy Google-keresés,
03:14
and from that, we are able
to build an average model,
to build an average model,
64
182309
2499
a találatokból felépíthetünk
egy átlagos modellt,
egy átlagos modellt,
olyat, amit tovább finomítottunk,
hogy egészen finoman részletezve
hogy egészen finoman részletezve
03:16
an iterative, refined model
to recover the expression
to recover the expression
65
184832
3111
03:19
in fine details,
like creases and wrinkles.
like creases and wrinkles.
66
187967
2336
idézzen fel arcvonásokat,
például a ráncokat, a mimikát.
például a ráncokat, a mimikát.
03:23
What's fascinating about this
67
191326
1403
Ebben az a lenyűgöző,
03:24
is that the photo collection
can come from your typical photos.
can come from your typical photos.
68
192753
3423
hogy a fotógyűjtemény az
átlagos fotóinkból állhat.
átlagos fotóinkból állhat.
03:28
It doesn't really matter
what expression you're making
what expression you're making
69
196200
2603
Tényleg mindegy, milyen arcot vágunk,
03:30
or where you took those photos.
70
198827
1885
vagy hogy hol készültek a képek.
03:32
What matters is
that there are a lot of them.
that there are a lot of them.
71
200736
2400
Csak az a fontos, hogy sok legyen belőlük.
03:35
And we are still missing color here,
72
203160
1736
És ekkor még hiányoznak a színek,
03:36
so next, we develop
a new blending technique
a new blending technique
73
204920
2348
így a következő lépés az, hogy újfajta
színkeverési módot fejlesztünk,
színkeverési módot fejlesztünk,
03:39
that improves upon
a single averaging method
a single averaging method
74
207292
2836
ami az egyszerű átlagolás
tökéletesítése,
tökéletesítése,
03:42
and produces sharp
facial textures and colors.
facial textures and colors.
75
210152
2818
éles vonásokat
és színeket eredményez.
és színeket eredményez.
03:45
And this can be done for any expression.
76
213779
2771
Ez bármilyen arckifejezésre
alkalmazható.
alkalmazható.
03:49
Now we have a control
of a model of a person,
of a model of a person,
77
217485
2499
Most tehát van egy módosítható modellünk.
03:52
and the way it's controlled now
is by a sequence of static photos.
is by a sequence of static photos.
78
220008
3795
mégpedig statikus képek sorozatával.
03:55
Notice how the wrinkles come and go,
depending on the expression.
depending on the expression.
79
223827
3126
Nézzék, hogyan változnak a ráncok,
az arckifejezéstől függően.
az arckifejezéstől függően.
04:00
We can also use a video
to drive the model.
to drive the model.
80
228109
2746
Videóval is vezérelhetjük a modellt.
04:02
(Video) Daniel Craig: Right, but somehow,
81
230879
2593
(Videó) Daniel Craig: Igen, de valahogy
04:05
we've managed to attract
some more amazing people.
some more amazing people.
82
233496
3771
sikerült néhány bájosabb embert bevonzani.
04:10
SS: And here's another fun demo.
83
238021
1642
SS: És itt egy másik érdekes demó.
04:11
So what you see here
are controllable models
are controllable models
84
239687
2246
Vezérelhető modelleket látunk
olyan emberekről,
olyan emberekről,
04:13
of people I built
from their internet photos.
from their internet photos.
85
241957
2444
akiket internetes fotóik alapján
alkottunk meg.
alkottunk meg.
04:16
Now, if you transfer
the motion from the input video,
the motion from the input video,
86
244425
2904
Ha átvisszük a mozgást
az eredeti videóról,
az eredeti videóról,
04:19
we can actually drive the entire party.
87
247353
2152
az egész bagázst levezényelhetjük.
04:21
George W. Bush:
It's a difficult bill to pass,
It's a difficult bill to pass,
88
249529
2172
George W. Bush: Nehéz átvinni
a törvényjavaslatot,
a törvényjavaslatot,
04:23
because there's a lot of moving parts,
89
251725
2303
mert sok benne a bizonytalanság,
04:26
and the legislative processes can be ugly.
90
254052
5231
és kínosak lehetnek
a jogalkotási folyamatok.
a jogalkotási folyamatok.
04:31
(Applause)
91
259307
1630
(Taps)
04:32
SS: So coming back a little bit,
92
260961
1837
SS: Kicsit ugorjunk vissza,
04:34
our ultimate goal, rather,
is to capture their mannerisms
is to capture their mannerisms
93
262822
3191
inkább az a fő célunk,
hogy megragadjuk a stílusjegyeiket,
hogy megragadjuk a stílusjegyeiket,
04:38
or the unique way each
of these people talks and smiles.
of these people talks and smiles.
94
266037
3045
egyéniségüket,
ahogy ki-ki beszél és mosolyog.
ahogy ki-ki beszél és mosolyog.
Megtaníthatjuk-e egy számítógépnek,
hogy utánozza valaki beszédét,
hogy utánozza valaki beszédét,
04:41
So to do that, can we
actually teach the computer
actually teach the computer
95
269106
2313
04:43
to imitate the way someone talks
96
271443
2222
pusztán annak alapján,
04:45
by only showing it
video footage of the person?
video footage of the person?
97
273689
2420
hogy egy videófelvételt
mutatunk neki az illetőről?
mutatunk neki az illetőről?
Pontosan ezt tettem,
beállítottam egy számítógépet,
beállítottam egy számítógépet,
04:48
And what I did exactly was,
I let a computer watch
I let a computer watch
98
276898
2577
04:51
14 hours of pure Barack Obama
giving addresses.
giving addresses.
99
279499
3277
hogy 14 órán keresztül hiteles
Obama-beszédeket elemezzen.
Obama-beszédeket elemezzen.
04:55
And here's what we can produce
given only his audio.
given only his audio.
100
283443
3516
Mutatom, milyen eredményre jutunk
csak a hangfelvétele alapján.
csak a hangfelvétele alapján.
04:58
(Video) BO: The results are clear.
101
286983
1777
(Videó) Obama: Az eredmény magáért beszél.
05:00
America's businesses have created
14.5 million new jobs
14.5 million new jobs
102
288784
4349
Amerika vállalkozásai 14,5 millió
új munkahelyet teremtettek
új munkahelyet teremtettek
05:05
over 75 straight months.
103
293157
2774
75 egymást követő hónap alatt.
05:07
SS: So what's being synthesized here
is only the mouth region,
is only the mouth region,
104
295955
2905
SS: Itt csak a száj területét
szintetizáltuk,
szintetizáltuk,
meg is mutatom, hogyan.
05:10
and here's how we do it.
105
298884
1540
Neurális hálózatot használunk,
ezzel töltjük be a hangfelvételt
ezzel töltjük be a hangfelvételt
05:12
Our pipeline uses a neural network
106
300764
1826
05:14
to convert and input audio
into these mouth points.
into these mouth points.
107
302614
2936
a száj pontjaiba.
05:18
(Video) BO: We get it through our job
or through Medicare or Medicaid.
or through Medicare or Medicaid.
108
306547
4225
(Videó) BO: Munkánkkal, a Medicare-rel
vagy a Medicaiddel tehetjük ezt meg.
vagy a Medicaiddel tehetjük ezt meg.
05:22
SS: Then we synthesize the texture,
enhance details and teeth,
enhance details and teeth,
109
310796
3420
SS: Utána szintetizáljuk a textúrát,
finomítjuk a részleteket, a fogakat,
finomítjuk a részleteket, a fogakat,
05:26
and blend it into the head
and background from a source video.
and background from a source video.
110
314240
3074
és beolvasztjuk a fejbe, majd
a forrásvideó hátterébe.
a forrásvideó hátterébe.
05:29
(Video) BO: Women can get free checkups,
111
317338
1905
(Videó) BO: A nőknek ingyenes
szűrést biztosítunk,
szűrést biztosítunk,
05:31
and you can't get charged more
just for being a woman.
just for being a woman.
112
319267
2968
senkinek ne kelljen többet fizetnie
csak azért, mert nő.
csak azért, mert nő.
05:34
Young people can stay
on a parent's plan until they turn 26.
on a parent's plan until they turn 26.
113
322973
3306
A fiatalok után 26 éves korukig
járjon a családi pótlék.
járjon a családi pótlék.
SS: Nagyon valósághűnek és érdekesnek,
05:39
SS: I think these results
seem very realistic and intriguing,
seem very realistic and intriguing,
114
327267
2952
05:42
but at the same time
frightening, even to me.
frightening, even to me.
115
330243
3173
ugyanakkor ijesztőnek is
látom ezeket az eredményeket.
látom ezeket az eredményeket.
05:45
Our goal was to build an accurate model
of a person, not to misrepresent them.
of a person, not to misrepresent them.
116
333440
4015
Pontos modellt akartunk készíteni,
nem félrevezetés volt a célunk.
nem félrevezetés volt a célunk.
05:49
But one thing that concerns me
is its potential for misuse.
is its potential for misuse.
117
337956
3111
De aggaszt, hogy mindez
rosszhiszeműen is felhasználható.
rosszhiszeműen is felhasználható.
05:53
People have been thinking
about this problem for a long time,
about this problem for a long time,
118
341958
2971
Az emberek jó ideje töprengenek
ezen a kérdésen,
ezen a kérdésen,
05:56
since the days when Photoshop
first hit the market.
first hit the market.
119
344953
2381
azóta, hogy a Photoshop
berobbant a piacra.
berobbant a piacra.
05:59
As a researcher, I'm also working
on countermeasure technology,
on countermeasure technology,
120
347862
3801
Kutatóként az ellenintézkedések
technológiáján is dolgozom,
technológiáján is dolgozom,
06:03
and I'm part of an ongoing
effort at AI Foundation,
effort at AI Foundation,
121
351687
2942
és részt veszek egy most is folyó
kísérletben az MI Alapítványnál,
kísérletben az MI Alapítványnál,
06:06
which uses a combination
of machine learning and human moderators
of machine learning and human moderators
122
354653
3397
ami gépi tanulás és az emberi
moderálás együttes alkalmazásával
moderálás együttes alkalmazásával
06:10
to detect fake images and videos,
123
358074
2144
kiszűri a hamis képeket és videókat,
06:12
fighting against my own work.
124
360242
1514
saját munkám ellen is harcolva.
06:14
And one of the tools we plan to release
is called Reality Defender,
is called Reality Defender,
125
362675
3190
Reality Defender [igazságvédő] néven
tervezünk kiadni egy eszközt,
tervezünk kiadni egy eszközt,
06:17
which is a web-browser plug-in
that can flag potentially fake content
that can flag potentially fake content
126
365889
4039
ami egy webböngésző plug-in,
ami automatikusan, közvetlenül,
ami automatikusan, közvetlenül,
06:21
automatically, right in the browser.
127
369952
2533
ott helyben jelezheti
a lehetséges hamis tartalmat.
a lehetséges hamis tartalmat.
06:24
(Applause)
128
372509
4228
(Taps)
Mindezek ellenére a hamis videók
06:28
Despite all this, though,
129
376761
1453
06:30
fake videos could do a lot of damage,
130
378238
1840
rengeteg kárt okozhatnak,
06:32
even before anyone has a chance to verify,
131
380102
3294
még mielőtt bárkinek
esélye nyílna leleplezni,
esélye nyílna leleplezni,
06:35
so it's very important
that we make everyone aware
that we make everyone aware
132
383420
2722
ezért nagyon fontos,
hogy mindenkiben tudatosítsuk:
hogy mindenkiben tudatosítsuk:
06:38
of what's currently possible
133
386166
2007
mi az, ami jelenleg lehetséges.
06:40
so we can have the right assumption
and be critical about what we see.
and be critical about what we see.
134
388197
3369
Így megalapozott tényekre építhetünk, és
fenntartásokkal kezelhetjük, amit látunk.
fenntartásokkal kezelhetjük, amit látunk.
06:44
There's still a long way to go before
we can fully model individual people
we can fully model individual people
135
392423
5007
Hosszú még az út, mire
tökéletesen modellezhetünk személyeket,
tökéletesen modellezhetünk személyeket,
06:49
and before we can ensure
the safety of this technology.
the safety of this technology.
136
397454
2786
és szavatolhatjuk technológiánk
biztonságos voltát.
biztonságos voltát.
De izgatott vagyok és reménykedem,
06:53
But I'm excited and hopeful,
137
401097
1587
06:54
because if we use it right and carefully,
138
402708
3539
mert ha helyesen és felelősen alkalmazzuk,
06:58
this tool can allow any individual's
positive impact on the world
positive impact on the world
139
406271
4309
ez az eszköz nagy mértékben fokozhatja
07:02
to be massively scaled
140
410604
2190
bárkinek a világra gyakorolt
pozitív hatását,
pozitív hatását,
07:04
and really help shape our future
the way we want it to be.
the way we want it to be.
141
412818
2742
és valóban segíthet olyanra
formálni a jövőt, amilyenre akarjuk.
formálni a jövőt, amilyenre akarjuk.
07:07
Thank you.
142
415584
1151
Köszönöm.
07:08
(Applause)
143
416759
5090
(Taps)
ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientistSupasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.
Why you should listen
Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.
Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.
Supasorn Suwajanakorn | Speaker | TED.com