TED2018
Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them
Supasorn Suwajanakorn: Tikrų žmonių netikri vaizdo įrašai, ir kaip juos atpažinti
Filmed:
Readability: 4.6
1,453,308 views
Ar manote, kad jums gerai sekasi atpažinti netikrus vaizdo įrašus, kai garsios asmenybės kalba apie tai, ko niekada nesakė realybėje? Pamatykite, kaip sukuriamas šis kalbos ir technologijų derinys. Informatikos mokslininkas Supasorn Sujawanakorn rodo, kaip savo doktorantūroje jis panaudojo dirbtinį intelektą ir 3D modeliavimą, kad sukurtų realistiškus vaizdo įrašus, suderintus su garso įrašu. Susipažinkite su šios technologijos etinėmis implikacijomis ir kūrybos galimybėmis. Sužinokite, kokiais būdais siekiama užtikrinti saugų bei patikimą technologijos panaudojimą.
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Double-click the English transcript below to play the video.
00:12
Look at these images.
0
876
1151
Pažvelkite
00:14
Now, tell me which Obama here is real.
1
2051
2635
į tai ir pasakykite,
kuris iš Obamų yra tikras:
kuris iš Obamų yra tikras:
00:16
(Video) Barack Obama: To help families
refinance their homes,
refinance their homes,
2
4710
2861
(Video.) Barack Obama: „Padėti šeimoms
refinansuoti būsto paskolas,
refinansuoti būsto paskolas,
00:19
to invest in things
like high-tech manufacturing,
like high-tech manufacturing,
3
7595
2647
investuoti į aukšto lygio pramonę,
00:22
clean energy
4
10266
1159
atsinaujinančią energiją
00:23
and the infrastructure
that creates good new jobs.
that creates good new jobs.
5
11449
2779
bei infrastruktūrą, kuri sukurtų
naujų gerų darbo vietų.“
naujų gerų darbo vietų.“
00:26
Supasorn Suwajanakorn: Anyone?
6
14647
1484
Supasorn Suwajanakorn: Kuris
netikras?
netikras?
00:28
The answer is none of them.
7
16155
1874
Nei vienas.
00:30
(Laughter)
8
18053
1114
(Juokas.)
00:31
None of these is actually real.
9
19191
1786
Nei vienas iš čia esančių
nėra tikras.
nėra tikras.
00:33
So let me tell you how we got here.
10
21001
1840
Papasakosiu, kaip tai nutiko.
00:35
My inspiration for this work
11
23940
1578
Šiam darbui mane įkvėpė
projektas,
projektas,
00:37
was a project meant to preserve our last
chance for learning about the Holocaust
chance for learning about the Holocaust
12
25542
5411
kuris turėjo leisti
sužinoti apie Holokaustą
sužinoti apie Holokaustą
00:42
from the survivors.
13
30977
1768
iš jį išgyvenusių žmonių.
00:44
It's called New Dimensions in Testimony,
14
32769
2627
Šis projektas vadinasi „Naujos
liudijimų dimensijos“ .
liudijimų dimensijos“ .
00:47
and it allows you to have
interactive conversations
interactive conversations
15
35420
3126
Projektas suteikia interaktyvių pokalbių
galimybę,
galimybę,
00:50
with a hologram
of a real Holocaust survivor.
of a real Holocaust survivor.
16
38570
2556
kai kalbama su žmogaus, išgyvenusio
Holokaustą, holograma.
Holokaustą, holograma.
00:53
(Video) Man: How did you
survive the Holocaust?
survive the Holocaust?
17
41793
1966
(Video) Vyras: „Kaip išgyvenote
Holokaustą?“
Holokaustą?“
00:55
(Video) Hologram: How did I survive?
18
43783
1668
Holograma: „Kaip išgyvenau?
00:57
I survived,
19
45912
1807
Aš išgyvenau,
01:00
I believe,
20
48419
1527
turbūt todėl,
01:01
because providence watched over me.
21
49970
3023
kad mane saugojo Dievas.“
01:05
SS: Turns out these answers
were prerecorded in a studio.
were prerecorded in a studio.
22
53573
3454
Kalbėtojas: Iš tiesų, atsakymai buvo
įrašyti studijoje,
įrašyti studijoje,
01:09
Yet the effect is astounding.
23
57051
2452
bet efektas nepaprastas.
01:11
You feel so connected to his story
and to him as a person.
and to him as a person.
24
59527
3619
Jautiesi susijęs su jo istorija
ir su juo, kaip asmenybe.
ir su juo, kaip asmenybe.
01:16
I think there's something special
about human interaction
about human interaction
25
64011
3301
Manau, kad yra kažkas ypatingo, kas
padaro žmonių bendravimą
padaro žmonių bendravimą
01:19
that makes it much more profound
26
67336
2757
daug gilesniu,
01:22
and personal
27
70117
2198
asmeniškesniu.
01:24
than what books or lectures
or movies could ever teach us.
or movies could ever teach us.
28
72339
3485
Knygos ar paskaitos niekada
taip nesudomintų.
taip nesudomintų.
01:28
So I saw this and began to wonder,
29
76267
2425
Pamatęs tai, aš galvojau,
01:30
can we create a model
like this for anyone?
like this for anyone?
30
78716
2810
ar galime sukurti tokį modelį bet kokiam
asmeniui?
asmeniui?
01:33
A model that looks, talks
and acts just like them?
and acts just like them?
31
81550
2975
Modelį, kuris atrodo, kalba ir elgiasi
taip, kaip tas žmogus?
taip, kaip tas žmogus?
01:37
So I set out to see if this could be done
32
85573
2007
Nuspręndžiau pamatyti ar galima
01:39
and eventually came up with a new solution
33
87604
2310
tai padaryti, ir atradau naują sprendimą,
01:41
that can build a model of a person
using nothing but these:
using nothing but these:
34
89938
3220
kuris gali sukurti asmens
modelį vien tik iš
modelį vien tik iš
01:45
existing photos and videos of a person.
35
93747
2214
jau esamų žmogaus nuotraukų
bei vaizdo įrašų.
bei vaizdo įrašų.
01:48
If you can leverage
this kind of passive information,
this kind of passive information,
36
96701
2617
Jei galima panaudoti tokią
pasyvią informaciją t. y.
pasyvią informaciją t. y.
01:51
just photos and video that are out there,
37
99342
2007
nuotraukas ir vaizdo įrašus,
01:53
that's the key to scaling to anyone.
38
101373
2056
taptų įmanoma atvaizduoti kiekvieną
asmenį.
asmenį.
01:56
By the way, here's Richard Feynman,
39
104119
1777
Beje, tai yra Richard Feynman,
01:57
who in addition to being
a Nobel Prize winner in physics
a Nobel Prize winner in physics
40
105920
3413
kuris yra ne tik Nobelio premijos
laureatas fizikos srityje,
laureatas fizikos srityje,
02:01
was also known as a legendary teacher.
41
109357
2453
bet ir garsus mokytojas.
02:05
Wouldn't it be great
if we could bring him back
if we could bring him back
42
113080
2198
Argi nebūtų puiku, jei
galėtume jį susigrąžinti
galėtume jį susigrąžinti
02:07
to give his lectures
and inspire millions of kids,
and inspire millions of kids,
43
115302
3265
ir per jį dėstyti ir įkvėpti
milijonus vaikų?
milijonus vaikų?
02:10
perhaps not just in English
but in any language?
but in any language?
44
118591
2992
O jei paskaitos vyktų ne tik
anglų kalba?
anglų kalba?
02:14
Or if you could ask our grandparents
for advice and hear those comforting words
for advice and hear those comforting words
45
122441
4602
Arba jei galėtumėte paklausti
patarimo savo mirusių senelių ir
patarimo savo mirusių senelių ir
02:19
even if they're no longer with us?
46
127067
1770
išgirstumėte paguodos žodžius?
02:21
Or maybe using this tool,
book authors, alive or not,
book authors, alive or not,
47
129683
3396
Arba su šio įrankio pagalba būtų galima
išgirsti gyvus ir jau mirusius
išgirsti gyvus ir jau mirusius
02:25
could read aloud all of their books
for anyone interested.
for anyone interested.
48
133103
2937
autorius garsiai skaitančius savo knygas.
02:29
The creative possibilities
here are endless,
here are endless,
49
137199
2437
Kūrybinės galimybės beribės,
02:31
and to me, that's very exciting.
50
139660
1713
tad mane tai labai domina.
02:34
And here's how it's working so far.
51
142595
2002
Štai kaip tai veikia.
02:36
First, we introduce a new technique
52
144621
1667
Mes pristatome naują technologiją,
02:38
that can reconstruct a high-detailed
3D face model from any image
3D face model from any image
53
146312
4572
kuri atkuria detalų 3D veido modelį
iš bet kokios nuotraukos
iš bet kokios nuotraukos
02:42
without ever 3D-scanning the person.
54
150908
2119
be tikro asmens skenavimo.
02:45
And here's the same output model
from different views.
from different views.
55
153890
2642
Štai tas pats galutinis rezultatas
iš skirtingų pusių.
iš skirtingų pusių.
02:49
This also works on videos,
56
157969
1502
Technologija veikia ir su video,
02:51
by running the same algorithm
on each video frame
on each video frame
57
159495
2852
kai kievienam kadrui taikomas tas
pats algoritmas
pats algoritmas
02:54
and generating a moving 3D model.
58
162371
2222
ir sukuriamas judantis 3D modelis.
02:57
And here's the same
output model from different angles.
output model from different angles.
59
165538
2772
Štai tas pats modelis iš skirtingų kampų.
03:01
It turns out this problem
is very challenging,
is very challenging,
60
169933
2534
Ši technologija gali sukelti problemų,
03:04
but the key trick
is that we are going to analyze
is that we are going to analyze
61
172491
2525
bet svarbiausia yra išanalizuoti
03:07
a large photo collection
of the person beforehand.
of the person beforehand.
62
175040
2966
didelę asmens nuotraukų kolekciją
prieš pradedant kurti modelį.
prieš pradedant kurti modelį.
03:10
For George W. Bush,
we can just search on Google,
we can just search on Google,
63
178650
2539
George W. Bush galime surasti Google
03:14
and from that, we are able
to build an average model,
to build an average model,
64
182309
2499
ir iš to galime sukurti vidutinį modelį
03:16
an iterative, refined model
to recover the expression
to recover the expression
65
184832
3111
iteratyvų, tikslesnį modelį,
kuris atkurtų veido išraišką,
kuris atkurtų veido išraišką,
03:19
in fine details,
like creases and wrinkles.
like creases and wrinkles.
66
187967
2336
smulkias detalas, kaip
nelygumai ir raukšlės.
nelygumai ir raukšlės.
03:23
What's fascinating about this
67
191326
1403
Labiausiai stebina tai,
03:24
is that the photo collection
can come from your typical photos.
can come from your typical photos.
68
192753
3423
kad nuotraukų kolekciją gali sudaryti
jūsų įprastos fotografijos,
jūsų įprastos fotografijos,
03:28
It doesn't really matter
what expression you're making
what expression you're making
69
196200
2603
Nesvarbu, kokia veido išraiška
03:30
or where you took those photos.
70
198827
1885
ar kur fotografavotės.
03:32
What matters is
that there are a lot of them.
that there are a lot of them.
71
200736
2400
Svarbiausia yra turėti daug
tokių nuotraukų.
tokių nuotraukų.
03:35
And we are still missing color here,
72
203160
1736
Taigi dabar mums trūksta spalvų.
03:36
so next, we develop
a new blending technique
a new blending technique
73
204920
2348
Sukuriame naują suliejimo techniką,
03:39
that improves upon
a single averaging method
a single averaging method
74
207292
2836
kuri veikia geriau,
nei suvidurkinimo metodas,
nei suvidurkinimo metodas,
03:42
and produces sharp
facial textures and colors.
facial textures and colors.
75
210152
2818
ir sukuria tikslų veido
pavšių ir spalvas.
pavšių ir spalvas.
03:45
And this can be done for any expression.
76
213779
2771
Tai galima padaryti su bet kokia veido
išraiška.
išraiška.
03:49
Now we have a control
of a model of a person,
of a model of a person,
77
217485
2499
Statiškų nuotraukų sekos pagalba
galime valdyti
galime valdyti
03:52
and the way it's controlled now
is by a sequence of static photos.
is by a sequence of static photos.
78
220008
3795
šį naujai sukurtą žmogaus modelį.
03:55
Notice how the wrinkles come and go,
depending on the expression.
depending on the expression.
79
223827
3126
Priklausomai nuo išraiškos, raukšlės
tai atsiranda, tai išnyksta.
tai atsiranda, tai išnyksta.
04:00
We can also use a video
to drive the model.
to drive the model.
80
228109
2746
Taip pat modelio valdymui galime
naudoti vaizdo įrašą.
naudoti vaizdo įrašą.
04:02
(Video) Daniel Craig: Right, but somehow,
81
230879
2593
(Video.) Daniel Craig: „Žinoma, tačiau
kažkaip
kažkaip
04:05
we've managed to attract
some more amazing people.
some more amazing people.
82
233496
3771
mes sugebėjome pritraukti daug
nuostabių žmonių.“
nuostabių žmonių.“
04:10
SS: And here's another fun demo.
83
238021
1642
S. S.: Štai kita linksma ištrauka.
04:11
So what you see here
are controllable models
are controllable models
84
239687
2246
Tai, ką matote, yra iš internetinių
nuotraukų
nuotraukų
04:13
of people I built
from their internet photos.
from their internet photos.
85
241957
2444
sukurti valdomi žmonių modeliai.
04:16
Now, if you transfer
the motion from the input video,
the motion from the input video,
86
244425
2904
Jei perkeltume veiksmą iš pradinio
vaizdo įrašo,
vaizdo įrašo,
04:19
we can actually drive the entire party.
87
247353
2152
galėtume surengti tikrą vakarėlį.
04:21
George W. Bush:
It's a difficult bill to pass,
It's a difficult bill to pass,
88
249529
2172
George W. Bush: „Tokį įstatymą priimti
sunku,
sunku,
04:23
because there's a lot of moving parts,
89
251725
2303
nes yra daugybė kintamųjų
04:26
and the legislative processes can be ugly.
90
254052
5231
ir teisėkūros procesai gali būti
nemalonūs.“
nemalonūs.“
04:31
(Applause)
91
259307
1630
(Plojimai.)
04:32
SS: So coming back a little bit,
92
260961
1837
S. S.: Grižtant prie temos,
04:34
our ultimate goal, rather,
is to capture their mannerisms
is to capture their mannerisms
93
262822
3191
pagrindinis mūsų tikslas yra
įamžinti žmonių manierizmus
įamžinti žmonių manierizmus
04:38
or the unique way each
of these people talks and smiles.
of these people talks and smiles.
94
266037
3045
arba išskirtinius bruožus jiems
kalbant ar šypsantis.
kalbant ar šypsantis.
04:41
So to do that, can we
actually teach the computer
actually teach the computer
95
269106
2313
Ar mes galime išmokinti kompiuterį
04:43
to imitate the way someone talks
96
271443
2222
imituoti kalbantį žmogų
04:45
by only showing it
video footage of the person?
video footage of the person?
97
273689
2420
parodžius tik vaizdinę medžiagą?
04:48
And what I did exactly was,
I let a computer watch
I let a computer watch
98
276898
2577
Štai ką dariau – aš daviau kompiuteriui
peržiūrėti
peržiūrėti
04:51
14 hours of pure Barack Obama
giving addresses.
giving addresses.
99
279499
3277
14 val. trukusius įrašus, kai Barack Obama
sako savo kalbas.
sako savo kalbas.
04:55
And here's what we can produce
given only his audio.
given only his audio.
100
283443
3516
Štai, ką galima išgauti, turint tik
balso įrašą.
balso įrašą.
04:58
(Video) BO: The results are clear.
101
286983
1777
(Video.) B.O.: Rezultatai aiškūs.
05:00
America's businesses have created
14.5 million new jobs
14.5 million new jobs
102
288784
4349
Amerikos verslai sukūrė
14,5 mln. darbų
14,5 mln. darbų
05:05
over 75 straight months.
103
293157
2774
per 75 mėnesius.
05:07
SS: So what's being synthesized here
is only the mouth region,
is only the mouth region,
104
295955
2905
SS: Taigi pakeičiama yra tik burnos sritis
05:10
and here's how we do it.
105
298884
1540
ir štai, kaip tai daroma.
05:12
Our pipeline uses a neural network
106
300764
1826
Procesorius naudoja neutralų tinklą
05:14
to convert and input audio
into these mouth points.
into these mouth points.
107
302614
2936
garso įrašų konvertavimui
ir pritaikymui burnoms.
ir pritaikymui burnoms.
05:18
(Video) BO: We get it through our job
or through Medicare or Medicaid.
or through Medicare or Medicaid.
108
306547
4225
(Video.) B. O.: Tai gauname iš savo darbo
arba iš sveikatos draudimo.
arba iš sveikatos draudimo.
05:22
SS: Then we synthesize the texture,
enhance details and teeth,
enhance details and teeth,
109
310796
3420
S.S: Mes susintetiname tekstūrą,
patobuliname detales, dantis
patobuliname detales, dantis
05:26
and blend it into the head
and background from a source video.
and background from a source video.
110
314240
3074
ir suderiname su galva ir
fonu iš pirminio video.
fonu iš pirminio video.
05:29
(Video) BO: Women can get free checkups,
111
317338
1905
(Video.) B. O.: Moterims galima
pasitikrinti sveikatą
pasitikrinti sveikatą
05:31
and you can't get charged more
just for being a woman.
just for being a woman.
112
319267
2968
nemokamai. Lytis neturi daryti
įtakos kainai.
įtakos kainai.
05:34
Young people can stay
on a parent's plan until they turn 26.
on a parent's plan until they turn 26.
113
322973
3306
Jauni žmonės gali gyventi su tėvais
iki 26 metų.
iki 26 metų.
05:39
SS: I think these results
seem very realistic and intriguing,
seem very realistic and intriguing,
114
327267
2952
S. S.: Manau, šie rezultatai realistiški
ir intriguojantys,
ir intriguojantys,
05:42
but at the same time
frightening, even to me.
frightening, even to me.
115
330243
3173
be tuo pat metu ir gąsdinantys.
05:45
Our goal was to build an accurate model
of a person, not to misrepresent them.
of a person, not to misrepresent them.
116
333440
4015
Mūsų tikslas buvo sukurti tikslų žmogaus
modelį, o ne jo kopiją.
modelį, o ne jo kopiją.
05:49
But one thing that concerns me
is its potential for misuse.
is its potential for misuse.
117
337956
3111
Labiausiai gąsdina tikimybė, kad
tai bus netinkamai panaudota.
tai bus netinkamai panaudota.
05:53
People have been thinking
about this problem for a long time,
about this problem for a long time,
118
341958
2971
Žmonės ilgai mąstė apie šią problemą
05:56
since the days when Photoshop
first hit the market.
first hit the market.
119
344953
2381
nuo to laiko, kai atsirado Photoshop.
05:59
As a researcher, I'm also working
on countermeasure technology,
on countermeasure technology,
120
347862
3801
Kaip tyrėjas, taip pat kuriu
grėsmių neutralizavimo technologiją.
grėsmių neutralizavimo technologiją.
06:03
and I'm part of an ongoing
effort at AI Foundation,
effort at AI Foundation,
121
351687
2942
Prisidedu prie AI Foundation veiklos,
06:06
which uses a combination
of machine learning and human moderators
of machine learning and human moderators
122
354653
3397
kuri pasitelkia mašininį bei žmogaus
intelektą
intelektą
06:10
to detect fake images and videos,
123
358074
2144
netikrų nuotraukų ar įrašų aptikimui.
06:12
fighting against my own work.
124
360242
1514
Tai kova su mano kūriniu.
06:14
And one of the tools we plan to release
is called Reality Defender,
is called Reality Defender,
125
362675
3190
Planuojame pristatyti įrangą pavadinimu
„Realybės gynėjas“.
„Realybės gynėjas“.
06:17
which is a web-browser plug-in
that can flag potentially fake content
that can flag potentially fake content
126
365889
4039
Tai interneto naršyklės plėtinys,
galintis pranešti apie suklastotą
galintis pranešti apie suklastotą
06:21
automatically, right in the browser.
127
369952
2533
turinį automatiškai,
tiesiogiai naršyklėje.
tiesiogiai naršyklėje.
06:24
(Applause)
128
372509
4228
(Plojimai.)
06:28
Despite all this, though,
129
376761
1453
Nepaisant viso to,
06:30
fake videos could do a lot of damage,
130
378238
1840
netikri vaizdo įrašai gali pridaryti
daug žalos
daug žalos
06:32
even before anyone has a chance to verify,
131
380102
3294
dar prieš kam nors patikrinant.
06:35
so it's very important
that we make everyone aware
that we make everyone aware
132
383420
2722
Labai svarbu, kad būtume informuoti
apie tai,
apie tai,
06:38
of what's currently possible
133
386166
2007
kas dabar vyksta, ir turėtume teisingą
06:40
so we can have the right assumption
and be critical about what we see.
and be critical about what we see.
134
388197
3369
požiūrį ir galėtume kritiškai vertinti
tai, ką matome.
tai, ką matome.
06:44
There's still a long way to go before
we can fully model individual people
we can fully model individual people
135
392423
5007
Sėkmingam individualaus asmens modeliui
bei patikimai šios technologijos apsaugai
bei patikimai šios technologijos apsaugai
06:49
and before we can ensure
the safety of this technology.
the safety of this technology.
136
397454
2786
sukurti dar reikia daug darbo.
06:53
But I'm excited and hopeful,
137
401097
1587
Aš viliuosi, kad
06:54
because if we use it right and carefully,
138
402708
3539
tinkamas ir atsargus
šio įrankio naudojimas
šio įrankio naudojimas
06:58
this tool can allow any individual's
positive impact on the world
positive impact on the world
139
406271
4309
gali suteikti teigiamą
poveikį
poveikį
07:02
to be massively scaled
140
410604
2190
dideliu mastu
07:04
and really help shape our future
the way we want it to be.
the way we want it to be.
141
412818
2742
bei padėti formuoti savo ateitį taip,
kaip norime.
kaip norime.
07:07
Thank you.
142
415584
1151
Ačiū.
07:08
(Applause)
143
416759
5090
(Plojimai.)
ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientistSupasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.
Why you should listen
Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.
Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.
Supasorn Suwajanakorn | Speaker | TED.com