ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.

Why you should listen

Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.

Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.

More profile about the speaker
Supasorn Suwajanakorn | Speaker | TED.com
TED2018

Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them

Supasorn Suwajanakorn: Video falsi di persone reali - e come scoprirli

Filmed:
1,453,308 views

Pensate di essere bravi a scoprire video falsi, dove gente famosa dice frasi mai dette nella vita reale? Guardate come vengono realizzati in questo sorprendente talk e demo tecnologica. Lo scienziato informatico Supasorn Suwajanakorn rivela come, da studente universitario, ha usato l'intelligenza artificiale e la rappresentazione 3D per creare video di persone, falsi ma realistici, sincronizzati con l'audio. Un intervento per saperne di più sia sulle implicazioni etiche, che sulle potenzialità di questa tecnologia, oltre che sui passi intrapresi per combatterne l'uso improprio.
- Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio

Double-click the English transcript below to play the video.

Guardate queste immagini.
00:12
Look at these imagesimmagini.
0
876
1151
00:14
Now, tell me whichquale ObamaObama here is realvero.
1
2051
2635
Ditemi quale Obama è reale.
00:16
(VideoVideo) BarackBarack ObamaObama: To help familiesfamiglie
refinancerifinanziare theirloro homesle case,
2
4710
2861
(Video) Barack Obama: Gli aiuti
alle famiglie per la casa,
00:19
to investinvestire in things
like high-techHigh Tech manufacturingproduzione,
3
7595
2647
gli investimenti per l'alta tecnologia,
00:22
cleanpulito energyenergia
4
10266
1159
energia pulita
00:23
and the infrastructureinfrastruttura
that createscrea good newnuovo jobslavori.
5
11449
2779
ed infrastrutture che creano
nuove opportunità di lavoro.
00:26
SupasornSupasorn SuwajanakornSuwajanakorn: AnyoneChiunque?
6
14647
1484
Supason Auwajanakorn: Qual è?
00:28
The answerrisposta is nonenessuna of them.
7
16155
1874
La risposta è: neanche uno.
00:30
(LaughterRisate)
8
18053
1114
(Risate)
00:31
NoneNessuno of these is actuallyin realtà realvero.
9
19191
1786
Neanche uno di questi è reale.
00:33
So let me tell you how we got here.
10
21001
1840
Lasciate che vi racconti
come ci siamo arrivati.
00:35
My inspirationispirazione for this work
11
23940
1578
L'ispirazione per questo lavoro
00:37
was a projectprogetto meantsignificava to preserveconserva our last
chanceopportunità for learningapprendimento about the HolocaustOlocausto
12
25542
5411
mi è venuta da un progetto volto
a preservare l'ultima chance
di approfondire l'Olocausto,
grazie al racconto dei sopravvissuti.
00:42
from the survivorssopravvissuti.
13
30977
1768
00:44
It's calledchiamato NewNuovo DimensionsDimensioni in TestimonyTestimonianza,
14
32769
2627
Si chiama 'New Dimensions in Testimony'
00:47
and it allowsconsente you to have
interactiveinterattivo conversationsconversazioni
15
35420
3126
e vi permette di conversare
00:50
with a hologramologramma
of a realvero HolocaustOlocausto survivorSurvivor.
16
38570
2556
con l'ologramma
di un reale superstite dell'Olocausto.
(Video) Uomo: Com'è sopravvissuto
all'Olocausto?
00:53
(VideoVideo) Man: How did you
survivesopravvivere the HolocaustOlocausto?
17
41793
1966
00:55
(VideoVideo) HologramOlogramma: How did I survivesopravvivere?
18
43783
1668
(Video) Ologramma:
Come sono sopravvissuto?
00:57
I survivedsopravvissuto,
19
45912
1807
Sono sopravvissuto,
01:00
I believe,
20
48419
1527
io credo,
01:01
because providenceProvvidenza watchedguardato over me.
21
49970
3023
per un disegno della provvidenza.
01:05
SSSS: TurnsSi trasforma out these answersrisposte
were prerecordedpreregistrati in a studiostudio.
22
53573
3454
SS: Queste risposte erano state registrate
in precedenza in uno studio.
01:09
YetAncora the effecteffetto is astoundingsbalorditivo.
23
57051
2452
Eppure l'effetto è sorprendente.
01:11
You feel so connectedcollegato to his storystoria
and to him as a personpersona.
24
59527
3619
Ci si sente davvero legati alla sua storia
e a lui come persona.
01:16
I think there's something specialspeciale
about humanumano interactioninterazione
25
64011
3301
Penso che ci sia qualcosa di speciale
nelle interazioni umane
01:19
that makesfa it much more profoundprofondo
26
67336
2757
che le rende più profonde
01:22
and personalpersonale
27
70117
2198
e intime
01:24
than what bookslibri or lectureslezioni
or moviesfilm could ever teachinsegnare us.
28
72339
3485
rispetto a quanto possano insegnare
libri, conferenze o film.
Ho visto questo filmato
e ho cominciato a chiedermi:
01:28
So I saw this and beganiniziato to wondermeravigliarsi,
29
76267
2425
possiamo creare una rappresentazione 3D
come questa per chiunque?
01:30
can we createcreare a modelmodello
like this for anyonechiunque?
30
78716
2810
01:33
A modelmodello that lookssembra, talkstrattativa
and actsatti just like them?
31
81550
2975
Una rappresentazione 3D che vede,
parla e agisce come le persone?
Ho deciso di scoprire se lo si poteva fare
01:37
So I setimpostato out to see if this could be donefatto
32
85573
2007
01:39
and eventuallyinfine cameè venuto up with a newnuovo solutionsoluzione
33
87604
2310
e alla fine sono arrivato
ad una nuova soluzione
01:41
that can buildcostruire a modelmodello of a personpersona
usingutilizzando nothing but these:
34
89938
3220
che può creare un un modello di persona
usando nient'altro che questi:
01:45
existingesistente photosfotografie and videosvideo of a personpersona.
35
93747
2214
foto e video esistenti di una persona.
Se si possono sfruttare
questo tipo di informazioni passive,
01:48
If you can leverageleva
this kindgenere of passivepassivo informationinformazione,
36
96701
2617
01:51
just photosfotografie and videovideo that are out there,
37
99342
2007
foto e video che sono in circolazione,
01:53
that's the keychiave to scalingscalata to anyonechiunque.
38
101373
2056
questo è il modo per riprodurre chiunque.
01:56
By the way, here'secco RichardRichard FeynmanFeynman,
39
104119
1777
A proposito, lui è Richard Feynman,
01:57
who in additionaggiunta to beingessere
a NobelNobel PrizePremio winnervincitore in physicsfisica
40
105920
3413
che, oltre ad aver vinto
il premio Nobel per la fisica,
02:01
was alsoanche knownconosciuto as a legendaryleggendario teacherinsegnante.
41
109357
2453
era anche un insegnante leggendario.
Non sarebbe grandioso
se potessimo riportarlo indietro
02:05
Wouldn'tNon sarebbe it be great
if we could bringportare him back
42
113080
2198
02:07
to give his lectureslezioni
and inspireispirare millionsmilioni of kidsbambini,
43
115302
3265
a tenere le sue lezioni
ed ispirare milioni di ragazzi,
02:10
perhapsForse not just in EnglishInglese
but in any languageLingua?
44
118591
2992
non solo in lingua inglese
ma in tutte le altre lingue?
02:14
Or if you could askChiedere our grandparentsnonni
for adviceconsigli and hearsentire those comfortingconfortante wordsparole
45
122441
4602
O se potessimo chiedere consiglio ai nonni
e sentire le loro parole di conforto
02:19
even if they're no longerpiù a lungo with us?
46
127067
1770
anche se non sono più con noi?
O forse, utilizzando questo strumento,
scrittori, vivi o no,
02:21
Or maybe usingutilizzando this toolstrumento,
booklibro authorsautori, alivevivo or not,
47
129683
3396
02:25
could readleggere aloudad alta voce all of theirloro bookslibri
for anyonechiunque interestedinteressato.
48
133103
2937
potrebbero leggere tutti i loro libri
ad alta voce a chiunque fosse interessato.
02:29
The creativecreativo possibilitiespossibilità
here are endlessinfinito,
49
137199
2437
Le possibilità sono infinite
02:31
and to me, that's very excitingemozionante.
50
139660
1713
e, a mio parere,
la questione è appassionante.
02:34
And here'secco how it's workinglavoro so farlontano.
51
142595
2002
Ad oggi, funziona in questo modo.
Primo, introduciamo una nuova tecnica
02:36
First, we introduceintrodurre a newnuovo techniquetecnica
52
144621
1667
02:38
that can reconstructricostruire a high-detailedalto-dettagliato
3D faceviso modelmodello from any imageImmagine
53
146312
4572
che può ricostruire un modello facciale 3D
altamente accurato da qualsiasi immagine
02:42
withoutsenza ever 3D-scanningD-scansione the personpersona.
54
150908
2119
senza mai eseguire
la scansione 3D della persona.
02:45
And here'secco the samestesso outputproduzione modelmodello
from differentdiverso viewsvisualizzazioni.
55
153890
2642
Questa è la stessa rappresentazione
partendo da differenti angolazioni.
02:49
This alsoanche workslavori on videosvideo,
56
157969
1502
Funziona anche con i video,
02:51
by runningin esecuzione the samestesso algorithmalgoritmo
on eachogni videovideo frametelaio
57
159495
2852
eseguendo lo stesso algoritmo
su ogni fotogramma video
02:54
and generatinggeneratrice a movingin movimento 3D modelmodello.
58
162371
2222
e generando una rappresentazione 3D
in movimento.
02:57
And here'secco the samestesso
outputproduzione modelmodello from differentdiverso anglesangoli.
59
165538
2772
Questa è la stessa rappresentazione
da diverse angolazioni.
In effetti, tale tecnica
è molto complessa,
03:01
It turnsgiri out this problemproblema
is very challengingstimolante,
60
169933
2534
ma il fulcro è che andremo ad analizzare
03:04
but the keychiave tricktrucco
is that we are going to analyzeanalizzare
61
172491
2525
03:07
a largegrande photofoto collectioncollezione
of the personpersona beforehandin anticipo.
62
175040
2966
preliminarmente un grande numero
di immagini della persona.
03:10
For GeorgeGeorge W. BushBush,
we can just searchricerca on GoogleGoogle,
63
178650
2539
Per George W. Bush,
basta cercare foto su Google
e da quelle possiamo creare
un modello medio,
03:14
and from that, we are ablecapace
to buildcostruire an averagemedia modelmodello,
64
182309
2499
una rappresentazione definita, iterativa
per recuperare l'espressione
03:16
an iterativeiterativo, refinedraffinato modelmodello
to recoverrecuperare the expressionespressione
65
184832
3111
03:19
in fine detailsdettagli,
like creasespieghe and wrinklesrughe.
66
187967
2336
nei minimi dettagli,
come grinze e rughe d'espressione.
03:23
What's fascinatingaffascinante about this
67
191326
1403
Ciò che affascina
03:24
is that the photofoto collectioncollezione
can come from your typicaltipico photosfotografie.
68
192753
3423
è che la raccolta fotografica
può derivare dalle vostre tipiche foto.
03:28
It doesn't really matterimporta
what expressionespressione you're makingfabbricazione
69
196200
2603
Non è importante l'espressione
03:30
or where you tookha preso those photosfotografie.
70
198827
1885
o dove sono state scattate le foto.
03:32
What mattersquestioni is
that there are a lot of them.
71
200736
2400
Ciò che importa è averne molte.
03:35
And we are still missingmancante colorcolore here,
72
203160
1736
E qui non abbiamo ancora i colori,
quindi sviluppiamo
una nuova tecnica di fusione
03:36
so nextIl prossimo, we developsviluppare
a newnuovo blendingmescolanza techniquetecnica
73
204920
2348
03:39
that improvesmigliora uponsu
a singlesingolo averagingin media methodmetodo
74
207292
2836
che perfeziona il metodo a media singola
03:42
and producesproduce sharpacuto
facialtrattamento viso texturestexture and colorscolori.
75
210152
2818
e produce strutture facciali
e colori nitidi.
03:45
And this can be donefatto for any expressionespressione.
76
213779
2771
Ciò può essere fatto per ogni espressione.
Ora abbiamo il controllo
del modello di una persona
03:49
Now we have a controlcontrollo
of a modelmodello of a personpersona,
77
217485
2499
03:52
and the way it's controlledcontrollata now
is by a sequencesequenza of staticstatici photosfotografie.
78
220008
3795
che viene gestito
tramite una sequenza di foto statiche.
03:55
NoticeAvviso how the wrinklesrughe come and go,
dependingdipendente on the expressionespressione.
79
223827
3126
Notate come le rughe vanno e vengono
in base all'espressione,
Possiamo anche usare un video
per ottenere la rappresentazione 3D.
04:00
We can alsoanche use a videovideo
to driveguidare the modelmodello.
80
228109
2746
04:02
(VideoVideo) DanielDaniel CraigCraig: Right, but somehowin qualche modo,
81
230879
2593
(Video) Daniel Craig: Giusto,
ma in qualche modo,
04:05
we'venoi abbiamo managedgestito to attractattirare
some more amazingStupefacente people.
82
233496
3771
siamo riusciti ad attrarre
persone più interessanti.
04:10
SSSS: And here'secco anotherun altro fundivertimento demoDemo.
83
238021
1642
SS: Ecco un'altra demo divertente.
04:11
So what you see here
are controllablecontrollabile modelsModelli
84
239687
2246
Quello che vedete qui
sono modelli controllabili di persone
04:13
of people I builtcostruito
from theirloro internetInternet photosfotografie.
85
241957
2444
che ho costruito dalle loro foto
su internet.
04:16
Now, if you transfertrasferimento
the motionmovimento from the inputingresso videovideo,
86
244425
2904
Trasferendo il movimento
dal video in ingresso,
04:19
we can actuallyin realtà driveguidare the entireintero partypartito.
87
247353
2152
possiamo gestire tutto il gruppo.
George W. Bush: È difficile
far approvare questa legge,
04:21
GeorgeGeorge W. BushBush:
It's a difficultdifficile billconto to passpassaggio,
88
249529
2172
04:23
because there's a lot of movingin movimento partsparti,
89
251725
2303
perché ci sono troppi emendamenti,
04:26
and the legislativelegislativo processesprocessi can be uglybrutta.
90
254052
5231
e il percorso legislativo
può essere insidioso.
04:31
(ApplauseApplausi)
91
259307
1630
(Applausi)
SS: Per fare un passo indietro,
04:32
SSSS: So comingvenuta back a little bitpo,
92
260961
1837
il nostro obiettivo ultimo, piuttosto,
è catturare le loro tipicità espressive
04:34
our ultimatefinale goalobbiettivo, ratherpiuttosto,
is to capturecatturare theirloro mannerismsmanierismi
93
262822
3191
04:38
or the uniqueunico way eachogni
of these people talkstrattativa and smilessorrisi.
94
266037
3045
o il modo unico in cui ciascuna
di queste persone parla e sorride.
04:41
So to do that, can we
actuallyin realtà teachinsegnare the computercomputer
95
269106
2313
Per farlo, possiamo insegnare ai computer
04:43
to imitateimitare the way someonequalcuno talkstrattativa
96
271443
2222
a imitare il modo in cui uno parla
04:45
by only showingmostrando it
videovideo footagemetraggio of the personpersona?
97
273689
2420
mostrando solo la ripresa video
di quella persona?
04:48
And what I did exactlydi preciso was,
I let a computercomputer watch
98
276898
2577
Quello che ho fatto, è stato
far guardare al computer
04:51
14 hoursore of purepuro BarackBarack ObamaObama
givingdando addressesindirizzi.
99
279499
3277
14 ore di discorsi tenuti da Barack Obama.
04:55
And here'secco what we can produceprodurre
givendato only his audioAudio.
100
283443
3516
Questo è ciò che possiamo produrre
solo con il suo audio.
04:58
(VideoVideo) BOBO: The resultsrisultati are clearchiaro.
101
286983
1777
(Video) BO: I risultati sono chiari.
05:00
America'sDi America businessesaziende have createdcreato
14.5 millionmilione newnuovo jobslavori
102
288784
4349
Le imprese americane hanno creato
14,5 milioni di nuovi posti di lavoro
05:05
over 75 straightdritto monthsmesi.
103
293157
2774
per 75 mesi di fila.
05:07
SSSS: So what's beingessere synthesizedsintetizzato here
is only the mouthbocca regionregione,
104
295955
2905
SS: Qui abbiamo sintetizzato
solo la zona della bocca,
05:10
and here'secco how we do it.
105
298884
1540
in questo modo.
Le sequenze lineari usano una rete neurale
05:12
Our pipelineconduttura usesusi a neuralneurale networkRete
106
300764
1826
05:14
to convertconvertire and inputingresso audioAudio
into these mouthbocca pointspunti.
107
302614
2936
per convertire un input audio
in questi punti della labbra.
05:18
(VideoVideo) BOBO: We get it throughattraverso our joblavoro
or throughattraverso MedicareMedicare or MedicaidMedicaid.
108
306547
4225
(Video) BO: È grazie al nostro lavoro,
o grazie a Medicare, o Medicaid.
05:22
SSSS: Then we synthesizesintetizzare the texturestruttura,
enhanceaccrescere detailsdettagli and teethdenti,
109
310796
3420
SS: Dopo sintetizziamo la struttura,
miglioriamo dettagli e dentatura,
05:26
and blendmiscela it into the headcapo
and backgroundsfondo from a sourcefonte videovideo.
110
314240
3074
e li uniamo alla testa e allo sfondo,
presi da un video sorgente.
05:29
(VideoVideo) BOBO: WomenDonne can get freegratuito checkupsvisite di controllo,
111
317338
1905
(Video) BO: Per le donne checkup gratuiti,
05:31
and you can't get chargedcarico more
just for beingessere a womandonna.
112
319267
2968
e non dovranno pagare di più
solo per il fatto di essere donne.
05:34
YoungGiovani people can stayrestare
on a parent'sdi padre planPiano untilfino a they turnturno 26.
113
322973
3306
I giovani potranno rimanere
a carico dei genitori fino a 26 anni.
05:39
SSSS: I think these resultsrisultati
seemsembrare very realisticrealistico and intriguingintrigante,
114
327267
2952
SS: Penso che questi risultati
siano realistici ed intriganti,
05:42
but at the samestesso time
frighteningspaventoso, even to me.
115
330243
3173
ma allo stesso tempo fanno paura,
persino a me.
05:45
Our goalobbiettivo was to buildcostruire an accuratepreciso modelmodello
of a personpersona, not to misrepresenttravisare them.
116
333440
4015
Il nostro obiettivo era un modello 3D
accurato, non una falsificazione.
05:49
But one thing that concernspreoccupazioni me
is its potentialpotenziale for misuseuso improprio.
117
337956
3111
Ciò che mi preoccupa
è l'abuso che potrebbe derivarne.
05:53
People have been thinkingpensiero
about this problemproblema for a long time,
118
341958
2971
Le persone si occupano di questo
problema da molto tempo,
05:56
sinceda the daysgiorni when PhotoshopPhotoshop
first hitcolpire the marketmercato.
119
344953
2381
da quando Photoshop apparve
per la prima volta sul mercato.
05:59
As a researcherricercatore, I'm alsoanche workinglavoro
on countermeasurecontromisura technologytecnologia,
120
347862
3801
Come ricercatore, sto anche lavorando
su una tecnologia di contromisura,
06:03
and I'm partparte of an ongoingin corso
effortsforzo at AIAI FoundationFondazione,
121
351687
2942
e faccio parte di un progetto
in corso alla AI Foundation,
06:06
whichquale usesusi a combinationcombinazione
of machinemacchina learningapprendimento and humanumano moderatorsModeratori
122
354653
3397
che usa un mix di apprendimento automatico
e moderatori umani
06:10
to detectindividuare fakefalso imagesimmagini and videosvideo,
123
358074
2144
per scoprire immagini e video falsi,
06:12
fightingcombattente againstcontro my ownproprio work.
124
360242
1514
combattendo contro il mio stesso lavoro.
06:14
And one of the toolsutensili we planPiano to releaseliberare
is calledchiamato RealityRealtà DefenderDifensore,
125
362675
3190
Uno dei dispositivi prossimi al lancio
si chiama 'Reality Defender',
06:17
whichquale is a web-browserbrowser Web plug-inplug-in
that can flagbandiera potentiallypotenzialmente fakefalso contentsoddisfare
126
365889
4039
un'estensione delle funzioni del browser
in grado di segnalare contenuti falsi
06:21
automaticallyautomaticamente, right in the browserBrowser.
127
369952
2533
in automatico, direttamente nel browser.
06:24
(ApplauseApplausi)
128
372509
4228
(Applausi)
Nonostante questo, tuttavia,
06:28
DespiteNonostante all this, thoughanche se,
129
376761
1453
i video falsi
possono arrecare molti danni,
06:30
fakefalso videosvideo could do a lot of damagedanno,
130
378238
1840
06:32
even before anyonechiunque has a chanceopportunità to verifyverificare,
131
380102
3294
persino prima che qualcuno
abbia l'opportunità di verificarli,
06:35
so it's very importantimportante
that we make everyonetutti awareconsapevole
132
383420
2722
quindi è molto importante
che rendiamo tutti consapevoli
06:38
of what's currentlyattualmente possiblepossibile
133
386166
2007
di ciò che è attualmente possibile
06:40
so we can have the right assumptionassunzione
and be criticalcritico about what we see.
134
388197
3369
così da partire dal presupposto giusto
ed essere critici su ciò che vediamo.
06:44
There's still a long way to go before
we can fullycompletamente modelmodello individualindividuale people
135
392423
5007
Manca ancora molto prima di poter
creare modelli completi di una persona
06:49
and before we can ensuregarantire
the safetysicurezza of this technologytecnologia.
136
397454
2786
e prima di poter garantire
la sicurezza di questa tecnologia.
Ma sono pieno
di entusiasmo e speranza,
06:53
But I'm excitedemozionato and hopefulpieno di speranza,
137
401097
1587
06:54
because if we use it right and carefullyaccuratamente,
138
402708
3539
perché se usato bene e attentamente,
06:58
this toolstrumento can allowpermettere any individual'sdell'individuo
positivepositivo impacturto on the worldmondo
139
406271
4309
questo strumento può far sì
che il nostro impatto positivo sul mondo
07:02
to be massivelymassicciamente scaledscalato
140
410604
2190
possa essere fortemente accresciuto
e contribuire a plasmare il futuro
nel modo in cui vogliamo che sia.
07:04
and really help shapeforma our futurefuturo
the way we want it to be.
141
412818
2742
07:07
Thank you.
142
415584
1151
Grazie.
07:08
(ApplauseApplausi)
143
416759
5090
(Applausi)
Translated by Gabriella Patricola
Reviewed by Paola Forti

▲Back to top

ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.

Why you should listen

Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.

Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.

More profile about the speaker
Supasorn Suwajanakorn | Speaker | TED.com