ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.

Why you should listen

Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.

Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.

More profile about the speaker
Supasorn Suwajanakorn | Speaker | TED.com
TED2018

Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them

Supasorn Suwajanakorn: Vídeos falsos de pessoas reais — e como detetá-los

Filmed:
1,453,308 views

Acham que são bons em detetar vídeos falsos, onde pessoas famosas dizem coisas que nunca disseram na vida real? Vejam como são feitos, nesta surpreendente palestra e demonstração da tecnologia. Supasorn Suwajanakorn, cientista da Computação mostra como usou a AI e modelagem em 3D, enquanto estudante universitário, para criar vídeos falsos realistas de pessoas, sincronizados com áudio. Saibam mais sobre as implicações éticas e as possibilidades criativas desta tecnologia e os passos que estão a ser tomados para lutar contra o seu uso indevido.
- Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio

Double-click the English transcript below to play the video.

00:12
Look at these imagesimagens.
0
876
1151
Olhem para as imagens.
00:14
Now, tell me whichqual ObamaObama here is realreal.
1
2051
2635
Agora digam-me qual é o verdadeiro Obama.
Barack Obama: Ajudar famílias
a refinanciar as suas casas,
00:16
(VideoVídeo) BarackBarack ObamaObama: To help familiesfamílias
refinancerefinanciar theirdeles homescasas,
2
4710
2861
investir em fabrico de alta tecnologia,
00:19
to investinvestir in things
like high-techalta tecnologia manufacturingfabricação,
3
7595
2647
energia limpa
00:22
cleanlimpar \ limpo energyenergia
4
10266
1159
e nas infraestruturas
que criam novos empregos bons.
00:23
and the infrastructurea infraestrutura
that createscria good newNovo jobsempregos.
5
11449
2779
Supasorn Suwajanakorn: Qual deles?
00:26
SupasornSupasorn SuwajanakornSuwajanakorn: AnyoneQualquer um?
6
14647
1484
A resposta é: nenhum deles.
00:28
The answerresponda is noneNenhum of them.
7
16155
1874
(Risos)
00:30
(LaughterRiso)
8
18053
1114
00:31
NoneNenhum of these is actuallyna realidade realreal.
9
19191
1786
Nenhum deles é o verdadeiro.
00:33
So let me tell you how we got here.
10
21001
1840
Então vou dizer-vos
como chegámos a isto.
A minha inspiração para este trabalho
00:35
My inspirationinspiração for this work
11
23940
1578
00:37
was a projectprojeto meantsignificava to preservepreservar our last
chancechance for learningAprendendo about the HolocaustHolocausto
12
25542
5411
foi um projeto destinado a preservar
a nossa última oportunidade
de conhecer o Holocausto
através dos sobreviventes.
00:42
from the survivorssobreviventes.
13
30977
1768
Chama-se New Dimensions in Testimony,
00:44
It's calledchamado NewNovo DimensionsDimensões in TestimonyTestemunho,
14
32769
2627
00:47
and it allowspermite you to have
interactiveinterativo conversationsconversas
15
35420
3126
e permite ter conversas interativas
com um holograma
de um sobrevivente do Holocausto.
00:50
with a hologramholograma
of a realreal HolocaustHolocausto survivorsobrevivente.
16
38570
2556
(Vídeo) Como sobreviveu ao Holocausto?
00:53
(VideoVídeo) Man: How did you
survivesobreviver the HolocaustHolocausto?
17
41793
1966
00:55
(VideoVídeo) HologramHolograma: How did I survivesobreviver?
18
43783
1668
Como é que eu sobrevivi?
Sobrevivi...
00:57
I survivedsobreviveu,
19
45912
1807
01:00
I believe,
20
48419
1527
creio,
porque a Providência me protegeu.
01:01
because providenceProvidência watchedassisti over me.
21
49970
3023
01:05
SSSS: TurnsSe transforma out these answersresponde
were prerecordedpré-gravado in a studioestúdio.
22
53573
3454
SS: As respostas foram gravadas
de antemão num estúdio.
01:09
YetAinda the effectefeito is astoundingsurpreendente.
23
57051
2452
Apesar disso, o resultado é surpreendente.
01:11
You feel so connectedconectado to his storyhistória
and to him as a personpessoa.
24
59527
3619
Sentimo-nos muito interligados
àquela história e a ele como pessoa.
Acho que há algo de especial
na interação humana
01:16
I think there's something specialespecial
about humanhumano interactioninteração
25
64011
3301
que a torna muito mais profunda e pessoal
01:19
that makesfaz com que it much more profoundprofundo
26
67336
2757
01:22
and personalpessoal
27
70117
2198
do que quaisquer livros ou cursos
ou filmes nos podiam ensinar.
01:24
than what bookslivros or lecturespalestras
or moviesfilmes could ever teachEnsinar us.
28
72339
3485
Então, vi isto e comecei a pensar:
01:28
So I saw this and begancomeçasse to wondermaravilha,
29
76267
2425
Será possível criar um modelo destes
para qualquer pessoa?
01:30
can we createcrio a modelmodelo
like this for anyonealguém?
30
78716
2810
01:33
A modelmodelo that looksparece, talksfala
and actsatos just like them?
31
81550
2975
Um modelo que se pareça,
fale e aja como eles?
Tentei ver se era possível fazer isso
01:37
So I setconjunto out to see if this could be donefeito
32
85573
2007
01:39
and eventuallyeventualmente cameveio up with a newNovo solutionsolução
33
87604
2310
e acabei por arranjar uma nova solução
01:41
that can buildconstruir a modelmodelo of a personpessoa
usingusando nothing but these:
34
89938
3220
que pode criar um modelo
duma pessoa apenas com isto:
fotos e vídeos já existentes dessa pessoa.
01:45
existingexistir photosfotos and videosvídeos of a personpessoa.
35
93747
2214
Se pudermos utilizar este tipo
de informações passivas,
01:48
If you can leveragealavancagem
this kindtipo of passivepassiva informationem formação,
36
96701
2617
01:51
just photosfotos and videovídeo that are out there,
37
99342
2007
só fotos e vídeos que existem,
01:53
that's the keychave to scalingescalando to anyonealguém.
38
101373
2056
isso é suficiente
para recriar qualquer um.
Por falar nisso, este é Richard Feynman,
01:56
By the way, here'saqui está RichardRichard FeynmanFeynman,
39
104119
1777
01:57
who in additionAdição to beingser
a NobelNobel PrizePrêmio winnervencedora in physicsfísica
40
105920
3413
que, além de ter ganho
o Prémio Nobel da Física,
02:01
was alsoAlém disso knownconhecido as a legendarylendário teacherprofessor.
41
109357
2453
também era conhecido
como um professor lendário.
Não seria bom se o pudéssemos
fazer voltar
02:05
Wouldn'tNão it be great
if we could bringtrazer him back
42
113080
2198
02:07
to give his lecturespalestras
and inspireinspirar millionsmilhões of kidsfilhos,
43
115302
3265
para ensinar e inspirar
milhões de crianças,
02:10
perhapspossivelmente not just in EnglishInglês
but in any languagelíngua?
44
118591
2992
talvez não só em inglês
mas em qualquer língua?
02:14
Or if you could askpergunte our grandparentsavós
for adviceconselho and hearouvir those comfortingreconfortante wordspalavras
45
122441
4602
Ou pedir conselhos aos nossos avós
e ouvir aquelas palavras reconfortantes
apesar de já não estarem connosco?
02:19
even if they're no longermais longo with us?
46
127067
1770
02:21
Or maybe usingusando this toolferramenta,
booklivro authorsautores, alivevivo or not,
47
129683
3396
Ou talvez usar esta ferramenta
para escritores, vivos ou não,
02:25
could readler aloudem voz alta all of theirdeles bookslivros
for anyonealguém interestedinteressado.
48
133103
2937
poderem ler os seus livros,
em voz alta, para quem desejasse.
As possibilidades criativas são imensas.
02:29
The creativecriativo possibilitiespossibilidades
here are endlesssem fim,
49
137199
2437
02:31
and to me, that's very excitingemocionante.
50
139660
1713
Para mim, isto é muito entusiasmante.
Até aqui tem funcionado assim:
02:34
And here'saqui está how it's workingtrabalhando so farlonge.
51
142595
2002
02:36
First, we introduceintroduzir a newNovo techniquetécnica
52
144621
1667
Primeiro, introduzimos uma nova técnica
02:38
that can reconstructreconstruir a high-detailedalta-detalhada
3D facecara modelmodelo from any imageimagem
53
146312
4572
que recria um modelo muito pormenorizado,
em 3D, a partir de qualquer imagem
sem nunca digitalizar a pessoa.
02:42
withoutsem ever 3D-scanningD-digitalização the personpessoa.
54
150908
2119
Este é o modelo resultante,
visto de diferentes pontos de vista.
02:45
And here'saqui está the samemesmo outputsaída modelmodelo
from differentdiferente viewsvisualizações.
55
153890
2642
Isto também funciona com vídeos,
02:49
This alsoAlém disso workstrabalho on videosvídeos,
56
157969
1502
02:51
by runningcorrida the samemesmo algorithmalgoritmo de
on eachcada videovídeo framequadro, armação
57
159495
2852
executando o mesmo algoritmo
em cada quadro de vídeo
e gerando um modelo 3D móvel.
02:54
and generatinggerando a movingmovendo-se 3D modelmodelo.
58
162371
2222
E este é o modelo resultante
visto de diferentes ângulos.
02:57
And here'saqui está the samemesmo
outputsaída modelmodelo from differentdiferente anglesângulos.
59
165538
2772
Acontece que este problema
é muito estimulante,
03:01
It turnsgira out this problemproblema
is very challengingdesafiador,
60
169933
2534
mas o truque chave
é que nós vamos analisar
03:04
but the keychave tricktruque
is that we are going to analyzeanalisar
61
172491
2525
03:07
a largeampla photofoto collectioncoleção
of the personpessoa beforehandantecipadamente.
62
175040
2966
um grande conjunto de fotos
da pessoa, antecipadamente.
03:10
For GeorgeGeorge W. BushBush,
we can just searchpesquisa on GoogleGoogle,
63
178650
2539
No caso do George W. Bush,
basta pesquisarmos no Google,
e a partir daí, podemos
criar um modelo médio,
03:14
and from that, we are ablecapaz
to buildconstruir an averagemédia modelmodelo,
64
182309
2499
03:16
an iterativeiterativo, refinedrefinado modelmodelo
to recoverrecuperar the expressionexpressão
65
184832
3111
um modo interativo e melhorado,
para recuperar a expressão
03:19
in fine detailsdetalhes,
like creasesdobras and wrinklesrugas.
66
187967
2336
em pequenos pormenores,
como vincos na pele e rugas.
O fascinante nisto
03:23
What's fascinatingfascinante about this
67
191326
1403
03:24
is that the photofoto collectioncoleção
can come from your typicaltípica photosfotos.
68
192753
3423
é que o conjunto de fotos pode ser
proveniente das nossas fotos vulgares.
03:28
It doesn't really matterimportam
what expressionexpressão you're makingfazer
69
196200
2603
Não faz diferença
que expressão estamos a fazer
ou o lugar onde fomos fotografados.
03:30
or where you tooktomou those photosfotos.
70
198827
1885
O importante é que haja muitas.
03:32
What mattersimporta is
that there are a lot of them.
71
200736
2400
E ainda não incluímos aqui a cor,
03:35
And we are still missingausência de colorcor here,
72
203160
1736
03:36
so nextPróximo, we developdesenvolve
a newNovo blendingMisturando techniquetécnica
73
204920
2348
por isso, desenvolvemos
uma nova técnica de mistura
03:39
that improvesmelhora uponsobre
a singlesolteiro averaginguma média de methodmétodo
74
207292
2836
que melhora qualquer
simples método médio
03:42
and producesproduz sharpafiado
facialtratamento facial texturestexturas and colorscores.
75
210152
2818
e produz texturas
e cores faciais acentuadas.
03:45
And this can be donefeito for any expressionexpressão.
76
213779
2771
E pode ser feito para qualquer expressão.
03:49
Now we have a controlao controle
of a modelmodelo of a personpessoa,
77
217485
2499
Assim, temos o controlo
do modelo de uma pessoa,
03:52
and the way it's controlledcontrolada now
is by a sequenceseqüência of staticestático photosfotos.
78
220008
3795
e esse controlo é feito
por uma sequência de fotos estáticas.
Reparem como as rugas vêm e vão,
de acordo com a expressão.
03:55
NoticeAviso prévio how the wrinklesrugas come and go,
dependingdependendo on the expressionexpressão.
79
223827
3126
Também podemos usar um vídeo
para controlar o modelo.
04:00
We can alsoAlém disso use a videovídeo
to drivedirigir the modelmodelo.
80
228109
2746
Daniel Craig: Certo, mas de certa forma,
04:02
(VideoVídeo) DanielDaniel CraigCraig: Right, but somehowde alguma forma,
81
230879
2593
04:05
we'venós temos managedgerenciou to attractatrai
some more amazingsurpreendente people.
82
233496
3771
conseguimos atrair
pessoas mais incríveis.
SS: Esta é outra demo divertida.
04:10
SSSS: And here'saqui está anotheroutro funDiversão demodemo.
83
238021
1642
04:11
So what you see here
are controllablecontrolável modelsmodelos
84
239687
2246
O que vemos aqui são modelos controláveis
04:13
of people I builtconstruído
from theirdeles internetInternet photosfotos.
85
241957
2444
de pessoas que criei
a partir de fotos na Internet.
04:16
Now, if you transfertransferir
the motionmovimento from the inputentrada videovídeo,
86
244425
2904
Se transferirmos o movimento
do vídeo de entrada,
podemos controlar o grupo todo.
04:19
we can actuallyna realidade drivedirigir the entireinteira partyfesta.
87
247353
2152
George Bush:
É um projeto difícil de aprovar,
04:21
GeorgeGeorge W. BushBush:
It's a difficultdifícil billconta to passpassar,
88
249529
2172
porque tem muitas partes móveis,
04:23
because there's a lot of movingmovendo-se partspartes,
89
251725
2303
e os processos legislativos
podem ser terríveis.
04:26
and the legislativelegislativa processesprocessos can be uglyfeio.
90
254052
5231
(Aplausos)
04:31
(ApplauseAplausos)
91
259307
1630
SS: Voltando um pouco atrás,
04:32
SSSS: So comingchegando back a little bitpouco,
92
260961
1837
o nosso objetivo final
é captar os maneirismos
04:34
our ultimatefinal goalobjetivo, ratherem vez,
is to capturecapturar theirdeles mannerismsmaneirismos
93
262822
3191
04:38
or the uniqueúnico way eachcada
of these people talksfala and smilessorrisos.
94
266037
3045
ou seja, a maneira única como
cada uma dessas pessoas fala e sorri.
04:41
So to do that, can we
actuallyna realidade teachEnsinar the computercomputador
95
269106
2313
Para isso, será que podemos
ensinar o computador
04:43
to imitateimitar the way someonealguém talksfala
96
271443
2222
a imitar a forma como alguém fala
04:45
by only showingmostrando it
videovídeo footagecenas of the personpessoa?
97
273689
2420
mostrando-lhe apenas
gravações de vídeos dessa pessoa?
04:48
And what I did exactlyexatamente was,
I let a computercomputador watch
98
276898
2577
Pus um computador a ver,
durante 14 horas,
04:51
14 hourshoras of purepuro BarackBarack ObamaObama
givingdando addressesendereços.
99
279499
3277
Barack Obama dando endereços.
04:55
And here'saqui está what we can produceproduzir
givendado only his audioáudio.
100
283443
3516
Isto é o que podemos criar
dado apenas o seu áudio.
BO: Os resultados são claros.
04:58
(VideoVídeo) BOBO: The resultsresultados are clearClaro.
101
286983
1777
As empresas nos EUA criaram
14,5 milhões de novos empregos
05:00
America'sDo América businessesnegócios have createdcriada
14.5 millionmilhão newNovo jobsempregos
102
288784
4349
05:05
over 75 straightdireto monthsmeses.
103
293157
2774
durante mais de 75 meses seguidos.
05:07
SSSS: So what's beingser synthesizedsintetizado here
is only the mouthboca regionregião,
104
295955
2905
SS: O que está aqui a ser sintetizado
é só a região da boca.
05:10
and here'saqui está how we do it.
105
298884
1540
e é assim que fazemos isto.
05:12
Our pipelinepipeline usesusa a neuralneural networkrede
106
300764
1826
O nosso "pipeline" usa uma rede neural
05:14
to convertconverter and inputentrada audioáudio
into these mouthboca pointspontos.
107
302614
2936
para converter e introduzir o som
nestes pontos da boca.
05:18
(VideoVídeo) BOBO: We get it throughatravés our jobtrabalho
or throughatravés MedicareMedicare or MedicaidMedicaid.
108
306547
4225
"Prosseguimos com o nosso trabalho
com a Medicare ou com a Medicaid".
05:22
SSSS: Then we synthesizesintetizar the texturetextura,
enhancerealçar detailsdetalhes and teethdentes,
109
310796
3420
Depois, sintetizamos a textura,
retocamos os pormenores e os dentes
05:26
and blendmistura it into the headcabeça
and backgroundfundo from a sourcefonte videovídeo.
110
314240
3074
e introduzimo-la na cabeça
e no contexto de um vídeo.
05:29
(VideoVídeo) BOBO: WomenMulheres can get freelivre checkupscheck-ups,
111
317338
1905
"As mulheres podem fazer
"check-ups" gratuitos,
05:31
and you can't get chargedcarregada more
just for beingser a womanmulher.
112
319267
2968
"e não pagarão mais
só por serem mulheres.
"Os jovens podem manter-se
por conta do plano dos pais
05:34
YoungYoung people can stayfique
on a parent'sdo pai planplano untilaté they turnvirar 26.
113
322973
3306
"até aos 26 anos".
05:39
SSSS: I think these resultsresultados
seemparecem very realisticrealista and intriguingintrigante,
114
327267
2952
Penso que estes resultados
parecem muito realistas e intrigantes
05:42
but at the samemesmo time
frighteningassustador, even to me.
115
330243
3173
mas, ao mesmo tempo,
são assustadores, até para mim.
O nosso objetivo era criar um modelo
rigoroso duma pessoa,
05:45
Our goalobjetivo was to buildconstruir an accuratepreciso modelmodelo
of a personpessoa, not to misrepresentdeturpar them.
116
333440
4015
e não apresentá-la como uma mistificação.
05:49
But one thing that concernspreocupações me
is its potentialpotencial for misuseuso indevido.
117
337956
3111
Uma coisa que me preocupa
é o seu potencial para ser mal utilizado.
Há muito que as pessoas
pensam neste problema,
05:53
People have been thinkingpensando
about this problemproblema for a long time,
118
341958
2971
desde os dias em que o Photoshop
apareceu no mercado.
05:56
sinceDesde a the daysdias when PhotoshopPhotoshop
first hitacertar the marketmercado.
119
344953
2381
Enquanto investigador, também trabalho
em tecnologia de contramedidas
05:59
As a researcherPesquisador, I'm alsoAlém disso workingtrabalhando
on countermeasurecontramedida technologytecnologia,
120
347862
3801
06:03
and I'm partparte of an ongoingem progresso
effortesforço at AIAI FoundationFundação,
121
351687
2942
e faço parte duma ação em curso
na AI Foundation,
que usa uma combinação
de aprendizagem de máquinas
06:06
whichqual usesusa a combinationcombinação
of machinemáquina learningAprendendo and humanhumano moderatorsModeradores
122
354653
3397
e de moderadores humanos,
06:10
to detectdetectar fakefalso imagesimagens and videosvídeos,
123
358074
2144
para detetar imagens e vídeos falsos,
06:12
fightingcombate againstcontra my ownpróprio work.
124
360242
1514
lutando contra o meu trabalho.
06:14
And one of the toolsFerramentas we planplano to releaselançamento
is calledchamado RealityRealidade DefenderDefensor,
125
362675
3190
Uma das ferramentas que planeamos
lançar chama-se Defensor da Realidade.
06:17
whichqual is a web-browsernavegador da Web plug-inplug-in
that can flagBandeira potentiallypotencialmente fakefalso contentconteúdo
126
365889
4039
É um complemento para o navegador
que deteta conteúdos
possivelmente falsos,
06:21
automaticallyautomaticamente, right in the browserNavegador.
127
369952
2533
automaticamente, no motor de busca.
06:24
(ApplauseAplausos)
128
372509
4228
(Aplausos)
06:28
DespiteApesar de all this, thoughApesar,
129
376761
1453
Mas, apesar de tudo isso,
06:30
fakefalso videosvídeos could do a lot of damagedanificar,
130
378238
1840
os vídeos falsos podem ser
muito prejudiciais,
06:32
even before anyonealguém has a chancechance to verifyverificar,
131
380102
3294
mesmo antes de alguém
ter hipóteses de o verificar,
portanto, é muito importante
que alertemos toda a gente
06:35
so it's very importantimportante
that we make everyonetodos awareconsciente
132
383420
2722
06:38
of what's currentlyatualmente possiblepossível
133
386166
2007
do que pode acontecer atualmente,
06:40
so we can have the right assumptionsuposição
and be criticalcrítico about what we see.
134
388197
3369
Temos que ter as premissas corretas
e sermos críticos quanto ao que vemos.
Ainda há um longo caminho a percorrer
antes de podermos modelar totalmente
06:44
There's still a long way to go before
we can fullytotalmente modelmodelo individualIndividual people
135
392423
5007
pessoas individualmente
06:49
and before we can ensuregarantir
the safetysegurança of this technologytecnologia.
136
397454
2786
e antes de podermos garantir
a segurança desta tecnologia.
Mas sinto-me entusiasmado
e tenho esperança
06:53
But I'm excitedanimado and hopefulesperançoso,
137
401097
1587
06:54
because if we use it right and carefullycuidadosamente,
138
402708
3539
porque, se a usarmos
correta e cuidadosamente,
esta ferramenta pode permitir
06:58
this toolferramenta can allowpermitir any individual'sdo indivíduo
positivepositivo impactimpacto on the worldmundo
139
406271
4309
que o impacto positivo
de qualquer indivíduo no mundo
seja disseminado de modo maciço
07:02
to be massivelymaciçamente scaledescalado
140
410604
2190
e ajude a modelar o nosso futuro
da forma como queremos que ele seja.
07:04
and really help shapeforma our futurefuturo
the way we want it to be.
141
412818
2742
07:07
Thank you.
142
415584
1151
Obrigado.
07:08
(ApplauseAplausos)
143
416759
5090
(Aplausos)

▲Back to top

ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.

Why you should listen

Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.

Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.

More profile about the speaker
Supasorn Suwajanakorn | Speaker | TED.com