TED2018
Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them
수파손 수와자나콘(Supasorn Suwajanakorn): 실제 사람들의 가짜 동영상과 그것을 구분하는 법
Filmed:
Readability: 4.6
1,453,308 views
여러분은 유명인들이 실제로는 절대 하지 않을 말을 하는 가짜 동영상을 잘 구분할 수 있다고 생각하나요? 이런 동영상들이 어떻게 만들어지는지 이 놀라운 강연과 기술 데모에서 확인해보세요. 대학원생인 컴퓨터 과학자 수파손 수와자나콘이 인공지능과 3D 모델링을 이용하여, 사진처럼 섬세하고 정확하게 표현된 사람들이 실제로 말하는 것 같은 가짜 동영상을 어떻게 만드는지 보여드립니다. 이 기술이 윤리적으로 끼칠 수 있는 영향과 창의적인 가능성도 알아봅니다. 그리고 악용될 경우 이를 근절할 수 있는 방법에 대해서도 알아봅니다.
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio
Double-click the English transcript below to play the video.
00:12
Look at these images.
0
876
1151
이 사진들을 봐 주세요.
00:14
Now, tell me which Obama here is real.
1
2051
2635
이제 이 중에서 어떤 게
실제 오바마인지 맞춰보세요.
실제 오바마인지 맞춰보세요.
00:16
(Video) Barack Obama: To help families
refinance their homes,
refinance their homes,
2
4710
2861
버락 오바마: 가족들의
주택 재융자를 돕기도 하고
주택 재융자를 돕기도 하고
00:19
to invest in things
like high-tech manufacturing,
like high-tech manufacturing,
3
7595
2647
좋은 일자리를 늘리는
최첨단 제조산업이나
최첨단 제조산업이나
00:22
clean energy
4
10266
1159
청정 에너지,
00:23
and the infrastructure
that creates good new jobs.
that creates good new jobs.
5
11449
2779
사회 기반 시설에 투자하기도 했습니다.
00:26
Supasorn Suwajanakorn: Anyone?
6
14647
1484
수파손 수와자나콘: 맞춰보실 분?
00:28
The answer is none of them.
7
16155
1874
이 중 실제 오바마는 아무도 없습니다.
00:30
(Laughter)
8
18053
1114
(웃음)
00:31
None of these is actually real.
9
19191
1786
이 중 진짜인 건 아무 것도 없어요.
00:33
So let me tell you how we got here.
10
21001
1840
이걸 어떻게 했는지 알려드릴게요.
00:35
My inspiration for this work
11
23940
1578
이 작업의 시작은
00:37
was a project meant to preserve our last
chance for learning about the Holocaust
chance for learning about the Holocaust
12
25542
5411
홀로코스트 생존자로부터 배울
마지막 기회를 보존할 프로젝트였습니다.
마지막 기회를 보존할 프로젝트였습니다.
00:42
from the survivors.
13
30977
1768
00:44
It's called New Dimensions in Testimony,
14
32769
2627
새로운 차원의 증언이라고 부르고
00:47
and it allows you to have
interactive conversations
interactive conversations
15
35420
3126
이를 통해 홀로코스트 생존자
홀로그램과 소통할 수 있습니다.
홀로그램과 소통할 수 있습니다.
00:50
with a hologram
of a real Holocaust survivor.
of a real Holocaust survivor.
16
38570
2556
00:53
(Video) Man: How did you
survive the Holocaust?
survive the Holocaust?
17
41793
1966
남자: 홀로코스트에서
어떻게 살아남으셨나요?
어떻게 살아남으셨나요?
00:55
(Video) Hologram: How did I survive?
18
43783
1668
홀로그램: 어떻게 살아남았냐고요?
00:57
I survived,
19
45912
1807
제가 살아남은 건
01:00
I believe,
20
48419
1527
제가 생각하기에
01:01
because providence watched over me.
21
49970
3023
신의 섭리가 저를
지켜줬기 때문인 것 같아요.
지켜줬기 때문인 것 같아요.
01:05
SS: Turns out these answers
were prerecorded in a studio.
were prerecorded in a studio.
22
53573
3454
이 대답들은 스튜디오에서
미리 녹화된 것이었습니다.
미리 녹화된 것이었습니다.
01:09
Yet the effect is astounding.
23
57051
2452
하지만 그 효과는 믿기
어려울 정도였습니다.
어려울 정도였습니다.
01:11
You feel so connected to his story
and to him as a person.
and to him as a person.
24
59527
3619
사람들은 그의 이야기와 그에게
인간적으로 연결되어있다고 느꼈습니다.
인간적으로 연결되어있다고 느꼈습니다.
01:16
I think there's something special
about human interaction
about human interaction
25
64011
3301
저는 책이나 강의, 영화가
가르쳐주는 것보다는
가르쳐주는 것보다는
01:19
that makes it much more profound
26
67336
2757
사람들이 상호작용하는 것에
01:22
and personal
27
70117
2198
더 깊고 개인적인 것으로
받아들이게 만드는
받아들이게 만드는
01:24
than what books or lectures
or movies could ever teach us.
or movies could ever teach us.
28
72339
3485
특별한 무언가가 있다고 생각합니다.
01:28
So I saw this and began to wonder,
29
76267
2425
그래서 이걸 보고 궁금해졌습니다.
01:30
can we create a model
like this for anyone?
like this for anyone?
30
78716
2810
우리가 누구에게나 적용할 수 있는
모델을 만들 수 있을까?
모델을 만들 수 있을까?
01:33
A model that looks, talks
and acts just like them?
and acts just like them?
31
81550
2975
그 사람들과 똑같이 생기고 말하고
행동하도록 만들 수 있을까?
행동하도록 만들 수 있을까?
01:37
So I set out to see if this could be done
32
85573
2007
그래서 이게 가능한지
확인해보기로 했습니다.
확인해보기로 했습니다.
01:39
and eventually came up with a new solution
33
87604
2310
그리고 결국 이것 하나만 있으면
01:41
that can build a model of a person
using nothing but these:
using nothing but these:
34
89938
3220
실제 사람의 모델을 만들 수 있는
새로운 방법을 찾았습니다.
새로운 방법을 찾았습니다.
01:45
existing photos and videos of a person.
35
93747
2214
바로 그 사람의 사진과
동영상만 있으면 됩니다.
동영상만 있으면 됩니다.
01:48
If you can leverage
this kind of passive information,
this kind of passive information,
36
96701
2617
그냥 여기 저기에서
모을 수 있는 정보인
모을 수 있는 정보인
01:51
just photos and video that are out there,
37
99342
2007
사진과 동영상을 이용할 수 있다면
01:53
that's the key to scaling to anyone.
38
101373
2056
그것이 누구에게나
적용할 수 있는 비법입니다.
적용할 수 있는 비법입니다.
01:56
By the way, here's Richard Feynman,
39
104119
1777
그나저나, 여기
리차드 파인만이 있습니다.
리차드 파인만이 있습니다.
01:57
who in addition to being
a Nobel Prize winner in physics
a Nobel Prize winner in physics
40
105920
3413
노벨 물리학상 수상자이자
02:01
was also known as a legendary teacher.
41
109357
2453
전설적인 선생님으로도 알려진 분이죠.
02:05
Wouldn't it be great
if we could bring him back
if we could bring him back
42
113080
2198
만약 우리가 그를 다시 데려와서
02:07
to give his lectures
and inspire millions of kids,
and inspire millions of kids,
43
115302
3265
수백만 명의 아이들을 가르치고
감동시킬 수 있다면 멋지겠죠?
감동시킬 수 있다면 멋지겠죠?
02:10
perhaps not just in English
but in any language?
but in any language?
44
118591
2992
영어뿐만 아니라
모든 언어로 가능하다면요?
모든 언어로 가능하다면요?
02:14
Or if you could ask our grandparents
for advice and hear those comforting words
for advice and hear those comforting words
45
122441
4602
또는 돌아가신 조부모님에게
조언과 위로를
들을 수 있다면 어떨까요?
들을 수 있다면 어떨까요?
02:19
even if they're no longer with us?
46
127067
1770
02:21
Or maybe using this tool,
book authors, alive or not,
book authors, alive or not,
47
129683
3396
아니면 이 기술을 이용해서
돌아가셨거나 살아계신 작가들이
돌아가셨거나 살아계신 작가들이
02:25
could read aloud all of their books
for anyone interested.
for anyone interested.
48
133103
2937
직접 그들의 책을 관심있는 사람들에게
읽어준다면 어떤가요?
읽어준다면 어떤가요?
02:29
The creative possibilities
here are endless,
here are endless,
49
137199
2437
여기에 담긴 창의적인
가능성은 무한합니다.
가능성은 무한합니다.
02:31
and to me, that's very exciting.
50
139660
1713
저도 굉장히 신납니다.
02:34
And here's how it's working so far.
51
142595
2002
그리고 지금까지 이용한
작동원리를 보여드리겠습니다.
작동원리를 보여드리겠습니다.
02:36
First, we introduce a new technique
52
144621
1667
먼저 직접 3D 스캔을 하지 않고도
02:38
that can reconstruct a high-detailed
3D face model from any image
3D face model from any image
53
146312
4572
사진을 이용해 굉장히
상세한 3D 얼굴 모델을
상세한 3D 얼굴 모델을
02:42
without ever 3D-scanning the person.
54
150908
2119
재현하는 새로운 기술을 소개합니다.
02:45
And here's the same output model
from different views.
from different views.
55
153890
2642
그 결과물 모델을
다른 각도에서 보면 이렇습니다.
다른 각도에서 보면 이렇습니다.
02:49
This also works on videos,
56
157969
1502
이 기술은 비디오에도 적용할 수 있는데
02:51
by running the same algorithm
on each video frame
on each video frame
57
159495
2852
비디오 프레임마다
같은 알고리즘을 적용해
같은 알고리즘을 적용해
02:54
and generating a moving 3D model.
58
162371
2222
움직이는 3D 모형을 만들어냅니다.
02:57
And here's the same
output model from different angles.
output model from different angles.
59
165538
2772
그 결과물 모델을
다른 각도에서 보면 이렇습니다.
다른 각도에서 보면 이렇습니다.
03:01
It turns out this problem
is very challenging,
is very challenging,
60
169933
2534
이건 쉽지 않은 도전이지만
03:04
but the key trick
is that we are going to analyze
is that we are going to analyze
61
172491
2525
중요한 묘책은 그 사람의 수많은 사진을
03:07
a large photo collection
of the person beforehand.
of the person beforehand.
62
175040
2966
사전에 분석할 것이라는 겁니다.
03:10
For George W. Bush,
we can just search on Google,
we can just search on Google,
63
178650
2539
조지 W. 부시는 구글에서
쉽게 찾을 수 있습니다.
쉽게 찾을 수 있습니다.
03:14
and from that, we are able
to build an average model,
to build an average model,
64
182309
2499
그래서 일반적인 모델뿐만 아니라
03:16
an iterative, refined model
to recover the expression
to recover the expression
65
184832
3111
주름처럼 굉장히 자세한한
부분까지도 표현하는
부분까지도 표현하는
03:19
in fine details,
like creases and wrinkles.
like creases and wrinkles.
66
187967
2336
반복적이고 정제된 모델을
만들 수 있습니다.
만들 수 있습니다.
03:23
What's fascinating about this
67
191326
1403
정말 대단한 건
03:24
is that the photo collection
can come from your typical photos.
can come from your typical photos.
68
192753
3423
일반적인 사진으로도 사진 모음집을
만들 수 있다는 겁니다.
만들 수 있다는 겁니다.
03:28
It doesn't really matter
what expression you're making
what expression you're making
69
196200
2603
무슨 표정이든지, 어디에서 찍었든지
03:30
or where you took those photos.
70
198827
1885
전혀 상관이 없습니다.
03:32
What matters is
that there are a lot of them.
that there are a lot of them.
71
200736
2400
중요한 건 사진이
많아야 한다는 것이죠.
많아야 한다는 것이죠.
03:35
And we are still missing color here,
72
203160
1736
그리고 여기엔 아직 색깔이 없죠.
03:36
so next, we develop
a new blending technique
a new blending technique
73
204920
2348
그래서 다음으로는
단순한 평균법을 개선하여
단순한 평균법을 개선하여
03:39
that improves upon
a single averaging method
a single averaging method
74
207292
2836
섬세한 얼굴 질감과 색을 만들 수 있는
03:42
and produces sharp
facial textures and colors.
facial textures and colors.
75
210152
2818
새로운 혼합 기술을 발전시켰습니다.
03:45
And this can be done for any expression.
76
213779
2771
이건 어떤 표정에도
적용할 수 있습니다.
적용할 수 있습니다.
03:49
Now we have a control
of a model of a person,
of a model of a person,
77
217485
2499
이제 사람 모형을 조절할 수 있어서,
03:52
and the way it's controlled now
is by a sequence of static photos.
is by a sequence of static photos.
78
220008
3795
연속적인 정지된 사진으로
조절할 수 있습니다.
조절할 수 있습니다.
03:55
Notice how the wrinkles come and go,
depending on the expression.
depending on the expression.
79
223827
3126
주름이 표정에 따라
어떻게 생기고 사라지는지 보세요.
어떻게 생기고 사라지는지 보세요.
04:00
We can also use a video
to drive the model.
to drive the model.
80
228109
2746
동영상으로도 이 모델을
움직이게 할 수 있습니다.
움직이게 할 수 있습니다.
04:02
(Video) Daniel Craig: Right, but somehow,
81
230879
2593
(영상) 다니엘 크레이그 :
맞아요, 하지만 왜인지
맞아요, 하지만 왜인지
04:05
we've managed to attract
some more amazing people.
some more amazing people.
82
233496
3771
저희는 가까스로 더 굉장한 사람들의
관심을 받았어요.
관심을 받았어요.
04:10
SS: And here's another fun demo.
83
238021
1642
수파손: 여기 또 다른
재미있는 데모가 있습니다.
재미있는 데모가 있습니다.
04:11
So what you see here
are controllable models
are controllable models
84
239687
2246
여기에는 제가 조절할 수 있는
모델이 있습니다.
모델이 있습니다.
04:13
of people I built
from their internet photos.
from their internet photos.
85
241957
2444
인터넷에 있는 사진들로 만든 것이죠.
04:16
Now, if you transfer
the motion from the input video,
the motion from the input video,
86
244425
2904
이제, 입력 동영상의
움직임을 이동시키면
움직임을 이동시키면
04:19
we can actually drive the entire party.
87
247353
2152
모든 모델을 움직일 수 있죠.
04:21
George W. Bush:
It's a difficult bill to pass,
It's a difficult bill to pass,
88
249529
2172
조지 W. 부시: 이건
통과되기 어려운 법안입니다.
통과되기 어려운 법안입니다.
04:23
because there's a lot of moving parts,
89
251725
2303
변동되는 부분이 많기 때문입니다.
04:26
and the legislative processes can be ugly.
90
254052
5231
입법 과정은 굉장히
추잡해질 수도 있습니다.
추잡해질 수도 있습니다.
04:31
(Applause)
91
259307
1630
(박수)
04:32
SS: So coming back a little bit,
92
260961
1837
수파손: 원래 이야기로 돌아와서
04:34
our ultimate goal, rather,
is to capture their mannerisms
is to capture their mannerisms
93
262822
3191
저희의 궁극적인 목표는
사람들의 버릇이나
사람들의 버릇이나
04:38
or the unique way each
of these people talks and smiles.
of these people talks and smiles.
94
266037
3045
각자 가지고 있는 말하고 웃는 방식을
정확히 찾는 것입니다.
정확히 찾는 것입니다.
04:41
So to do that, can we
actually teach the computer
actually teach the computer
95
269106
2313
그렇게 하기 위해서,
컴퓨터가 어떤 사람의 동영상만 보고도
컴퓨터가 어떤 사람의 동영상만 보고도
04:43
to imitate the way someone talks
96
271443
2222
그 사람이 말하는 방식을 모방하도록
04:45
by only showing it
video footage of the person?
video footage of the person?
97
273689
2420
가르칠 수 있을까요?
04:48
And what I did exactly was,
I let a computer watch
I let a computer watch
98
276898
2577
그래서 저는 컴퓨터에게 14시간 동안
04:51
14 hours of pure Barack Obama
giving addresses.
giving addresses.
99
279499
3277
버락 오바마가 연설하는
모습을 보여주었습니다.
모습을 보여주었습니다.
04:55
And here's what we can produce
given only his audio.
given only his audio.
100
283443
3516
그리고 이것이 그의 목소리만으로
만든 영상입니다.
만든 영상입니다.
04:58
(Video) BO: The results are clear.
101
286983
1777
(영상) 오바마: 결과는 확실합니다.
05:00
America's businesses have created
14.5 million new jobs
14.5 million new jobs
102
288784
4349
75달 동안 미국 사업은
새로운 일자리 1450만 개를
새로운 일자리 1450만 개를
05:05
over 75 straight months.
103
293157
2774
창출했습니다.
05:07
SS: So what's being synthesized here
is only the mouth region,
is only the mouth region,
104
295955
2905
수파손: 여기에서
합성한 곳은 입 부분뿐입니다.
합성한 곳은 입 부분뿐입니다.
05:10
and here's how we do it.
105
298884
1540
이걸 어떻게 했는지 말씀 드릴게요.
05:12
Our pipeline uses a neural network
106
300764
1826
파이프라인은 입 부분에
소리를 넣기 위해
소리를 넣기 위해
05:14
to convert and input audio
into these mouth points.
into these mouth points.
107
302614
2936
신경망을 이용합니다.
05:18
(Video) BO: We get it through our job
or through Medicare or Medicaid.
or through Medicare or Medicaid.
108
306547
4225
(영상) 오바마: 여러분의 직업이나
취약계층 의료보험제도를 통해서도 가능합니다.
취약계층 의료보험제도를 통해서도 가능합니다.
05:22
SS: Then we synthesize the texture,
enhance details and teeth,
enhance details and teeth,
109
310796
3420
수완손: 그리고 질감을 합성하고
치아와 세밀한 부분까지 표현한 후,
치아와 세밀한 부분까지 표현한 후,
05:26
and blend it into the head
and background from a source video.
and background from a source video.
110
314240
3074
원본 비디오를 이용해
머리와 배경에 잘 맞도록 혼합합니다.
머리와 배경에 잘 맞도록 혼합합니다.
05:29
(Video) BO: Women can get free checkups,
111
317338
1905
(영상) 오바마: 여성은
무료로 건강검진을 받을 수 있고
무료로 건강검진을 받을 수 있고
05:31
and you can't get charged more
just for being a woman.
just for being a woman.
112
319267
2968
여성이라는 이유만으로
더 많이 청구받지 않을 것입니다.
더 많이 청구받지 않을 것입니다.
05:34
Young people can stay
on a parent's plan until they turn 26.
on a parent's plan until they turn 26.
113
322973
3306
청년들은 만 26세까지
부모님의 의료보험 혜택을 받을 수 있습니다.
부모님의 의료보험 혜택을 받을 수 있습니다.
05:39
SS: I think these results
seem very realistic and intriguing,
seem very realistic and intriguing,
114
327267
2952
수완손: 이 결과들은
정말 사실적이고 흥미롭지만
정말 사실적이고 흥미롭지만
05:42
but at the same time
frightening, even to me.
frightening, even to me.
115
330243
3173
심지어 저도 무섭습니다.
05:45
Our goal was to build an accurate model
of a person, not to misrepresent them.
of a person, not to misrepresent them.
116
333440
4015
저희는 정확한 모델을 만들고 싶은 것이지,
사칭하고 싶은 것이 아닙니다.
사칭하고 싶은 것이 아닙니다.
05:49
But one thing that concerns me
is its potential for misuse.
is its potential for misuse.
117
337956
3111
하지만 악용될 가능성이
있기 때문에 우려됩니다.
있기 때문에 우려됩니다.
05:53
People have been thinking
about this problem for a long time,
about this problem for a long time,
118
341958
2971
사람들은 오랫동안
이 문제에 대해 생각했습니다.
이 문제에 대해 생각했습니다.
05:56
since the days when Photoshop
first hit the market.
first hit the market.
119
344953
2381
포토샵이 처음 출시됐을 때부터 말이죠.
05:59
As a researcher, I'm also working
on countermeasure technology,
on countermeasure technology,
120
347862
3801
연구원으로서 대책 기술을
개발하고 있으며
개발하고 있으며
06:03
and I'm part of an ongoing
effort at AI Foundation,
effort at AI Foundation,
121
351687
2942
조작된 사진과 영상을 감지하기 위해서
06:06
which uses a combination
of machine learning and human moderators
of machine learning and human moderators
122
354653
3397
기계학습과 인간 중재자의 조합인
06:10
to detect fake images and videos,
123
358074
2144
AI 기초를 세우고 있습니다.
06:12
fighting against my own work.
124
360242
1514
제 일과 반대되어 싸우는 일이죠.
06:14
And one of the tools we plan to release
is called Reality Defender,
is called Reality Defender,
125
362675
3190
출시 계획 중에 있는 또 다른 제품은
리얼리티 디펜더입니다.
리얼리티 디펜더입니다.
06:17
which is a web-browser plug-in
that can flag potentially fake content
that can flag potentially fake content
126
365889
4039
위조된 컨텐츠는 브라우저에서
바로 자동으로 표시해주는
바로 자동으로 표시해주는
06:21
automatically, right in the browser.
127
369952
2533
브라우저 플러그인이죠.
06:24
(Applause)
128
372509
4228
(박수)
06:28
Despite all this, though,
129
376761
1453
하지만 이러한 노력에도 불구하고
06:30
fake videos could do a lot of damage,
130
378238
1840
조작 영상은 심지어
누군가 알아채기도 전에
누군가 알아채기도 전에
06:32
even before anyone has a chance to verify,
131
380102
3294
큰 피해를 입힐 수 있습니다.
06:35
so it's very important
that we make everyone aware
that we make everyone aware
132
383420
2722
그래서 우리 모두 현재
어떤 게 가능한지 아는 것이
어떤 게 가능한지 아는 것이
06:38
of what's currently possible
133
386166
2007
굉장히 중요합니다.
06:40
so we can have the right assumption
and be critical about what we see.
and be critical about what we see.
134
388197
3369
그래야 올바르게 추측하고
비판적인 시각으로 볼 수 있으니까요.
비판적인 시각으로 볼 수 있으니까요.
06:44
There's still a long way to go before
we can fully model individual people
we can fully model individual people
135
392423
5007
우리가 사람들의 모델을 만들기 전에
06:49
and before we can ensure
the safety of this technology.
the safety of this technology.
136
397454
2786
이 기술의 안정성을 확신하기 전에
가야 할 길은 아직도 멉니다.
가야 할 길은 아직도 멉니다.
06:53
But I'm excited and hopeful,
137
401097
1587
하지만 저는 굉장히
신나고 기대하고 있습니다.
신나고 기대하고 있습니다.
06:54
because if we use it right and carefully,
138
402708
3539
우리가 올바르고 주의 깊게 사용한다면
06:58
this tool can allow any individual's
positive impact on the world
positive impact on the world
139
406271
4309
이 기술은 누구나 세상에
긍정적인 영향을 미치게 하고
긍정적인 영향을 미치게 하고
07:02
to be massively scaled
140
410604
2190
대규모로 확대될 것입니다.
07:04
and really help shape our future
the way we want it to be.
the way we want it to be.
141
412818
2742
우리가 정말로 원하는 미래를
만드는데 도움이 되기 때문입니다.
만드는데 도움이 되기 때문입니다.
07:07
Thank you.
142
415584
1151
감사합니다.
07:08
(Applause)
143
416759
5090
(박수)
ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientistSupasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.
Why you should listen
Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.
Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.
Supasorn Suwajanakorn | Speaker | TED.com