ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.

Why you should listen

Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.

Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.

More profile about the speaker
Supasorn Suwajanakorn | Speaker | TED.com
TED2018

Supasorn Suwajanakorn: Fake videos of real people -- and how to spot them

スパソーン・スワジャナコーン: 実在の人物の偽映像の作り方と、その見分け方

Filmed:
873,917 views

有名人が実際には言っていないことを言っているように見せかけた偽映像を、あなたはうまく見分けられますか? この驚くべき講演とデモで、それがどのように作られるのかをご覧ください。コンピューター科学者スパソーン・スワジャナコーンは、大学院での研究として、AIと3次元モデリングを使い、本物にしか見えないような音声と同期した人物の映像を作りました。この技術の倫理的問題と創造的可能性、そしてその悪用への対策として行われていることについて学びましょう。
- Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos. Full bio

Double-click the English transcript below to play the video.

00:12
Look at these imagesイメージ.
0
876
1151
この映像を見てください
00:14
Now, tell me whichどの Obamaオバマ here is realリアル.
1
2051
2635
本物のオバマ大統領は
どれでしょう?
00:16
(Videoビデオ) Barackバラク Obamaオバマ: To help families家族
refinance借り換え their彼らの homes,
2
4710
2861
(バラク・オバマ) 住宅ローンを
借り換える家庭を助けること
ハイテク製造業
クリーンエネルギー
00:19
to invest投資する in things
like high-techハイテク manufacturing製造,
3
7595
2647
インフラといったものに
投資することで
00:22
cleanクリーン energyエネルギー
4
10266
1159
00:23
and the infrastructureインフラ
that creates作成する good new新しい jobsジョブ.
5
11449
2779
良い仕事が創出されます
(講演者) 分かりますか?
00:26
SupasornSupasorn SuwajanakornSuwajanakorn: Anyone誰でも?
6
14647
1484
00:28
The answer回答 is noneなし of them.
7
16155
1874
答えは 全部ニセ者です
00:30
(Laughter笑い)
8
18053
1114
(笑)
00:31
Noneなし of these is actually実際に realリアル.
9
19191
1786
どれ1つ本物ではありません
00:33
So let me tell you how we got here.
10
21001
1840
これまでの道のりについて
お話ししましょう
00:35
My inspirationインスピレーション for this work
11
23940
1578
この研究をする
ヒントになったのは
00:37
was a projectプロジェクト meant意味した to preserve保存する our last
chanceチャンス for learning学習 about the Holocaustホロコースト
12
25542
5411
ホロコーストの生存者たちから
学ぶ最後の機会を
保存しようという
プロジェクトでした
00:42
from the survivors生存者.
13
30977
1768
「証言の新局面」(New Dimensions in
Testimony) という名前で
00:44
It's calledと呼ばれる New新しい Dimensions寸法 in Testimony証言,
14
32769
2627
00:47
and it allows許す you to have
interactiveインタラクティブ conversations会話
15
35420
3126
ホロコースト生存者の
ホログラムと
対話することができます
00:50
with a hologramホログラム
of a realリアル Holocaustホロコースト survivor生存者.
16
38570
2556
(男) どうやってホロコーストを
生き延びたんですか?
00:53
(Videoビデオ) Man: How did you
survive生き残ります the Holocaustホロコースト?
17
41793
1966
00:55
(Videoビデオ) Hologramホログラム: How did I survive生き残ります?
18
43783
1668
(ホログラム) どうやって生き延びたか?
私が生き残れたのは—
00:57
I survived生き残った,
19
45912
1807
神が見守っていて
くれたからだと
01:00
I believe,
20
48419
1527
01:01
because providence摂理 watched見た over me.
21
49970
3023
私は思っています
01:05
SSSS: Turnsターン out these answers答え
were prerecorded事前に録音した in a studioスタジオ.
22
53573
3454
(講演者) 答えはスタジオで
あらかじめ録画されたものですが
01:09
Yetまだ the effect効果 is astounding驚くほど.
23
57051
2452
その効果は劇的です
その人の話や その人自身に対する
強い結び付きを感じます
01:11
You feel so connected接続された to his storyストーリー
and to him as a person.
24
59527
3619
人間同士のやり取りには
01:16
I think there's something special特別
about human人間 interactionインタラクション
25
64011
3301
特別な力があるのでしょう
01:19
that makes作る it much more profound深遠な
26
67336
2757
本や講義や映画
などよりもずっと
01:22
and personal個人的
27
70117
2198
深く個人的な体験を
与えてくれます
01:24
than what books or lectures講義
or movies映画 could ever teach教える us.
28
72339
3485
01:28
So I saw this and began始まった to wonderワンダー,
29
76267
2425
それで私は
思うようになりました
01:30
can we create作成する a modelモデル
like this for anyone誰でも?
30
78716
2810
こういうモデルを
誰に対しても作れたら?
01:33
A modelモデル that looks外見, talks交渉
and acts行為 just like them?
31
81550
2975
その人自身のように見え
語り 振る舞うモデルです
01:37
So I setセット out to see if this could be done完了
32
85573
2007
それが可能か検討を始め
01:39
and eventually最終的に came来た up with a new新しい solution溶液
33
87604
2310
既存の写真や映像だけから
01:41
that can buildビルドする a modelモデル of a person
usingを使用して nothing but these:
34
89938
3220
その人物のモデルを作る方法を
考案しました
その人物のモデルを作る方法を
考案しました
01:45
existing既存の photos写真 and videosビデオ of a person.
35
93747
2214
01:48
If you can leverage活用
this kind種類 of passive受動的 information情報,
36
96701
2617
こういう その辺にある
写真や映像といった
01:51
just photos写真 and videoビデオ that are out there,
37
99342
2007
ありあわせの素材
だけでよいなら
01:53
that's the keyキー to scalingスケーリング to anyone誰でも.
38
101373
2056
誰に対してもモデルを
作れるようになります
ちなみに この人物は
リチャード・ファインマンで
01:56
By the way, here'sここにいる Richardリチャード FeynmanFeynman,
39
104119
1777
01:57
who in addition添加 to beingであること
a Nobelノーベル Prize winner勝者 in physics物理
40
105920
3413
ノーベル物理学賞の
受賞者であるのみならず
優れた教師として
よく知られていました
02:01
was alsoまた、 known既知の as a legendary伝説の teacher先生.
41
109357
2453
02:05
Wouldn'tしないだろう it be great
if we could bring持参する him back
42
113080
2198
もしファインマンを蘇らせ
何百万という若者に話をして
刺激を与えてもらい
02:07
to give his lectures講義
and inspireインスピレーション millions何百万 of kids子供たち,
43
115302
3265
02:10
perhapsおそらく not just in English英語
but in any language言語?
44
118591
2992
さらには他の言語でも語らせられたなら
素晴らしいでしょう
あるいは もうこの世を去ってしまった
おじいさん おばあさんに
02:14
Or if you could ask尋ねる our grandparents祖父母
for advice助言 and hear聞く those comforting慰め words言葉
45
122441
4602
アドバイスや心温まる言葉を
かけてもらえたなら
02:19
even if they're no longerより長いです with us?
46
127067
1770
02:21
Or maybe usingを使用して this toolツール,
book authors著者, alive生きている or not,
47
129683
3396
またこのツールを使えば
存命か否かにかかわらず
02:25
could read読む aloud大声で all of their彼らの books
for anyone誰でも interested興味がある.
48
133103
2937
著者自身に本の朗読を
してもらうこともできるでしょう
これが持つ創造的可能性は
限りがなく
02:29
The creative創造的な possibilities可能性
here are endless無限,
49
137199
2437
02:31
and to me, that's very excitingエキサイティング.
50
139660
1713
すごくワクワクさせられます
02:34
And here'sここにいる how it's workingワーキング so far遠い.
51
142595
2002
その仕組みを
お話ししましょう
02:36
First, we introduce紹介する a new新しい technique技術
52
144621
1667
まず 顔の精細な
3次元モデルを
02:38
that can reconstruct再構築する a high-detailed高詳細
3D face modelモデル from any image画像
53
146312
4572
3Dスキャンデータなしに
任意の画像から作れる
手法を開発しました
02:42
withoutなし ever 3D-scanning3 D スキャン the person.
54
150908
2119
02:45
And here'sここにいる the same同じ output出力 modelモデル
from different異なる views再生回数.
55
153890
2642
これは同じモデルを
別の視点から見たものです
この技術は映像にも使えます
02:49
This alsoまた、 works作品 on videosビデオ,
56
157969
1502
02:51
by runningランニング the same同じ algorithmアルゴリズム
on each videoビデオ frameフレーム
57
159495
2852
映像の各フレームに
同じアルゴリズムを適用し
02:54
and generating生成する a moving動く 3D modelモデル.
58
162371
2222
動きのある3次元モデルを
生成します
02:57
And here'sここにいる the same同じ
output出力 modelモデル from different異なる anglesアングル.
59
165538
2772
こちらは同じモデルを
違う角度から見たものです
03:01
It turnsターン out this problem問題
is very challenging挑戦,
60
169933
2534
この問題は
とても難しいのですが
あらかじめ その人物の
大量の写真を
03:04
but the keyキー trickトリック
is that we are going to analyze分析する
61
172491
2525
03:07
a large photo写真 collectionコレクション
of the person beforehand予め.
62
175040
2966
解析することが
鍵になります
03:10
For Georgeジョージ W. Bushブッシュ,
we can just searchサーチ on GoogleGoogle,
63
178650
2539
ジョージ・W・ブッシュなら
Googleで画像検索するだけでよく
03:14
and from that, we are ableできる
to buildビルドする an average平均 modelモデル,
64
182309
2499
そこから平均モデルを
作ることができ
段階的にモデルを
改善していって
03:16
an iterative繰り返し, refined洗練された modelモデル
to recover回復します the expression表現
65
184832
3111
皺のような 表情の
細部を再現します
03:19
in fine details詳細,
like creases折り目 and wrinklesシワ.
66
187967
2336
これのいいところは
03:23
What's fascinating魅力的な about this
67
191326
1403
03:24
is that the photo写真 collectionコレクション
can come from your typical典型的な photos写真.
68
192753
3423
写真は ごく普通のもので
よいということです
どういう表情かとか
どこで撮られたかとかは
03:28
It doesn't really matter問題
what expression表現 you're making作る
69
196200
2603
03:30
or where you took取った those photos写真.
70
198827
1885
あまり問題ではありません
03:32
What matters問題 is
that there are a lot of them.
71
200736
2400
大事なのは写真が
たくさんあるということです
03:35
And we are still missing行方不明 color here,
72
203160
1736
まだ色が付いていないので
03:36
so next, we develop開発する
a new新しい blendingブレンディング technique技術
73
204920
2348
次に新しいブレンディング技法を開発し
03:39
that improves改善する upon〜に
a singleシングル averaging平均化 method方法
74
207292
2836
平均モデルを改良して
くっきりとした顔の
質感や色を付けます
03:42
and produces生産する sharpシャープ
facialフェイシャル texturesテクスチャ and colors.
75
210152
2818
03:45
And this can be done完了 for any expression表現.
76
213779
2771
これはどんな表情に
対しても行えます
03:49
Now we have a controlコントロール
of a modelモデル of a person,
77
217485
2499
これで人物の動かせる
モデルができました
03:52
and the way it's controlled制御された now
is by a sequenceシーケンス of static静的 photos写真.
78
220008
3795
動きは一連の写真に
合わせたものになります
03:55
Notice通知 how the wrinklesシワ come and go,
depending依存する on the expression表現.
79
223827
3126
表情に応じて皺が現れたり
消えたりするのに注意してください
04:00
We can alsoまた、 use a videoビデオ
to driveドライブ the modelモデル.
80
228109
2746
モデルを動かすのに
映像を使うこともできます
04:02
(Videoビデオ) Danielダニエル Craigクレイグ: Right, but somehow何とか,
81
230879
2593
(ダニエル・クレイグ) ええ
しかし私達はどうにか
04:05
we've私たちは managed管理された to attract引き付ける
some more amazing素晴らしい people.
82
233496
3771
さらに素晴らしい人たちを
引き入れました
(講演者) これで面白いことができます
04:10
SSSS: And here'sここにいる another別の fun楽しい demoデモ.
83
238021
1642
04:11
So what you see here
are controllable制御可能な modelsモデル
84
239687
2246
ここに出ているのは
04:13
of people I built建てられた
from their彼らの internetインターネット photos写真.
85
241957
2444
ネット上の写真から作った
有名人のモデルです
04:16
Now, if you transfer転送
the motionモーション from the input入力 videoビデオ,
86
244425
2904
入力源となる映像の
動きに合わせて
全部の顔を動かす
ことができます
04:19
we can actually実際に driveドライブ the entire全体 partyパーティー.
87
247353
2152
04:21
Georgeジョージ W. Bushブッシュ:
It's a difficult難しい billビル to passパス,
88
249529
2172
(ブッシュ) これは
通すのが難しい法案で
04:23
because there's a lot of moving動く parts部品,
89
251725
2303
構成要素がたくさんあり
立法の過程は見苦しいものに
なるかもしれません
04:26
and the legislative立法 processesプロセス can be ugly醜い.
90
254052
5231
(拍手)
04:31
(Applause拍手)
91
259307
1630
(講演者) 少し話を戻すと
04:32
SSSS: So coming到来 back a little bitビット,
92
260961
1837
私達の究極の目標は
04:34
our ultimate究極 goalゴール, ratherむしろ,
is to captureキャプチャー their彼らの mannerismsマラニズム
93
262822
3191
それぞれの人が話したり笑ったりする時の
独特なやり方や癖を捉えるということです
04:38
or the uniqueユニークな way each
of these people talks交渉 and smiles笑顔.
94
266037
3045
04:41
So to do that, can we
actually実際に teach教える the computerコンピューター
95
269106
2313
その人物が話している
映像を見せるだけで
04:43
to imitate模倣する the way someone誰か talks交渉
96
271443
2222
コンピューターが
その人の話し方を
04:45
by only showing表示 it
videoビデオ footage映像 of the person?
97
273689
2420
真似られるように
できるのでしょうか?
04:48
And what I did exactly正確に was,
I let a computerコンピューター watch
98
276898
2577
それで オバマが演説している
14時間の映像を
04:51
14 hours時間 of pureピュア Barackバラク Obamaオバマ
giving与える addressesアドレス.
99
279499
3277
コンピューターに
見せることにしました
04:55
And here'sここにいる what we can produce作物
given与えられた only his audioオーディオ.
100
283443
3516
これはオバマが話す声だけから
生成した映像です
04:58
(Videoビデオ) BOBO: The results結果 are clearクリア.
101
286983
1777
(オバマ) 結果は明らかです
05:00
America'sアメリカの businessesビジネス have created作成した
14.5 million百万 new新しい jobsジョブ
102
288784
4349
アメリカの産業界は
75ヶ月にわたり
1450万の新たな仕事を
生み出したのです
05:05
over 75 straightまっすぐ months数ヶ月.
103
293157
2774
05:07
SSSS: So what's beingであること synthesized合成された here
is only the mouth region領域,
104
295955
2905
(講演者) ここで合成されているのは
口の部分だけで
こんな風にしています
05:10
and here'sここにいる how we do it.
105
298884
1540
私達のシステムは
ニューラルネットワークを使って
05:12
Our pipelineパイプライン uses用途 a neuralニューラル networkネットワーク
106
300764
1826
05:14
to convert変換する and input入力 audioオーディオ
into these mouth pointsポイント.
107
302614
2936
入力された音声を
口の位置を表す点に変換します
05:18
(Videoビデオ) BOBO: We get it throughを通して our jobジョブ
or throughを通して Medicareメディケア or Medicaidメディケイド.
108
306547
4225
(オバマ) 仕事や メディケア
メディケイドを通じて得ています
05:22
SSSS: Then we synthesize合成する the textureテクスチャ,
enhance強化する details詳細 and teeth,
109
310796
3420
(講演者) それから質感を合成し
細部や歯を補い
05:26
and blendブレンド it into the head
and backgroundバックグラウンド from a sourceソース videoビデオ.
110
314240
3074
元の映像の頭部と背景に
埋め込みます
05:29
(Videoビデオ) BOBO: Women女性 can get free無料 checkups診察,
111
317338
1905
(オバマ) 女性は無料の
健康診断を受けられ
05:31
and you can't get charged荷担した more
just for beingであること a woman女性.
112
319267
2968
女性というだけで
余分に支払うことはありません
子供は26歳になるまで
親の保険が使えます
05:34
Young若い people can stay滞在
on a parent's plan計画 until〜まで they turn順番 26.
113
322973
3306
(講演者) 結果としてできたものは
とてもリアルで興味深いものですが
05:39
SSSS: I think these results結果
seem思われる very realistic現実的な and intriguing興味をそそる,
114
327267
2952
05:42
but at the same同じ time
frightening恐ろしい, even to me.
115
330243
3173
同時に私自身でも
怖いと感じます
05:45
Our goalゴール was to buildビルドする an accurate正確 modelモデル
of a person, not to misrepresent偽って表現する them.
116
333440
4015
私達の目標は人物の正確なモデルを作ることで
誰かを騙ることではありません
05:49
But one thing that concerns心配 me
is its potential潜在的な for misuse悪用.
117
337956
3111
しかしこれが悪用される可能性を
危惧しています
05:53
People have been thinking考え
about this problem問題 for a long time,
118
341958
2971
この問題については
フォトショップが現れて以来
みんなずっと考えてきました
05:56
since以来 the days日々 when PhotoshopPhotoshop
first hitヒット the market市場.
119
344953
2381
05:59
As a researcher研究者, I'm alsoまた、 workingワーキング
on countermeasure対策 technology技術,
120
347862
3801
研究者として 私は
対策技術の開発もしていて
AI Foundationでの
取り組みに参加しています
06:03
and I'm part of an ongoing進行中の
effort努力 at AIAI Foundation財団,
121
351687
2942
それは機械学習と
人間のモデレーターの組み合わせにより
06:06
whichどの uses用途 a combination組み合わせ
of machine機械 learning学習 and human人間 moderatorsモデレーター
122
354653
3397
06:10
to detect検出する fake imagesイメージ and videosビデオ,
123
358074
2144
偽物の画像や映像を
検出しようという
06:12
fighting戦う againstに対して my own自分の work.
124
360242
1514
私自身の研究に
対抗するものです
公開を予定しているツールに
Reality Defender があり
06:14
And one of the toolsツール we plan計画 to release解放
is calledと呼ばれる Reality現実 Defenderディフェンダー,
125
362675
3190
これはブラウザーのプラグインで
06:17
whichどの is a web-browserweb ブラウザー plug-inプラグイン
that can flagフラグ potentially潜在的 fake contentコンテンツ
126
365889
4039
偽物の可能性のあるコンテンツに対して
警告を出すようになっています
06:21
automatically自動的に, right in the browserブラウザ.
127
369952
2533
06:24
(Applause拍手)
128
372509
4228
(拍手)
それでも真偽の確認が
なされる前に
06:28
Despiteにもかかわらず all this, thoughしかし,
129
376761
1453
06:30
fake videosビデオ could do a lot of damage損傷,
130
378238
1840
偽の映像が大きな被害を
もたらすこともありうるので
06:32
even before anyone誰でも has a chanceチャンス to verify確認する,
131
380102
3294
偽の映像が大きな被害を
もたらすこともありうるので
現在どのようなことが
可能になっているのかを
06:35
so it's very important重要
that we make everyoneみんな aware承知して
132
383420
2722
みんな理解していることが重要で
06:38
of what's currently現在 possible可能
133
386166
2007
それにより適切な仮定をし
批判的な目で物事を見られるようになるでしょう
06:40
so we can have the right assumption仮定
and be criticalクリティカルな about what we see.
134
388197
3369
人物の完全なモデルを作れ
安全性も確保できるまでには
06:44
There's still a long way to go before
we can fully完全に modelモデル individual個人 people
135
392423
5007
まだまだ時間がかかるでしょう
06:49
and before we can ensure確実に
the safety安全性 of this technology技術.
136
397454
2786
でも私は希望と熱意を持っています
06:53
But I'm excited興奮した and hopeful希望,
137
401097
1587
06:54
because if we use it right and carefully慎重に,
138
402708
3539
この技術を正しく
注意して使うなら
06:58
this toolツール can allow許す any individual's個人の
positiveポジティブ impact影響 on the world世界
139
406271
4309
誰もが広く世界に
良い影響を与えられるようになり
07:02
to be massively大規模 scaled縮尺
140
410604
2190
みんなが望む未来を築く
助けになるはずだからです
07:04
and really help shape形状 our future未来
the way we want it to be.
141
412818
2742
ありがとうございました
07:07
Thank you.
142
415584
1151
07:08
(Applause拍手)
143
416759
5090
(拍手)
Translated by Yasushi Aoki
Reviewed by Claire Ghyselen

▲Back to top

ABOUT THE SPEAKER
Supasorn Suwajanakorn - Computer scientist
Supasorn Suwajanakorn works on ways to reconstruct, preserve and reanimate anyone -- just from their existing photos and videos.

Why you should listen

Can we create a digital avatar that looks, acts and talks just like our sweet grandma? This question has inspired Supasorn Suwajanakorn, a recent PhD graduate from the University of Washington, to spend years developing new tools to make it a reality. He has developed a set of algorithms that can build a moving 3D face model of anyone from just photos, which was awarded the Innovation of the Year in 2016. He then introduced the first system that can replicate a person's speech and produce a realistic CG-animation by only analyzing their existing video footage -- all without ever bringing in the person to a Hollywood capture studio.

Suwajanakorn is working in the field of machine learning and computer vision. His goal is to bring vision algorithms out of the lab and make them work in the wild.

More profile about the speaker
Supasorn Suwajanakorn | Speaker | TED.com