ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com
TEDxUSC

Paul Debevec: Animating a photo-real digital face

ポール・デベヴェック 「メイキング・オブ・デジタルエミリー」

Filmed:
881,584 views

TEDxUSCでコンピュータグラフィックスの第一人者であるポール・デベヴェックが、デジタルエミリーの背後にある観客の目を奪うような技術について解説します。何度の撮り直しにも応えられるコンピュータで作り出されたリアルな人の顔をご覧ください。
- Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button. Full bio

Double-click the English transcript below to play the video.

00:18
One of the biggest最大 challenges挑戦 in computerコンピューター graphicsグラフィックス
0
0
3000
コンピュータグラフィックスにおける最大の難問の1 つは
00:21
has been beingであること ableできる to create作成する a photo-realフォトリアル,
1
3000
2000
本物のように見える人の顔を
00:23
digitalデジタル human人間 face.
2
5000
2000
デジタル合成することでした
00:25
And one of the reasons理由 it is so difficult難しい is that, unlike違う aliens宇宙人 and dinosaurs恐竜,
3
7000
3000
これが難しい理由は エイリアンや恐竜とは違って
00:28
we look at human人間 faces everyすべて day.
4
10000
3000
私達が人の顔を毎日見ているからです
00:31
They are very important重要 to how we communicate通信する with each other.
5
13000
2000
私達がコミュニケーションを取る上で
00:33
As a result結果, we're tuned調整された in to the subtlest微妙 things
6
15000
3000
顔は重要な役割を果たしているので レンダリングされた顔が
00:36
that could possiblyおそらく be wrong違う with a computerコンピューター renderingレンダリング,
7
18000
2000
微細な部分まで再現していないと
00:38
in order注文 to believe whetherかどうか these things are realistic現実的な.
8
20000
3000
本物らしく見えないのです
00:41
And what I'm going to do in the next five minutes
9
23000
2000
これからの5 分間で
00:43
is take you throughを通して a processプロセス
10
25000
2000
写実的な顔を合成しようと
00:45
where we tried試した to create作成する a reasonably合理的に photo-realisticフォトリアリスティックな computer-generatedコンピュータ生成 face,
11
27000
3000
私達が試みたプロセスを 辿っていこうと思います
00:48
usingを使用して some computerコンピューター graphicsグラフィックス technology技術 we've私たちは developed発展した,
12
30000
3000
これには私達がImage Metrics 社と開発した
00:51
and alsoまた、 some collaborators協力者 at a company会社 calledと呼ばれる Image画像 Metricsメトリック.
13
33000
2000
CG の技術を使っています
00:53
And we're going to try to do a photo-realフォトリアル face
14
35000
2000
対象としたのは ここに出ている
00:55
of an actress女優 named名前 Emilyエミリー O'Brienオブライエン, who is right there.
15
37000
3000
エミリー オブライエンという女優の顔です
00:58
And that's actually実際に a completely完全に computer-generatedコンピュータ生成 renderingレンダリング of her face.
16
40000
3000
これは実際にレンダリングで生成された彼女の顔です
01:01
By the end終わり of the talk, we're going to see it move動く.
17
43000
2000
動いているところを後でお見せします
01:03
The way that we did this is we tried試した to start開始 with Emilyエミリー herself自分自身,
18
45000
3000
出発点となるのはエミリー本人です
01:06
who was gracious優雅な enough十分な to come to our laboratory研究室
19
48000
3000
彼女はマリーナデルレイにある私達のラボまで来て
01:09
in Marinaマリーナ Delデル Reyレイ, and sit座る for a sessionセッション in Light Stageステージ 5.
20
51000
3000
このLight Stage 5 での撮影を快く引き受けてくれました
01:12
This is a face-scanning顔のスキャン sphere, with 156 white LEDsLED all around
21
54000
4000
この球面は顔をスキャンする装置で 156 個のLED が取り付けられており
01:16
that allow許す us to photograph写真 her
22
58000
2000
照明の状況を自由にコントロールしながら
01:18
in a seriesシリーズ of very controlled制御された illuminationイルミネーション conditions条件.
23
60000
3000
撮影ができるようになっています
01:21
And the lighting点灯 that we use these days日々 looks外見 something like this.
24
63000
3000
私達が最近使う照明の種類はこのようなものです
01:24
We shootシュート all of these photographs写真 in about three seconds.
25
66000
2000
この全部を3 秒ほどで撮れます
01:26
And we basically基本的に captureキャプチャー enough十分な information情報
26
68000
3000
これで基本的に十分な情報を得られます
01:29
with videoビデオ projectorプロジェクター patternsパターン that drapeドレープ over the contours輪郭 of her face,
27
71000
4000
彼女の顔の等高線を描き出すビデオプロジェクタのパターンと
01:33
and different異なる principle原理 directions行き方 of light from the light stageステージ,
28
75000
2000
Light Stage による様々な方向からの光で
01:35
to figure数字 out bothどちらも the coarse-scale粗スケール
29
77000
2000
彼女の顔を粗いスケールと
01:37
and the fine-scaleファインスケール detail詳細 of her face.
30
79000
2000
微細なスケールで把握します
01:39
If we zoomズーム in on this photograph写真 right here,
31
81000
2000
この写真を拡大してみましょう
01:41
we can see it's a really niceいい photograph写真 to have of her,
32
83000
2000
彼女を捉えたとても良い写真です
01:43
because she is lit点灯 from absolutely絶対に everywhereどこにでも at the same同じ time
33
85000
4000
あらゆる方向から同時に照らされていて
01:47
to get a niceいい image画像 of her facialフェイシャル textureテクスチャ.
34
89000
2000
顔のテクスチャがよく現れています
01:49
And in addition添加, we've私たちは actually実際に used polarizers偏光子 on all the lightsライト --
35
91000
3000
私達はすべての照明に偏向フィルタを付けています
01:52
just like polarized偏極した sunglassesサングラス can blockブロック
36
94000
2000
偏向サングラスが
01:54
the glareグレア off of the road道路,
37
96000
2000
路面のぎらつきを押えるように
01:56
polarizers偏光子 can blockブロック the shine輝く off of the skin,
38
98000
2000
偏光フィルタは肌のてかりを押えます
01:58
so we don't get all those specularスペキュラ reflections反射 to take this map地図.
39
100000
3000
これにより正反射なしにテクスチャマップが得られます
02:01
Now, if we turn順番 the polarizers偏光子 around just a little bitビット,
40
103000
2000
偏光フィルタを少し回すと
02:03
we can actually実際に bring持参する that specularスペキュラ reflection反射
41
105000
2000
肌の正反射が
02:05
of the skin back in,
42
107000
2000
再び現れ
02:07
and you can see she looks外見 kind種類 of shiny輝く and oily油性 at this pointポイント.
43
109000
3000
光って脂ぎって見えます
02:10
If you take the difference betweenの間に these two imagesイメージ here,
44
112000
3000
この2 つの画像の差分を取ると
02:13
you can get an image画像 lit点灯 from the entire全体 sphere of light
45
115000
2000
球面全体に照らされた肌の
02:15
of just the shine輝く off of Emily'sエミリー skin.
46
117000
3000
反射だけを取り出すことができます
02:18
I don't think any photograph写真 like this had ever been taken撮影
47
120000
2000
私達がここでやったような写真は
02:20
before we had done完了 this.
48
122000
2000
今まで撮られたことはないと思います
02:22
And this is very important重要 light to captureキャプチャー,
49
124000
3000
これは捉えるべき非常に重要な光です
02:25
because this is the light that reflects反映する off the first surface表面 of the skin.
50
127000
2000
顔の一番表面で反射された光で
02:27
It doesn't get underneath下の the translucent半透明
51
129000
2000
肌の透明な層を通った
02:29
layers of the skin and blurぼかし out.
52
131000
2000
ぼやけた光は除かれています
02:31
And, as a result結果, it's a very good cue合図
53
133000
2000
そのため
02:33
to the detailed詳細な shape形状 of the skin-pore肌の毛穴 structure構造
54
135000
3000
私達みんなが持っていて 本物の人らしく見せている
02:36
and all of the fine wrinklesシワ that all of us have,
55
138000
2000
肌のキメや 細かい皺の
02:38
the things that actually実際に make us look like realリアル humans人間.
56
140000
2000
とても良い情報が得られます
02:40
So, if we use information情報 that comes来る off of this specularスペキュラ reflection反射,
57
142000
4000
この正反射から得られた情報を使うと
02:44
we can go from a traditional伝統的な face scanスキャン
58
146000
2000
従来の顔のスキャンによる
02:46
that mightかもしれない have the grossキモい contours輪郭 of the face and the basic基本的な shape形状,
59
148000
4000
顔の全体的な輪郭や基本的な形状に
02:50
and augment増強 it with information情報
60
152000
2000
肌のキメや細かい皺の
02:52
that puts置く in all of that skin pore細孔 structure構造 and fine wrinklesシワ.
61
154000
3000
情報を付け加えることができます
02:55
And, even more importantly重要なこと,
62
157000
2000
ここで重要なのは
02:57
since以来 this is a photometric測光 processプロセス that only takes three seconds to captureキャプチャー,
63
159000
3000
この測光プロセスには3 秒しかかからないということです
03:00
we can shootシュート Emilyエミリー
64
162000
2000
私達はエミリーのたくさんの
03:02
in just part of an afternoon午後,
65
164000
2000
顔の表情の写真を
03:04
in manyたくさんの different異なる facialフェイシャル posesポーズ and facialフェイシャル expressions表現.
66
166000
3000
ある日の午後だけで撮影することができました
03:07
So, here you can see her moving動く her eyes around, moving動く her mouth around.
67
169000
3000
彼女が目や口を動かしている写真が並んでいます
03:10
And these we're actually実際に going to use to create作成する a photo-realフォトリアル digitalデジタル characterキャラクター.
68
172000
3000
これらを使って写実的なキャラクタを作り出します
03:13
If you take a look at these scansスキャン that we have of Emilyエミリー,
69
175000
4000
このエミリーのスキャン画像を見ていると
03:17
you can see that the human人間 face does an enormous巨大な amount of amazing素晴らしい things
70
179000
3000
人の顔というのが
03:20
as it goes行く into different異なる facialフェイシャル expressions表現.
71
182000
3000
驚くほど多彩な表情を作れるのがわかります
03:23
You can see things. Not only the face shape形状 changes変更,
72
185000
3000
ここでは顔の形状の変化だけではなく
03:26
but all sortsソート of different異なる skin buckling座屈 and skin wrinklingしわ occurs発生する.
73
188000
4000
あらゆる肌の屈曲や皺のパターン
03:30
You can see that the skin pore細孔 structure構造 changes変更 enormously巨大
74
192000
4000
肌のキメの変化を見ることができます
03:34
from stretched伸ばされた skin pores毛穴
75
196000
2000
引き延ばされたところから
03:36
to the regular定期的 skin textureテクスチャ.
76
198000
2000
通常の肌のテクスチャまで
03:38
You can see the furrows in the brow and how the microstructure微細構造 changes変更 there.
77
200000
3000
眉の畝とその微細構造の変化
03:41
You can see muscles筋肉 pulling引っ張る down at flesh to bring持参する her eyebrows眉毛 down.
78
203000
4000
筋肉に引っ張られて眉毛が下がり
03:45
Her muscles筋肉 bulging膨らむ in her forehead when she winces勝つ like that.
79
207000
3000
しかめ面のときは額の肉が盛り上がります
03:48
In addition添加 to this kind種類 of high-resolution高解像度 geometryジオメトリ,
80
210000
3000
このような高解像度の形状に加え
03:51
since以来 it's all captured捕獲 with camerasカメラ, we've私たちは got a great textureテクスチャ map地図 to use for the face.
81
213000
4000
カメラが捉えた 顔に使えるすばらしいテクスチャマップがあります
03:55
And by looking at how the different異なる color channelsチャンネル of the illuminationイルミネーション,
82
217000
2000
赤、緑、青という照明の
03:57
the red and the green and the blue,
83
219000
2000
異なる色の成分は
03:59
diffuse拡散する the light differently異なって,
84
221000
2000
拡散の仕方が違い
04:01
we can come up with a way of shadingシェーディング the skin on the computerコンピューター.
85
223000
3000
それを考慮して肌のシェーディングを行います
04:04
Then, instead代わりに of looking like a plaster石膏 mannequinマネキン,
86
226000
3000
そうすると 石膏で出来たマネキンみたいだったのが
04:07
it actually実際に looks外見 like it's made out of living生活 human人間 flesh.
87
229000
3000
生きた人間の肉体に見えるようになります
04:10
And this is what we used
88
232000
2000
これはImage Metrics 社が
04:12
to give to the company会社 Image画像 Metricsメトリック
89
234000
2000
デジタル版のエミリーの
04:14
to create作成する a rigged装備, digitalデジタル versionバージョン of Emilyエミリー.
90
236000
3000
作成に使ったもので
04:17
We're just seeing見る the coarse-scale粗スケール geometryジオメトリ here.
91
239000
2000
粗いスケールの形状による
04:19
But they basically基本的に created作成した a digitalデジタル puppet人形 of her,
92
241000
3000
彼女のデジタル操り人形です
04:22
where you can pull引く on these various様々な strings文字列,
93
244000
2000
これらの糸を引くと
04:24
and it actually実際に moves動き her face in ways方法 that are
94
246000
2000
私達が撮ったスキャン画像に
04:26
completely完全に consistent整合性のある with the scansスキャン that we took取った.
95
248000
2000
合った形で動きます
04:28
And, in addition添加 to the coarse-scale粗スケール geometryジオメトリ,
96
250000
2000
粗いスケールの形状に加え
04:30
they alsoまた、 used all of that detail詳細
97
252000
2000
ディスプレイスメントマップを使って
04:32
to create作成する a setセット of what are calledと呼ばれる "displacement変位 maps地図"
98
254000
3000
微細な部分を作ります
04:35
that animateアニメーション化する as well.
99
257000
3000
これは動かすこともできます
04:38
These are the displacement変位 maps地図 here.
100
260000
2000
これがディスプレイスメントマップ
04:40
And you can see those different異なる wrinklesシワ actually実際に showショー up as she animatesアニメート.
101
262000
3000
彼女の動きに応じて 違った皺が現れています
04:43
So the next processプロセス was then to animateアニメーション化する her.
102
265000
2000
次にアニメーションを付けます
04:45
We actually実際に used one of her own自分の performances公演 to provide提供する the sourceソース dataデータ.
103
267000
4000
データの元として エミリー本人が演じた映像を使いました
04:49
So, by analyzing分析する this videoビデオ with computerコンピューター visionビジョン techniques技術,
104
271000
3000
そのビデオをコンピュータビジョンのテクニックを使って解析し
04:52
they were ableできる to driveドライブ the facialフェイシャル rigリグ
105
274000
2000
コンピュータが生成した動きを持った
04:54
with the computer-generatedコンピュータ生成 performanceパフォーマンス.
106
276000
2000
顔を作り出しました
04:56
So what you're going to see now, after this,
107
278000
2000
この後見ていただくのは
04:58
is a completely完全に photo-realフォトリアル digitalデジタル face.
108
280000
2000
完成したデジタルの顔です
05:00
We can turn順番 the volumeボリューム up a little bitビット if that's available利用可能な.
109
282000
2000
ボリュームを少し上げましょう
05:02
Emilyエミリー: Image画像 Metricsメトリック is a markerless無標識, performance-drivenパフォーマンス駆動型 animationアニメーション company会社.
110
284000
4000
Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です
05:06
We specialize特化する in high-quality高品質 facialフェイシャル animationアニメーション
111
288000
3000
テレビゲームや映画のためのハイクオリティな
05:09
for videoビデオ gamesゲーム and films映画.
112
291000
2000
顔のアニメーションを専門としています
05:11
Image画像 Metricsメトリック is a markerless無標識, performance-drivenパフォーマンス駆動型 animationアニメーション company会社.
113
293000
4000
Image Metrics はマーカーなしパフォーマンス駆動アニメーションの会社です
05:15
We specialize特化する in high高い quality品質 facialフェイシャル animationアニメーション
114
297000
3000
テレビゲームや映画のためのハイクオリティな
05:18
for videoビデオ gamesゲーム and films映画.
115
300000
3000
顔のアニメーションを専門としています
05:21
Paulポール Debevecデベベック: So, if we breakブレーク that down into layers, here'sここにいる that diffuse拡散する component成分
116
303000
2000
レイヤに分解してみましょう
05:23
we saw in the first slide滑り台.
117
305000
2000
これは光の拡散の部分です
05:25
Here is the specularスペキュラ component成分 animatingアニメーション.
118
307000
2000
これは正反射部分のアニメーション
05:27
You can see all the wrinklesシワ happeningハプニング there.
119
309000
2000
皺が現れているのがわかります
05:29
And there is the underlying根底にある wireframeワイヤーフレーム meshメッシュ.
120
311000
5000
これは下にあるワイヤフレームのメッシュ
05:34
And that is Emilyエミリー herself自分自身.
121
316000
2000
そしてエミリー本人
05:36
Now, where are we going with this here?
122
318000
2000
今後どうするかですが
05:38
We've私たちは gone行った a little bitビット beyond超えて Light Stageステージ 5. This is Light Stageステージ 6,
123
320000
4000
Light Stage 5 を一歩先へ進めたLight Stage 6 を作りました
05:42
and we're looking at taking取る this technology技術
124
324000
2000
このテクノロジーを
05:44
and applying申請中 it to whole全体 human人間 bodies.
125
326000
2000
人の体全体に適用しています
05:46
This is Bruceブルース LawmenLawmen, one of our researchers研究者 in the groupグループ,
126
328000
2000
彼は研究メンバーのブルース ローメンで
05:48
who graciously優雅に agreed同意した to get captured捕獲 runningランニング in the Light Stageステージ.
127
330000
3000
走っているところをキャプチャするモデルになってくれました
05:51
And let's take a look at a computer-generatedコンピュータ生成 versionバージョン
128
333000
2000
コンピュータで生成した彼が
05:53
of Bruceブルース, runningランニング in a new新しい environment環境.
129
335000
2000
新たな環境の中で走っているのをご覧ください
06:01
And thank you very much.
130
343000
2000
どうもありがとうございました
06:03
(Applause拍手)
131
345000
1000
(拍手)
Translated by Yasushi Aoki
Reviewed by Masahiro Kyushima

▲Back to top

ABOUT THE SPEAKER
Paul Debevec - Computer graphics pioneer
Paul Debevec's digital inventions have powered the breathtaking visual effects in films like The Matrix, Superman Returns, King Kong and The Curious Case of Benjamin Button.

Why you should listen

Called "Hollywood's Master of Light" by MIT's Technology Review, Paul Debevec leads the Graphics Laboratory at USC's Institute for Creative Technologies, where he directs the development of the Light Stage systems, which capture and simulate how people and objects appear in real-world illumination.

His work on lighting digital objects has been used in films like X-Men, The Golden Compass and Terminator: Salvation. He leads the design of HDR Shop, the first high-dynamic-range image editing program. He has collaborated with TEDster Golan Levin on an interactive art installation called Rouen Revisited.

More profile about the speaker
Paul Debevec | Speaker | TED.com