ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com
TEDxBeaconStreet

Michael Rubinstein: See invisible motion, hear silent sounds

マイケル・ルービンスタイン: 見えない動きを見、聞こえない音を聞く。すごい？ それとも気味が悪い？

Filmed:
2,075,056 views

肉眼では見られない微細な動きや色の変化を拡大する「顕微鏡」をご紹介します。画像技術者マイケル・ルービンスタインは、驚くばかりの映像を次から次へと見せ、この技術によって普通の映像から人の心拍を読み取ったり、音波により生じるポテトチップ袋の振動を拡大して会話を再現できることを示します。恐ろしい応用の可能性も秘めたこの驚きの技術は、実際に目にするまで信じられないかもしれません。
- Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio

Double-click the English transcript below to play the video.

00:13
So over the past過去 few少数 centuries世紀,
microscopes顕微鏡 have revolutionized革命を起こした our world世界.
0
1114
7492
過去数世紀に渡って
顕微鏡は世界を変えてきました
00:21
They revealed明らかに to us a tiny小さな world世界
of objectsオブジェクト, life and structures構造
1
9036
5216
小さすぎて肉眼では見えない
物や生物や構造の世界を
00:26
that are too small小さい for us
to see with our naked裸 eyes目.
2
14252
2906
顕微鏡が明らかにし
00:29
They are a tremendousすばらしい contribution貢献
to science科学 and technology技術.
3
17158
3019
科学や技術に対して
大いなる貢献をしました
00:32
Today今日 I'd like to introduce紹介する you
to a new新しい typeタイプ of microscope顕微鏡,
4
20177
3227
今日ご紹介したいのは
新しいタイプの顕微鏡
00:35
a microscope顕微鏡 for changes変更.
5
23404
2578
「変化を見る顕微鏡」です
00:37
It doesn't use optics光学
like a regular定期的 microscope顕微鏡
6
25982
2902
普通の顕微鏡のように
光学的に小さなものを大きく
00:40
to make small小さい objectsオブジェクト biggerより大きい,
7
28884
1997
見せるのではなく
00:42
but instead代わりに it uses用途 a videoビデオ cameraカメラ
and image画像 processing処理
8
30881
4376
ビデオと画像処理を使って
00:47
to reveal明らかにする to us the tiniest最も小さい motions動き
and color色 changes変更 in objectsオブジェクト and people,
9
35257
5256
肉眼では見えないような
人や物の微細な動きや
00:52
changes変更 that are impossible不可能
for us to see with our naked裸 eyes目.
10
40513
3842
色の変化を
見えるようにします
00:56
And it lets〜する us look at our world世界
in a completely完全に new新しい way.
11
44355
4120
これは世界に対する
まったく別の見方を与えてくれます
01:00
So what do I mean by color色 changes変更?
12
48475
1910
色の変化とは
どんなものかですが
01:02
Our skin肌, for example例,
changes変更 its color色 very slightly少し
13
50385
2832
例えば人の肌というのは
血の流れに応じて
01:05
when the blood血液 flows流れ under下 it.
14
53217
1997
色がかすかに変化します
01:07
That change変化する is incredibly信じられないほど subtle微妙,
15
55214
2397
これはとても
微妙な変化であるため
01:09
whichどの is why, when you
look at other people,
16
57611
2063
隣に座っている人を
見たところで
01:11
when you look at the person人
sitting座っている next次 to you,
17
59674
2251
肌や顔の色が
01:13
you don't see their彼らの skin肌
or their彼らの face面 changing変化 color色.
18
61925
3575
変わっているようには
見えません
01:17
When we look at this videoビデオ of Steveスティーブ here,
it appears登場する to us like a static静的 picture画像,
19
65500
4360
このスティーブの映像を見ても
静止画のように見えます
01:21
but once一度 we look at this videoビデオ
throughを通して our new新しい, special特別 microscope顕微鏡,
20
69860
3860
しかし私達の新しい顕微鏡を
通して見ると
01:25
suddenly突然 we see
a completely完全に different異なる image画像.
21
73720
2600
まったく異なる
イメージが現れます
01:28
What you see here are small小さい changes変更
in the color色 of Steve'sスティーブ skin肌,
22
76320
3930
肌の色の小さな変化を
100倍増幅することで
01:32
magnified拡大された 100 times回
so that they become〜になる visible目に見える.
23
80250
4436
目で見て分かる
ようにしています
01:36
We can actually実際に see a human人間 pulseパルス.
24
84686
3267
脈拍を見て取る
こともできます
01:39
We can see how fast速い
Steve'sスティーブ heartハート is beating打つ,
25
87953
3227
心拍の早さだけでなく
01:43
but we can alsoまた、 see the actual実際の way
that the blood血液 flows流れ in his face面.
26
91180
5355
顔を血がどう流れているかも
分かります
01:48
And we can do that not just
to visualize視覚化する the pulseパルス,
27
96544
2631
脈拍を可視化
できるだけでなく
01:51
but alsoまた、 to actually実際に
recover回復します our heartハート rates料金,
28
99175
3471
心拍数を正確に
01:54
and measure測定 our heartハート rates料金.
29
102646
1793
計測することもできます
01:56
And we can do it with regular定期的 camerasカメラ
and withoutなし touching触れる the patients患者.
30
104439
4453
普通のカメラでできて
患者に触れる必要もありません
02:00
So here you see the pulseパルス and heartハート rateレート
we extracted抽出された from a neonatal新生児 baby赤ちゃん
31
108892
5617
ここでは普通のDSLRカメラで撮った
新生児の映像から
02:06
from a videoビデオ we took取った
with a regular定期的 DSLRDSLR cameraカメラ,
32
114509
2881
脈拍と心拍数を
取り出しています
02:09
and the heartハート rateレート measurement測定 we get
33
117390
1816
これで計測した心拍数は
02:11
is as accurate正確 as the one you'dあなたは get
with a standard標準 monitorモニター in a hospital病院.
34
119206
4811
病院にある通常の計器によるのと
同様の正確さがあります
02:16
And it doesn't even have to be
a videoビデオ we recorded記録された.
35
124017
2642
映像も自分で撮ったもの
である必要はなく
02:18
We can do it essentially基本的に
with other videosビデオ as well.
36
126659
2995
既存のビデオを使うこともできます
02:21
So I just took取った a shortショート clipクリップ
from "Batmanバットマン Begins始まる" here
37
129654
3901
これは『バットマン ビギンズ』の一場面から
02:25
just to showショー Christianキリスト教の Bale'sベールズ pulseパルス.
38
133555
1904
クリスチャン・ベールの心拍が
見えるようにしたものです（笑）
02:27
(Laughter笑い)
39
135459
1822
クリスチャン・ベールの心拍が
見えるようにしたものです（笑）
02:29
And you know, presumablyおそらく
he's wearing着る makeup化粧,
40
137281
2123
映画なのでメークも
しているだろうし
02:31
the lighting点灯 here is kind種類 of challenging挑戦,
41
139404
1953
光の条件にも
難しい面がありますが
02:33
but still, just from the videoビデオ,
we're ableできる to extractエキス his pulseパルス
42
141357
2951
それでも映像から
彼の心拍を
02:36
and showショー it quiteかなり well.
43
144308
2018
非常にうまく
取り出せています
02:38
So how do we do all that?
44
146326
1920
どうやっているのかですが
02:40
We basically基本的に analyze分析する the changes変更
in the light光 that are recorded記録された
45
148246
4598
ビデオのそれぞれの
ピクセルに記録された
02:44
at everyすべて pixelピクセル in the videoビデオ over time,
46
152844
2271
光の時間的変化を分析し
02:47
and then we crankクランク up those changes変更.
47
155115
1798
その変化を拡大しています
02:48
We make them biggerより大きい
so that we can see them.
48
156913
2162
変化が見て分かるくらいに
大きくするわけです
02:51
The trickyトリッキー part部 is that those signalsシグナル,
49
159075
1902
難しいのは
捉えたい変化が
02:52
those changes変更 that we're after,
are extremely極端な subtle微妙,
50
160977
2933
非常に小さなものだ
ということで
02:55
so we have to be very careful慎重に
when you try to separate別々の them
51
163910
2779
その変化を
録画につきもののノイズから
02:58
from noiseノイズ that always exists存在する in videosビデオ.
52
166689
3831
注意深く分離する
必要があります
03:02
So we use some clever賢い
image画像 processing処理 techniques技術
53
170520
2995
それぞれのピクセルの
ごく正確な色を得るために
03:05
to get a very accurate正確 measurement測定
of the color色 at each各 pixelピクセル in the videoビデオ,
54
173515
3994
巧妙な画像処理を
行っています
03:09
and then the way the color色
changes変更 over time,
55
177509
2670
それから色の
時間変化の仕方を捉え
03:12
and then we amplify増幅する those changes変更.
56
180179
2693
それを拡大して
03:14
We make them biggerより大きい to create作成する those typesタイプ
of enhanced強化された videosビデオ, or magnified拡大された videosビデオ,
57
182872
3980
変化が目で見て分かるよう
変化の強調された
03:18
that actually実際に showショー us those changes変更.
58
186852
2172
映像を作ります
03:21
But it turnsターン out we can do that
not just to showショー tiny小さな changes変更 in color色,
59
189024
4238
このようにして見えるようにできるものには
微細な色の変化だけでなく
03:25
but alsoまた、 tiny小さな motions動き,
60
193262
2241
微細な動きもあります
03:27
and that's because the light光
that gets取得 recorded記録された in our camerasカメラ
61
195503
3576
カメラに記録される光は
色の変化によってだけでなく
03:31
will change変化する not only if the color色
of the objectオブジェクト changes変更,
62
199079
2810
物の動きによっても
03:33
but alsoまた、 if the objectオブジェクト moves動き.
63
201889
2368
変化するからです
03:36
So this is my daughter娘
when she was about two months数ヶ月 old古い.
64
204257
3636
これは生後２ヶ月の頃の
私の娘です
03:39
It's a videoビデオ I recorded記録された
about three三 years年 ago前.
65
207893
2999
３年ほど前に
録画したものです
03:42
And as new新しい parents親, we all want
to make sure our babies赤ちゃん are healthy健康,
66
210892
3208
親になったばかりの人は
赤ちゃんが健康か 息をしているか
03:46
that they're breathing呼吸,
that they're alive生きている, of courseコース.
67
214100
2542
生きているか
いつも気にかけています
03:48
So I too got one of those baby赤ちゃん monitorsモニター
68
216642
2142
私も娘の眠っている姿を
見られるよう
03:50
so that I could see my daughter娘
when she was asleep眠っている.
69
218784
2469
ベビーモニターを
買いました
03:53
And this is prettyかなり much what you'llあなたは see
with a standard標準 baby赤ちゃん monitorモニター.
70
221253
3527
普通のベビーモニターで見られるのは
このような映像です
03:56
You can see the baby's赤ちゃんの sleeping睡眠, but
there's not too much information情報 there.
71
224780
3682
眠っている様子は分かりますが
情報は大して得られません
04:00
There's not too much we can see.
72
228474
1604
見て分かる事は
殆どありません
04:02
Wouldn'tしないだろう it be better,
or more informative有益な, or more useful有用,
73
230078
2824
もしこんな風に
見えたとしたら
04:04
if instead代わりに we could look
at the view見る like this.
74
232902
2990
もっと情報が得られて
有用ではないでしょうか？
04:07
So here I took取った the motions動き
and I magnified拡大された them 30 times回,
75
235892
6356
動きを30倍拡大することで
娘の動きがはっきり見て取れるようになりました
04:14
and then I could clearlyはっきりと see that my
daughter娘 was indeed確かに alive生きている and breathing呼吸.
76
242248
3826
これで娘が確かに生きて
呼吸しているのが分かります
04:18
(Laughter笑い)
77
246074
2253
（笑）
04:20
Here is a side-by-side並んで comparison比較.
78
248327
1922
並べて比較したところですが
04:22
So again, in the sourceソース videoビデオ,
in the original元の videoビデオ,
79
250249
2483
元々のビデオでは
04:24
there's not too much we can see,
80
252732
1636
動きが分かりません
04:26
but once一度 we magnify拡大する the motions動き,
the breathing呼吸 becomes〜になる much more visible目に見える.
81
254368
3707
しかし動きを拡大した映像では
呼吸の様子がよく分かります
04:30
And it turnsターン out, there's
a lot of phenomena現象
82
258075
2070
この「変化を見る顕微鏡」によって
明らかにできる身の回りの現象は
たくさんあります
04:32
we can reveal明らかにする and magnify拡大する
with our new新しい motionモーション microscope顕微鏡.
83
260145
3623
04:35
We can see how our veins静脈 and arteries動脈
are pulsing脈打つ in our bodies体.
84
263768
4564
体の中で静脈や動脈が
どう脈打っているか分かります
04:40
We can see that our eyes目
are constantly常に moving動く
85
268332
2628
目が絶えずユラユラ
動いていることも
04:42
in this wobbly揺れる motionモーション.
86
270960
1887
よく分かります
04:44
And that's actually実際に my eye眼,
87
272847
1509
これは私の目で
04:46
and again this videoビデオ was taken撮影
right after my daughter娘 was bornうまれた,
88
274356
3065
娘が生まれた頃に
撮ったので
04:49
so you can see I wasn'tなかった getting取得
too much sleep睡眠. (Laughter笑い)
89
277421
4202
あまり寝ていないのが
分かるかと思います（笑）
04:53
Even when a person人 is sitting座っている still,
90
281623
2716
じっと座っている人からでさえ
04:56
there's a lot of information情報
we can extractエキス
91
284339
2044
多くの情報が得られます
04:58
about their彼らの breathing呼吸 patternsパターン,
small小さい facialフェイシャル expressions表現.
92
286383
3529
呼吸のパターンとか
小さな顔の表情とか
05:01
Maybe we could use those motions動き
93
289912
1625
このような動きから
05:03
to tell us something about
our thoughts思考 or our emotions感情.
94
291537
3154
その人の思っていることや
感情も分かるかもしれません
05:06
We can alsoまた、 magnify拡大する small小さい
mechanical機械的 movements動き,
95
294691
3255
エンジンの振動のような
小さな機械の動きも
05:09
like vibrations振動 in enginesエンジン,
96
297946
1555
拡大して見えるようにできます
05:11
that can help engineersエンジニア detect検出する
and diagnose診断する machinery機械 problems問題,
97
299501
3692
機械の問題の検出や診断を技術者がするのに
役立つかもしれません
05:15
or see how our buildings建物 and structures構造
sway揺れる in the wind風 and react反応する to forces力.
98
303193
4738
建物や構造物が風に揺れたり
反発したりする様子も見て取れます
05:19
Those are all things that our society社会
knows知っている how to measure測定 in various様々な ways方法,
99
307931
4581
こういった動きを計測する方法なら
以前からありましたが
05:24
but measuring測定する those motions動き is one thing,
100
312512
2453
その動いている様子を
05:26
and actually実際に seeing見る those
motions動き as they happen起こる
101
314965
2276
実際に目で見えるようにする
というのは
05:29
is a whole全体 different異なる thing.
102
317241
2554
また別の話になります
05:31
And ever since以来 we discovered発見された
this new新しい technology技術,
103
319795
3041
私達はこの技術を開発して以来
05:34
we made製 our codeコード available利用可能な onlineオンライン so that
othersその他 could use and experiment実験 with it.
104
322836
3953
ネット上でプログラムを公開して
誰でも実験できるようにしています
05:38
It's very simple単純 to use.
105
326789
1875
とても簡単に使え
05:40
It can work on your own自分の videosビデオ.
106
328664
2044
自分のビデオで
試すことができます
05:42
Our collaborators協力者 at QuantaQuanta Research研究
even created作成した this niceいい websiteウェブサイト
107
330708
3193
私達の協力者のQuanta Researchは
ご覧のようなサイトも用意していて
05:45
where you can uploadアップロード your videosビデオ
and processプロセス them onlineオンライン,
108
333901
2678
ビデオをアップするだけで
結果を見られます
05:48
so even if you don't have any experience経験
in computerコンピューター science科学 or programmingプログラミング,
109
336579
3816
だからコンピュータサイエンスや
プログラミングの知識がまったくなくても
05:52
you can still very easily簡単に experiment実験
with this new新しい microscope顕微鏡.
110
340395
2936
簡単にこの顕微鏡で
実験ができます
05:55
And I'd like to showショー you
just a coupleカップル of examples例
111
343331
2404
これを使ってみんなが
どんなことをしているのか
05:57
of what othersその他 have done完了 with it.
112
345735
2735
いくつかご覧に入れましょう
06:00
So this videoビデオ was made製 by
a YouTubeYouTube userユーザー calledと呼ばれる Tamezタメズ85.
113
348470
5317
このビデオはTomez85という
YouTubeユーザーが作ったもので
06:05
I don't know who that userユーザー is,
114
353787
1463
どういう人なのか知りませんが
06:07
but he, or she, used our codeコード
115
355250
2345
私達のプログラムを使って
06:09
to magnify拡大する small小さい belly腹
movements動き during中 pregnancy妊娠.
116
357595
3715
妊婦のお腹の動きを
拡大しています
06:13
It's kind種類 of creepy気味悪い.
117
361310
1602
ちょっと不気味ですね
06:14
(Laughter笑い)
118
362912
1613
（笑）
06:16
People have used it to magnify拡大する
pulsing脈打つ veins静脈 in their彼らの hands手.
119
364525
4961
ここでは手の静脈の拍動を
拡大しています
06:21
And you know it's not realリアル science科学
unless限り you use guineaモルモット pigs豚,
120
369486
3782
しかしモルモットを使わなくちゃ
科学っぽくなりませんよね
06:25
and apparently明らかに this guineaモルモット pig豚
is calledと呼ばれる Tiffanyティファニー,
121
373268
3390
このモルモットは
ティファニーという名前で
06:28
and this YouTubeYouTube userユーザー claims請求
it is the first rodent齧歯類 on Earth地球
122
376658
2949
作者はこれが
微細な動きを拡大された
06:31
that was motion-magnified動きを拡大した.
123
379607
2688
最初の齧歯類だと
主張しています
06:34
You can alsoまた、 do some artアート with it.
124
382295
2188
美術作品を作ることもできます
06:36
So this videoビデオ was sent送られた to me
by a design設計 student学生 at Yaleイェール.
125
384483
3018
イェール大のデザイン科の学生が
送ってきたもので
06:39
She wanted to see
if there's any difference差
126
387501
2137
友人の身動きの仕方に
違いがあるか
06:41
in the way her classmates同級生 move動く.
127
389638
1522
知りたかったのだそうです
06:43
She made製 them all standスタンド still,
and then magnified拡大された their彼らの motions動き.
128
391160
4209
じっとしているように頼んで
それから動きを拡大したものです
06:47
It's like seeing見る
still picturesピクチャー come to life.
129
395369
3378
写真が動き始めたみたいな
感じがします
06:50
And the niceいい thing with
all those examples例
130
398747
2433
これらの例の良いところは
06:53
is that we had nothing to do with them.
131
401180
2296
我々自身何もする必要が
なかったことです
06:55
We just provided提供された this new新しい toolツール,
a new新しい way to look at the world世界,
132
403476
3854
ただ新しい道具と
世界を見る新しい方法を提供するだけで
06:59
and then people find other interesting面白い,
new新しい and creative創造的な ways方法 of usingを使用して it.
133
407330
5132
いろんな人が新しくて面白い
創造的な使い方を見つけてくれます
07:04
But we didn't stop there.
134
412462
1764
しかしそれで終わりではありません
07:06
This toolツール not only allows許す us
to look at the world世界 in a new新しい way,
135
414226
3251
このツールは世界に対し
新しい見方ができるようにするだけでなく
07:09
it alsoまた、 redefines再定義する what we can do
136
417477
2368
カメラで出来ることを再定義し
07:11
and pushesプッシュ the limits限界 of what
we can do with our camerasカメラ.
137
419845
3181
可能性の限界を
押し広げもします
07:15
So as scientists科学者, we started開始した wondering不思議,
138
423026
2229
科学者として
私達は考え始めました
07:17
what other typesタイプ of physical物理的 phenomena現象
produce作物 tiny小さな motions動き
139
425255
3785
カメラで計測できる
微細な動きを生み出す物理現象として
07:21
that we could now use
our camerasカメラ to measure測定?
140
429040
2903
他にどんなものがあるだろう？
07:23
And one suchそのような phenomenon現象
that we focused集中した on recently最近 is sound音.
141
431943
4001
そのような現象の１つとして
我々が最近取り組んでいるのが「音」です
07:27
Sound音, as we all know,
is basically基本的に changes変更
142
435944
2105
音というのは基本的に
07:30
in air空気 pressure圧力 that
travel旅行 throughを通して the air空気.
143
438049
2183
空気中を伝わる空気圧の変化です
07:32
Those pressure圧力 waves波 hitヒット objectsオブジェクト
and they create作成する small小さい vibrations振動 in them,
144
440232
3621
圧力の波が物にぶつかる時
小さな振動を生じ
07:35
whichどの is how we hear聞く
and how we record記録 sound音.
145
443853
2532
それを使って私達は音を聞いたり
録音したりしています
07:38
But it turnsターン out that sound音
alsoまた、 produces生産する visualビジュアル motions動き.
146
446385
3668
しかし音は視覚的な
動きも作り出します
07:42
Those are motions動き
that are not visible目に見える to us
147
450053
2833
肉眼では見えなくとも
07:44
but are visible目に見える to a cameraカメラ
with the right processing処理.
148
452886
3001
カメラを使って適切に処理すれば
見えるようになります
07:47
So here are two examples例.
149
455887
1573
例を２つお見せします
07:49
This is me demonstratingデモ
my great singing歌う skillsスキル.
150
457460
2614
これは私が素晴らしい歌唱力を
披露しているところです
07:53
(Singing歌う)
151
461064
1634
アー
07:54
(Laughter笑い)
152
462698
1436
（笑）
07:56
And I took取った a high-speed高速 videoビデオ
of my throat喉 while I was hummingハミング.
153
464134
2986
声を出している時の喉を
高速度カメラで撮影しました
07:59
Again, if you stare見詰める at that videoビデオ,
154
467120
1764
元の映像を見ても
08:00
there's not too much
you'llあなたは be ableできる to see,
155
468884
2076
ほとんど動きは見られませんが
08:02
but once一度 we magnify拡大する the motions動き 100 times回,
we can see all the motions動き and ripples波紋
156
470960
4332
動きを100倍拡大してやると
発声に関わる首の部分に
08:07
in the neckネック that are involved関係する
in producing生産する the sound音.
157
475292
3274
波のような動きが広がっているのが
分かります
08:10
That signal信号 is there in that videoビデオ.
158
478566
2740
音の痕跡が映像に
残されているわけです
08:13
We alsoまた、 know that singers歌手
can breakブレーク a wineワイン glassガラス
159
481306
2670
歌手は特定の音程の声を出して
グラスを割れる
08:15
if they hitヒット the correct正しい note注意.
160
483976
1463
という話は
良く知られています
08:17
So here, we're going to play遊びます a note注意
161
485439
1765
ここではグラスの
08:19
that's in the resonance共振
frequency周波数 of that glassガラス
162
487204
2526
共鳴周波数の音を
08:21
throughを通して a loudspeakerラウドスピーカー that's next次 to it.
163
489730
2048
横のスピーカーから
出しています
08:23
Once一度 we play遊びます that note注意
and magnify拡大する the motions動き 250 times回,
164
491778
4419
その時の動きを
250倍拡大すると
08:28
we can very clearlyはっきりと see
how the glassガラス vibrates振動する
165
496197
2338
グラスが音に共鳴して
振動しているのが
08:30
and resonates共鳴する in response応答 to the sound音.
166
498535
3570
はっきり分かります
08:34
It's not something you're used
to seeing見る everyすべて day.
167
502105
2420
あまり日常で目にする光景では
ありませんね
08:36
But this made製 us think.
It gave与えた us this crazy狂った ideaアイディア.
168
504525
3529
しかしここから
突飛なアイデアを思いつきました
08:40
Can we actually実際に invert反転 this processプロセス
and recover回復します sound音 from videoビデオ
169
508054
5608
この過程を逆にして 映像から音を
復元できないでしょうか？
08:45
by analyzing分析する the tiny小さな vibrations振動
that sound音 waves波 create作成する in objectsオブジェクト,
170
513662
4035
音波が物の表面に作り出す
微細な振動を解析して
08:49
and essentially基本的に convert変換する those
back into the sounds音 that produced生産された them.
171
517697
4777
元になった音を
生成するのです
08:54
In this way, we can turn順番
everyday毎日 objectsオブジェクト into microphonesマイク.
172
522474
4457
そのようにすれば 身の回りにある物を
マイクに変えることができます
08:58
So that's exactly正確に what we did.
173
526931
2232
私達はまさにそれを
やってみました
09:01
So here'sここにいる an empty空の bagバッグ of chipsチップ
that was lying嘘つき on a table表,
174
529163
2816
テーブルの上にポテトチップの
空き袋があります
09:03
and we're going to turn順番 that
bagバッグ of chipsチップ into a microphoneマイクロフォン
175
531979
2825
これをビデオ撮影して
音により生じた —
09:06
by filming撮影 it with a videoビデオ cameraカメラ
176
534804
1591
微細な動きを
解析することで
09:08
and analyzing分析する the tiny小さな motions動き
that sound音 waves波 create作成する in it.
177
536395
3228
ポテトチップの袋をマイクロフォンに
変えようというわけです
09:11
So here'sここにいる the sound音
that we playedプレーした in the roomルーム.
178
539623
2796
この部屋では
こんな音楽を流しています
09:14
(Music音楽: "Maryメアリー Had a Little Lamb子羊")
179
542419
4434
(曲『メリーさんのひつじ』)
09:22
And this is a high-speed高速 videoビデオ
we recorded記録された of that bagバッグ of chipsチップ.
180
550007
3025
そしてポテトチップの袋を
高速度カメラで撮影しました
09:25
Again it's playing遊ぶ.
181
553032
1274
これを見ても
09:26
There's no chanceチャンス you'llあなたは be ableできる
to see anything going on in that videoビデオ
182
554306
3342
何かが起きているようには
09:29
just by looking at it,
183
557648
1058
見えませんが
09:30
but here'sここにいる the sound音 we were ableできる
to recover回復します just by analyzing分析する
184
558706
2984
映像の中の微細な動きを
解析することで
09:33
the tiny小さな motions動き in that videoビデオ.
185
561690
2183
このような音を
再現できました
09:35
(Music音楽: "Maryメアリー Had a Little Lamb子羊")
186
563873
2809
(曲『メリーさんのひつじ』)
09:52
I call it -- Thank you.
187
580985
1486
私はこれを—
09:54
(Applause拍手)
188
582471
5225
（拍手）
10:01
I call it the visualビジュアル microphoneマイクロフォン.
189
589878
2345
「ビジュアル・マイクロフォン」
と呼んでいます
10:04
We actually実際に extractエキス audioオーディオ signalsシグナル
from videoビデオ signalsシグナル.
190
592223
3390
ビデオ信号からオーディオ信号を
取り出しているのです
10:07
And just to give you a senseセンス
of the scale規模 of the motions動き here,
191
595613
3181
動きの大きさが
どれくらいかというと
10:10
a prettyかなり loud大声で sound音 will cause原因 that bagバッグ
of chipsチップ to move動く lessもっと少なく than a micrometerマイクロメータ.
192
598799
5336
かなり大きな音でも
ポテトチップの袋の動きは１ミクロン未満です
10:16
That's one thousandth千分の一 of a millimeterミリメートル.
193
604135
2739
１ミリの千分の１です
10:18
That's how tiny小さな the motions動き are
that we are now ableできる to pull引く out
194
606874
3561
そのような小さな動きでも
10:22
just by observing観察する how light光
bouncesバウンス off objectsオブジェクト
195
610435
3243
映像の中で物に反射する光を
観察することによって
10:25
and gets取得 recorded記録された by our camerasカメラ.
196
613678
2136
検出できるのです
10:27
We can recover回復します sounds音
from other objectsオブジェクト, like plants植物.
197
615814
3250
他の物を使うこともできます
たとえば植物とか
10:31
(Music音楽: "Maryメアリー Had a Little Lamb子羊")
198
619064
6316
(曲『メリーさんのひつじ』)
10:39
And we can recover回復します speechスピーチ as well.
199
627214
1997
声を復元することもできます
10:41
So here'sここにいる a person人 speaking話し中 in a roomルーム.
200
629211
2577
こちらでは部屋の中で
人が話しています
10:43
Voice音声: Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
201
631788
4203
Mary had a little lamb whose fleece was white as snow,
(メリーさんは小さな羊を飼っていた 雪のように白い毛をして)
10:47
and everywhereどこにでも that Maryメアリー went行った,
that lamb子羊 was sure to go.
202
635991
4230
and everywhere that Mary went, that lamb was sure to go.
(メリーさんの行くところは どこにでも付いてきた)
10:52
Michaelマイケル Rubinsteinルビンスタイン: And here'sここにいる
that speechスピーチ again recovered回復した
203
640221
2759
前と同じ
ポテトチップの袋の映像から
10:54
just from this videoビデオ
of that same同じ bagバッグ of chipsチップ.
204
642980
3274
復元した声です
10:58
Voice音声: Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
205
646254
4831
Mary had a little lamb
whose fleece was white as snow,
11:03
and everywhereどこにでも that Maryメアリー went行った,
that lamb子羊 was sure to go.
206
651085
4859
and everywhere that Mary went,
that lamb was sure to go.
11:07
MR氏: We used "Maryメアリー Had a Little Lamb子羊"
207
655944
2346
『メリーさんのひつじ』を使ったのは
11:10
because those are said to be
the first words言葉
208
658290
2123
エジソンが1877年に
蓄音機で
11:12
that Thomasトーマス Edisonエジソン spokeスポーク
into his phonograph蓄音機 in 1877.
209
660413
4161
最初に録音したのが
この歌だったからです
11:16
It was one of the first sound音
recording録音 devicesデバイス in history歴史.
210
664574
3228
それは音を記録する
最初の装置の１つでした
11:19
It basically基本的に directed指示された the sounds音
onto〜に a diaphragm横隔膜
211
667802
3327
音を振動板で受け
11:23
that vibrated振動した a needle針 that essentially基本的に
engraved刻まれた the sound音 on tinfoil錫箔
212
671129
4079
その振動を針に伝え
それが筒に巻いたアルミ箔に
11:27
that was wrapped包まれた around the cylinderシリンダー.
213
675208
2275
記録される仕掛けでした
11:29
Here'sここにいる a demonstrationデモンストレーション of recording録音 and
replayingリプレイ sound音 with Edison'sエジソン phonograph蓄音機.
214
677483
5943
これはエジソンの蓄音機で
録音し再生するデモです
11:35
(Videoビデオ) Voice音声: Testingテスト,
testingテスト, one two three三.
215
683426
3020
（録音）Testing, testing, one two three.
11:38
Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
216
686446
3413
Mary had a little lamb
whose fleece was white as snow,
11:41
and everywhereどこにでも that Maryメアリー went行った,
the lamb子羊 was sure to go.
217
689859
3669
and everywhere that Mary went,
the lamb was sure to go.
11:45
Testingテスト, testingテスト, one two three三.
218
693528
2740
（再生）Testing, testing, one two three.
11:48
Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
219
696268
4156
Mary had a little lamb
whose fleece was white as snow,
11:52
and everywhereどこにでも that Maryメアリー went行った,
the lamb子羊 was sure to go.
220
700424
5224
and everywhere that Mary went,
the lamb was sure to go.
11:57
MR氏: And now, 137 years年 later後で,
221
705648
4017
137年後の今日
12:01
we're ableできる to get sound音
in prettyかなり much similar類似 quality品質
222
709665
4087
音に振動する物の映像だけから
同程度のクオリティの音を
12:05
but by just watching見ている objectsオブジェクト
vibrate振動する to sound音 with camerasカメラ,
223
713752
4079
再現できるようになりました
12:09
and we can even do that when the cameraカメラ
224
717831
1934
しかも防音ガラスの
向こう側にある
12:11
is 15 feetフィート away from the objectオブジェクト,
behind後ろに soundproof防音 glassガラス.
225
719765
4234
５メートル離れた物を使って
それができるのです
12:15
So this is the sound音 that we were
ableできる to recover回復します in that case場合.
226
723999
3220
そうやって復元した音がこれです
12:19
Voice音声: Maryメアリー had a little lamb子羊
whoseその fleeceフリース was white白 as snow雪,
227
727219
5294
Mary had a little lamb
whose fleece was white as snow,
12:24
and everywhereどこにでも that Maryメアリー went行った,
the lamb子羊 was sure to go.
228
732513
4759
and everywhere that Mary went,
the lamb was sure to go.
12:29
MR氏: And of courseコース, surveillance監視 is
the first application応用 that comes来る to mindマインド.
229
737404
3630
すぐ思いつく応用は
スパイ活動でしょう
12:33
(Laughter笑い)
230
741034
2995
（笑）
12:36
But it mightかもしれない actually実際に be useful有用
for other things as well.
231
744029
4056
しかし他のことにも使えます
12:40
Maybe in the future未来, we'll私たちは be ableできる
to use it, for example例,
232
748085
2840
もしかしたら
将来宇宙の向こうの音を
12:42
to recover回復します sound音 across横断する spaceスペース,
233
750925
2252
再現できるように
なるかもしれません
12:45
because sound音 can't travel旅行
in spaceスペース, but light光 can.
234
753177
3576
音は宇宙を伝わりませんが
光なら伝わるからです
12:48
We've私たちは only just begun始まった exploring探検する
235
756753
2404
私達は
この新しい技術の可能性を
12:51
other possible可能 uses用途
for this new新しい technology技術.
236
759157
3019
探り始めたばかりです
12:54
It lets〜する us see physical物理的 processesプロセス
that we know are there
237
762176
2832
これまで存在するのは
知っていたけれど
12:57
but that we've私たちは never been ableできる
to see with our own自分の eyes目 until〜まで now.
238
765008
3556
自分の目で見られなかった物理現象を
見えるようにしてくれるのです
13:00
This is our teamチーム.
239
768564
1204
これが私の仲間です
13:01
Everything I showed示した you today今日
is a result結果 of a collaborationコラボレーション
240
769768
2879
今日お見せしたものは
みんなここに出ている人達の
13:04
with this great groupグループ
of people you see here,
241
772647
2191
協力の結果
得られたものです
13:06
and I encourage奨励します you and welcomeようこそ you
to checkチェック out our websiteウェブサイト,
242
774838
3167
みなさんにもぜひ
私達のウェブサイトを訪れ
13:10
try it out yourselfあなた自身,
243
778005
1446
自分で試してみて
13:11
and join参加する us in exploring探検する
this world世界 of tiny小さな motions動き.
244
779451
2972
一緒に微細な動きの世界を
探索していただきたいと思います
13:14
Thank you.
245
782423
1625
ありがとうございました
13:16
(Applause拍手)
246
784048
1254
（拍手）
Translated by Yasushi Aoki
Reviewed by Eriko T.

▲Back to top

ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM