ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com
TEDxBeaconStreet

Michael Rubinstein: See invisible motion, hear silent sounds

마이클 루벤스타인 (Michael Rubinstein): 세밀한 움직임과 작은 소리도 보고 들을 수 있다면? 멋질까요? 징그러울까요? 알 수 없어요.

Filmed:
2,075,056 views

"동작 현미경"은 맨눈으로는 볼 수 없는 움직임과 색상의 미세한 변화를 증폭시켜주는 영상용 편집장치입니다. 영상연구가 마이클 루벤스타인은 입이 쩍벌어지는 영상을 보여준 뒤 이 기술이 어떻게 영상으로부터 인체의 맥박과 심장박동을 감지하는지 보여줍니다. 그가 과자 봉지에서 울려나오는 음파로부터 움직임을 증폭해서 대화를 재생해내는 모습을 보세요. 와! 소리가 나오는 이 기술과 잘못된 응용을 여러분은 보고 믿어야 할 것입니다.
- Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats. Full bio

Double-click the English transcript below to play the video.

00:13
So over the past과거 few조금 centuries세기,
microscopes현미경 have revolutionized혁명적 인 our world세계.
0
1114
7492
지난 수 세기동안 현미경은 우리 삶에
혁명과도 같은 변화를 가져왔습니다.
현미경은 사물, 생명체, 구조물의
미시적 세계를 우리에게 보여줬습니다.
00:21
They revealed계시 된 to us a tiny작은 world세계
of objects사물, life and structures구조
1
9036
5216
00:26
that are too small작은 for us
to see with our naked적나라한 eyes.
2
14252
2906
너무 작아서 맨눈으로는
관찰이 불가능했던 것들을 말이죠.
00:29
They are a tremendous거대한 contribution기부
to science과학 and technology과학 기술.
3
17158
3019
현미경은 과학과 기술에
위대한 공헌을 하였습니다.
00:32
Today오늘 I'd like to introduce끼워 넣다 you
to a new새로운 type유형 of microscope현미경,
4
20177
3227
오늘 저는 새로운 형태의
현미경을 소개하고자 합니다.
00:35
a microscope현미경 for changes변화들.
5
23404
2578
변화된 현미경을 말이죠.
00:37
It doesn't use optics광학
like a regular정규병 microscope현미경
6
25982
2902
이 현미경은 일반 현미경과 같은
광학렌즈를 쓰지 않습니다.
00:40
to make small작은 objects사물 bigger더 큰,
7
28884
1997
광학렌즈는 작은 대상을 확대해 주지만
00:42
but instead대신에 it uses용도 a video비디오 camera카메라
and image영상 processing가공
8
30881
4376
이 현미경은 대신 비디오 카메라와
영상 처리를 이용해서
00:47
to reveal창틀 to us the tiniest가장 작은 motions
and color색깔 changes변화들 in objects사물 and people,
9
35257
5256
사물이나 사람의 매우 미세한 움직임이나
색의 변화를 보여줍니다.
00:52
changes변화들 that are impossible불가능한
for us to see with our naked적나라한 eyes.
10
40513
3842
너무나 미세해서 맨눈으로는
관찰이 어려운 그러한 변화들 말이죠.
00:56
And it lets~시키다 us look at our world세계
in a completely완전히 new새로운 way.
11
44355
4120
덕분에 우리는 완전히 다른 눈으로
세상을 보게 됩니다.
01:00
So what do I mean by color색깔 changes변화들?
12
48475
1910
색의 변화란 어떤 의미일까요?
01:02
Our skin피부, for example,
changes변화들 its color색깔 very slightly약간
13
50385
2832
일례로, 피부는 혈액의 흐름에 따라
01:05
when the blood flows흐름 under아래에 it.
14
53217
1997
매우 미세한 색의 변화를 보입니다.
01:07
That change변화 is incredibly엄청나게 subtle세밀한,
15
55214
2397
하지만 너무 미세한 변화여서
01:09
which어느 is why, when you
look at other people,
16
57611
2063
우리가 다른 사람들이나
01:11
when you look at the person사람
sitting좌석 next다음 것 to you,
17
59674
2251
옆에 있는 사람을 볼 때
01:13
you don't see their그들의 skin피부
or their그들의 face얼굴 changing작고 보기 흉한 사람 color색깔.
18
61925
3575
피부색이나 얼굴색의 변화를
느낄 수 없는 것입니다
01:17
When we look at this video비디오 of Steve스티브 here,
it appears등장하다 to us like a static공전 picture그림,
19
65500
4360
여기 스티브의 비디오를 보시면
정지된 사진처럼 보이죠.
01:21
but once일단 we look at this video비디오
through...을 통하여 our new새로운, special특별한 microscope현미경,
20
69860
3860
하지만 새롭고 특별한 현미경으로 보면
01:25
suddenly갑자기 we see
a completely완전히 different다른 image영상.
21
73720
2600
갑자기 완전히 다른 이미지를 보게 됩니다
01:28
What you see here are small작은 changes변화들
in the color색깔 of Steve's스티브 skin피부,
22
76320
3930
여러분이 지금 보시는 것은
스티브의 얼굴색 변화인데
01:32
magnified확대 된 100 times타임스
so that they become지다 visible명백한.
23
80250
4436
100배로 확대했기 때문에
비로소 볼 수 있는 것입니다.
01:36
We can actually사실은 see a human인간의 pulse펄스.
24
84686
3267
또 실제로 사람의 맥박이
뛰는 것을 볼 수 있습니다.
01:39
We can see how fast빠른
Steve's스티브 heart심장 is beating고동,
25
87953
3227
스티브의 심장박동 속도 뿐 아니라
01:43
but we can also또한 see the actual실제의 way
that the blood flows흐름 in his face얼굴.
26
91180
5355
그의 얼굴에 혈액이 흐르는
양상까지 볼 수 있습니다.
01:48
And we can do that not just
to visualize시각화하다 the pulse펄스,
27
96544
2631
단순히 맥박을 시각화 하는 것이 아니라
01:51
but also또한 to actually사실은
recover다시 덮다 our heart심장 rates요금,
28
99175
3471
실제로 심장박동을 복원하고
01:54
and measure법안 our heart심장 rates요금.
29
102646
1793
심장박동을 측정할 수 있습니다.
01:56
And we can do it with regular정규병 cameras카메라
and without없이 touching만지고있는 the patients환자.
30
104439
4453
일반 카메라로 환자에
접촉하지 않고도 측정할 수 있습니다.
02:00
So here you see the pulse펄스 and heart심장 rate
we extracted추출 된 from a neonatal신생아 baby아가
31
108892
5617
여기 보시면, 신생아에게서 얻은
맥박과 심장박동수를 알 수 있습니다.
02:06
from a video비디오 we took~했다
with a regular정규병 DSLRDSLR camera카메라,
32
114509
2881
일반 DSLR 카메라로
찍은 비디오를 통해서 말이죠.
02:09
and the heart심장 rate measurement측정 we get
33
117390
1816
우리가 얻은 심박동 수치는
02:11
is as accurate정확한 as the one you'd당신은 get
with a standard표준 monitor감시 장치 in a hospital병원.
34
119206
4811
병원의 표준 모니터에서
얻는 수치만큼 정확합니다.
02:16
And it doesn't even have to be
a video비디오 we recorded기록 된.
35
124017
2642
심지어 우리가 직접 촬영한 영상이 아닌
02:18
We can do it essentially본질적으로
with other videos비디오 as well.
36
126659
2995
다른 영상으로도 근본적으로 가능합니다.
02:21
So I just took~했다 a short짧은 clip클립
from "Batman말 당번 Begins시작하다" here
37
129654
3901
그래서 영화 '배트맨 비긴즈'의
한 장면을 가져왔습니다.
02:25
just to show보여 주다 Christian신자 Bale's베일 pulse펄스.
38
133555
1904
크리스찬 베일의 맥박을 보여드리려구요.
02:27
(Laughter웃음)
39
135459
1822
(웃음)
02:29
And you know, presumably아마도
he's wearing착용 makeup구성하다,
40
137281
2123
아마도 분장을 한 상태일 것입니다.
02:31
the lighting조명 here is kind종류 of challenging도전적인,
41
139404
1953
여기 조명이 좋은 편은 아니지만
02:33
but still, just from the video비디오,
we're able할 수 있는 to extract추출물 his pulse펄스
42
141357
2951
그래도 영상에서
배우의 맥박을 추출할 수 있습니다.
02:36
and show보여 주다 it quite아주 well.
43
144308
2018
심지어 상당히 잘 보입니다.
02:38
So how do we do all that?
44
146326
1920
그렇다면 어떻게 이게 가능할까요?
02:40
We basically원래 analyze분석하다 the changes변화들
in the light that are recorded기록 된
45
148246
4598
저희는 기본적으로 영상에서
기록되어 있는 빛의 변화를 분석합니다.
02:44
at every...마다 pixel화소 in the video비디오 over time,
46
152844
2271
동영상의 모든 픽셀에서 말이죠.
02:47
and then we crank크랭크 up those changes변화들.
47
155115
1798
그런 뒤 이런 변화들을 증폭시킵니다.
02:48
We make them bigger더 큰
so that we can see them.
48
156913
2162
우리 눈에 보일 만큼 확대하는 것이죠.
02:51
The tricky교활한 part부품 is that those signals신호들,
49
159075
1902
이 과정에서 까다로운 부분은
02:52
those changes변화들 that we're after,
are extremely매우 subtle세밀한,
50
160977
2933
우리가 찾는 이런 변화들이
극도로 미세하다는 점입니다.
02:55
so we have to be very careful꼼꼼한
when you try to separate갈라진 them
51
163910
2779
따라서 영상에 있는 노이즈에서
변화를 분리할 때
02:58
from noise소음 that always exists존재하다 in videos비디오.
52
166689
3831
매우 주의를 기울여야만 했습니다.
03:02
So we use some clever영리한
image영상 processing가공 techniques기법
53
170520
2995
그래서 우리는 고도의
영상 처리 기술을 이용하여
03:05
to get a very accurate정확한 measurement측정
of the color색깔 at each마다 pixel화소 in the video비디오,
54
173515
3994
영상에 있는 각 픽셀의
정확한 색상 측정값을 알아낸 후
03:09
and then the way the color색깔
changes변화들 over time,
55
177509
2670
시간에 따라 색상이 변화하는 양상을
정확히 측정해 냅니다.
03:12
and then we amplify더욱 상 세히 하다 those changes변화들.
56
180179
2693
그리고 그 변화를 증폭시키죠.
03:14
We make them bigger더 큰 to create몹시 떠들어 대다 those types유형
of enhanced향상된 videos비디오, or magnified확대 된 videos비디오,
57
182872
3980
그렇게 해서 이러한 향상된 영상,
증폭된 영상을 만들어 내는 것입니다.
03:18
that actually사실은 show보여 주다 us those changes변화들.
58
186852
2172
이런 변화를 실제로 보여줍니다.
03:21
But it turns회전 out we can do that
not just to show보여 주다 tiny작은 changes변화들 in color색깔,
59
189024
4238
색상의 작은 변화만 보여주지 않고
03:25
but also또한 tiny작은 motions,
60
193262
2241
미세한 움직임도 보여줍니다.
03:27
and that's because the light
that gets도착 recorded기록 된 in our cameras카메라
61
195503
3576
왜냐하면 우리 카메라에 기록되는 빛이
03:31
will change변화 not only if the color색깔
of the object목적 changes변화들,
62
199079
2810
대상의 색이 변할 때만 변하지 않고
03:33
but also또한 if the object목적 moves움직임.
63
201889
2368
그 움직임에도 반응하기 때문입니다.
03:36
So this is my daughter
when she was about two months개월 old늙은.
64
204257
3636
제 딸이 생후 2개월일 때입니다.
03:39
It's a video비디오 I recorded기록 된
about three years연령 ago...전에.
65
207893
2999
3년 전에 제가 찍은 것인데요.
03:42
And as new새로운 parents부모님, we all want
to make sure our babies아기들 are healthy건강한,
66
210892
3208
처음 부모가 되면
아이가 건강한지 확인하고 싶어합니다.
03:46
that they're breathing호흡,
that they're alive살아 있는, of course코스.
67
214100
2542
아이가 숨은 잘 쉬는지,
또 살아 있는지도 말이죠.
03:48
So I too got one of those baby아가 monitors모니터
68
216642
2142
그래서 저도 아기 모니터를 설치해서
03:50
so that I could see my daughter
when she was asleep죽어.
69
218784
2469
아이가 잘 때도 볼 수가 있었죠.
03:53
And this is pretty예쁜 much what you'll see
with a standard표준 baby아가 monitor감시 장치.
70
221253
3527
그리고 이것이 보통의 아기
모니터에서 보이는 모습입니다.
03:56
You can see the baby's아기의 sleeping자고있는, but
there's not too much information정보 there.
71
224780
3682
아이가 자는 것 외에
다른 정보는 딱히 없습니다.
04:00
There's not too much we can see.
72
228474
1604
관찰할 것이 별로 없죠.
04:02
Wouldn't하지 않을 것이다. it be better,
or more informative유익한, or more useful유능한,
73
230078
2824
더 유익하고 유용한 정보가
있다면 더 좋지 않을까요?
04:04
if instead대신에 we could look
at the view전망 like this.
74
232902
2990
예를 들면 이렇게 해볼 수 있겠죠.
04:07
So here I took~했다 the motions
and I magnified확대 된 them 30 times타임스,
75
235892
6356
아이의 움직임을 촬영하고
삼십 배로 확대해보았습니다.
04:14
and then I could clearly분명히 see that my
daughter was indeed과연 alive살아 있는 and breathing호흡.
76
242248
3826
그제서야 제 딸이 진짜로 살아서
숨쉬고 있다는 걸 분명히 알겠더군요.
04:18
(Laughter웃음)
77
246074
2253
(웃음)
04:20
Here is a side-by-side나란히 comparison비교.
78
248327
1922
둘을 나란히 놓고 비교해 봅시다.
04:22
So again, in the source출처 video비디오,
in the original실물 video비디오,
79
250249
2483
다시 보시면 원래의 비디오에서는
04:24
there's not too much we can see,
80
252732
1636
보이는 것이 별로 없죠.
04:26
but once일단 we magnify확대하다 the motions,
the breathing호흡 becomes된다 much more visible명백한.
81
254368
3707
하지만 움직임을 확대해보면
숨쉬는 모습이 확실해집니다.
04:30
And it turns회전 out, there's
a lot of phenomena현상
82
258075
2070
이로써 새로운 모션 현미경을 통해
04:32
we can reveal창틀 and magnify확대하다
with our new새로운 motion운동 microscope현미경.
83
260145
3623
많은 현상들을 밝혀내고
확대할 수 있다는 것이 밝혀졌습니다.
04:35
We can see how our veins정맥 and arteries동맥
are pulsing펄싱 in our bodies시체.
84
263768
4564
몸 속의 정맥과 동맥이
고동치는 모습도 볼 수 있고
04:40
We can see that our eyes
are constantly끊임없이 moving움직이는
85
268332
2628
눈동자가 흔들흔들 하면서
04:42
in this wobbly줏대 없는 motion운동.
86
270960
1887
끊임없이 움직이는 것도 볼 수 있죠.
04:44
And that's actually사실은 my eye,
87
272847
1509
이건 사실은 제 눈인데요.
04:46
and again this video비디오 was taken취한
right after my daughter was born타고난,
88
274356
3065
제 딸이 태어난 직후에 찍어서
04:49
so you can see I wasn't아니었다. getting점점
too much sleep자다. (Laughter웃음)
89
277421
4202
잠을 충분이 자지 못해서 이렇습니다.
(웃음)
04:53
Even when a person사람 is sitting좌석 still,
90
281623
2716
심지어 사람이 가만히 앉아 있을 때 조차
04:56
there's a lot of information정보
we can extract추출물
91
284339
2044
많은 정보를 얻어 낼 수 있습니다.
04:58
about their그들의 breathing호흡 patterns패턴들,
small작은 facial얼굴 마사지 expressions표현.
92
286383
3529
호흡패턴이나
작은 얼굴 표정에서 말이죠.
05:01
Maybe we could use those motions
93
289912
1625
어쩌면 이러한 움직임을 통해
05:03
to tell us something about
our thoughts생각들 or our emotions감정.
94
291537
3154
사람의 생각이나 감정을
읽어 낼 수도 있습니다.
05:06
We can also또한 magnify확대하다 small작은
mechanical기계의 movements동정,
95
294691
3255
또 기계의 미세한 움직임도
확대할 수 있을 겁니다.
엔진의 진동처럼 말이죠.
05:09
like vibrations진동 in engines엔진,
96
297946
1555
05:11
that can help engineers엔지니어 detect탐지하다
and diagnose진단하다 machinery기계 problems문제들,
97
299501
3692
기술자들이 기계 문제를
발견하고 진단하는데 도움이 될 겁니다.
05:15
or see how our buildings건물 and structures구조
sway동요 in the wind바람 and react반응하다 to forces.
98
303193
4738
건물과 구조물이 어떻게 바람에
흔들리고 힘에 반응하는지 알 수 있죠.
05:19
Those are all things that our society사회
knows알고있다 how to measure법안 in various여러 ways,
99
307931
4581
이것들은 이미 우리 사회가 다양한
방법으로 측정할 수 있는 것들입니다.
05:24
but measuring자질 those motions is one thing,
100
312512
2453
하지만 이런 움직임을 측정하는 것과
05:26
and actually사실은 seeing those
motions as they happen우연히 있다
101
314965
2276
무슨 일이 일어나는지 실제로 보는 것은
05:29
is a whole완전한 different다른 thing.
102
317241
2554
완전히 다른 것입니다.
05:31
And ever since이후 we discovered발견 된
this new새로운 technology과학 기술,
103
319795
3041
그리고 이 신기술을 발견한 이래로
05:34
we made만든 our code암호 available유효한 online온라인 so that
others다른 사람 could use and experiment실험 with it.
104
322836
3953
온라인 상에 다른 이들도 이용하고
실험해 볼 수 있도록 공개했습니다.
05:38
It's very simple단순한 to use.
105
326789
1875
사용 방법은 매우 간단합니다.
05:40
It can work on your own개인적인 videos비디오.
106
328664
2044
가지고 계신 영상에도 적용 가능합니다.
05:42
Our collaborators공동 작업자 at Quanta콴타 Research연구
even created만들어진 this nice좋은 website웹 사이트
107
330708
3193
'콴타 리서치'의 공동 연구진은
심지어 웹사이트를 제작했는데
05:45
where you can upload업로드 your videos비디오
and process방법 them online온라인,
108
333901
2678
여기에 영상을 올려
온라인으로 처리할 수 있습니다.
05:48
so even if you don't have any experience경험
in computer컴퓨터 science과학 or programming프로그램 작성,
109
336579
3816
그렇기 때문에 컴퓨터 공학이나
프로그래밍에 경험이 없을지라도
05:52
you can still very easily용이하게 experiment실험
with this new새로운 microscope현미경.
110
340395
2936
손쉽게 이 새로운 현미경을
시험해 볼 수 있습니다.
05:55
And I'd like to show보여 주다 you
just a couple of examples예제들
111
343331
2404
다른 사람들의 활용 사례를
05:57
of what others다른 사람 have done끝난 with it.
112
345735
2735
몇 가지 보여드리겠습니다.
06:00
So this video비디오 was made만든 by
a YouTubeYouTube user사용자 called전화 한 Tamez타 메츠85.
113
348470
5317
Tamez85라는 유튜버의 영상인데요.
06:05
I don't know who that user사용자 is,
114
353787
1463
누군지는 모르겠지만
06:07
but he, or she, used our code암호
115
355250
2345
이분이 우리 코드를 이용해서
06:09
to magnify확대하다 small작은 belly
movements동정 during...동안 pregnancy임신.
116
357595
3715
임신 중인 복부의
작은 움직임을 확대했습니다.
06:13
It's kind종류 of creepy소름 끼치는.
117
361310
1602
조금 징그럽네요.
06:14
(Laughter웃음)
118
362912
1613
(웃음)
06:16
People have used it to magnify확대하다
pulsing펄싱 veins정맥 in their그들의 hands소유.
119
364525
4961
어떤 이들은 손에 있는 핏줄의
박동을 확대해 보기도 했습니다.
06:21
And you know it's not real레알 science과학
unless~ 않는 한 you use guinea기니 pigs돼지,
120
369486
3782
그리고 기니피그가 등장하지 않는다면
진정한 과학이라고 할 수 없죠.
06:25
and apparently분명히 this guinea기니 pig돼지
is called전화 한 Tiffany티파니,
121
373268
3390
이 기니피그는 티파니라고 하는데
06:28
and this YouTubeYouTube user사용자 claims청구
it is the first rodent설치류 on Earth지구
122
376658
2949
어떤 유튜버는 녀석이 모션확대경에 찍힌
06:31
that was motion-magnified동작 확대.
123
379607
2688
지구 최초의 설치류라고 하더군요.
06:34
You can also또한 do some art미술 with it.
124
382295
2188
이걸로 예술을 할 수도 있습니다.
06:36
So this video비디오 was sent보낸 to me
by a design디자인 student학생 at Yale예일 대학.
125
384483
3018
한 예일대 디자인과 학생이
저에게 보내준 영상입니다.
06:39
She wanted to see
if there's any difference
126
387501
2137
이 학생은 친구들이 움직이는 방식에
06:41
in the way her classmates급우 move움직임.
127
389638
1522
차이가 있는지 보고 싶었답니다.
06:43
She made만든 them all stand still,
and then magnified확대 된 their그들의 motions.
128
391160
4209
그래서 모두를 부동자세로 서게 한 뒤
그들의 움직임을 확대했습니다.
06:47
It's like seeing
still pictures영화 come to life.
129
395369
3378
마치 사진에서
생명이 꽃피는 걸 보는 느낌이죠.
06:50
And the nice좋은 thing with
all those examples예제들
130
398747
2433
그리고 여기서 진정 의미있는 부분은
06:53
is that we had nothing to do with them.
131
401180
2296
저희는 아무것도 하지 않았다는 겁니다.
06:55
We just provided제공된 this new새로운 tool수단,
a new새로운 way to look at the world세계,
132
403476
3854
저희는 단지 세상을 보는 새로운 방법,
새로운 도구를 제공했을 뿐이고
06:59
and then people find other interesting재미있는,
new새로운 and creative창조적 인 ways of using~을 사용하여 it.
133
407330
5132
흥미롭고, 새롭고, 창의적인 사용법은
사람들이 발견한 겁니다.
07:04
But we didn't stop there.
134
412462
1764
하지만 여기서 멈추지 않았습니다.
07:06
This tool수단 not only allows허락하다 us
to look at the world세계 in a new새로운 way,
135
414226
3251
이 도구로 우리는 세상을
새로운 시각으로 볼 뿐 아니라
07:09
it also또한 redefines재정의하다 what we can do
136
417477
2368
우리의 가능성을 재정립하고
07:11
and pushes푸시하다 the limits제한 of what
we can do with our cameras카메라.
137
419845
3181
카메라 활용의 한계를 뛰어넘었습니다.
07:15
So as scientists과학자들, we started시작한 wondering궁금해하는,
138
423026
2229
저희는 과학자로서
의문을 갖기 시작했습니다.
07:17
what other types유형 of physical물리적 인 phenomena현상
produce생기게 하다 tiny작은 motions
139
425255
3785
어떤 종류의 물리적 현상이
작은 움직임을 만들어내는지 말이죠.
07:21
that we could now use
our cameras카메라 to measure법안?
140
429040
2903
우리 카메라로 측정할 수 있는
작은 움직임들 말입니다.
07:23
And one such이러한 phenomenon현상
that we focused초점을 맞춘 on recently요새 is sound소리.
141
431943
4001
최근엔 소리에 초점을 두고 있습니다.
07:27
Sound소리, as we all know,
is basically원래 changes변화들
142
435944
2105
소리는 다들 아시듯이
07:30
in air공기 pressure압력 that
travel여행 through...을 통하여 the air공기.
143
438049
2183
기압에 영향을 받아 변화합니다.
07:32
Those pressure압력 waves파도 hit히트 objects사물
and they create몹시 떠들어 대다 small작은 vibrations진동 in them,
144
440232
3621
기압파가 어떤 물체에 부딪치면
그 안에서 작은 진동이 만들어지는데
07:35
which어느 is how we hear듣다
and how we record기록 sound소리.
145
443853
2532
이것을 우리가 듣고 녹음하는 겁니다.
07:38
But it turns회전 out that sound소리
also또한 produces생산하다 visual시각적 인 motions.
146
446385
3668
그런데 소리도 시각적 움직임을
만들어 낸다는 것이 밝혀졌습니다.
07:42
Those are motions
that are not visible명백한 to us
147
450053
2833
이 움직임은 눈에는 보이지 않습니다.
07:44
but are visible명백한 to a camera카메라
with the right processing가공.
148
452886
3001
그러나 적절한 과정을 거친
카메라로는 볼 수 있습니다.
07:47
So here are two examples예제들.
149
455887
1573
두 가지 예가 있습니다.
07:49
This is me demonstrating시연하는
my great singing명음 skills기술.
150
457460
2614
제가 엄청난 가창력을 뽐내고 있죠.
(노래)
07:53
(Singing명음)
151
461064
1634
07:54
(Laughter웃음)
152
462698
1436
(웃음)
07:56
And I took~했다 a high-speed고속 video비디오
of my throat while I was humming허밍.
153
464134
2986
제가 흥얼거리는 동안
고속촬영한 제 목의 모습입니다.
07:59
Again, if you stare응시 at that video비디오,
154
467120
1764
다시 비디오를 가만히 보아도
08:00
there's not too much
you'll be able할 수 있는 to see,
155
468884
2076
보이는 것이 별로 없습니다.
08:02
but once일단 we magnify확대하다 the motions 100 times타임스,
we can see all the motions and ripples잔물결
156
470960
4332
그러나 움직임을 100배 확대하면
모든 움직임과 파문을 볼 수 있습니다.
08:07
in the neck that are involved뒤얽힌
in producing생산 the sound소리.
157
475292
3274
소리를 만들어내는 목에서 말이죠.
08:10
That signal신호 is there in that video비디오.
158
478566
2740
이 신호는 모두 저 비디오
속에 있는 것들입니다.
08:13
We also또한 know that singers가수
can break단절 a wine포도주 glass유리
159
481306
2670
우리는 가수들이 특정 음에 도달하면
08:15
if they hit히트 the correct옳은 note노트.
160
483976
1463
와인잔을 깰 수 있음을 압니다.
08:17
So here, we're going to play놀이 a note노트
161
485439
1765
여기 음을 하나 틀어보겠습니다.
08:19
that's in the resonance공명
frequency회수 of that glass유리
162
487204
2526
이 음은 와인잔의
공명주파수 범위 내에 있고,
08:21
through...을 통하여 a loudspeaker확성기 that's next다음 것 to it.
163
489730
2048
옆에 있는 확성기에서 흘러나옵니다.
08:23
Once일단 we play놀이 that note노트
and magnify확대하다 the motions 250 times타임스,
164
491778
4419
음을 틀고 잔의 움직임을
250배로 확대해 보면
08:28
we can very clearly분명히 see
how the glass유리 vibrates진동하다
165
496197
2338
잔이 소리에 맞춰서
진동하고 공명하는 모습을
08:30
and resonates공명하다 in response응답 to the sound소리.
166
498535
3570
분명하게 볼 수 있습니다.
08:34
It's not something you're used
to seeing every...마다 day.
167
502105
2420
우리가 일상생활에서
흔히 보는 광경은 아니지만
08:36
But this made만든 us think.
It gave us this crazy미친 idea생각.
168
504525
3529
말도 안되는 생각을 하나
떠올리게 해주었습니다.
08:40
Can we actually사실은 invert거꾸로 하다 this process방법
and recover다시 덮다 sound소리 from video비디오
169
508054
5608
이 과정을 역으로 적용해서 비디오에서
소리를 도출해 낼 수 있지 않을까?
08:45
by analyzing분석하는 the tiny작은 vibrations진동
that sound소리 waves파도 create몹시 떠들어 대다 in objects사물,
170
513662
4035
음파가 물체에서 만들어내는
미세한 진동을 분석해서
08:49
and essentially본질적으로 convert변하게 하다 those
back into the sounds소리 that produced생산 된 them.
171
517697
4777
이 진동을 원래의 소리로
전환 시킬수 있지 않을까?
08:54
In this way, we can turn회전
everyday매일 objects사물 into microphones마이크.
172
522474
4457
이렇게 하면 일상적인 물건들을
마이크로 바꿀 수 있습니다.
08:58
So that's exactly정확하게 what we did.
173
526931
2232
그래서 정말 그렇게 해봤죠.
09:01
So here's여기에 an empty bag가방 of chips작은 조각
that was lying거짓말하는 on a table,
174
529163
2816
자, 여기 탁자 위에
빈 과자봉지가 하나 있습니다.
09:03
and we're going to turn회전 that
bag가방 of chips작은 조각 into a microphone마이크로폰
175
531979
2825
이걸 마이크로 바꿔볼게요.
09:06
by filming촬영 it with a video비디오 camera카메라
176
534804
1591
비디오카메라로 촬영을 해서
09:08
and analyzing분석하는 the tiny작은 motions
that sound소리 waves파도 create몹시 떠들어 대다 in it.
177
536395
3228
음파가 만들어 낸
미세한 움직임을 분석할 겁니다.
09:11
So here's여기에 the sound소리
that we played연주 한 in the room.
178
539623
2796
이게 바로 저희가
실험 공간에 틀었던 소리입니다.
09:14
(Music음악: "Mary메리 Had a Little Lamb양고기")
179
542419
4434
(음악: "Mary Had a Little Lamb")
09:22
And this is a high-speed고속 video비디오
we recorded기록 된 of that bag가방 of chips작은 조각.
180
550007
3025
그리고 이건 저 과자봉지를
고속촬영한 영상입니다.
09:25
Again it's playing연주하다.
181
553032
1274
다시 돌려봐도
09:26
There's no chance기회 you'll be able할 수 있는
to see anything going on in that video비디오
182
554306
3342
그냥 보기만 해서는
저 비디오에서 무슨 일이 일어나는지
절대 알 수가 없죠.
09:29
just by looking at it,
183
557648
1058
09:30
but here's여기에 the sound소리 we were able할 수 있는
to recover다시 덮다 just by analyzing분석하는
184
558706
2984
그렇지만 여기 이 소리가 바로
저 비디오의 미세한 움직임을
09:33
the tiny작은 motions in that video비디오.
185
561690
2183
분석해서 복구한 것입니다.
09:35
(Music음악: "Mary메리 Had a Little Lamb양고기")
186
563873
2809
(음악: "Mary Had a Little Lamb")
09:52
I call it -- Thank you.
187
580985
1486
저는 이것을.... 감사합니다.
09:54
(Applause박수 갈채)
188
582471
5225
(박수)
10:01
I call it the visual시각적 인 microphone마이크로폰.
189
589878
2345
저는 이것을 시각 마이크라고 부릅니다.
10:04
We actually사실은 extract추출물 audio오디오 signals신호들
from video비디오 signals신호들.
190
592223
3390
실제로 비디오 신호로부터 오디오
신호를 추출하는 것입니다.
10:07
And just to give you a sense감각
of the scale규모 of the motions here,
191
595613
3181
여기서 움직임의 규모에 대한
감을 잡게 도와 드리자면
10:10
a pretty예쁜 loud화려한 sound소리 will cause원인 that bag가방
of chips작은 조각 to move움직임 less적게 than a micrometer마이크로 미터.
192
598799
5336
꽤 큰 소리여야 저 과자봉지를 겨우
1마이크로미터 움직일 수 있습니다.
10:16
That's one thousandth천 번째 of a millimeter밀리미터.
193
604135
2739
1mm의 1000분의 1이죠.
10:18
That's how tiny작은 the motions are
that we are now able할 수 있는 to pull손잡이 out
194
606874
3561
이렇게 작은 움직임들은 이제
우리가 추출할 수 있게 되었습니다.
10:22
just by observing관찰하다 how light
bounces튀어 오르다 off objects사물
195
610435
3243
어떻게 빛이 물체에 반사가 되어
10:25
and gets도착 recorded기록 된 by our cameras카메라.
196
613678
2136
카메라에 기록되는지를 통해서요.
10:27
We can recover다시 덮다 sounds소리
from other objects사물, like plants식물.
197
615814
3250
다른 대상, 예를 들면 식물로부터
소리를 복원할 수 있습니다.
10:31
(Music음악: "Mary메리 Had a Little Lamb양고기")
198
619064
6316
(음악: "Mary Had a Little Lamb")
심지어 말소리도 복원할 수 있죠.
10:39
And we can recover다시 덮다 speech연설 as well.
199
627214
1997
10:41
So here's여기에 a person사람 speaking말하기 in a room.
200
629211
2577
한 사람이 방에서 말을 하고 있습니다.
10:43
Voice목소리: Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow,
201
631788
4203
(목소리: 매리는 털이 눈송이 만큼
하얀 어린 양이 한마리 있었는데,)
10:47
and everywhere어디에나 that Mary메리 went갔다,
that lamb양고기 was sure to go.
202
635991
4230
(매리가 어디를 가든지,
그 양은 늘 함께 였죠)
10:52
Michael남자 이름 Rubinstein루빈스타인: And here's여기에
that speech연설 again recovered회복 된
203
640221
2759
이건 저희가 복원한 말소리 입니다.
10:54
just from this video비디오
of that same같은 bag가방 of chips작은 조각.
204
642980
3274
아까 과자봉지 영상에서처럼요.
10:58
Voice목소리: Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow,
205
646254
4831
(목소리: 매리는 털이 눈송이 만큼
하얀 어린 양이 한마리 있었는데,)
11:03
and everywhere어디에나 that Mary메리 went갔다,
that lamb양고기 was sure to go.
206
651085
4859
(매리가 어디를 가든지,
그 양은 늘 함께 였죠)
11:07
MR: We used "Mary메리 Had a Little Lamb양고기"
207
655944
2346
굳이 이 노래를 고른 이유는
11:10
because those are said to be
the first words
208
658290
2123
1877년에 토마스 에디슨이
11:12
that Thomas도마 Edison에디슨 spoke
into his phonograph축음기 in 1877.
209
660413
4161
자신의 축음기에 녹음한 첫마디가
바로 이것이었기 때문입니다.
11:16
It was one of the first sound소리
recording녹음 devices장치들 in history역사.
210
664574
3228
축음기는 역사상
첫 음성 기록장치 였습니다.
11:19
It basically원래 directed감독 된 the sounds소리
onto~에 a diaphragm횡격막
211
667802
3327
축음기는 기본적으로
소리가 진동판으로 가서
11:23
that vibrated진동의 a needle바늘 that essentially본질적으로
engraved새겨 져있는 the sound소리 on tinfoil은박지
212
671129
4079
은박지에 소리를 새겨 넣도록
바늘을 진동시키는 구조입니다.
11:27
that was wrapped감싸 인 around the cylinder실린더.
213
675208
2275
이 은박지는 실린더에 감겨 있었죠.
11:29
Here's여기에 a demonstration데모 of recording녹음 and
replaying재연 sound소리 with Edison's에디슨 phonograph축음기.
214
677483
5943
에디슨의 축음기로
녹음하고 재생하는 모습입니다.
11:35
(Video비디오) Voice목소리: Testing테스트,
testing시험, one two three.
215
683426
3020
(비디오) 목소리:
테스팅, 테스팅, 하나 둘 셋.
11:38
Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow,
216
686446
3413
(매리는 털이 눈송이 만큼 하얀
어린 양이 한마리 있었는데,)
11:41
and everywhere어디에나 that Mary메리 went갔다,
the lamb양고기 was sure to go.
217
689859
3669
(매리가 어디를 가든지,
그 양은 늘 함께 였죠.)
11:45
Testing테스트, testing시험, one two three.
218
693528
2740
(테스팅, 테스팅, 하나 둘 셋.)
11:48
Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow,
219
696268
4156
매리는 털이 눈송이 만큼 하얀
어린 양이 한마리 있었는데,
11:52
and everywhere어디에나 that Mary메리 went갔다,
the lamb양고기 was sure to go.
220
700424
5224
매리가 어디를 가든지,
그 양은 늘 함께 였죠.
11:57
MR: And now, 137 years연령 later후에,
221
705648
4017
그리고 137년이 지난 지금
12:01
we're able할 수 있는 to get sound소리
in pretty예쁜 much similar비슷한 quality품질
222
709665
4087
우리는 매우 유사한 음질의
소리를 들을 수 있습니다.
12:05
but by just watching보고있다 objects사물
vibrate떨리다 to sound소리 with cameras카메라,
223
713752
4079
카메라를 통해
진동하는 물체를 보면서 말이죠.
12:09
and we can even do that when the camera카메라
224
717831
1934
그것도 심지어 카메라가
12:11
is 15 feet피트 away from the object목적,
behind뒤에 soundproof방음의 glass유리.
225
719765
4234
물체에서 4.6m나 멀리,
방음유리 너머에 있어도 가능합니다.
12:15
So this is the sound소리 that we were
able할 수 있는 to recover다시 덮다 in that case케이스.
226
723999
3220
이것이 바로 그러한 조건에서
복원한 소리입니다.
12:19
Voice목소리: Mary메리 had a little lamb양고기
whose누구의 fleece양털 was white화이트 as snow,
227
727219
5294
목소리: 매리는 털이 눈송이 만큼
하얀 어린 양이 한마리 있었는데,
12:24
and everywhere어디에나 that Mary메리 went갔다,
the lamb양고기 was sure to go.
228
732513
4759
매리가 어디를 가든지,
그 양은 늘 함께 였죠.
처음 떠오르는 활용방법은
물론 도청이겠죠?
12:29
MR: And of course코스, surveillance감시 is
the first application신청 that comes온다 to mind마음.
229
737404
3630
12:33
(Laughter웃음)
230
741034
2995
(웃음)
12:36
But it might actually사실은 be useful유능한
for other things as well.
231
744029
4056
하지만 다른 식으로도 아주
유용하게 쓰일 수도 있습니다.
12:40
Maybe in the future미래, we'll be able할 수 있는
to use it, for example,
232
748085
2840
어쩌면 미래에는 이 기술을 이용해서
우주 너머의 소리를
복원할 수도 있을겁니다.
12:42
to recover다시 덮다 sound소리 across건너서 space공간,
233
750925
2252
12:45
because sound소리 can't travel여행
in space공간, but light can.
234
753177
3576
왜냐하면 소리는 우주를 여행하지
못하지만 빛은 할 수 있으니까요.
12:48
We've우리는 only just begun시작된 exploring탐험하는
235
756753
2404
이 신기술의 활용 가능성에 대한 연구는
12:51
other possible가능한 uses용도
for this new새로운 technology과학 기술.
236
759157
3019
아직 시작에 불과합니다.
12:54
It lets~시키다 us see physical물리적 인 processes프로세스들
that we know are there
237
762176
2832
우리가 지금까지 알고 있었지만
눈으로 확인할 수 없었던
12:57
but that we've우리는 never been able할 수 있는
to see with our own개인적인 eyes until...까지 now.
238
765008
3556
물리적 과정들을 직접
볼 수 있게 되었습니다.
우리 연구팀원들입니다.
13:00
This is our team.
239
768564
1204
13:01
Everything I showed보여 주었다 you today오늘
is a result결과 of a collaboration협동
240
769768
2879
오늘 제가 보여드린 것은
모두 여기 보고계신
13:04
with this great group그룹
of people you see here,
241
772647
2191
훌륭한 연구진들이 협력한 결과입니다.
13:06
and I encourage북돋우다 you and welcome환영 you
to check검사 out our website웹 사이트,
242
774838
3167
저희 웹사이트에 와보시면 좋겠습니다.
13:10
try it out yourself당신 자신,
243
778005
1446
오셔서 직접 체험해 보시고
13:11
and join어울리다 us in exploring탐험하는
this world세계 of tiny작은 motions.
244
779451
2972
미세한 움직임 세계를
함께 탐험해 보세요.
13:14
Thank you.
245
782423
1625
감사합니다.
13:16
(Applause박수 갈채)
246
784048
1254
(박수)
Translated by Youn-chan Cho
Reviewed by Yeri Oh

▲Back to top

ABOUT THE SPEAKER
Michael Rubinstein - Research scientist, Google
Computer scientist Michael Rubinstein and his team have developed a "motion microscope" that can show video footage of barely perceivable movements, like breaths and heartbeats.

Why you should listen

Michael Rubinstein zooms in on what we can't see and mangnifies it by thirty or a hundred times. His "motion microscope," developed at MIT with Microsoft and Quanta Research, picks up on subtle motion and color changes in videos and blows them up for the naked eye to see. The result: fun, cool, creepy videos.

Rubinstein is a research scientist at a new Cambridge-based Google lab for computer vision research. He has a PhD in computer science and electrical engineering from MIT.

More profile about the speaker
Michael Rubinstein | Speaker | TED.com