TEDGlobal 2012
Ramesh Raskar: Imaging at a trillion frames per second
Рамеш Раскар: Фотографируя триллион кадров в секунду
Filmed:
Readability: 4
5,395,201 views
Рамеш Раскар представляет фемтофотографию — новое поколение настолько быстрого изображения, что становится возможным показать мир в триллионе кадров в секунду. Это настолько детально, что мы можем увидеть движение света. Эта технология может быть использована для того, чтобы «заглядывать за угол» или в организм человека, не пользуясь рентгеном.
Ramesh Raskar - Femto-photographer
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Photography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light. Full bio
Double-click the English transcript below to play the video.
00:16
Doc Edgerton inspired us with awe and curiosity
0
902
5978
Док Эджертон вселил в нас
трепет и любознательность,
трепет и любознательность,
00:22
with this photo of a bullet piercing through an apple,
1
6880
5262
представив фото пули,
пронизывающей яблоко.
пронизывающей яблоко.
00:28
and exposure just a millionth of a second.
2
12142
4878
Выдержка — одна миллионная секунды.
00:32
But now, 50 years later, we can go a million times faster
3
17020
7307
Но сегодня, 50 лет спустя,
мы можем быть в миллион раз быстрее.
мы можем быть в миллион раз быстрее.
00:40
and see the world not at a million,
4
24327
3596
Мы можем увидеть мир
в кадрах не одной миллионной,
в кадрах не одной миллионной,
00:43
or a billion,
5
27923
1810
и даже не одной миллиардной,
00:45
but one trillion frames per second.
6
29733
3435
а одной триллионной секунды.
00:49
I present you a new type of photography,
7
33168
4385
Представляю вам новый тип фотографии —
00:53
femto-photography,
8
37553
2059
фемтофотография.
00:55
a new imaging technique so fast
9
39612
4600
Эта техника настолько быстра,
01:00
that it can create slow motion videos of light in motion.
10
44212
5201
что позволяет показать движение света
в кадрах замедленного действия.
в кадрах замедленного действия.
01:05
And with that, we can create cameras
11
49413
2738
Таким образом мы можем
создать фотоаппарат,
создать фотоаппарат,
01:08
that can look around corners,
12
52151
2145
заглядывающий за угол,
01:10
beyond line of sight
13
54296
1997
то есть за пределы видимости,
01:12
or see inside our body without an X-ray,
14
56293
4393
или в организм без рентгена,
01:16
and really challenge what we mean by a camera.
15
60686
5401
давая новое определение
понятию «фотоаппарат».
понятию «фотоаппарат».
01:21
Now if I take a laser pointer and turn it on and off
16
66087
3511
Если включить и выключить
лазерный указатель
лазерный указатель
01:25
in one trillionth of a second --
17
69598
2827
в одну триллионную секунды,
01:28
which is several femtoseconds --
18
72425
2812
то есть за несколько фемтосекунд,
01:31
I'll create a packet of photons
19
75237
2280
образуется группа фотонов
01:33
barely a millimeter wide,
20
77517
2350
шириной менее миллиметра.
01:35
and that packet of photons, that bullet,
21
79867
2926
Эти фотоны, эта «пуля»
01:38
will travel at the speed of light,
22
82793
1950
будет двигаться со скоростью света,
01:40
and, again, a million times faster than an ordinary bullet.
23
84743
4508
то есть в миллион раз быстрее,
чем обычная пуля.
чем обычная пуля.
01:45
Now, if you take that bullet and take this packet of photons
24
89251
4906
Теперь возьмём эти фотоны, эту «пулю»
01:50
and fire into this bottle,
25
94157
3173
и запустим её в эту бутылку.
01:53
how will those photons shatter into this bottle?
26
97330
4534
Как фотоны раздробятся в бутылке?
01:57
How does light look in slow motion?
27
101864
4224
Как выглядит свет
в замедленном воспроизведении?
в замедленном воспроизведении?
02:21
Now, the whole event -- (Applause)
28
126041
3658
Весь процесс...
(Аплодисменты)
(Аплодисменты)
02:25
(Applause)
29
129699
4219
(Аплодисменты)
02:29
Now, remember, the whole event
30
133918
2603
Весь процесс...
02:32
is effectively taking place in less than a nanosecond
31
136521
3383
протекает менее чем за наносекунду —
02:35
— that's how much time it takes for light to travel —
32
139904
2336
это скорость света —
02:38
but I'm slowing down in this video by a factor of 10 billion
33
142240
4500
но это видео замедлено
в 10 миллиардов раз,
в 10 миллиардов раз,
02:42
so you can see the light in motion.
34
146740
3673
чтобы мы смогли увидеть движение света.
02:46
But, Coca-Cola did not sponsor this research. (Laughter)
35
150413
4621
Нет, Coca-Cola не спонсировала
это исследование. (Смех)
это исследование. (Смех)
02:50
Now, there's a lot going on in this movie,
36
155034
2047
Здесь происходит много интересного,
02:52
so let me break this down and show you what's going on.
37
157081
2362
я разъясню по частям.
02:55
So, the pulse enters the bottle, our bullet,
38
159443
3240
Импульс проходит в бутылку, наша пуля,
02:58
with a packet of photons that start traveling through
39
162683
2562
группа фотонов
перемещается вдоль бутылки
перемещается вдоль бутылки
03:01
and that start scattering inside.
40
165245
1837
и рассеивается внутри неё.
03:02
Some of the light leaks, goes on the table,
41
167082
2231
Часть света
просачивается на поверхность стола,
просачивается на поверхность стола,
03:05
and you start seeing these ripples of waves.
42
169313
2787
и мы видим некую волнистую рябь.
03:08
Many of the photons eventually reach the cap
43
172100
2881
Множество фотонов достигают крышечки
03:10
and then they explode in various directions.
44
174981
2914
и затем разбиваются
в разных направлениях.
в разных направлениях.
03:13
As you can see, there's a bubble of air,
45
177895
1912
Мы видим скопление воздуха,
03:15
and it's bouncing around inside.
46
179807
1666
отскакивающего внутри.
03:17
Meanwhile, the ripples are traveling on the table,
47
181473
2474
В это время волны двигаются по столу,
03:19
and because of the reflections at the top,
48
183947
1869
и из-за отражений вверху
03:21
you see at the back of the bottle, after several frames,
49
185816
3634
мы видим скопление отражений,
после нескольких кадров,
после нескольких кадров,
03:25
the reflections are focused.
50
189450
2902
на дне бутылки.
03:28
Now, if you take an ordinary bullet
51
192352
5894
Если взять обычную пулю
03:34
and let it go the same distance and slow down the video
52
198246
3401
и проделать то же самое,
03:37
again by a factor of 10 billion, do you know
53
201647
2549
то есть замедлить видео в 10 млрд раз,
03:40
how long you'll have to sit here to watch that movie?
54
204196
5725
знаете, как долго
вы будете смотреть это кино?
вы будете смотреть это кино?
03:45
A day, a week? Actually, a whole year.
55
209921
4388
День? Неделю? Нет! Целый год.
03:50
It'll be a very boring movie — (Laughter) —
56
214309
3914
Довольно скучное кино.
(Смех)
(Смех)
03:54
of a slow, ordinary bullet in motion.
57
218223
4052
Фильм о простой пуле в движении.
03:58
And what about some still-life photography?
58
222275
4603
А как насчёт фото-натюрморта?
04:08
You can watch the ripples again washing over the table,
59
232770
5352
Мы снова видим волнистую рябь на столе,
04:14
the tomato and the wall in the back.
60
238122
2913
на помидоре и на стене.
04:16
It's like throwing a stone in a pond of water.
61
241035
4224
Это будто камень, брошенный в воду.
04:23
I thought, this is how nature paints a photo,
62
247197
3890
Я думал, что так природа пишет картины,
04:26
one femto frame at a time,
63
251087
2587
один кадр в фемтосекунду,
04:29
but of course our eye sees an integral composite.
64
253674
5392
но, конечно, наш глаз видит
неразъёмную совокупность.
неразъёмную совокупность.
04:34
But if you look at this tomato one more time,
65
259066
3126
Но если посмотреть на помидор ещё раз,
04:38
you will notice, as the light washes over the tomato,
66
262192
2516
можно заметить, что после того,
как свет прошёл,
как свет прошёл,
04:40
it continues to glow. It doesn't become dark.
67
264708
2891
помидор ещё светится.
Он не темнеет.
Он не темнеет.
04:43
Why is that? Because the tomato is actually ripe,
68
267599
3548
Почему?
Потому что он спелый,
Потому что он спелый,
04:47
and the light is bouncing around inside the tomato,
69
271147
2101
и свет двигается внутри него
04:49
and it comes out after several trillionths of a second.
70
273248
4466
и затем лишь выходит со скоростью
одной триллионной секунды.
одной триллионной секунды.
04:53
So, in the future, when this femto-camera
71
277714
2633
То есть в будущем вы сможете
04:56
is in your camera phone,
72
280347
2092
пойти в супермаркет
04:58
you might be able to go to a supermarket
73
282439
1710
и с помощью фемтокамеры
05:00
and check if the fruit is ripe without actually touching it.
74
284149
4040
проверить свежесть продукта,
не трогая его.
не трогая его.
05:04
So how did my team at MIT create this camera?
75
288189
5330
Как наша команда из MIT
создала этот фотоаппарат?
создала этот фотоаппарат?
05:09
Now, as photographers, you know,
76
293519
1967
Как фотографы мы знаем,
05:11
if you take a short exposure photo, you get very little light,
77
295486
4061
что чем меньше выдержка,
тем меньше света,
тем меньше света,
05:15
but we're going to go a billion times faster
78
299547
2206
но тут мы в миллиард раз быстрее,
05:17
than your shortest exposure,
79
301753
1856
чем самая короткая выдержка,
05:19
so you're going to get hardly any light.
80
303609
1800
то есть света почти не будет.
05:21
So, what we do is we send that bullet,
81
305409
1843
Мы выстреливаем эту пулю,
05:23
those packet of photons, millions of times,
82
307252
2549
эту группу фотонов миллион раз
05:25
and record again and again with very clever synchronization,
83
309801
3107
и беспрерывно записываем
с помощью специальной синхронизации;
с помощью специальной синхронизации;
05:28
and from the gigabytes of data,
84
312908
2091
затем из гигабайтов информации
05:30
we computationally weave together
85
314999
2116
компьютер составляет видео,
05:33
to create those femto-videos I showed you.
86
317115
3465
которые вы видели.
05:36
And we can take all that raw data
87
320580
2540
Мы можем использовать эту информацию
05:39
and treat it in very interesting ways.
88
323120
2895
для всевозможных целей.
05:41
So, Superman can fly.
89
326015
1841
Например, Супермен умеет летать.
05:43
Some other heroes can become invisible,
90
327856
2462
Другие герои невидимы.
05:46
but what about a new power for a future superhero:
91
330318
5098
А что сможет новый супергерой?
05:51
to see around corners?
92
335416
2498
Заглядывать за угол!
05:53
The idea is that we could shine some light on the door.
93
337914
4673
Мы можем пустить свет на дверь,
05:58
It's going to bounce, go inside the room,
94
342587
2675
свет отразится от двери в комнату,
06:01
some of that is going to reflect back on the door,
95
345262
2430
часть света вернётся на дверь
06:03
and then back to the camera,
96
347692
1507
и обратно на фотоаппарат.
06:05
and we could exploit these multiple bounces of light.
97
349199
3488
И мы можем использовать эти отражения.
06:08
And it's not science fiction. We have actually built it.
98
352687
2397
Это не фантастика.
Мы создали этот аппарат.
Мы создали этот аппарат.
06:10
On the left, you see our femto-camera.
99
355084
2384
Слева у нас фемтокамера.
06:13
There's a mannequin hidden behind a wall,
100
357468
2379
Манекен спрятан за стеной,
06:15
and we're going to bounce light off the door.
101
359847
2982
и мы хотим,
чтобы свет отразился от двери.
чтобы свет отразился от двери.
06:18
So after our paper was published
102
362829
1948
Когда наш эксперимент был опубликован
06:20
in Nature Communications,
103
364777
1934
в журнале «Nature Communications»,
06:22
it was highlighted by Nature.com,
104
366711
1915
о нём писали на Nature.com,
06:24
and they created this animation.
105
368626
2563
и было сделано это видео.
06:27
(Music)
106
371189
6402
(Музыка)
06:33
We're going to fire those bullets of light,
107
377591
3461
Мы выпускаем фотоны света,
06:36
and they're going to hit this wall,
108
381052
3263
которые должны ударить в стену,
06:40
and because the packet of the photons,
109
384315
2655
и так как это группа,
06:42
they will scatter in all the directions,
110
386970
2297
фотоны рассеются во всех направлениях.
06:45
and some of them will reach our hidden mannequin,
111
389267
2248
Некоторые попадут на манекен за стеной,
06:47
which in turn will again scatter that light,
112
391515
2879
затем рассыпятся снова,
06:50
and again in turn the door will reflect
113
394394
3686
и часть света снова
06:53
some of that scattered light,
114
398080
2072
отразится от двери.
06:56
and a tiny fraction of the photons will actually
115
400152
2744
Лишь несколько фотонов,
06:58
come back to the camera, but most interestingly,
116
402896
2284
вернутся к фотоаппарату;
но самое интересное,
но самое интересное,
07:01
they will all arrive at a slightly different time slot.
117
405180
3746
они попадут туда в разное время.
07:04
(Music)
118
408926
4577
(Музыка)
07:09
And because we have a camera that can run so fast,
119
413503
2817
Так как наша фемтокамера очень быстрая,
07:12
our femto-camera, it has some unique abilities.
120
416320
3106
она имеет особые возможности.
07:15
It has very good time resolution,
121
419426
2906
У неё хорошее разрешение по времени.
07:18
and it can look at the world at the speed of light.
122
422332
3518
И она может смотреть на мир
со скоростью света.
со скоростью света.
07:21
And this way, we know the distances, of course to the door,
123
425850
3545
Здесь мы знаем расстояния:
до двери
до двери
07:25
but also to the hidden objects,
124
429395
1894
и до спрятанных объектов,
07:27
but we don't know which point corresponds
125
431289
1595
но мы не знаем, какая точка
07:28
to which distance.
126
432884
2322
соответствует какому расстоянию.
07:31
(Music)
127
435206
3240
(Музыка)
07:34
By shining one laser, we can record one raw photo, which,
128
438446
3944
Пуская лазерный луч,
мы получим фото,
мы получим фото,
07:38
you look on the screen, doesn't really make any sense,
129
442390
2450
которое как будто не имеет смысла,
07:40
but then we will take a lot of such pictures,
130
444840
1880
но если взять множество таких фото,
07:42
dozens of such pictures, put them together,
131
446720
2419
объединить их
07:45
and try to analyze the multiple bounces of light,
132
449139
2678
и попытаться проанализировать
отражения света,
отражения света,
07:47
and from that, can we see the hidden object?
133
451817
3416
мы можем увидеть спрятанный объект.
07:51
Can we see it in full 3D?
134
455233
2919
Даже в 3D.
07:54
So this is our reconstruction. (Music)
135
458152
2636
И вот что у нас вышло.
(Музыка)
(Музыка)
07:56
(Music)
136
460788
3458
(Музыка)
08:00
(Music) (Applause)
137
464246
8308
(Музыка)
(Аплодисменты)
(Аплодисменты)
08:08
Now we have some ways to go before we take this
138
472554
2611
Нам ещё предстоит поработать,
08:11
outside the lab on the road, but in the future,
139
475165
3197
прежде чем выпустить это в свет,
08:14
we could create cars that avoid collisions
140
478362
2834
но, например, машины могли бы
избегать столкновений,
избегать столкновений,
08:17
with what's around the bend,
141
481196
2216
зная, что находится за углом,
08:19
or we can look for survivors in hazardous conditions
142
483412
3914
или мы могли бы искать уцелевших
08:23
by looking at light reflected through open windows,
143
487326
4278
с помощью отражений от окон.
08:27
or we can build endoscopes that can see
144
491604
2625
Также можно создать эндоскоп,
08:30
deep inside the body around occluders,
145
494229
3270
чтобы видеть за блокатором,
08:33
and also for cardioscopes.
146
497499
1876
или даже кардиоскоп.
08:35
But of course, because of tissue and blood,
147
499375
2501
Но, конечно, есть преграды:
кровь, ткань...
кровь, ткань...
08:37
this is quite challenging, so this is really a call
148
501876
2187
Ещё требуются решения других задач...
08:39
for scientists to start thinking about femto-photography
149
504063
2853
Но учёным стоит задуматься
над возможностями фемтофотографии.
над возможностями фемтофотографии.
08:42
as really a new imaging modality to solve
150
506916
2589
Это новое измерение,
08:45
the next generation of health imaging problems.
151
509505
3577
новое поколение
медицинской фотографии.
медицинской фотографии.
08:48
Now, like Doc Edgerton, a scientist himself,
152
513082
3881
Док Эджертон — учёный,
но здесь наука
но здесь наука
08:52
science became art, an art of ultra-fast photography,
153
516963
5176
превратилась в искусство...
сверхскоростной фотографии.
сверхскоростной фотографии.
08:58
and I realized that all the gigabytes of data
154
522139
3464
Тогда я понял:
гигабайты данных,
гигабайты данных,
09:01
that we're collecting every time
155
525603
2004
которые мы собираем,
09:03
is not just for scientific imaging, but we can also do
156
527607
3443
предназначены не только
для научных изображений,
для научных изображений,
09:06
a new form of computational photography
157
531050
3780
но и для новой формы
компьютерной фотографии
компьютерной фотографии
09:10
with time-lapse and color-coding,
158
534830
4139
с замедленной съёмкой
и кодированием цвета.
и кодированием цвета.
09:14
and we look at those ripples. Remember,
159
538969
2770
Посмотрите на эту рябь.
09:17
the time between each of those ripples is only
160
541739
2675
Мы помним,
что её волны составляют
что её волны составляют
09:20
a few trillionths of a second.
161
544414
4343
лишь триллионную секунды.
09:24
But there's also something funny going on here.
162
548757
1956
Но есть примечательный феномен.
09:26
When you look at the ripples under the cap,
163
550713
2354
Посмотрите на волны под крышечкой:
09:28
the ripples are moving away from us.
164
553067
3620
они направлены от нас.
09:32
The ripples should be moving towards us.
165
556687
2149
А должны — к нам.
09:34
What's going on here?
166
558836
1767
В чём дело?
09:36
It turns out, because we're recording
167
560603
1958
Оказывается,
так как мы записываем
так как мы записываем
09:38
nearly at the speed of light,
168
562561
4547
почти со скоростью света,
09:43
we have strange effects,
169
567108
2070
создаются странные эффекты.
09:45
and Einstein would have loved to see this picture.
170
569178
4031
Эйнштейну понравилась бы эта фотография.
09:49
The order at which events take place in the world
171
573209
3269
Последовательность событий в мире
09:52
appear in the camera with sometimes reversed order,
172
576478
4568
отображается в фотоаппарате
немного наоборот,
немного наоборот,
09:56
so by applying the corresponding space and time warp,
173
581046
3359
и с помощью искажений
времени и пространства
времени и пространства
10:00
we can correct for this distortion.
174
584405
4045
мы можем откорректировать
эту деформацию.
эту деформацию.
10:04
So whether it's for photography around corners,
175
588450
4241
Будет ли это фотография «из-за угла»,
10:08
or creating the next generation of health imaging,
176
592691
4308
или новый мониторинг организма,
10:12
or creating new visualizations,
177
596999
2680
или какая-либо ещё визуализация,
10:15
since our invention, we have open-sourced
178
599679
3559
мы сделали доступной всю информацию
10:19
all the data and details on our website, and our hope
179
603238
3699
этого изобретения на нашем вебсайте.
Мы надеемся,
Мы надеемся,
10:22
is that the DIY, the creative and the research community
180
606937
6636
что изобретатели DYI, учёные
и творческие люди скажут,
и творческие люди скажут,
10:29
will show us that we should stop obsessing about
181
613573
3803
что пора прекратить спорить
10:33
the megapixels in cameras — (Laughter) —
182
617376
3240
о мегапикселях в фотоаппаратах...
(Смех)
(Смех)
10:36
and start focusing on the next dimension in imaging.
183
620616
5030
и заняться новым поколением фотографии.
10:41
It's about time. Thank you. (Applause)
184
625646
4534
Уже давно пора. Спасибо.
(Аплодисменты)
(Аплодисменты)
10:46
(Applause)
185
630180
10205
(Аплодисменты)
ABOUT THE SPEAKER
Ramesh Raskar - Femto-photographerPhotography is about creating images by recording light. At the MIT media lab, professor Ramesh Raskar and his team members have invented a camera that can photograph light itself as it moves at, well, the speed of light.
Why you should listen
In 1964 MIT professor Harold Edgerton, pioneer of stop-action photography, famously took a photo of a bullet piercing an apple using exposures as short as a few nanoseconds. Inspired by his work, Ramesh Raskar and his team set out to create a camera that could capture not just a bullet (traveling at 850 meters per second) but light itself (nearly 300 million meters per second).
Stop a moment to take that in: photographing light as it moves. For that, they built a camera and software that can visualize pictures as if they are recorded at 1 trillion frames per second. The same photon-imaging technology can also be used to create a camera that can peer "around" corners , by exploiting specific properties of the photons when they bounce off surfaces and objects.
Among the other projects that Raskar is leading, with the MIT Media Lab's Camera Culture research group, are low-cost eye care devices, a next generation CAT-Scan machine and human-computer interaction systems.
Papers:
Andreas Velten, Thomas Willwacher, Otkrist Gupta, Ashok Veeraraghavan, Moungi G. Bawendi and Ramesh Raskar, “Recovering ThreeDimensional Shape around a Corner using Ultra-Fast Time-of-Flight Imaging.” Nature Communications, March 2012
Andreas Velten, Adrian Jarabo, Belen Masia, Di Wu, Christopher Barsi, Everett Lawson, Chinmaya Joshi, Diego Gutierrez, Moungi G. Bawendi and Ramesh Raskar, "Ultra-fast Imaging for Light in Motion" (in progress). http://femtocamera.info
Ramesh Raskar | Speaker | TED.com