TED2015
Abe Davis: New video technology that reveals an object's hidden properties
Abe Davis: Új videotechnológia fedi fel a tárgyak rejtett tulajdonságait
Filmed:
Readability: 4.3
1,482,525 views
Finom mozgások vesznek körbe minket folyamatosan, többek között a hang által okozott apró rezgések. Egy új technológia megmutatja, hogy felfigyelhetünk ezekre a rezgésekre, és újra előállíthatunk hangokat és beszélgetéseket, amihez mindössze egy videó kell, látszólag mozdulatlan tárgyakról. De Abe Davis most egy lépéssel továbbviszi mindezt: Nézd meg a bemutató szoftverét, ami mindenki számára lehetővé teszi, hogy interakcióba lépjen ezekkel a rejtett tulajdonságokkal, csupán egy egyszerű videó alapján.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
Többségünk úgy gondol a mozgásra,
mint egy nagyon vizuális dologra.
mint egy nagyon vizuális dologra.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
Ha keresztülsétálok ezen a színpadon,
vagy beszéd közben gesztikulálok,
vagy beszéd közben gesztikulálok,
00:22
that motion is something that you can see.
2
10977
2261
az egy olyan mozgás, amit látnak.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
De van egy világ, tele olyan mozgásokkal,
amelyek túl finomak az emberi szemnek,
amelyek túl finomak az emberi szemnek,
00:31
and over the past few years,
4
19737
2041
és az elmúlt pár év során
00:33
we've started to find that cameras
5
21778
1997
kezdtünk rájönni, hogy a kamerák
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
gyakran látják ezt a mozgást,
még ha az emberek nem is.
még ha az emberek nem is.
00:40
So let me show you what I mean.
7
28305
1551
Hadd mutassam be, mire gondolok!
Bal oldalt láthatnak egy videót
egy ember csuklójáról
egy ember csuklójáról
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
és jobb oldalt egy videót
egy alvó csecsemőről,
egy alvó csecsemőről,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
de ha nem mondanám el önöknek,
hogy ezek videók,
hogy ezek videók,
azt feltételezhetnék,
hogy két hagyományos képet látnak,
hogy két hagyományos képet látnak,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
mert mindkét esetben
00:56
because in both cases,
12
44393
1672
a videók teljes mértékben
mozdulatlannak tűnnek.
mozdulatlannak tűnnek.
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
De valójában rengeteg finom mozgás
van folyamatban itt,
van folyamatban itt,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
és ha megérinthetnék
a csuklót bal oldalt,
a csuklót bal oldalt,
01:08
you would feel a pulse,
16
56452
1996
éreznék a pulzust,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
vagy ha karjukban tartanák
a jobb oldali csecsemőt,
a jobb oldali csecsemőt,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
éreznék, ahogy a mellkasa
emelkedik és süllyed
emelkedik és süllyed
01:15
as she took each breath.
19
63324
1390
minden lélegzetvételénél.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
És ezek a mozgások
hatalmas jelentőséggel bírnak,
hatalmas jelentőséggel bírnak,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
de általában túl finomak ahhoz,
hogy észrevegyük őket,
hogy észrevegyük őket,
01:24
so instead, we have to observe them
22
72681
2276
ezért inkább közvetlen kapcsolattal,
01:26
through direct contact, through touch.
23
74957
2900
azaz érintéssel tudjuk megfigyelni őket.
01:30
But a few years ago,
24
78997
1265
De néhány éve
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
MIT-s kollégáim kifejlesztettek
egy úgy nevezett mozgásmikroszkópot,
egy úgy nevezett mozgásmikroszkópot,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
egy olyan szoftvert, ami képes megtalálni
ezeket a finom mozgásokat egy videóban
ezeket a finom mozgásokat egy videóban
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
és felerősíteni őket annyira,
hogy mi is láthassuk.
hogy mi is láthassuk.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
Így tehát ha használjuk a szoftvert
a bal oldali videón,
a bal oldali videón,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
láthatóvá teszi számunkra a pulzust
01:52
and if we were to count that pulse,
30
100149
1695
és ha megszámolnánk a lüktetéseket,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
még ki is számolhatnánk
az illető szívverését.
az illető szívverését.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
És ha ugyanezt a szoftvert alkalmazzuk
a jobb oldali videón,
a jobb oldali videón,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
láthatóvá válik minden lélegzet,
amit a csecsemő vesz
amit a csecsemő vesz
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
és ezt használhatjuk légzésének
kontaktusmentes monitorozásra.
kontaktusmentes monitorozásra.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
Tehát ez a technológia nagyon erőteljes,
mert lehetővé teszi,
mert lehetővé teszi,
hogy ezeket az általában érintéssel
megtapasztalt jelenségeket
megtapasztalt jelenségeket
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
vizuálisan, nem-invazív módon
ragadjuk meg.
ragadjuk meg.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
Szóval, pár éve elkezdtem dolgozni
a szoftver készítőivel,
a szoftver készítőivel,
02:25
and we decided to pursue a crazy idea.
39
133515
3367
és egy őrült ötlet
megvalósítására adtuk a fejünket.
megvalósítására adtuk a fejünket.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
Arra gondoltunk, menő,
hogy a szoftver használatával
hogy a szoftver használatával
02:31
to visualize tiny motions like this,
41
139575
3135
vizualizálhatunk ilyen apró mozgásokat,
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
és szinte felfoghatjuk ezt
a tapintás érzékünk kiterjesztéseként.
a tapintás érzékünk kiterjesztéseként.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
De mi lenne, ha meg tudnánk tenni
ugyanezt a hallásunkkal is?
ugyanezt a hallásunkkal is?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
Mi lenne, ha a videó segítségével
megragadhatnánk a hang rezgéseit,
megragadhatnánk a hang rezgéseit,
02:49
which are just another kind of motion,
45
157173
2827
ami csupán egy másik fajta mozgás,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
és így mindent, amit látunk
mikrofonná változtathatnánk?
mikrofonná változtathatnánk?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
Nos, ez egy kicsit furcsa ötlet,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
hadd próbáljam meg hát
perspektívába helyezni.
perspektívába helyezni.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
A hagyományos mikrofonok
azon az elven működnek,
azon az elven működnek,
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
hogy egy belső membrán mozgását
elektromos jellé konvertálják,
elektromos jellé konvertálják,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
és ez a membrán úgy van tervezve,
hogy a hangra könnyen rezdüljön,
hogy a hangra könnyen rezdüljön,
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
így a mozgása felvehető
és hangként lefordítható lesz.
és hangként lefordítható lesz.
03:17
But sound causes all objects to vibrate.
53
185735
3668
De a hang minden tárgyat
rezgésbe hoz.
rezgésbe hoz.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
Ezek a rezgések általában túl finomak
és túl gyorsak, hogy láthassuk őket.
és túl gyorsak, hogy láthassuk őket.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
Szóval, mi lenne, ha felvennénk őket
egy nagysebességű kamerával
egy nagysebességű kamerával
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
és aztán a szoftvert használnánk,
hogy kivonjuk az apró mozgásokat
hogy kivonjuk az apró mozgásokat
03:34
from our high-speed video,
57
202197
2090
a nagysebességű videónkból,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
és elemezzük azokat a mozgásokat,
hogy kiderüljön, milyen hang okozta őket?
hogy kiderüljön, milyen hang okozta őket?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
Így a látható tárgyakat távoli
vizuális mikrofonokká változtathatnánk.
vizuális mikrofonokká változtathatnánk.
03:49
And so we tried this out,
60
217080
2183
Szóval kipróbáltuk ezt a dolgot,
és íme az egyik kísérletünk,
03:51
and here's one of our experiments,
61
219263
1927
ahol fogtuk ezt a cserepes növényt,
amit a jobb oldalon látnak
amit a jobb oldalon látnak
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
03:56
and we filmed it with a high-speed camera
63
224139
2438
és egy nagysebességű kamerával filmeztük,
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
miközben egy közeli hangszóró
ezt a hangot játszotta.
ezt a hangot játszotta.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
[A szobában hangszórón játszott hang]
(Zene: "Mary Had a Little Lamb")
(Zene: "Mary Had a Little Lamb")
04:11
And so here's the video that we recorded,
66
239820
2824
És íme a videó, amit felvettünk,
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
és ugyan másodpercenként
több ezer képkockát rögzítettünk,
több ezer képkockát rögzítettünk,
04:18
but even if you look very closely,
68
246568
2322
még ha nagyon közelről vizsgálják,
akkor is csupán néhány levél látható,
04:20
all you'll see are some leaves
69
248890
1951
amik lényegében csak úgy vannak,
és nem csinálnak semmit,
és nem csinálnak semmit,
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
mert a hang ezeket a leveleket
alig pár mikrométernyit mozdította meg.
alig pár mikrométernyit mozdította meg.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
Ez egy centiméter egy-tízezrede,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
ami nagyjából akkora kiterjedésű,
mint egy pixel százada vagy ezrede
mint egy pixel százada vagy ezrede
04:39
of a pixel in this image.
74
267535
2299
ezen a képen.
04:41
So you can squint all you want,
75
269881
2887
Szóval hunyoroghatnak, amennyit akarnak,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
de egy ilyen kis mértékű mozgás
lényegében érzékszervileg láthatatlan.
lényegében érzékszervileg láthatatlan.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
De kiderült, hogy valami lehet
érzékszervileg láthatatlan
érzékszervileg láthatatlan
04:53
and still be numerically significant,
78
281824
2809
és mégis jelentős számtanilag,
04:56
because with the right algorithms,
79
284633
2002
mert a megfelelő algoritmusokat használva
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
foghatjuk és ebből a néma,
mozdulatlannak tűnő videóból
mozdulatlannak tűnő videóból
05:02
and we can recover this sound.
81
290322
1527
visszanyerhetjük ezt a hangot.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(Zene: "Mary Had a Little Lamb")
05:12
(Applause)
83
300074
5828
(Taps)
05:22
So how is this possible?
84
310058
1939
Szóval hogyan is lehetséges ez?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
Hogyan szerezhetünk ilyen sok információt,
ilyen kicsi mozgásból?
ilyen kicsi mozgásból?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
Nos, mondjuk, hogy azok a levelek
csupán egyetlen mikrométernyit mozdulnak,
csupán egyetlen mikrométernyit mozdulnak,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
és mondjuk, hogy ez a képünket
csak egy pixel ezredével mozdítja el.
csak egy pixel ezredével mozdítja el.
05:39
That may not seem like much,
88
327269
2572
Ez talán nem tűnik soknak,
05:41
but a single frame of video
89
329841
1996
de egyetlen képkocka
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
több százezer pixelt foglalhat magába
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
és ha össze tudjuk rakni
az összes ilyen kis mozgást, amit látunk
az összes ilyen kis mozgást, amit látunk
05:50
from across that entire image,
92
338548
2298
az egész kép területéről,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
akkor hirtelen egy pixel ezrede
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
elkezdhet összeadódni
valami egészen jelentőssé.
valami egészen jelentőssé.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
Hadd áruljam el, hogy eléggé bezsongtunk,
amikor rájöttünk minderre.
amikor rájöttünk minderre.
06:02
(Laughter)
96
350505
2320
(Nevetés)
06:04
But even with the right algorithm,
97
352825
3253
De még a megfelelő algoritmussal is
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
hiányzott egy elég fontos darabja
a kirakósnak.
a kirakósnak.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
Ugyanis rengeteg tényező befolyásolja,
mikor és mennyire jól fog
mikor és mennyire jól fog
06:15
this technique will work.
100
363299
1997
ez a technika működni.
06:17
There's the object and how far away it is;
101
365296
3204
Ott van a tárgy és hogy milyen messze van;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
ott a kamera és a lencsék,
amiket használunk;
amiket használunk;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
mennyi fény éri a tárgyat
és milyen hangos a hang.
és milyen hangos a hang.
06:27
And even with the right algorithm,
104
375945
3375
És még a megfelelő algoritmussal is
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
nagyon óvatosnak kellett lennünk
a korai kísérleteinkben,
a korai kísérleteinkben,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
mert ha ezen tényezők
akármelyikét elhibáztuk,
akármelyikét elhibáztuk,
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
esélytelen volt megmondani,
hogy mi is a probléma.
hogy mi is a probléma.
06:39
We would just get noise back.
108
387470
2647
Csak zajt nyertünk vissza.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
Ezért aztán rengeteg korai kísérletünk
festett valahogy így.
festett valahogy így.
06:45
And so here I am,
110
393437
2206
Íme, itt vagyok én,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
és valamelyest látni a bal alsó sarokban
a nagysebességű kameránkat,
a nagysebességű kameránkat,
06:51
which is pointed at a bag of chips,
112
399683
2183
ami egy zacskó chipsre szegeződik,
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
és mindez ezekkel a ragyogó lámpákkal
van bevilágítva.
van bevilágítva.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
Mint mondtam, az ilyen korai kísérleteknél
nagyon óvatosnak kellett lennünk,
nagyon óvatosnak kellett lennünk,
07:01
so this is how it went down.
115
409180
2508
ezért így festett a dolog.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(Videó) Abe Davis: Három, kettő, egy, és!
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:12
(Laughter)
118
420836
4500
(Nevetés)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
AD: Szóval ez a kísérlet
teljes mértékben röhejesen fest.
teljes mértékben röhejesen fest.
07:20
(Laughter)
120
428150
1788
(Nevetés)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
Úgy értem, egy zacskó chipsnek kiabálok...
07:24
(Laughter) --
122
432283
1551
(Nevetés)
07:25
and we're blasting it with so much light,
123
433834
2117
...amire annyi fényt nyomtunk,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
hogy az első zacskót, amin kipróbáltuk,
szó szerint megolvasztottuk. (Nevetés)
szó szerint megolvasztottuk. (Nevetés)
07:32
But ridiculous as this experiment looks,
125
440525
3274
De bármilyen röhejesnek
tűnik is ez a kísérlet,
tűnik is ez a kísérlet,
07:35
it was actually really important,
126
443799
1788
valójában nagyon fontos volt,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
mert sikerült visszanyernünk
ezt a hangot.
ezt a hangot.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(Hang) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
07:45
(Applause)
129
453225
4088
(Taps)
07:49
AD: And this was really significant,
130
457313
1881
AD: És ennek nagy jelentősége volt,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
mert ez volt az első, hogy
kivehető emberi hangot nyertünk vissza
kivehető emberi hangot nyertünk vissza
07:55
from silent video of an object.
132
463424
2341
egy tárgyról készült néma videóból.
07:57
And so it gave us this point of reference,
133
465765
2391
Ez adott nekünk egy viszonyítási pontot,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
és fokozatosan elkezdhettük
módosítani a kísérletet
módosítani a kísérletet
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
különböző tárgyakat használtunk,
vagy messzebbre helyeztük őket,
vagy messzebbre helyeztük őket,
08:07
using less light or quieter sounds.
136
475911
2770
kevesebbet fényt vagy
halkabb hangot használtunk.
halkabb hangot használtunk.
08:11
And we analyzed all of these experiments
137
479887
2874
És elemeztük az összes ilyen kísérletet,
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
amíg valóban megértettük
a technikánk korlátait;
a technikánk korlátait;
mert amint megismertük
ezeket a korlátokat,
ezeket a korlátokat,
08:18
because once we understood those limits,
139
486383
1950
08:20
we could figure out how to push them.
140
488333
2346
kitalálhattuk, hogyan lehetne
feszegetni őket.
feszegetni őket.
08:22
And that led to experiments like this one,
141
490679
3181
És ez vezetett az olyan kísérletekhez,
mint ez is,
mint ez is,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
ahol ismét beszélni fogok
egy zacskó chipshez,
egy zacskó chipshez,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
de ezúttal a kamerát úgy
öt méterrel távolabb helyeztük el,
öt méterrel távolabb helyeztük el,
08:33
outside, behind a soundproof window,
144
501429
2833
kívül, egy hangszigetelt üvegen túl,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
és az egész csak természetes napfénnyel
volt megvilágítva.
volt megvilágítva.
08:40
And so here's the video that we captured.
146
508529
2155
Íme a videó, amit felvettünk.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
És így hangzott a dolog belül,
a zacskó chips mellett.
a zacskó chips mellett.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(Hang) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
AD: És ezt sikerült visszanyernünk
a néma videóból,
a néma videóból,
09:03
captured outside behind that window.
151
531683
2345
amit kintről,
az üvegen túlról vettünk fel.
az üvegen túlról vettünk fel.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(Hang) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
09:15
(Applause)
154
543920
6501
(Taps)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
AD: Vannak más módjai is annak,
hogy ezeket a határokat feszegessük.
hogy ezeket a határokat feszegessük.
09:25
So here's a quieter experiment
156
553963
1798
Itt van ez a csendesebb kísérlet,
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
ahol egy laptophoz csatlakoztatott
füldugót filmeztünk le,
füldugót filmeztünk le,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
és ebben az esetben, a laptopon játszott
zenét akartuk visszanyerni
zenét akartuk visszanyerni
09:35
from just silent video
159
563981
2299
csupán egy néma videóból
09:38
of these two little plastic earphones,
160
566280
2507
erről a két kis műanyag fülhallgatóról,
09:40
and we were able to do this so well
161
568787
2183
és ez annyira jól sikerült,
hogy az eredményre még
a Shazamon is rá tudtam keresni.
a Shazamon is rá tudtam keresni.
09:42
that I could even Shazam our results.
162
570970
2461
09:45
(Laughter)
163
573431
2411
(Nevetés)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
[Videóból visszanyert hang]
(Zene: "Under Pressure" a Queentől)
(Zene: "Under Pressure" a Queentől)
10:01
(Applause)
165
589615
4969
(Taps)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
Próbálkozhatunk azzal is, hogy
más eszközöket használunk a felvételhez.
más eszközöket használunk a felvételhez.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
Mert azok a kísérletek,
amiket eddig mutattam,
amiket eddig mutattam,
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
mind nagy sebességű kamerával készültek
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
ami nagyjából százszor
gyorsabban tud felvenni,
gyorsabban tud felvenni,
10:18
than most cell phones,
170
606797
1927
mint a legtöbb mobiltelefon,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
de arra is találtunk módot,
hogy ezt a technikát
hogy ezt a technikát
10:23
with more regular cameras,
172
611533
2230
közönségesebb kamerákkal használjuk.
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
Tettük ezt úgy, hogy kihasználtuk
az úgy nevezett gördülő zárat.
az úgy nevezett gördülő zárat.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
Ugyanis a legtöbb kamera
soronként rögzíti a képeket,
soronként rögzíti a képeket,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
így, ha egy tárgy elmozdul
egyetlen kép rögzítése közben,
egyetlen kép rögzítése közben,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
van egy kis időeltolódás
minden sor között,
minden sor között,
10:43
and this causes slight artifacts
177
631061
3157
ez apró kis torzulásokat okoz,
10:46
that get coded into each frame of a video.
178
634218
3483
amik a videó minden képkockáján
kódolásra kerülnek.
kódolásra kerülnek.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
Arra jöttünk rá, hogy ezeket
a torzulásokat elemezve
a torzulásokat elemezve
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
képesek vagyunk visszanyerni a hangot,
az algoritmusunk módosított verziójával.
az algoritmusunk módosított verziójával.
10:58
So here's an experiment we did
181
646122
1912
Tehát, itt az egyik kísérletünk,
11:00
where we filmed a bag of candy
182
648034
1695
ahol egy zacskó cukrot filmeztünk,
11:01
while a nearby loudspeaker played
183
649729
1741
miközben egy közeli hangszóró
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
ugyanazt a "Mary Had a Little Lamb"
zenét játszotta korábbról,
zenét játszotta korábbról,
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
de ezúttal, csak egy általános,
boltban kapható kamerát használtunk,
boltban kapható kamerát használtunk,
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
és máris lejátszom önöknek
a hangot, amit visszanyertünk,
a hangot, amit visszanyertünk,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
ezúttal egy kicsit
torzítottan fog hangzani,
torzítottan fog hangzani,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
de hallgassák, hogy még
fel tudják-e ismerni a zenét.
fel tudják-e ismerni a zenét.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(Hang: "Mary Had a Little Lamb")
[A zacskó cukorkából visszanyert hang]
[A zacskó cukorkából visszanyert hang]
11:37
And so, again, that sounds distorted,
190
685527
3465
És igen, ez a hang ugyan torzított,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
de ami igazán lenyűgöző,
hogy képesek voltunk ezt elérni,
hogy képesek voltunk ezt elérni,
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
egy olyan eszközzel,
amit könnyen beszerezhetnek,
amit könnyen beszerezhetnek,
11:48
and pick up at a Best Buy.
193
696004
1444
ha átugranak a Best Buy-ba.
11:51
So at this point,
194
699122
1363
Szóval ezen a ponton,
11:52
a lot of people see this work,
195
700485
1974
rengeteg ember, aki látja ezt a munkát
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
rögtön a megfigyelésre gondol.
Hogy őszinte legyek,
11:57
And to be fair,
197
705872
2415
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
nem nehéz elképzelni, hogy lehetne
ezt a technológiát kémkedésre használni.
ezt a technológiát kémkedésre használni.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
De tartsuk észben, hogy rengeteg
kiforrott technológia létezik már
kiforrott technológia létezik már
12:08
out there for surveillance.
200
716367
1579
a megfigyelésre.
12:09
In fact, people have been using lasers
201
717946
2090
Valójában az emberek évtizedek óta
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
lézerek használatával hallgatnak le
tárgyakat a távolban.
tárgyakat a távolban.
12:15
But what's really new here,
203
723978
2025
De ami igazán új itt,
12:18
what's really different,
204
726003
1440
ami igazán különböző,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
hogy most már van egy módszerünk,
hogy elképzeljük egy tárgy rezgéseit,
hogy elképzeljük egy tárgy rezgéseit,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
ami egy új szempontot kínál,
ahonnan a világot szemlélhetjük,
ahonnan a világot szemlélhetjük,
12:27
and we can use that lens
207
735151
1510
és ez nem csak arra jó,
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
hogy megismerjük a hanghoz hasonló erőket,
ami egy tárgy rezgését okozza,
ami egy tárgy rezgését okozza,
12:33
but also about the object itself.
209
741560
2288
de magát a tárgyat is jobban megismerjük.
12:36
And so I want to take a step back
210
744975
1693
Ezért tennék most egy lépést hátra
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
és szeretnék elgondolkozni,
hogy változtat ez a videózás használatán,
hogy változtat ez a videózás használatán,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
mert a videót általában arra használjuk,
hogy nézzük a dolgokat,
hogy nézzük a dolgokat,
12:46
and I've just shown you how we can use it
213
754470
2322
ám épp most mutattam meg,
hogy használható arra,
hogy használható arra,
12:48
to listen to things.
214
756792
1857
hogy hallgassuk a dolgokat.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
De van még egy fontos módszer,
ami által a világról tanulunk:
ami által a világról tanulunk:
ha interakcióba lépünk vele.
12:54
that's by interacting with it.
216
762620
2275
12:56
We push and pull and poke and prod things.
217
764895
3111
Húzzuk és vonjuk a dolgokat,
böködjük és szurkáljuk.
böködjük és szurkáljuk.
13:00
We shake things and see what happens.
218
768006
3181
Megrázzuk őket és figyeljük,
hogy mi történik.
hogy mi történik.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
És ez olyasmi, amit a videó
még nem enged nekünk megtenni,
még nem enged nekünk megtenni,
13:07
at least not traditionally.
220
775460
2136
legalábbis hagyományosan nem.
13:09
So I want to show you some new work,
221
777596
1950
Ezért mutatnék egy új munkát önöknek,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
ami egy pár hónappal ezelőtti
ötletemen alapul,
ötletemen alapul,
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
szóval igazából ez az első alkalom,
hogy megmutatom a nagyközönségnek.
hogy megmutatom a nagyközönségnek.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
Az alapvető ötlet, hogy felhasználjuk
a videón rögzített rezgéseket arra,
a videón rögzített rezgéseket arra,
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
hogy a tárgyakat oly módon örökítsük meg,
ami lehetővé teszi velük az interkaciót
ami lehetővé teszi velük az interkaciót
13:27
and see how they react to us.
226
795358
1974
és megmutatja, hogyan reagálnak ránk.
13:31
So here's an object,
227
799120
1764
Szóval itt van egy tárgy,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
ez éppen egy ember alakú drótfigura,
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
és fel fogjuk venni ezt a tárgyat
egy átlagos kamerával.
egy átlagos kamerával.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
Tehát a kamerában
nincsen semmi különleges.
nincsen semmi különleges.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
Sőt, én már csináltam ilyet
a mobilommal is korábban.
a mobilommal is korábban.
13:44
But we do want to see the object vibrate,
232
812889
2252
De szeretnénk látni,
ahogy a tárgy rezeg,
ahogy a tárgy rezeg,
13:47
so to make that happen,
233
815141
1133
és hogy ezt elérjük,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
egy kicsit megütögetjük a felületet,
amin helyet foglal,
amin helyet foglal,
13:51
while we record this video.
235
819620
2138
miközben felvesszük ezt a videót.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
Szóval ennyi: csak öt másodperc
átlagos videó,
átlagos videó,
14:03
while we bang on this surface,
237
831069
2136
miközben ütögetjük a felületet,
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
a videóban lévő rezgéseket
arra fogjuk használni,
arra fogjuk használni,
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
hogy többet tudjunk meg a tárgyunk
szerkezeti és anyagi tulajdonságairól,
szerkezeti és anyagi tulajdonságairól,
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
ennek az információnak a segítségével majd
valami újat és interaktívat hozunk létre.
valami újat és interaktívat hozunk létre.
14:24
And so here's what we've created.
241
852866
2653
Íme, amit létrehoztunk.
14:27
And it looks like a regular image,
242
855519
2229
Úgy néz ki, mint egy közönséges kép,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
de ez nem egy kép,
és nem is egy videó,
és nem is egy videó,
14:32
because now I can take my mouse
244
860859
2368
mert most foghatom az egeremet
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
és elkezdhetek kapcsolatot teremteni
a tárggyal.
a tárggyal.
14:44
And so what you see here
246
872936
2357
És amit most itt látnak,
14:47
is a simulation of how this object
247
875389
2226
az egy szimulációja annak,
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
ahogy a tárgy reagálna új erőkre,
amiket még sosem láttunk,
amiket még sosem láttunk,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
és ezt csak egy öt másodperces
egyszerű videóból készítettük.
egyszerű videóból készítettük.
14:59
(Applause)
250
887249
4715
(Taps)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
Ez egy nagyon hatásos módja annak,
ahogy a világot szemléljük,
ahogy a világot szemléljük,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
mert általa megjósolhatjuk,
hogyan fognak a tárgyak reagálni
hogyan fognak a tárgyak reagálni
15:15
to new situations,
253
903620
1823
egy új helyzetre,
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
és elképzelhetjük például,
ahogy nézünk egy régi hídra,
ahogy nézünk egy régi hídra,
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
és azon gondolkozunk, mi történne,
hogyan tartana ki a híd,
hogyan tartana ki a híd,
15:24
if I were to drive my car across it.
256
912443
2833
ha áthajtanánk rajta az autónkkal.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
Ez egy olyan kérdés,
amire jó lenne tudni a választ,
amire jó lenne tudni a választ,
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
mielőtt elkezdünk áthajtani
azon a hídon.
azon a hídon.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
És természetesen lesznek korlátai
ennek a technikának,
ennek a technikának,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
mint ahogy voltak
a vizuális mikrofonnak is,
a vizuális mikrofonnak is,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
de azt vettük észre,
hogy sok helyzetben működik,
hogy sok helyzetben működik,
15:42
that you might not expect,
262
930903
1875
amiben talán nem is várnák,
15:44
especially if you give it longer videos.
263
932778
2768
különösen,
ha hosszabb videókkal dolgozunk.
ha hosszabb videókkal dolgozunk.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
Szóval például itt egy videó,
amit felvettem,
amit felvettem,
15:50
of a bush outside of my apartment,
265
938054
2299
egy bokorról a lakásom előtt.
15:52
and I didn't do anything to this bush,
266
940353
3088
Nem csináltam semmit a bokorral,
15:55
but by capturing a minute-long video,
267
943441
2705
de míg felvettem egy egyperces videót,
15:58
a gentle breeze caused enough vibrations
268
946146
3378
egy kis szellő elég rezgést okozott,
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
hogy eleget megtudjunk a bokorról,
és így létrehozhassuk ezt a szimulációt.
és így létrehozhassuk ezt a szimulációt.
16:07
(Applause)
270
955270
6142
(Taps)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
El tudják képzelni,
ahogy egy fimrendező kezébe adjuk ezt,
ahogy egy fimrendező kezébe adjuk ezt,
16:16
and letting him control, say,
272
964384
1719
hogy így kontrollálhassa, mondjuk
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
a szél erejét és irányát
egy jelenetben, miután felvették azt.
egy jelenetben, miután felvették azt.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
Vagy, ebben az esetben, a kameránkat
egy felakasztott függönyre szegeztük.
egy felakasztott függönyre szegeztük.
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
Nem látnak semmi mozgást
ezen a videón,
ezen a videón,
16:33
but by recording a two-minute-long video,
276
981474
2925
de egy kétperces videó felvételével,
16:36
natural air currents in this room
277
984399
2438
a szobában lévő
természetes légmozgások
természetes légmozgások
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
elegendő finom, alig érzékelhető
mozgást és rezgést okoztak,
mozgást és rezgést okoztak,
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
hogy eleget tudjunk
a szimuláció elkészítéséhez.
a szimuláció elkészítéséhez.
16:48
And ironically,
280
996243
2366
Ironikus módon,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
eléggé hozzá vagyunk szokva
az ilyen fajta interaktivitáshoz,
az ilyen fajta interaktivitáshoz,
16:53
when it comes to virtual objects,
282
1001697
2647
ha virtuális tárgyakról van szó,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
videó játékokról és 3D modellekről,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
de a képesség, hogy ezt az információt
a valóság valós tárgyairól is megszerezzük
a valóság valós tárgyairól is megszerezzük
17:04
using just simple, regular video,
285
1012045
2817
csupán egyszerű,
hagyományos videót használva,
hagyományos videót használva,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
ez valami új,
ami nagyon sok lehetőséget rejt.
ami nagyon sok lehetőséget rejt.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
Szóval íme a lenyűgöző emberek,
akikkel ezeken a projekteken dolgoztam.
akikkel ezeken a projekteken dolgoztam.
17:16
(Applause)
288
1024057
5596
(Taps)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
És amit ma megmutattam önöknek,
az csak a kezdet.
az csak a kezdet.
17:27
We've just started to scratch the surface
290
1035876
2113
Épp csak karcolgatjuk a felszínét annak,
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
amit ezzel a képalkotással
megtehetünk,
megtehetünk,
17:32
because it gives us a new way
292
1040961
2286
mert egy új módszert biztosít arra,
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
hogy megörökítsük a környezetünket,
mindennapi, hozzáférhető technológiával.
mindennapi, hozzáférhető technológiával.
17:40
And so looking to the future,
294
1048066
1929
Szóval a jövőbe nézve,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
nagyon izgalmas lesz felfedezni,
17:44
what this can tell us about the world.
296
1052032
1856
mit árulhat el ez nekünk a világról.
17:46
Thank you.
297
1054381
1204
Köszönöm!
17:47
(Applause)
298
1055610
6107
(Taps)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com