ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Nieuwe videotechnologie die de verborgen eigenschappen van voorwerpen zichtbaar maakt.

Filmed:
1,482,525 views

Subtiele bewegingen gebeuren de hele tijd rondom ons, met inbegrip van de kleine trillingen veroorzaakt door geluid. Nieuwe technologie laat zien dat we via opnames van deze trillingen, geluid en gesprekken kunnen her-creëeren, enkel op basis van een schijnbaar onbeweeglijk voorwerp. Maar Abe Davis gaat nog een stap verder: zie hoe hij software demonstreert waardoor iedereen met deze verborgen eigenschappen kan interageren, op basis van een eenvoudige video.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

00:13
MostDe meeste of us think of motionbeweging
as a very visualzichtbaar thing.
0
1373
3349
De meesten zien beweging
als iets zeer visueels.
00:17
If I walklopen acrossaan de overkant this stagestadium
or gesturegebaar with my handshanden while I speakspreken,
1
5889
5088
Als ik over dit podium loop
of met mijn handen gebaar,
00:22
that motionbeweging is something that you can see.
2
10977
2261
dan kan je die beweging zien.
00:26
But there's a worldwereld- of importantbelangrijk motionbeweging
that's too subtlesubtiel for the humanmenselijk eyeoog,
3
14255
5482
Maar heel veel bewegingen
zijn te subtiel voor het menselijk oog.
00:31
and over the pastverleden fewweinig yearsjaar,
4
19737
2041
In de afgelopen jaren
00:33
we'vewij hebben startedbegonnen to find that camerascamera's
5
21778
1997
merkten we dat camera's
00:35
can oftenvaak see this motionbeweging
even when humansmensen can't.
6
23775
3410
deze beweging vaak waarnemen,
zelfs wanneer de mens dat niet kan.
00:40
So let me showtonen you what I mean.
7
28305
1551
Dit is wat ik bedoel.
00:42
On the left here, you see videovideo-
of a person'spersonen wristpols,
8
30717
3622
Links zie je een video
van iemands pols,
00:46
and on the right, you see videovideo-
of a sleepingslapen infantzuigeling,
9
34339
3147
rechts een video van een slapend kind,
00:49
but if I didn't tell you
that these were videosvideos,
10
37486
3146
maar als ik je niet zou vertellen
dat dit video's waren,
00:52
you mightmacht assumeuitgaan van that you were looking
at two regularregelmatig imagesafbeeldingen,
11
40632
3761
zou je kunnen denken
dat je gewone foto’s zag,
00:56
because in bothbeide casesgevallen,
12
44393
1672
omdat in beide gevallen
00:58
these videosvideos appearverschijnen to be
almostbijna completelyhelemaal still.
13
46065
3047
er bijna geen beweging
te zien is in beide video's.
01:02
But there's actuallywerkelijk a lot
of subtlesubtiel motionbeweging going on here,
14
50175
3885
Maar er is eigenlijk
een heleboel subtiele beweging gaande.
01:06
and if you were to touchaanraken
the wristpols on the left,
15
54060
2392
Als je de pols links zou aanraken,
01:08
you would feel a pulsepols,
16
56452
1996
zou je hem voelen kloppen.
01:10
and if you were to holdhouden
the infantzuigeling on the right,
17
58448
2485
Bij het kind rechts
zou je de borst voelen stijgen en dalen
01:12
you would feel the risestijgen
and fallvallen of her chestborst
18
60933
2391
01:15
as she tooknam eachelk breathadem.
19
63324
1390
bij elke ademhaling.
01:17
And these motionsontwerp-resoluties carrydragen
a lot of significancebetekenis,
20
65762
3576
Deze bewegingen zitten vol met informatie,
01:21
but they're usuallydoorgaans
too subtlesubtiel for us to see,
21
69338
3343
die meestal zo subtiel is,
dat we ze niet kunnen zien.
01:24
so insteadin plaats daarvan, we have to observeobserveren them
22
72681
2276
Daarom nemen we ze waar
01:26
throughdoor directdirect contactcontact, throughdoor touchaanraken.
23
74957
2900
door direct contact,
door middel van aanraking.
Maar een paar jaar geleden,
01:30
But a fewweinig yearsjaar agogeleden,
24
78997
1265
01:32
my colleaguescollega's at MITMIT developedontwikkelde
what they call a motionbeweging microscopeMicroscoop,
25
80262
4405
hebben mijn collega's aan het MIT
een ‘bewegingsmicroscoop’ ontwikkeld.
01:36
whichwelke is softwaresoftware that findsvondsten
these subtlesubtiel motionsontwerp-resoluties in videovideo-
26
84667
4384
Dat is software die deze subtiele
bewegingen in video vindt
01:41
and amplifiesversterkt them so that they
becomeworden largegroot enoughgenoeg for us to see.
27
89051
3562
en versterkt zodat we ze kunnen zien.
01:45
And so, if we use theirhun softwaresoftware
on the left videovideo-,
28
93416
3483
Met hun software
kunnen we het kloppen van de pols zien.
01:48
it letslaten we us see the pulsepols in this wristpols,
29
96899
3250
01:52
and if we were to counttellen that pulsepols,
30
100149
1695
Als we het kloppen tellen,
01:53
we could even figurefiguur out
this person'spersonen hearthart- ratetarief.
31
101844
2355
kennen we zelfs de hartslag
van deze persoon.
01:57
And if we used the samedezelfde softwaresoftware
on the right videovideo-,
32
105095
3065
Met dezelfde software
kunnen we op de video rechts
02:00
it letslaten we us see eachelk breathadem
that this infantzuigeling takes,
33
108160
3227
de ademhaling van dit kind zien
02:03
and we can use this as a contact-freecontactloos way
to monitormonitor her breathingademen.
34
111387
4137
en zonder fysisch contact
haar ademhaling controleren.
02:08
And so this technologytechnologie is really powerfulkrachtig
because it takes these phenomenafenomenen
35
116884
5348
Deze technologie is echt krachtig,
want ze kan deze fenomenen,
02:14
that we normallynormaal have
to experienceervaring throughdoor touchaanraken
36
122232
2367
die we normaal
ervaren door aanraking,
02:16
and it letslaten we us capturevangst them visuallyvisueel
and non-invasivelyniet-gebeurt.
37
124599
2957
visueel en ongestoord vastleggen.
02:21
So a couplepaar yearsjaar agogeleden, I startedbegonnen workingwerkend
with the folksmensen that createdaangemaakt that softwaresoftware,
38
129104
4411
Een paar jaar geleden begon ik te werken
met de mensen die die software creëerden.
02:25
and we decidedbeslist to pursuena te streven a crazygek ideaidee.
39
133515
3367
We besloten
een ​​gek idee uit te werken.
02:28
We thought, it's coolkoel
that we can use softwaresoftware
40
136882
2693
We vonden het cool
om software te gebruiken
02:31
to visualizevisualiseren tinyklein motionsontwerp-resoluties like this,
41
139575
3135
om kleine bewegingen
als deze te visualiseren
02:34
and you can almostbijna think of it
as a way to extenduitbreiden our sensezin of touchaanraken.
42
142710
4458
als een manier
om onze tastzin uit te breiden.
02:39
But what if we could do the samedezelfde thing
with our abilityvermogen to hearhoren?
43
147168
4059
Maar wat als we datzelfde
konden doen met ons gehoor?
02:44
What if we could use videovideo-
to capturevangst the vibrationstrillingen of soundgeluid,
44
152508
4665
Wat als we video konden gebruiken
om geluidstrillingen op te nemen --
02:49
whichwelke are just anothereen ander kindsoort of motionbeweging,
45
157173
2827
immers ook een soort beweging --
02:52
and turnbeurt everything that we see
into a microphonemicrofoon?
46
160000
3346
zodat we van alles wat we zien
een 'microfoon' konden maken.
02:56
Now, this is a bitbeetje of a strangevreemd ideaidee,
47
164236
1971
Dat is een beetje een raar idee,
02:58
so let me try to put it
in perspectiveperspectief for you.
48
166207
2586
dus laat me dat uitleggen.
03:01
TraditionalTraditionele microphonesmicrofoons
work by convertingomzetten the motionbeweging
49
169523
3488
Traditionele microfoons werken
door het omzetten van de beweging
03:05
of an internalintern diaphragmmiddenrif
into an electricalelektrisch signalsignaal,
50
173011
3599
van een intern membraan
in een elektrisch signaal.
03:08
and that diaphragmmiddenrif is designedontworpen
to moveverhuizing readilygemakkelijk with soundgeluid
51
176610
4318
Dat membraan is ontworpen
om gemakkelijk te bewegen met geluid,
03:12
so that its motionbeweging can be recordedopgenomen
and interpretedgeïnterpreteerd as audioaudio.
52
180928
4807
zodat de beweging
kan worden geregistreerd
en geïnterpreteerd als audio.
03:17
But soundgeluid causesoorzaken all objectsvoorwerpen to vibratetrillen.
53
185735
3668
Maar geluid laat alle objecten trillen.
03:21
Those vibrationstrillingen are just usuallydoorgaans
too subtlesubtiel and too fastsnel for us to see.
54
189403
5480
Die trillingen zijn meestal te subtiel
en te snel voor ons om te zien.
03:26
So what if we recordrecord them
with a high-speedhoge snelheid cameracamera
55
194883
3738
Wat als we ze opnemen
met een hogesnelheidscamera
03:30
and then use softwaresoftware
to extractextract tinyklein motionsontwerp-resoluties
56
198621
3576
en dan software gebruiken
om de kleine bewegingen
te halen uit onze hogesnelheidsvideo,
03:34
from our high-speedhoge snelheid videovideo-,
57
202197
2090
03:36
and analyzeanalyseren those motionsontwerp-resoluties to figurefiguur out
what soundsklanken createdaangemaakt them?
58
204287
4274
en die bewegingen analyseren
om de geluiden te achterhalen
die ze veroorzaakten?
Dan kunnen we zichtbare objecten
03:41
This would let us turnbeurt visiblezichtbaar objectsvoorwerpen
into visualzichtbaar microphonesmicrofoons from a distanceafstand.
59
209859
5449
op afstand gebruiken
als visuele microfoons.
03:49
And so we triedbeproefd this out,
60
217080
2183
Dit hebben we uitgeprobeerd.
03:51
and here'shier is one of our experimentsexperimenten,
61
219263
1927
Hier is een van onze experimenten:
03:53
where we tooknam this pottedingegoten plantfabriek
that you see on the right
62
221190
2949
we filmden deze plant daar rechts
03:56
and we filmedgefilmd it with a high-speedhoge snelheid cameracamera
63
224139
2438
met een hogesnelheidscamera,
terwijl een luidspreker in de buurt
dit geluid speelde.
03:58
while a nearbynabijgelegen loudspeakerluidspreker
playedgespeeld this soundgeluid.
64
226577
3529
04:02
(MusicMuziek: "MaryMary Had a Little LambLam")
65
230275
8190
(Muziek: 'Mary Had a Little Lamb')
04:11
And so here'shier is the videovideo- that we recordedopgenomen,
66
239820
2824
Hier is de video die we opnamen
04:14
and we recordedopgenomen it at thousandsduizenden
of framesframes perper secondtweede,
67
242644
3924
met duizenden frames per seconde.
Maar zelfs als je heel goed kijkt,
04:18
but even if you look very closelyvan nabij,
68
246568
2322
is alles wat je ziet enkele bladeren...
04:20
all you'llje zult see are some leavesbladeren
69
248890
1951
04:22
that are prettymooi much
just sittingzittend there doing nothing,
70
250841
3065
... zonder veel actie. (Gelach)
04:25
because our soundgeluid only movedverhuisd those leavesbladeren
by about a micrometermicrometer.
71
253906
4806
Ons geluid verplaatst die bladeren
slechts ongeveer één micrometer.
Dat is één tienduizendste
van een centimeter,
04:31
That's one ten-thousandthtienduizendste of a centimetercentimeter,
72
259103
4276
04:35
whichwelke spansoverspanningen somewhereergens betweentussen
a hundredthhonderdste and a thousandthduizendste
73
263379
4156
ergens tussen een honderdste
en een duizendste
04:39
of a pixelpixel in this imagebeeld.
74
267535
2299
van een pixel in dit beeld.
Je kunt dus nóg zo goed turen,
04:41
So you can squintscheel all you want,
75
269881
2887
04:44
but motionbeweging that smallklein is prettymooi much
perceptuallyperceptually invisibleonzichtbaar.
76
272768
3335
die beweging is te klein
om zichtbaar te zijn.
04:49
But it turnsbochten out that something
can be perceptuallyperceptually invisibleonzichtbaar
77
277667
4157
Maar het blijkt
dat iets niet te zien kan zijn
04:53
and still be numericallynumeriek significantsignificant,
78
281824
2809
en toch numeriek significant.
04:56
because with the right algorithmsalgoritmen,
79
284633
2002
Want met de juiste algoritmen
04:58
we can take this silentstil,
seeminglyschijnbaar still videovideo-
80
286635
3687
kunnen we uit deze stille,
schijnbaar stille video
05:02
and we can recoverherstellen this soundgeluid.
81
290322
1527
dit geluid herleiden.
05:04
(MusicMuziek: "MaryMary Had a Little LambLam")
82
292690
7384
(Muziek: 'Mary Had a Little Lamb')
05:12
(ApplauseApplaus)
83
300074
5828
(Applaus)
05:22
So how is this possiblemogelijk?
84
310058
1939
Hoe is dat mogelijk?
05:23
How can we get so much informationinformatie
out of so little motionbeweging?
85
311997
4344
Hoe halen we zo veel informatie
uit zo weinig beweging?
05:28
Well, let's say that those leavesbladeren
moveverhuizing by just a singlesingle micrometermicrometer,
86
316341
5361
Stel dat die bladeren
slechts één enkele micrometer uitwijken,
05:33
and let's say that that shiftsverschuivingen our imagebeeld
by just a thousandthduizendste of a pixelpixel.
87
321702
4308
en het beeld slechts één duizendste
van een pixel verschuift.
Dat lijkt misschien niet veel,
05:39
That maymei not seemlijken like much,
88
327269
2572
05:41
but a singlesingle framemontuur of videovideo-
89
329841
1996
maar één enkel videoframe
05:43
maymei have hundredshonderden of thousandsduizenden
of pixelspixels in it,
90
331837
3257
kan honderdduizenden pixels bevatten.
05:47
and so if we combinecombineren all
of the tinyklein motionsontwerp-resoluties that we see
91
335094
3454
Als we al die kleine bewegingen combineren
05:50
from acrossaan de overkant that entiregeheel imagebeeld,
92
338548
2298
van dat complete beeld,
05:52
then suddenlyplotseling a thousandthduizendste of a pixelpixel
93
340846
2623
kan een duizendste
van een pixel ineens
iets heel significants opleveren.
05:55
can startbegin to addtoevoegen up
to something prettymooi significantsignificant.
94
343469
2775
Even terzijde: we waren
behoorlijk in onze nopjes
05:58
On a personalpersoonlijk noteNotitie, we were prettymooi psychedpsyched
when we figuredbedacht this out.
95
346870
3635
toen we dit hadden uitgeknobbeld.
06:02
(LaughterGelach)
96
350505
2320
(Gelach)
06:04
But even with the right algorithmalgoritme,
97
352825
3253
Maar zelfs met het juiste algoritme
06:08
we were still missingmissend
a prettymooi importantbelangrijk piecestuk of the puzzlepuzzel.
98
356078
3617
misten we nog steeds
een vrij belangrijk stuk van de puzzel.
06:11
You see, there are a lot of factorsfactoren
that affectaantasten when and how well
99
359695
3604
Veel factoren zijn van invloed
op wanneer en hoe goed
06:15
this techniquetechniek will work.
100
363299
1997
deze techniek werkt:
06:17
There's the objectvoorwerp and how farver away it is;
101
365296
3204
het object en hoe ver het is,
06:20
there's the cameracamera
and the lenslens that you use;
102
368500
2394
de camera en de lens,
06:22
how much lightlicht is shiningschijnend on the objectvoorwerp
and how loudluid your soundgeluid is.
103
370894
4091
hoeveel licht op het object valt
en hoe hard het geluid is.
06:27
And even with the right algorithmalgoritme,
104
375945
3375
En zelfs met het juiste algoritme
06:31
we had to be very carefulvoorzichtig
with our earlyvroeg experimentsexperimenten,
105
379320
3390
moesten we zeer zorgvuldig zijn
bij onze vroege experimenten,
06:34
because if we got
any of these factorsfactoren wrongfout,
106
382710
2392
want als een van deze factoren
verkeerd zat,
was er geen manier om te zien
wat het probleem was.
06:37
there was no way to tell
what the problemprobleem was.
107
385102
2368
06:39
We would just get noiselawaai back.
108
387470
2647
We kregen dan alleen lawaai terug.
06:42
And so a lot of our earlyvroeg
experimentsexperimenten lookedkeek like this.
109
390117
3320
Veel van onze vroege experimenten
zagen er zo uit.
06:45
And so here I am,
110
393437
2206
Hier ben ik
06:47
and on the bottombodem left, you can kindsoort of
see our high-speedhoge snelheid cameracamera,
111
395643
4040
en linksonder zie je
onze hogesnelheidscamera,
06:51
whichwelke is pointedpuntig at a bagzak of chipschips,
112
399683
2183
gericht op een zak chips,
06:53
and the wholegeheel thing is litlit
by these brighthelder lampslampen.
113
401866
2949
en de hele zaak wordt verlicht
door sterke lampen.
06:56
And like I said, we had to be
very carefulvoorzichtig in these earlyvroeg experimentsexperimenten,
114
404815
4365
We moesten zorgvuldig zijn
bij deze vroege experimenten,
07:01
so this is how it wentgegaan down.
115
409180
2508
dus ging het zo.
07:03
(VideoVideo) AbeAbe DavisDavis: ThreeDrie, two, one, go.
116
411688
3761
(Video) Abe Davis: Drie, twee, een, start!
07:07
MaryMary had a little lamblam!
Little lamblam! Little lamblam!
117
415449
5387
Mary had a little lamb!
Little lamb! Little lamb!
07:12
(LaughterGelach)
118
420836
4500
(Gelach)
07:17
ADAD: So this experimentexperiment
lookslooks completelyhelemaal ridiculousbelachelijk.
119
425336
2814
AD: Dit experiment
lijkt volstrekt belachelijk.
07:20
(LaughterGelach)
120
428150
1788
(Gelach)
Ik bedoel, ik sta te schreeuwen
tegen een ​​zak chips -
07:21
I mean, I'm screamingschreeuwen at a bagzak of chipschips --
121
429938
2345
07:24
(LaughterGelach) --
122
432283
1551
(Gelach) -
07:25
and we're blastingontploffing it with so much lightlicht,
123
433834
2117
en we bestraalden hem met zoveel licht,
07:27
we literallyletterlijk meltedgesmolten the first bagzak
we triedbeproefd this on. (LaughterGelach)
124
435951
4479
dat de eerste zak letterlijk smolt.
(Gelach)
Maar hoe belachelijk
dit experiment ook lijkt,
07:32
But ridiculousbelachelijk as this experimentexperiment lookslooks,
125
440525
3274
07:35
it was actuallywerkelijk really importantbelangrijk,
126
443799
1788
het was eigenlijk heel belangrijk,
07:37
because we were ablein staat
to recoverherstellen this soundgeluid.
127
445587
2926
omdat we dit geluid
konden herstellen.
07:40
(AudioAudio) MaryMary had a little lamblam!
Little lamblam! Little lamblam!
128
448513
4712
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
07:45
(ApplauseApplaus)
129
453225
4088
(Applaus)
07:49
ADAD: And this was really significantsignificant,
130
457313
1881
AD: En dit was echt belangrijk,
want het was de eerste keer dat we
07:51
because it was the first time
we recoveredhersteld intelligiblebegrijpelijke humanmenselijk speechtoespraak
131
459194
4119
begrijpelijke menselijke
spraak terugwonnen
07:55
from silentstil videovideo- of an objectvoorwerp.
132
463424
2341
van een video zonder geluid
van een object.
07:57
And so it gavegaf us this pointpunt of referencereferentie,
133
465765
2391
Dit gaf ons een referentiepunt,
08:00
and graduallygeleidelijk we could startbegin
to modifywijzigen the experimentexperiment,
134
468156
3871
en geleidelijk aan konden we
het experiment wijzigen,
met verschillende voorwerpen
of van verder weg,
08:04
usinggebruik makend van differentverschillend objectsvoorwerpen
or movingin beweging the objectvoorwerp furtherverder away,
135
472106
3805
08:07
usinggebruik makend van lessminder lightlicht or quieterStiller soundsklanken.
136
475911
2770
met minder licht of zachtere geluiden.
08:11
And we analyzedgeanalyseerd all of these experimentsexperimenten
137
479887
2874
We analyseerden al deze proeven
08:14
untiltot we really understoodbegrijpelijk
the limitslimieten of our techniquetechniek,
138
482761
3622
totdat we de grenzen
van onze techniek vonden.
08:18
because onceeen keer we understoodbegrijpelijk those limitslimieten,
139
486383
1950
Want zodra we die grenzen vonden,
08:20
we could figurefiguur out how to pushDuwen them.
140
488333
2346
konden we achterhalen
hoe we ze konden oprekken.
08:22
And that led to experimentsexperimenten like this one,
141
490679
3181
Dat leidde tot experimenten zoals dit.
08:25
where again, I'm going to speakspreken
to a bagzak of chipschips,
142
493860
2739
Ik sprak nog eens
tegen een zak chips,
08:28
but this time we'vewij hebben movedverhuisd our cameracamera
about 15 feetvoeten away,
143
496599
4830
maar dit keer met onze camera
ongeveer 5 meter er vandaan,
08:33
outsidebuiten, behindachter a soundproofGeluiddichte windowvenster,
144
501429
2833
buiten, achter een geluiddicht raam,
08:36
and the wholegeheel thing is litlit
by only naturalnatuurlijk sunlightzonlicht.
145
504262
2803
en alles alleen belicht
met natuurlijk zonlicht.
08:40
And so here'shier is the videovideo- that we capturedgevangen genomen.
146
508529
2155
Hier is de video daarvan.
08:44
And this is what things soundedklonk like
from insidebinnen, nextvolgende to the bagzak of chipschips.
147
512450
4559
Zo klonk het binnen, bij de zak chips.
08:49
(AudioAudio) MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
148
517009
5038
(Audio) Mary had a little lamb
whose fleece was white as snow,
08:54
and everywhereoveral that MaryMary wentgegaan,
that lamblam was sure to go.
149
522047
5619
and everywhere that Mary went,
that lamb was sure to go.
08:59
ADAD: And here'shier is what we were ablein staat
to recoverherstellen from our silentstil videovideo-
150
527666
4017
AD: Hier is wat we
uit onze stille video konden terugwinnen
09:03
capturedgevangen genomen outsidebuiten behindachter that windowvenster.
151
531683
2345
van achter dat raam.
09:06
(AudioAudio) MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
152
534028
4435
(Audio) Mary had a little lamb!
whose fleece was white as snow,
09:10
and everywhereoveral that MaryMary wentgegaan,
that lamblam was sure to go.
153
538463
5457
and everywhere that Mary went,
that lamb was sure to go.
09:15
(ApplauseApplaus)
154
543920
6501
(Applaus)
AD: Er zijn ook andere manieren
om deze grenzen te verleggen.
09:22
ADAD: And there are other waysmanieren
that we can pushDuwen these limitslimieten as well.
155
550421
3542
09:25
So here'shier is a quieterStiller experimentexperiment
156
553963
1798
Hier is een rustiger experiment:
09:27
where we filmedgefilmd some earphonesOortelefoons
pluggedaangesloten into a laptoplaptop computercomputer,
157
555761
4110
we filmden wat oordopjes
aangesloten op een laptop.
09:31
and in this casegeval, our goaldoel was to recoverherstellen
the musicmuziek- that was playingspelen on that laptoplaptop
158
559871
4110
We wilden de muziek opnemen
die op die laptop speelde,
09:35
from just silentstil videovideo-
159
563981
2299
uit de video zonder geluid
09:38
of these two little plasticplastic earphonesOortelefoons,
160
566280
2507
van die twee kleine plastic oordopjes.
09:40
and we were ablein staat to do this so well
161
568787
2183
We deden het zo goed
09:42
that I could even ShazamShazam our resultsuitslagen.
162
570970
2461
dat we onze resultaten
konden ‘shazammen’.
09:45
(LaughterGelach)
163
573431
2411
(Gelach)
09:49
(MusicMuziek: "UnderOnder PressureDruk" by QueenKoningin)
164
577191
10034
(Muziek: 'Under Pressure' van Queen)
10:01
(ApplauseApplaus)
165
589615
4969
(Applaus)
10:06
And we can alsoook pushDuwen things
by changingveranderen the hardwarehardware that we use.
166
594584
4551
We kunnen het resultaat
ook verbeteren via de hardware.
De experimenten die ik jullie
tot nu toe heb laten zien
10:11
Because the experimentsexperimenten
I've showngetoond you so farver
167
599135
2461
10:13
were donegedaan with a cameracamera,
a high-speedhoge snelheid cameracamera,
168
601596
2322
deden we met een hogesnelheidscamera.
10:15
that can recordrecord videovideo-
about a 100 timestijden fastersneller
169
603918
2879
Die kan ongeveer 100 keer
sneller video opnemen
10:18
than mostmeest cellcel phonestelefoons,
170
606797
1927
dan de meeste mobiele telefoons,
maar we hebben ook een manier gevonden
om deze techniek te gebruiken
10:20
but we'vewij hebben alsoook foundgevonden a way
to use this techniquetechniek
171
608724
2809
10:23
with more regularregelmatig camerascamera's,
172
611533
2230
met gewonere camera’s.
10:25
and we do that by takingnemen advantagevoordeel
of what's calledriep a rollingrollend shuttersluitertijd.
173
613763
4069
We doen dat door gebruik te maken
van wat een ‘gordijnsluiter’ heet.
10:29
You see, mostmeest camerascamera's
recordrecord imagesafbeeldingen one rowrij at a time,
174
617832
4798
De meeste camera's leggen
beelden rij voor rij vast.
10:34
and so if an objectvoorwerp movesmoves
duringgedurende the recordingopname of a singlesingle imagebeeld,
175
622630
5702
Als een object tijdens de opname
van één enkel beeld beweegt,
10:40
there's a slightgering time delayvertraging
betweentussen eachelk rowrij,
176
628344
2717
is er een kleine vertraging
tussen elke rij,
10:43
and this causesoorzaken slightgering artifactsartefacten
177
631061
3157
en dit veroorzaakt lichte artefacten
10:46
that get codedgecodeerd into eachelk framemontuur of a videovideo-.
178
634218
3483
in elk afzonderlijk videoframe.
10:49
And so what we foundgevonden
is that by analyzinganalyseren these artifactsartefacten,
179
637701
3806
Door het analyseren van deze artefacten,
kunnen we zelfs geluid herstellen
10:53
we can actuallywerkelijk recoverherstellen soundgeluid
usinggebruik makend van a modifiedgewijzigd versionversie of our algorithmalgoritme.
180
641507
4615
met een aangepaste versie
van ons algoritme.
10:58
So here'shier is an experimentexperiment we did
181
646122
1912
Hier weer een experiment.
11:00
where we filmedgefilmd a bagzak of candysnoep
182
648034
1695
We filmden een zak snoep
11:01
while a nearbynabijgelegen loudspeakerluidspreker playedgespeeld
183
649729
1741
terwijl een luidspreker in de buurt
11:03
the samedezelfde "MaryMary Had a Little LambLam"
musicmuziek- from before,
184
651470
2972
'Mary Had a Little Lamb' speelde.
11:06
but this time, we used just a regularregelmatig
store-boughtwinkel koopt cameracamera,
185
654442
4203
Maar dit keer gebruikten we
een normale camera uit de winkel.
11:10
and so in a secondtweede, I'll playspelen for you
the soundgeluid that we recoveredhersteld,
186
658645
3174
Ik laat het jullie dadelijk horen.
11:13
and it's going to soundgeluid
distortedvervormd this time,
187
661819
2050
Het zal wat vervormd zijn,
11:15
but listen and see if you can still
recognizeherken the musicmuziek-.
188
663869
2836
maar luister om te zien of je de muziek
nog steeds kunt herkennen.
(Audio: 'Mary Had a Little Lamb')
11:19
(AudioAudio: "MaryMary Had a Little LambLam")
189
667723
6223
11:37
And so, again, that soundsklanken distortedvervormd,
190
685527
3465
Het klinkt vervormd,
11:40
but what's really amazingverbazingwekkend here
is that we were ablein staat to do this
191
688992
4386
maar het geweldige eraan is
dat we het doen
11:45
with something
that you could literallyletterlijk runrennen out
192
693378
2626
met spullen uit de eerste de beste winkel.
11:48
and pickplukken up at a BestBeste BuyKopen.
193
696004
1444
Dit brengt de meeste mensen
11:51
So at this pointpunt,
194
699122
1363
11:52
a lot of people see this work,
195
700485
1974
11:54
and they immediatelyper direct think
about surveillancetoezicht.
196
702459
3413
op het idee van bewaking. (Gelach)
11:57
And to be faireerlijk,
197
705872
2415
Om eerlijk te zijn,
je kan je best voorstellen
12:00
it's not hardhard to imaginestel je voor how you mightmacht use
this technologytechnologie to spyspion on someoneiemand.
198
708287
4133
hoe je deze technologie kan gebruiken
om iemand te bespioneren.
12:04
But keep in mindgeest that there's alreadynu al
a lot of very matureoudere technologytechnologie
199
712420
3947
Maar bedenk dat er al heel veel
goed ontwikkelde technologie
12:08
out there for surveillancetoezicht.
200
716367
1579
voor surveillance bestaat.
12:09
In factfeit, people have been usinggebruik makend van laserslasers
201
717946
2090
In feite hebben mensen al decennia lang
12:12
to eavesdropafluisteren on objectsvoorwerpen
from a distanceafstand for decadestientallen jaren.
202
720036
2799
lasers op objecten gericht
om op afstand af te luisteren.
12:15
But what's really newnieuwe here,
203
723978
2025
Maar wat hier echt nieuw is,
12:18
what's really differentverschillend,
204
726003
1440
echt anders,
12:19
is that now we have a way
to pictureafbeelding the vibrationstrillingen of an objectvoorwerp,
205
727443
4295
is dat we nu een manier hebben
om trillingen van een object op te nemen.
12:23
whichwelke givesgeeft us a newnieuwe lenslens
throughdoor whichwelke to look at the worldwereld-,
206
731738
3413
Dat geeft ons een nieuwe lens
om te kijken naar de wereld.
12:27
and we can use that lenslens
207
735151
1510
We kunnen die lens gebruiken
12:28
to learnleren not just about forceskrachten like soundgeluid
that causeoorzaak an objectvoorwerp to vibratetrillen,
208
736661
4899
om niet alleen iets
te leren over krachten
als geluid die een object laten trillen,
12:33
but alsoook about the objectvoorwerp itselfzelf.
209
741560
2288
maar ook over het object zelf.
12:36
And so I want to take a stepstap back
210
744975
1693
Ik wil een stap terug doen
12:38
and think about how that mightmacht changeverandering
the waysmanieren that we use videovideo-,
211
746668
4249
en nadenken over nieuwe manieren
om video te gebruiken.
12:42
because we usuallydoorgaans use videovideo-
to look at things,
212
750917
3553
Meestal gebruiken we video
om naar dingen te kijken,
12:46
and I've just showngetoond you how we can use it
213
754470
2322
maar ik toonde hoe we het kunnen gebruiken
12:48
to listen to things.
214
756792
1857
om naar dingen te luisteren.
12:50
But there's anothereen ander importantbelangrijk way
that we learnleren about the worldwereld-:
215
758649
3971
Er is een andere belangrijke manier
waarop we leren over de wereld:
12:54
that's by interactinginteractie with it.
216
762620
2275
door interactie ermee.
12:56
We pushDuwen and pullTrekken and pokePoke and prodProd things.
217
764895
3111
We duwen en trekken en porren dingen.
13:00
We shakeschudden things and see what happensgebeurt.
218
768006
3181
We schudden dingen
en zien wat er gebeurt.
13:03
And that's something that videovideo-
still won'tzal niet let us do,
219
771187
4273
Dat is iets dat video nog steeds niet kan,
13:07
at leastminst not traditionallyoudsher.
220
775460
2136
althans niet de traditionele video.
13:09
So I want to showtonen you some newnieuwe work,
221
777596
1950
Ik toon je wat nieuw werk,
gebaseerd op een idee dat ik
net een paar maanden geleden had.
13:11
and this is basedgebaseerde on an ideaidee I had
just a fewweinig monthsmaanden agogeleden,
222
779546
2667
13:14
so this is actuallywerkelijk the first time
I've showngetoond it to a publicopenbaar audiencepubliek.
223
782213
3301
Het is de eerste keer
dat ik ermee voor een publiek kom.
13:17
And the basicbasis- ideaidee is that we're going
to use the vibrationstrillingen in a videovideo-
224
785514
5363
We gaan trillingen in een video gebruiken
13:22
to capturevangst objectsvoorwerpen in a way
that will let us interactop elkaar inwerken with them
225
790877
4481
om objecten zo vast te leggen,
dat we met ze kunnen interageren
13:27
and see how they reactReageer to us.
226
795358
1974
en zie hoe ze op ons reageren.
13:31
So here'shier is an objectvoorwerp,
227
799120
1764
Hier zie je een voorwerp,
13:32
and in this casegeval, it's a wiredraad figurefiguur
in the shapevorm of a humanmenselijk,
228
800884
3832
in dit geval een draadfiguur
gevormd als mens.
13:36
and we're going to filmfilm that objectvoorwerp
with just a regularregelmatig cameracamera.
229
804716
3088
We gaan dat object filmen
met een gewone camera.
13:39
So there's nothing specialspeciaal
about this cameracamera.
230
807804
2124
Er is niets bijzonders aan deze camera.
13:41
In factfeit, I've actuallywerkelijk donegedaan this
with my cellcel phonetelefoon before.
231
809928
2961
Ik deed het al met mijn mobiele telefoon.
13:44
But we do want to see the objectvoorwerp vibratetrillen,
232
812889
2252
Maar we willen het object zien trillen.
13:47
so to make that happengebeuren,
233
815141
1133
Daarom kloppen we wat
op het oppervlak waarop het staat
13:48
we're just going to bangknal a little bitbeetje
on the surfaceoppervlak where it's restingresting
234
816274
3346
13:51
while we recordrecord this videovideo-.
235
819620
2138
terwijl we deze video opnemen.
Dat is alles:
slechts vijf seconden gewone video,
13:59
So that's it: just fivevijf secondsseconden
of regularregelmatig videovideo-,
236
827398
3671
14:03
while we bangknal on this surfaceoppervlak,
237
831069
2136
terwijl we op het oppervlak kloppen.
14:05
and we're going to use
the vibrationstrillingen in that videovideo-
238
833205
3513
We gaan de trillingen
in die video gebruiken
14:08
to learnleren about the structuralstructureel
and materialmateriaal propertieseigenschappen of our objectvoorwerp,
239
836718
4544
om iets te leren over de structurele
en materiaaleigenschappen van ons object,
14:13
and we're going to use that informationinformatie
to createcreëren something newnieuwe and interactiveinteractieve.
240
841262
4834
en we gaan die informatie gebruiken
om iets nieuws en interactiefs te maken.
14:24
And so here'shier is what we'vewij hebben createdaangemaakt.
241
852866
2653
Dit is het resultaat.
14:27
And it lookslooks like a regularregelmatig imagebeeld,
242
855519
2229
Het ziet eruit als een gewone afbeelding,
14:29
but this isn't an imagebeeld,
and it's not a videovideo-,
243
857748
3111
maar dit is geen beeld, ook geen video,
14:32
because now I can take my mousemuis
244
860859
2368
want nu kan ik met mijn muis
14:35
and I can startbegin interactinginteractie
with the objectvoorwerp.
245
863227
2859
gaan interageren met het object.
14:44
And so what you see here
246
872936
2357
Wat je hier ziet
is een simulatie van hoe dit object
14:47
is a simulationsimulatie of how this objectvoorwerp
247
875389
2226
14:49
would respondreageren to newnieuwe forceskrachten
that we'vewij hebben never seengezien before,
248
877615
4458
zou reageren op nieuwe krachten
die we nog nooit eerder hebben gezien,
14:54
and we createdaangemaakt it from just
fivevijf secondsseconden of regularregelmatig videovideo-.
249
882073
3633
en dat met slechts
vijf seconden gewone video.
14:59
(ApplauseApplaus)
250
887249
4715
(Applaus)
15:09
And so this is a really powerfulkrachtig
way to look at the worldwereld-,
251
897421
3227
Dit is een krachtige manier
om naar de wereld te kijken.
15:12
because it letslaten we us predictvoorspellen
how objectsvoorwerpen will respondreageren
252
900648
2972
Het laat ons voorspellen
hoe objecten zullen reageren
15:15
to newnieuwe situationssituaties,
253
903620
1823
in nieuwe situaties:
15:17
and you could imaginestel je voor, for instanceaanleg,
looking at an oldoud bridgebrug
254
905443
3473
bijvoorbeeld hoe een oude brug
15:20
and wonderingafvragen what would happengebeuren,
how would that bridgebrug holdhouden up
255
908916
3527
zich zal gaan gedragen
15:24
if I were to driverijden my carauto acrossaan de overkant it.
256
912443
2833
als ik er met mijn auto over zou rijden.
15:27
And that's a questionvraag
that you probablywaarschijnlijk want to answerantwoord
257
915276
2774
Dat wil je waarschijnlijk wel weten
15:30
before you startbegin drivinghet rijden
acrossaan de overkant that bridgebrug.
258
918050
2560
voordat je over die brug gaat rijden.
15:33
And of courseCursus, there are going to be
limitationsbeperkingen to this techniquetechniek,
259
921988
3272
Deze techniek heeft
natuurlijk zijn beperkingen
15:37
just like there were
with the visualzichtbaar microphonemicrofoon,
260
925260
2462
net zoals de visuele microfoon,
15:39
but we foundgevonden that it workswerken
in a lot of situationssituaties
261
927722
3181
maar we merkten
dat het in veel situaties werkt
15:42
that you mightmacht not expectverwachten,
262
930903
1875
waar je dat niet zou verwachten,
15:44
especiallyvooral if you give it longerlanger videosvideos.
263
932778
2768
vooral als je langere video's maakt.
15:47
So for examplevoorbeeld,
here'shier is a videovideo- that I capturedgevangen genomen
264
935546
2508
Hier is een video die ik opnam
15:50
of a bushstruik outsidebuiten of my apartmentappartement,
265
938054
2299
van een struik bij mijn appartement.
15:52
and I didn't do anything to this bushstruik,
266
940353
3088
Ik deed niets met de struik,
15:55
but by capturingcapturing a minute-longminuten durende videovideo-,
267
943441
2705
maar met een video van één minuut
15:58
a gentleteder breezefluitje van een cent causedveroorzaakt enoughgenoeg vibrationstrillingen
268
946146
3378
en een zacht briesje
dat genoeg trillingen veroorzaakte,
16:01
that we could learnleren enoughgenoeg about this bushstruik
to createcreëren this simulationsimulatie.
269
949524
3587
leerden we genoeg over deze struik
om deze simulatie te maken.
16:07
(ApplauseApplaus)
270
955270
6142
(Applaus)
16:13
And so you could imaginestel je voor givinggeven this
to a filmfilm directorregisseur,
271
961412
2972
Je kan je voorstellen
wat een filmregisseur
16:16
and lettingverhuur him controlcontrole, say,
272
964384
1719
hiermee kan doen,
16:18
the strengthkracht and directionrichting of windwind
in a shotschot after it's been recordedopgenomen.
273
966103
4922
als hij de kracht en de richting
van de wind
in een opname achteraf kan bepalen.
16:24
Or, in this casegeval, we pointedpuntig our cameracamera
at a hangingopknoping curtaingordijn,
274
972810
4535
Hier richtten we de camera
op een hangend gordijn.
16:29
and you can't even see
any motionbeweging in this videovideo-,
275
977345
4129
Je ziet zelfs geen beweging in deze video,
16:33
but by recordingopname a two-minute-longtwee-minuten durende videovideo-,
276
981474
2925
maar tijdens het opnemen
van twee minuten video,
veroorzaakten natuurlijke luchtstromen
in deze kamer
16:36
naturalnatuurlijk airlucht currentsstromingen in this roomkamer
277
984399
2438
16:38
createdaangemaakt enoughgenoeg subtlesubtiel,
imperceptibleonwaarneembare motionsontwerp-resoluties and vibrationstrillingen
278
986837
4412
genoeg subtiele, onmerkbare
bewegingen en trillingen
16:43
that we could learnleren enoughgenoeg
to createcreëren this simulationsimulatie.
279
991249
2565
dat we daarmee
deze simulatie konden creëren.
16:48
And ironicallyironisch,
280
996243
2366
Ironisch genoeg
16:50
we're kindsoort of used to havingmet
this kindsoort of interactivityinteractiviteit
281
998609
3088
zijn we al gewend
aan dit soort interactiviteit
16:53
when it comeskomt to virtualvirtueel objectsvoorwerpen,
282
1001697
2647
met virtuele objecten,
16:56
when it comeskomt to videovideo- gamesspellen
and 3D modelsmodellen,
283
1004344
3297
als het gaat om videogames en 3D-modellen.
16:59
but to be ablein staat to capturevangst this informationinformatie
from realecht objectsvoorwerpen in the realecht worldwereld-
284
1007641
4404
Maar deze informatie van echte objecten
in de echte wereld kunnen vastleggen
17:04
usinggebruik makend van just simpleeenvoudig, regularregelmatig videovideo-,
285
1012045
2817
met slechts eenvoudige, gewone video,
17:06
is something newnieuwe that has
a lot of potentialpotentieel.
286
1014862
2183
is iets nieuws
dat veel mogelijkheden biedt.
17:10
So here are the amazingverbazingwekkend people
who workedwerkte with me on these projectsprojecten.
287
1018410
4904
Hier zijn de fantastische mensen
die met mij
hebben samengewerkt aan deze projecten.
17:16
(ApplauseApplaus)
288
1024057
5596
(Applaus)
Wat ik vandaag heb laten zien,
is slechts het begin,
17:24
And what I've showngetoond you todayvandaag
is only the beginningbegin.
289
1032819
3057
17:27
We'veWe hebben just startedbegonnen to scratchkrassen the surfaceoppervlak
290
1035876
2113
een peulenschil
vergeleken met wat je kunt doen
met dit soort beeldvorming.
17:29
of what you can do
with this kindsoort of imagingImaging,
291
1037989
2972
Het geeft ons een nieuwe manier
17:32
because it givesgeeft us a newnieuwe way
292
1040961
2286
17:35
to capturevangst our surroundingsomgeving
with commongemeenschappelijk, accessiblebeschikbaar technologytechnologie.
293
1043342
4724
om onze omgeving met gewone,
toegankelijke technologie vast te leggen.
17:40
And so looking to the futuretoekomst,
294
1048066
1929
Als we naar de toekomst kijken,
is het interessant om te zien
17:41
it's going to be
really excitingopwindend to exploreonderzoeken
295
1049995
2037
17:44
what this can tell us about the worldwereld-.
296
1052032
1856
wat dit ons kan vertellen
over onze wereld.
17:46
Thank you.
297
1054381
1204
Dankjewel.
17:47
(ApplauseApplaus)
298
1055610
6107
(Applaus)
Translated by Rik Delaet
Reviewed by Robert de Ridder

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com