English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Nieuwe videotechnologie die de verborgen eigenschappen van voorwerpen zichtbaar maakt.

Filmed
Views 1,402,354

Subtiele bewegingen gebeuren de hele tijd rondom ons, met inbegrip van de kleine trillingen veroorzaakt door geluid. Nieuwe technologie laat zien dat we via opnames van deze trillingen, geluid en gesprekken kunnen her-creëeren, enkel op basis van een schijnbaar onbeweeglijk voorwerp. Maar Abe Davis gaat nog een stap verder: zie hoe hij software demonstreert waardoor iedereen met deze verborgen eigenschappen kan interageren, op basis van een eenvoudige video.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

De meesten zien beweging
als iets zeer visueels.
00:13
MostDe meeste of us think of motionbeweging
as a very visualzichtbaar thing.
Als ik over dit podium loop
of met mijn handen gebaar,
00:17
If I walklopen acrossaan de overkant this stagestadium
or gesturegebaar with my handshanden while I speakspreken,
dan kan je die beweging zien.
00:22
that motionbeweging is something that you can see.
Maar heel veel bewegingen
00:26
But there's a worldwereld- of importantbelangrijk motionbeweging
that's too subtlesubtiel for the humanmenselijk eyeoog,
zijn te subtiel voor het menselijk oog.
In de afgelopen jaren
00:31
and over the pastverleden fewweinig yearsjaar,
merkten we dat camera's
00:33
we'vewij hebben startedbegonnen to find that camerascamera's
deze beweging vaak waarnemen,
zelfs wanneer de mens dat niet kan.
00:35
can oftenvaak see this motionbeweging
even when humansmensen can't.
Dit is wat ik bedoel.
00:40
So let me showtonen you what I mean.
Links zie je een video
van iemands pols,
00:42
On the left here, you see videovideo-
of a person'spersonen wristpols,
rechts een video van een slapend kind,
00:46
and on the right, you see videovideo-
of a sleepingslapen infantzuigeling,
maar als ik je niet zou vertellen
dat dit video's waren,
00:49
but if I didn't tell you
that these were videosvideos,
zou je kunnen denken
dat je gewone foto’s zag,
00:52
you mightmacht assumeuitgaan van that you were looking
at two regularregelmatig imagesafbeeldingen,
omdat in beide gevallen
00:56
because in bothbeide casesgevallen,
er bijna geen beweging
te zien is in beide video's.
00:58
these videosvideos appearverschijnen to be
almostbijna completelyhelemaal still.
Maar er is eigenlijk
een heleboel subtiele beweging gaande.
01:02
But there's actuallywerkelijk a lot
of subtlesubtiel motionbeweging going on here,
Als je de pols links zou aanraken,
01:06
and if you were to touchaanraken
the wristpols on the left,
zou je hem voelen kloppen.
01:08
you would feel a pulsepols,
Bij het kind rechts
01:10
and if you were to holdhouden
the infantzuigeling on the right,
zou je de borst voelen stijgen en dalen
01:12
you would feel the risestijgen
and fallvallen of her chestborst
bij elke ademhaling.
01:15
as she tooknam eachelk breathadem.
Deze bewegingen zitten vol met informatie,
01:17
And these motionsontwerp-resoluties carrydragen
a lot of significancebetekenis,
die meestal zo subtiel is,
dat we ze niet kunnen zien.
01:21
but they're usuallydoorgaans
too subtlesubtiel for us to see,
Daarom nemen we ze waar
01:24
so insteadin plaats daarvan, we have to observeobserveren them
door direct contact,
door middel van aanraking.
01:26
throughdoor directdirect contactcontact, throughdoor touchaanraken.
Maar een paar jaar geleden,
01:30
But a fewweinig yearsjaar agogeleden,
hebben mijn collega's aan het MIT
een ‘bewegingsmicroscoop’ ontwikkeld.
01:32
my colleaguescollega's at MITMIT developedontwikkelde
what they call a motionbeweging microscopeMicroscoop,
Dat is software die deze subtiele
bewegingen in video vindt
01:36
whichwelke is softwaresoftware that findsvondsten
these subtlesubtiel motionsontwerp-resoluties in videovideo-
en versterkt zodat we ze kunnen zien.
01:41
and amplifiesversterkt them so that they
becomeworden largegroot enoughgenoeg for us to see.
Met hun software
01:45
And so, if we use theirhun softwaresoftware
on the left videovideo-,
kunnen we het kloppen van de pols zien.
01:48
it letslaten we us see the pulsepols in this wristpols,
Als we het kloppen tellen,
01:52
and if we were to counttellen that pulsepols,
kennen we zelfs de hartslag
van deze persoon.
01:53
we could even figurefiguur out
this person'spersonen hearthart- ratetarief.
Met dezelfde software
kunnen we op de video rechts
01:57
And if we used the samedezelfde softwaresoftware
on the right videovideo-,
de ademhaling van dit kind zien
02:00
it letslaten we us see eachelk breathadem
that this infantzuigeling takes,
en zonder fysisch contact
haar ademhaling controleren.
02:03
and we can use this as a contact-freecontactloos way
to monitormonitor her breathingademen.
Deze technologie is echt krachtig,
want ze kan deze fenomenen,
02:08
And so this technologytechnologie is really powerfulkrachtig
because it takes these phenomenafenomenen
die we normaal
ervaren door aanraking,
02:14
that we normallynormaal have
to experienceervaring throughdoor touchaanraken
visueel en ongestoord vastleggen.
02:16
and it letslaten we us capturevangst them visuallyvisueel
and non-invasivelyniet-gebeurt.
Een paar jaar geleden begon ik te werken
met de mensen die die software creëerden.
02:21
So a couplepaar yearsjaar agogeleden, I startedbegonnen workingwerkend
with the folksmensen that createdaangemaakt that softwaresoftware,
We besloten
een ​​gek idee uit te werken.
02:25
and we decidedbeslist to pursuena te streven a crazygek ideaidee.
We vonden het cool
om software te gebruiken
02:28
We thought, it's coolkoel
that we can use softwaresoftware
om kleine bewegingen
als deze te visualiseren
02:31
to visualizevisualiseren tinyklein motionsontwerp-resoluties like this,
als een manier
om onze tastzin uit te breiden.
02:34
and you can almostbijna think of it
as a way to extenduitbreiden our sensezin of touchaanraken.
Maar wat als we datzelfde
konden doen met ons gehoor?
02:39
But what if we could do the samedezelfde thing
with our abilityvermogen to hearhoren?
Wat als we video konden gebruiken
om geluidstrillingen op te nemen --
02:44
What if we could use videovideo-
to capturevangst the vibrationstrillingen of soundgeluid,
immers ook een soort beweging --
02:49
whichwelke are just anothereen ander kindsoort of motionbeweging,
zodat we van alles wat we zien
een 'microfoon' konden maken.
02:52
and turnbeurt everything that we see
into a microphonemicrofoon?
Dat is een beetje een raar idee,
02:56
Now, this is a bitbeetje of a strangevreemd ideaidee,
dus laat me dat uitleggen.
02:58
so let me try to put it
in perspectiveperspectief for you.
Traditionele microfoons werken
door het omzetten van de beweging
03:01
TraditionalTraditionele microphonesmicrofoons
work by convertingomzetten the motionbeweging
van een intern membraan
in een elektrisch signaal.
03:05
of an internalintern diaphragmmiddenrif
into an electricalelektrisch signalsignaal,
Dat membraan is ontworpen
om gemakkelijk te bewegen met geluid,
03:08
and that diaphragmmiddenrif is designedontworpen
to moveverhuizing readilygemakkelijk with soundgeluid
zodat de beweging
kan worden geregistreerd
03:12
so that its motionbeweging can be recordedopgenomen
and interpretedgeïnterpreteerd as audioaudio.
en geïnterpreteerd als audio.
Maar geluid laat alle objecten trillen.
03:17
But soundgeluid causesoorzaken all objectsvoorwerpen to vibratetrillen.
Die trillingen zijn meestal te subtiel
en te snel voor ons om te zien.
03:21
Those vibrationstrillingen are just usuallydoorgaans
too subtlesubtiel and too fastsnel for us to see.
Wat als we ze opnemen
met een hogesnelheidscamera
03:26
So what if we recordrecord them
with a high-speedhoge snelheid cameracamera
en dan software gebruiken
om de kleine bewegingen
03:30
and then use softwaresoftware
to extractextract tinyklein motionsontwerp-resoluties
te halen uit onze hogesnelheidsvideo,
03:34
from our high-speedhoge snelheid videovideo-,
en die bewegingen analyseren
om de geluiden te achterhalen
03:36
and analyzeanalyseren those motionsontwerp-resoluties to figurefiguur out
what soundsklanken createdaangemaakt them?
die ze veroorzaakten?
Dan kunnen we zichtbare objecten
03:41
This would let us turnbeurt visiblezichtbaar objectsvoorwerpen
into visualzichtbaar microphonesmicrofoons from a distanceafstand.
op afstand gebruiken
als visuele microfoons.
Dit hebben we uitgeprobeerd.
03:49
And so we triedbeproefd this out,
Hier is een van onze experimenten:
03:51
and here'shier is one of our experimentsexperimenten,
we filmden deze plant daar rechts
03:53
where we tooknam this pottedingegoten plantfabriek
that you see on the right
met een hogesnelheidscamera,
03:56
and we filmedgefilmd it with a high-speedhoge snelheid cameracamera
terwijl een luidspreker in de buurt
dit geluid speelde.
03:58
while a nearbynabijgelegen loudspeakerluidspreker
playedgespeeld this soundgeluid.
(Muziek: 'Mary Had a Little Lamb')
04:02
(MusicMuziek: "MaryMary Had a Little LambLam")
Hier is de video die we opnamen
04:11
And so here'shier is the videovideo- that we recordedopgenomen,
met duizenden frames per seconde.
04:14
and we recordedopgenomen it at thousandsduizenden
of framesframes perper secondtweede,
Maar zelfs als je heel goed kijkt,
04:18
but even if you look very closelyvan nabij,
is alles wat je ziet enkele bladeren...
04:20
all you'llje zult see are some leavesbladeren
04:22
that are prettymooi much
just sittingzittend there doing nothing,
... zonder veel actie. (Gelach)
Ons geluid verplaatst die bladeren
slechts ongeveer één micrometer.
04:25
because our soundgeluid only movedverhuisd those leavesbladeren
by about a micrometermicrometer.
Dat is één tienduizendste
van een centimeter,
04:31
That's one ten-thousandthtienduizendste of a centimetercentimeter,
ergens tussen een honderdste
en een duizendste
04:35
whichwelke spansoverspanningen somewhereergens betweentussen
a hundredthhonderdste and a thousandthduizendste
van een pixel in dit beeld.
04:39
of a pixelpixel in this imagebeeld.
Je kunt dus nóg zo goed turen,
04:41
So you can squintscheel all you want,
die beweging is te klein
om zichtbaar te zijn.
04:44
but motionbeweging that smallklein is prettymooi much
perceptuallyperceptually invisibleonzichtbaar.
Maar het blijkt
dat iets niet te zien kan zijn
04:49
But it turnsbochten out that something
can be perceptuallyperceptually invisibleonzichtbaar
04:53
and still be numericallynumeriek significantsignificant,
en toch numeriek significant.
Want met de juiste algoritmen
04:56
because with the right algorithmsalgoritmen,
kunnen we uit deze stille,
schijnbaar stille video
04:58
we can take this silentstil,
seeminglyschijnbaar still videovideo-
dit geluid herleiden.
05:02
and we can recoverherstellen this soundgeluid.
(Muziek: 'Mary Had a Little Lamb')
05:04
(MusicMuziek: "MaryMary Had a Little LambLam")
(Applaus)
05:12
(ApplauseApplaus)
Hoe is dat mogelijk?
05:22
So how is this possiblemogelijk?
Hoe halen we zo veel informatie
uit zo weinig beweging?
05:23
How can we get so much informationinformatie
out of so little motionbeweging?
Stel dat die bladeren
slechts één enkele micrometer uitwijken,
05:28
Well, let's say that those leavesbladeren
moveverhuizing by just a singlesingle micrometermicrometer,
en het beeld slechts één duizendste
van een pixel verschuift.
05:33
and let's say that that shiftsverschuivingen our imagebeeld
by just a thousandthduizendste of a pixelpixel.
Dat lijkt misschien niet veel,
05:39
That maymei not seemlijken like much,
maar één enkel videoframe
05:41
but a singlesingle framemontuur of videovideo-
kan honderdduizenden pixels bevatten.
05:43
maymei have hundredshonderden of thousandsduizenden
of pixelspixels in it,
Als we al die kleine bewegingen combineren
05:47
and so if we combinecombineren all
of the tinyklein motionsontwerp-resoluties that we see
van dat complete beeld,
05:50
from acrossaan de overkant that entiregeheel imagebeeld,
kan een duizendste
van een pixel ineens
05:52
then suddenlyplotseling a thousandthduizendste of a pixelpixel
iets heel significants opleveren.
05:55
can startbegin to addtoevoegen up
to something prettymooi significantsignificant.
Even terzijde: we waren
behoorlijk in onze nopjes
05:58
On a personalpersoonlijk noteNotitie, we were prettymooi psychedpsyched
when we figuredbedacht this out.
toen we dit hadden uitgeknobbeld.
06:02
(LaughterGelach)
(Gelach)
Maar zelfs met het juiste algoritme
06:04
But even with the right algorithmalgoritme,
misten we nog steeds
een vrij belangrijk stuk van de puzzel.
06:08
we were still missingmissend
a prettymooi importantbelangrijk piecestuk of the puzzlepuzzel.
Veel factoren zijn van invloed
op wanneer en hoe goed
06:11
You see, there are a lot of factorsfactoren
that affectaantasten when and how well
deze techniek werkt:
06:15
this techniquetechniek will work.
het object en hoe ver het is,
06:17
There's the objectvoorwerp and how farver away it is;
de camera en de lens,
06:20
there's the cameracamera
and the lenslens that you use;
hoeveel licht op het object valt
en hoe hard het geluid is.
06:22
how much lightlicht is shiningschijnend on the objectvoorwerp
and how loudluid your soundgeluid is.
En zelfs met het juiste algoritme
06:27
And even with the right algorithmalgoritme,
moesten we zeer zorgvuldig zijn
bij onze vroege experimenten,
06:31
we had to be very carefulvoorzichtig
with our earlyvroeg experimentsexperimenten,
want als een van deze factoren
verkeerd zat,
06:34
because if we got
any of these factorsfactoren wrongfout,
was er geen manier om te zien
wat het probleem was.
06:37
there was no way to tell
what the problemprobleem was.
06:39
We would just get noiselawaai back.
We kregen dan alleen lawaai terug.
Veel van onze vroege experimenten
zagen er zo uit.
06:42
And so a lot of our earlyvroeg
experimentsexperimenten lookedkeek like this.
Hier ben ik
06:45
And so here I am,
en linksonder zie je
onze hogesnelheidscamera,
06:47
and on the bottombodem left, you can kindsoort of
see our high-speedhoge snelheid cameracamera,
gericht op een zak chips,
06:51
whichwelke is pointedpuntig at a bagzak of chipschips,
en de hele zaak wordt verlicht
door sterke lampen.
06:53
and the wholegeheel thing is litlit
by these brighthelder lampslampen.
We moesten zorgvuldig zijn
bij deze vroege experimenten,
06:56
And like I said, we had to be
very carefulvoorzichtig in these earlyvroeg experimentsexperimenten,
dus ging het zo.
07:01
so this is how it wentgegaan down.
(Video) Abe Davis: Drie, twee, een, start!
07:03
(VideoVideo) AbeAbe DavisDavis: ThreeDrie, two, one, go.
Mary had a little lamb!
Little lamb! Little lamb!
07:07
MaryMary had a little lamblam!
Little lamblam! Little lamblam!
(Gelach)
07:12
(LaughterGelach)
AD: Dit experiment
lijkt volstrekt belachelijk.
07:17
ADAD: So this experimentexperiment
lookslooks completelyhelemaal ridiculousbelachelijk.
(Gelach)
07:20
(LaughterGelach)
Ik bedoel, ik sta te schreeuwen
tegen een ​​zak chips -
07:21
I mean, I'm screamingschreeuwen at a bagzak of chipschips --
07:24
(LaughterGelach) --
(Gelach) -
en we bestraalden hem met zoveel licht,
07:25
and we're blastingontploffing it with so much lightlicht,
dat de eerste zak letterlijk smolt.
(Gelach)
07:27
we literallyletterlijk meltedgesmolten the first bagzak
we triedbeproefd this on. (LaughterGelach)
Maar hoe belachelijk
dit experiment ook lijkt,
07:32
But ridiculousbelachelijk as this experimentexperiment lookslooks,
het was eigenlijk heel belangrijk,
07:35
it was actuallywerkelijk really importantbelangrijk,
omdat we dit geluid
konden herstellen.
07:37
because we were ablein staat
to recoverherstellen this soundgeluid.
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
07:40
(AudioAudio) MaryMary had a little lamblam!
Little lamblam! Little lamblam!
(Applaus)
07:45
(ApplauseApplaus)
AD: En dit was echt belangrijk,
07:49
ADAD: And this was really significantsignificant,
want het was de eerste keer dat we
07:51
because it was the first time
we recoveredhersteld intelligiblebegrijpelijke humanmenselijk speechtoespraak
begrijpelijke menselijke
spraak terugwonnen
van een video zonder geluid
van een object.
07:55
from silentstil videovideo- of an objectvoorwerp.
Dit gaf ons een referentiepunt,
07:57
And so it gavegaf us this pointpunt of referencereferentie,
en geleidelijk aan konden we
het experiment wijzigen,
08:00
and graduallygeleidelijk we could startbegin
to modifywijzigen the experimentexperiment,
met verschillende voorwerpen
of van verder weg,
08:04
usinggebruik makend van differentverschillend objectsvoorwerpen
or movingin beweging the objectvoorwerp furtherverder away,
met minder licht of zachtere geluiden.
08:07
usinggebruik makend van lessminder lightlicht or quieterStiller soundsklanken.
We analyseerden al deze proeven
08:11
And we analyzedgeanalyseerd all of these experimentsexperimenten
totdat we de grenzen
van onze techniek vonden.
08:14
untiltot we really understoodbegrijpelijk
the limitslimieten of our techniquetechniek,
Want zodra we die grenzen vonden,
08:18
because onceeen keer we understoodbegrijpelijk those limitslimieten,
konden we achterhalen
hoe we ze konden oprekken.
08:20
we could figurefiguur out how to pushDuwen them.
Dat leidde tot experimenten zoals dit.
08:22
And that led to experimentsexperimenten like this one,
Ik sprak nog eens
tegen een zak chips,
08:25
where again, I'm going to speakspreken
to a bagzak of chipschips,
maar dit keer met onze camera
ongeveer 5 meter er vandaan,
08:28
but this time we'vewij hebben movedverhuisd our cameracamera
about 15 feetvoeten away,
buiten, achter een geluiddicht raam,
08:33
outsidebuiten, behindachter a soundproofGeluiddichte windowvenster,
en alles alleen belicht
met natuurlijk zonlicht.
08:36
and the wholegeheel thing is litlit
by only naturalnatuurlijk sunlightzonlicht.
Hier is de video daarvan.
08:40
And so here'shier is the videovideo- that we capturedgevangen genomen.
Zo klonk het binnen, bij de zak chips.
08:44
And this is what things soundedklonk like
from insidebinnen, nextvolgende to the bagzak of chipschips.
(Audio) Mary had a little lamb
whose fleece was white as snow,
08:49
(AudioAudio) MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
and everywhere that Mary went,
that lamb was sure to go.
08:54
and everywhereoveral that MaryMary wentgegaan,
that lamblam was sure to go.
AD: Hier is wat we
uit onze stille video konden terugwinnen
08:59
ADAD: And here'shier is what we were ablein staat
to recoverherstellen from our silentstil videovideo-
van achter dat raam.
09:03
capturedgevangen genomen outsidebuiten behindachter that windowvenster.
(Audio) Mary had a little lamb!
whose fleece was white as snow,
09:06
(AudioAudio) MaryMary had a little lamblam
whosewaarvan fleeceFleece was whitewit as snowsneeuw,
and everywhere that Mary went,
that lamb was sure to go.
09:10
and everywhereoveral that MaryMary wentgegaan,
that lamblam was sure to go.
(Applaus)
09:15
(ApplauseApplaus)
AD: Er zijn ook andere manieren
om deze grenzen te verleggen.
09:22
ADAD: And there are other waysmanieren
that we can pushDuwen these limitslimieten as well.
Hier is een rustiger experiment:
09:25
So here'shier is a quieterStiller experimentexperiment
we filmden wat oordopjes
aangesloten op een laptop.
09:27
where we filmedgefilmd some earphonesOortelefoons
pluggedaangesloten into a laptoplaptop computercomputer,
We wilden de muziek opnemen
die op die laptop speelde,
09:31
and in this casegeval, our goaldoel was to recoverherstellen
the musicmuziek- that was playingspelen on that laptoplaptop
uit de video zonder geluid
09:35
from just silentstil videovideo-
van die twee kleine plastic oordopjes.
09:38
of these two little plasticplastic earphonesOortelefoons,
We deden het zo goed
09:40
and we were ablein staat to do this so well
dat we onze resultaten
konden ‘shazammen’.
09:42
that I could even ShazamShazam our resultsuitslagen.
(Gelach)
09:45
(LaughterGelach)
(Muziek: 'Under Pressure' van Queen)
09:49
(MusicMuziek: "UnderOnder PressureDruk" by QueenKoningin)
(Applaus)
10:01
(ApplauseApplaus)
We kunnen het resultaat
ook verbeteren via de hardware.
10:06
And we can alsoook pushDuwen things
by changingveranderen the hardwarehardware that we use.
De experimenten die ik jullie
tot nu toe heb laten zien
10:11
Because the experimentsexperimenten
I've showngetoond you so farver
10:13
were donegedaan with a cameracamera,
a high-speedhoge snelheid cameracamera,
deden we met een hogesnelheidscamera.
Die kan ongeveer 100 keer
sneller video opnemen
10:15
that can recordrecord videovideo-
about a 100 timestijden fastersneller
dan de meeste mobiele telefoons,
10:18
than mostmeest cellcel phonestelefoons,
maar we hebben ook een manier gevonden
om deze techniek te gebruiken
10:20
but we'vewij hebben alsoook foundgevonden a way
to use this techniquetechniek
10:23
with more regularregelmatig camerascamera's,
met gewonere camera’s.
We doen dat door gebruik te maken
van wat een ‘gordijnsluiter’ heet.
10:25
and we do that by takingnemen advantagevoordeel
of what's calledriep a rollingrollend shuttersluitertijd.
De meeste camera's leggen
beelden rij voor rij vast.
10:29
You see, mostmeest camerascamera's
recordrecord imagesafbeeldingen one rowrij at a time,
Als een object tijdens de opname
van één enkel beeld beweegt,
10:34
and so if an objectvoorwerp movesmoves
duringgedurende the recordingopname of a singlesingle imagebeeld,
is er een kleine vertraging
tussen elke rij,
10:40
there's a slightgering time delayvertraging
betweentussen eachelk rowrij,
en dit veroorzaakt lichte artefacten
10:43
and this causesoorzaken slightgering artifactsartefacten
in elk afzonderlijk videoframe.
10:46
that get codedgecodeerd into eachelk framemontuur of a videovideo-.
Door het analyseren van deze artefacten,
10:49
And so what we foundgevonden
is that by analyzinganalyseren these artifactsartefacten,
kunnen we zelfs geluid herstellen
10:53
we can actuallywerkelijk recoverherstellen soundgeluid
usinggebruik makend van a modifiedgewijzigd versionversie of our algorithmalgoritme.
met een aangepaste versie
van ons algoritme.
10:58
So here'shier is an experimentexperiment we did
Hier weer een experiment.
We filmden een zak snoep
11:00
where we filmedgefilmd a bagzak of candysnoep
terwijl een luidspreker in de buurt
11:01
while a nearbynabijgelegen loudspeakerluidspreker playedgespeeld
'Mary Had a Little Lamb' speelde.
11:03
the samedezelfde "MaryMary Had a Little LambLam"
musicmuziek- from before,
Maar dit keer gebruikten we
een normale camera uit de winkel.
11:06
but this time, we used just a regularregelmatig
store-boughtwinkel koopt cameracamera,
Ik laat het jullie dadelijk horen.
11:10
and so in a secondtweede, I'll playspelen for you
the soundgeluid that we recoveredhersteld,
Het zal wat vervormd zijn,
11:13
and it's going to soundgeluid
distortedvervormd this time,
maar luister om te zien of je de muziek
nog steeds kunt herkennen.
11:15
but listen and see if you can still
recognizeherken the musicmuziek-.
(Audio: 'Mary Had a Little Lamb')
11:19
(AudioAudio: "MaryMary Had a Little LambLam")
Het klinkt vervormd,
11:37
And so, again, that soundsklanken distortedvervormd,
maar het geweldige eraan is
dat we het doen
11:40
but what's really amazingverbazingwekkend here
is that we were ablein staat to do this
met spullen uit de eerste de beste winkel.
11:45
with something
that you could literallyletterlijk runrennen out
11:48
and pickplukken up at a BestBeste BuyKopen.
Dit brengt de meeste mensen
11:51
So at this pointpunt,
11:52
a lot of people see this work,
op het idee van bewaking. (Gelach)
11:54
and they immediatelyper direct think
about surveillancetoezicht.
Om eerlijk te zijn,
je kan je best voorstellen
11:57
And to be faireerlijk,
hoe je deze technologie kan gebruiken
om iemand te bespioneren.
12:00
it's not hardhard to imaginestel je voor how you mightmacht use
this technologytechnologie to spyspion on someoneiemand.
Maar bedenk dat er al heel veel
goed ontwikkelde technologie
12:04
But keep in mindgeest that there's alreadynu al
a lot of very matureoudere technologytechnologie
voor surveillance bestaat.
12:08
out there for surveillancetoezicht.
In feite hebben mensen al decennia lang
12:09
In factfeit, people have been usinggebruik makend van laserslasers
lasers op objecten gericht
om op afstand af te luisteren.
12:12
to eavesdropafluisteren on objectsvoorwerpen
from a distanceafstand for decadestientallen jaren.
Maar wat hier echt nieuw is,
12:15
But what's really newnieuwe here,
echt anders,
12:18
what's really differentverschillend,
is dat we nu een manier hebben
om trillingen van een object op te nemen.
12:19
is that now we have a way
to pictureafbeelding the vibrationstrillingen of an objectvoorwerp,
Dat geeft ons een nieuwe lens
om te kijken naar de wereld.
12:23
whichwelke givesgeeft us a newnieuwe lenslens
throughdoor whichwelke to look at the worldwereld-,
We kunnen die lens gebruiken
12:27
and we can use that lenslens
12:28
to learnleren not just about forceskrachten like soundgeluid
that causeoorzaak an objectvoorwerp to vibratetrillen,
om niet alleen iets
te leren over krachten
als geluid die een object laten trillen,
maar ook over het object zelf.
12:33
but alsoook about the objectvoorwerp itselfzelf.
Ik wil een stap terug doen
12:36
And so I want to take a stepstap back
en nadenken over nieuwe manieren
om video te gebruiken.
12:38
and think about how that mightmacht changeverandering
the waysmanieren that we use videovideo-,
Meestal gebruiken we video
om naar dingen te kijken,
12:42
because we usuallydoorgaans use videovideo-
to look at things,
maar ik toonde hoe we het kunnen gebruiken
12:46
and I've just showngetoond you how we can use it
om naar dingen te luisteren.
12:48
to listen to things.
Er is een andere belangrijke manier
waarop we leren over de wereld:
12:50
But there's anothereen ander importantbelangrijk way
that we learnleren about the worldwereld-:
door interactie ermee.
12:54
that's by interactinginteractie with it.
We duwen en trekken en porren dingen.
12:56
We pushDuwen and pullTrekken and pokePoke and prodProd things.
We schudden dingen
en zien wat er gebeurt.
13:00
We shakeschudden things and see what happensgebeurt.
Dat is iets dat video nog steeds niet kan,
13:03
And that's something that videovideo-
still won'tzal niet let us do,
althans niet de traditionele video.
13:07
at leastminst not traditionallyoudsher.
Ik toon je wat nieuw werk,
13:09
So I want to showtonen you some newnieuwe work,
gebaseerd op een idee dat ik
net een paar maanden geleden had.
13:11
and this is basedgebaseerde on an ideaidee I had
just a fewweinig monthsmaanden agogeleden,
13:14
so this is actuallywerkelijk the first time
I've showngetoond it to a publicopenbaar audiencepubliek.
Het is de eerste keer
dat ik ermee voor een publiek kom.
13:17
And the basicbasis- ideaidee is that we're going
to use the vibrationstrillingen in a videovideo-
We gaan trillingen in een video gebruiken
om objecten zo vast te leggen,
dat we met ze kunnen interageren
13:22
to capturevangst objectsvoorwerpen in a way
that will let us interactop elkaar inwerken with them
en zie hoe ze op ons reageren.
13:27
and see how they reactReageer to us.
Hier zie je een voorwerp,
13:31
So here'shier is an objectvoorwerp,
in dit geval een draadfiguur
gevormd als mens.
13:32
and in this casegeval, it's a wiredraad figurefiguur
in the shapevorm of a humanmenselijk,
We gaan dat object filmen
met een gewone camera.
13:36
and we're going to filmfilm that objectvoorwerp
with just a regularregelmatig cameracamera.
Er is niets bijzonders aan deze camera.
13:39
So there's nothing specialspeciaal
about this cameracamera.
Ik deed het al met mijn mobiele telefoon.
13:41
In factfeit, I've actuallywerkelijk donegedaan this
with my cellcel phonetelefoon before.
Maar we willen het object zien trillen.
13:44
But we do want to see the objectvoorwerp vibratetrillen,
13:47
so to make that happengebeuren,
Daarom kloppen we wat
op het oppervlak waarop het staat
13:48
we're just going to bangknal a little bitbeetje
on the surfaceoppervlak where it's restingresting
terwijl we deze video opnemen.
13:51
while we recordrecord this videovideo-.
Dat is alles:
slechts vijf seconden gewone video,
13:59
So that's it: just fivevijf secondsseconden
of regularregelmatig videovideo-,
terwijl we op het oppervlak kloppen.
14:03
while we bangknal on this surfaceoppervlak,
We gaan de trillingen
in die video gebruiken
14:05
and we're going to use
the vibrationstrillingen in that videovideo-
om iets te leren over de structurele
en materiaaleigenschappen van ons object,
14:08
to learnleren about the structuralstructureel
and materialmateriaal propertieseigenschappen of our objectvoorwerp,
en we gaan die informatie gebruiken
om iets nieuws en interactiefs te maken.
14:13
and we're going to use that informationinformatie
to createcreëren something newnieuwe and interactiveinteractieve.
Dit is het resultaat.
14:24
And so here'shier is what we'vewij hebben createdaangemaakt.
Het ziet eruit als een gewone afbeelding,
14:27
And it lookslooks like a regularregelmatig imagebeeld,
maar dit is geen beeld, ook geen video,
14:29
but this isn't an imagebeeld,
and it's not a videovideo-,
want nu kan ik met mijn muis
14:32
because now I can take my mousemuis
gaan interageren met het object.
14:35
and I can startbegin interactinginteractie
with the objectvoorwerp.
Wat je hier ziet
14:44
And so what you see here
is een simulatie van hoe dit object
14:47
is a simulationsimulatie of how this objectvoorwerp
zou reageren op nieuwe krachten
die we nog nooit eerder hebben gezien,
14:49
would respondreageren to newnieuwe forceskrachten
that we'vewij hebben never seengezien before,
en dat met slechts
vijf seconden gewone video.
14:54
and we createdaangemaakt it from just
fivevijf secondsseconden of regularregelmatig videovideo-.
(Applaus)
14:59
(ApplauseApplaus)
Dit is een krachtige manier
om naar de wereld te kijken.
15:09
And so this is a really powerfulkrachtig
way to look at the worldwereld-,
Het laat ons voorspellen
hoe objecten zullen reageren
15:12
because it letslaten we us predictvoorspellen
how objectsvoorwerpen will respondreageren
in nieuwe situaties:
15:15
to newnieuwe situationssituaties,
bijvoorbeeld hoe een oude brug
15:17
and you could imaginestel je voor, for instanceaanleg,
looking at an oldoud bridgebrug
zich zal gaan gedragen
15:20
and wonderingafvragen what would happengebeuren,
how would that bridgebrug holdhouden up
als ik er met mijn auto over zou rijden.
15:24
if I were to driverijden my carauto acrossaan de overkant it.
Dat wil je waarschijnlijk wel weten
15:27
And that's a questionvraag
that you probablywaarschijnlijk want to answerantwoord
voordat je over die brug gaat rijden.
15:30
before you startbegin drivinghet rijden
acrossaan de overkant that bridgebrug.
Deze techniek heeft
natuurlijk zijn beperkingen
15:33
And of courseCursus, there are going to be
limitationsbeperkingen to this techniquetechniek,
net zoals de visuele microfoon,
15:37
just like there were
with the visualzichtbaar microphonemicrofoon,
maar we merkten
dat het in veel situaties werkt
15:39
but we foundgevonden that it workswerken
in a lot of situationssituaties
waar je dat niet zou verwachten,
15:42
that you mightmacht not expectverwachten,
15:44
especiallyvooral if you give it longerlanger videosvideos.
vooral als je langere video's maakt.
Hier is een video die ik opnam
15:47
So for examplevoorbeeld,
here'shier is a videovideo- that I capturedgevangen genomen
van een struik bij mijn appartement.
15:50
of a bushstruik outsidebuiten of my apartmentappartement,
Ik deed niets met de struik,
15:52
and I didn't do anything to this bushstruik,
maar met een video van één minuut
15:55
but by capturingcapturing a minute-longminuten durende videovideo-,
en een zacht briesje
dat genoeg trillingen veroorzaakte,
15:58
a gentleteder breezefluitje van een cent causedveroorzaakt enoughgenoeg vibrationstrillingen
leerden we genoeg over deze struik
om deze simulatie te maken.
16:01
that we could learnleren enoughgenoeg about this bushstruik
to createcreëren this simulationsimulatie.
(Applaus)
16:07
(ApplauseApplaus)
Je kan je voorstellen
wat een filmregisseur
16:13
And so you could imaginestel je voor givinggeven this
to a filmfilm directorregisseur,
hiermee kan doen,
16:16
and lettingverhuur him controlcontrole, say,
als hij de kracht en de richting
van de wind
16:18
the strengthkracht and directionrichting of windwind
in a shotschot after it's been recordedopgenomen.
in een opname achteraf kan bepalen.
Hier richtten we de camera
op een hangend gordijn.
16:24
Or, in this casegeval, we pointedpuntig our cameracamera
at a hangingopknoping curtaingordijn,
Je ziet zelfs geen beweging in deze video,
16:29
and you can't even see
any motionbeweging in this videovideo-,
maar tijdens het opnemen
van twee minuten video,
16:33
but by recordingopname a two-minute-longtwee-minuten durende videovideo-,
veroorzaakten natuurlijke luchtstromen
in deze kamer
16:36
naturalnatuurlijk airlucht currentsstromingen in this roomkamer
16:38
createdaangemaakt enoughgenoeg subtlesubtiel,
imperceptibleonwaarneembare motionsontwerp-resoluties and vibrationstrillingen
genoeg subtiele, onmerkbare
bewegingen en trillingen
dat we daarmee
deze simulatie konden creëren.
16:43
that we could learnleren enoughgenoeg
to createcreëren this simulationsimulatie.
Ironisch genoeg
16:48
And ironicallyironisch,
zijn we al gewend
aan dit soort interactiviteit
16:50
we're kindsoort of used to havingmet
this kindsoort of interactivityinteractiviteit
met virtuele objecten,
16:53
when it comeskomt to virtualvirtueel objectsvoorwerpen,
als het gaat om videogames en 3D-modellen.
16:56
when it comeskomt to videovideo- gamesspellen
and 3D modelsmodellen,
Maar deze informatie van echte objecten
in de echte wereld kunnen vastleggen
16:59
but to be ablein staat to capturevangst this informationinformatie
from realecht objectsvoorwerpen in the realecht worldwereld-
met slechts eenvoudige, gewone video,
17:04
usinggebruik makend van just simpleeenvoudig, regularregelmatig videovideo-,
is iets nieuws
dat veel mogelijkheden biedt.
17:06
is something newnieuwe that has
a lot of potentialpotentieel.
Hier zijn de fantastische mensen
die met mij
17:10
So here are the amazingverbazingwekkend people
who workedwerkte with me on these projectsprojecten.
hebben samengewerkt aan deze projecten.
(Applaus)
17:16
(ApplauseApplaus)
Wat ik vandaag heb laten zien,
is slechts het begin,
17:24
And what I've showngetoond you todayvandaag
is only the beginningbegin.
een peulenschil
17:27
We'veWe hebben just startedbegonnen to scratchkrassen the surfaceoppervlak
vergeleken met wat je kunt doen
met dit soort beeldvorming.
17:29
of what you can do
with this kindsoort of imagingImaging,
Het geeft ons een nieuwe manier
17:32
because it givesgeeft us a newnieuwe way
om onze omgeving met gewone,
toegankelijke technologie vast te leggen.
17:35
to capturevangst our surroundingsomgeving
with commongemeenschappelijk, accessiblebeschikbaar technologytechnologie.
Als we naar de toekomst kijken,
17:40
And so looking to the futuretoekomst,
is het interessant om te zien
17:41
it's going to be
really excitingopwindend to exploreonderzoeken
wat dit ons kan vertellen
over onze wereld.
17:44
what this can tell us about the worldwereld-.
17:46
Thank you.
Dankjewel.
(Applaus)
17:47
(ApplauseApplaus)
Translated by Rik Delaet
Reviewed by Robert de Ridder

▲Back to top

About the speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com