English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Új videotechnológia fedi fel a tárgyak rejtett tulajdonságait

Filmed
Views 1,402,354

Finom mozgások vesznek körbe minket folyamatosan, többek között a hang által okozott apró rezgések. Egy új technológia megmutatja, hogy felfigyelhetünk ezekre a rezgésekre, és újra előállíthatunk hangokat és beszélgetéseket, amihez mindössze egy videó kell, látszólag mozdulatlan tárgyakról. De Abe Davis most egy lépéssel továbbviszi mindezt: Nézd meg a bemutató szoftverét, ami mindenki számára lehetővé teszi, hogy interakcióba lépjen ezekkel a rejtett tulajdonságokkal, csupán egy egyszerű videó alapján.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

MostA legtöbb of us think of motionmozgás
as a very visualvizuális thing.
Többségünk úgy gondol a mozgásra,
mint egy nagyon vizuális dologra.
00:13
If I walkséta acrossát this stageszínpad
or gesturegesztus with my handskezek while I speakbeszél,
Ha keresztülsétálok ezen a színpadon,
vagy beszéd közben gesztikulálok,
00:17
that motionmozgás is something that you can see.
az egy olyan mozgás, amit látnak.
00:22
But there's a worldvilág of importantfontos motionmozgás
that's too subtleapró for the humanemberi eyeszem,
De van egy világ, tele olyan mozgásokkal,
amelyek túl finomak az emberi szemnek,
00:26
and over the pastmúlt fewkevés yearsévek,
és az elmúlt pár év során
00:31
we'vevoltunk startedindult to find that cameraskamerák
kezdtünk rájönni, hogy a kamerák
00:33
can oftengyakran see this motionmozgás
even when humansemberek can't.
gyakran látják ezt a mozgást,
még ha az emberek nem is.
00:35
So let me showelőadás you what I mean.
Hadd mutassam be, mire gondolok!
00:40
On the left here, you see videovideó-
of a person'sszemély wristcsukló,
Bal oldalt láthatnak egy videót
egy ember csuklójáról
00:42
and on the right, you see videovideó-
of a sleepingalvás infantcsecsemő,
és jobb oldalt egy videót
egy alvó csecsemőről,
00:46
but if I didn't tell you
that these were videosvideók,
de ha nem mondanám el önöknek,
hogy ezek videók,
00:49
you mightesetleg assumefeltételezni that you were looking
at two regularszabályos imagesképek,
azt feltételezhetnék,
hogy két hagyományos képet látnak,
00:52
because in bothmindkét casesesetek,
mert mindkét esetben
00:56
these videosvideók appearmegjelenik to be
almostmajdnem completelyteljesen still.
a videók teljes mértékben
mozdulatlannak tűnnek.
00:58
But there's actuallytulajdonképpen a lot
of subtleapró motionmozgás going on here,
De valójában rengeteg finom mozgás
van folyamatban itt,
01:02
and if you were to touchérintés
the wristcsukló on the left,
és ha megérinthetnék
a csuklót bal oldalt,
01:06
you would feel a pulseimpulzus,
éreznék a pulzust,
01:08
and if you were to holdtart
the infantcsecsemő on the right,
vagy ha karjukban tartanák
a jobb oldali csecsemőt,
01:10
you would feel the riseemelkedik
and fallesik of her chestmellkas
éreznék, ahogy a mellkasa
emelkedik és süllyed
01:12
as she tookvett eachminden egyes breathlehelet.
minden lélegzetvételénél.
01:15
And these motionsmozgások carryvisz
a lot of significancejelentőség,
És ezek a mozgások
hatalmas jelentőséggel bírnak,
01:17
but they're usuallyáltalában
too subtleapró for us to see,
de általában túl finomak ahhoz,
hogy észrevegyük őket,
01:21
so insteadhelyette, we have to observemegfigyelése them
ezért inkább közvetlen kapcsolattal,
01:24
throughkeresztül directközvetlen contactkapcsolatba lépni, throughkeresztül touchérintés.
azaz érintéssel tudjuk megfigyelni őket.
01:26
But a fewkevés yearsévek agoezelőtt,
De néhány éve
01:30
my colleagueskollégák at MITMIT developedfejlett
what they call a motionmozgás microscopeMikroszkóp,
MIT-s kollégáim kifejlesztettek
egy úgy nevezett mozgásmikroszkópot,
01:32
whichmelyik is softwareszoftver that findsleletek
these subtleapró motionsmozgások in videovideó-
egy olyan szoftvert, ami képes megtalálni
ezeket a finom mozgásokat egy videóban
01:36
and amplifiesfelerősíti a them so that they
becomeválik largenagy enoughelég for us to see.
és felerősíteni őket annyira,
hogy mi is láthassuk.
01:41
And so, if we use theirazok softwareszoftver
on the left videovideó-,
Így tehát ha használjuk a szoftvert
a bal oldali videón,
01:45
it letslehetővé teszi, us see the pulseimpulzus in this wristcsukló,
láthatóvá teszi számunkra a pulzust
01:48
and if we were to countszámol that pulseimpulzus,
és ha megszámolnánk a lüktetéseket,
01:52
we could even figureábra out
this person'sszemély heartszív ratearány.
még ki is számolhatnánk
az illető szívverését.
01:53
And if we used the sameazonos softwareszoftver
on the right videovideó-,
És ha ugyanezt a szoftvert alkalmazzuk
a jobb oldali videón,
01:57
it letslehetővé teszi, us see eachminden egyes breathlehelet
that this infantcsecsemő takes,
láthatóvá válik minden lélegzet,
amit a csecsemő vesz
02:00
and we can use this as a contact-freekapcsolat-mentes way
to monitormonitor her breathinglélegző.
és ezt használhatjuk légzésének
kontaktusmentes monitorozásra.
02:03
And so this technologytechnológia is really powerfulerős
because it takes these phenomenajelenségek
Tehát ez a technológia nagyon erőteljes,
mert lehetővé teszi,
02:08
that we normallynormális esetben have
to experiencetapasztalat throughkeresztül touchérintés
hogy ezeket az általában érintéssel
megtapasztalt jelenségeket
02:14
and it letslehetővé teszi, us captureelfog them visuallyvizuálisan
and non-invasivelynem-invazív.
vizuálisan, nem-invazív módon
ragadjuk meg.
02:16
So a couplepárosít yearsévek agoezelőtt, I startedindult workingdolgozó
with the folksemberek that createdkészítette that softwareszoftver,
Szóval, pár éve elkezdtem dolgozni
a szoftver készítőivel,
02:21
and we decidedhatározott to pursuefolytat a crazyőrült ideaötlet.
és egy őrült ötlet
megvalósítására adtuk a fejünket.
02:25
We thought, it's coolmenő
that we can use softwareszoftver
Arra gondoltunk, menő,
hogy a szoftver használatával
02:28
to visualizeláthatóvá tinyapró motionsmozgások like this,
vizualizálhatunk ilyen apró mozgásokat,
02:31
and you can almostmajdnem think of it
as a way to extendkiterjesztése our senseérzék of touchérintés.
és szinte felfoghatjuk ezt
a tapintás érzékünk kiterjesztéseként.
02:34
But what if we could do the sameazonos thing
with our abilityképesség to hearhall?
De mi lenne, ha meg tudnánk tenni
ugyanezt a hallásunkkal is?
02:39
What if we could use videovideó-
to captureelfog the vibrationsrezgések of soundhang,
Mi lenne, ha a videó segítségével
megragadhatnánk a hang rezgéseit,
02:44
whichmelyik are just anotheregy másik kindkedves of motionmozgás,
ami csupán egy másik fajta mozgás,
02:49
and turnfordulat everything that we see
into a microphonemikrofon?
és így mindent, amit látunk
mikrofonná változtathatnánk?
02:52
Now, this is a bitbit of a strangefurcsa ideaötlet,
Nos, ez egy kicsit furcsa ötlet,
02:56
so let me try to put it
in perspectivetávlati for you.
hadd próbáljam meg hát
perspektívába helyezni.
02:58
TraditionalHagyományos microphonesmikrofonok
work by convertingáttérés the motionmozgás
A hagyományos mikrofonok
azon az elven működnek,
03:01
of an internalbelső diaphragmrekeszizom
into an electricalelektromos signaljel,
hogy egy belső membrán mozgását
elektromos jellé konvertálják,
03:05
and that diaphragmrekeszizom is designedtervezett
to movemozog readilykészségesen with soundhang
és ez a membrán úgy van tervezve,
hogy a hangra könnyen rezdüljön,
03:08
so that its motionmozgás can be recordedfeljegyzett
and interpretedértelmezni as audiohang-.
így a mozgása felvehető
és hangként lefordítható lesz.
03:12
But soundhang causesokoz all objectstárgyak to vibraterezeg.
De a hang minden tárgyat
rezgésbe hoz.
03:17
Those vibrationsrezgések are just usuallyáltalában
too subtleapró and too fastgyors for us to see.
Ezek a rezgések általában túl finomak
és túl gyorsak, hogy láthassuk őket.
03:21
So what if we recordrekord them
with a high-speedMagassebesség camerakamera
Szóval, mi lenne, ha felvennénk őket
egy nagysebességű kamerával
03:26
and then use softwareszoftver
to extractkivonat tinyapró motionsmozgások
és aztán a szoftvert használnánk,
hogy kivonjuk az apró mozgásokat
03:30
from our high-speedMagassebesség videovideó-,
a nagysebességű videónkból,
03:34
and analyzeelemez those motionsmozgások to figureábra out
what soundshangok createdkészítette them?
és elemezzük azokat a mozgásokat,
hogy kiderüljön, milyen hang okozta őket?
03:36
This would let us turnfordulat visiblelátható objectstárgyak
into visualvizuális microphonesmikrofonok from a distancetávolság.
Így a látható tárgyakat távoli
vizuális mikrofonokká változtathatnánk.
03:41
And so we triedmegpróbálta this out,
Szóval kipróbáltuk ezt a dolgot,
03:49
and here'sitt one of our experimentskísérletek,
és íme az egyik kísérletünk,
03:51
where we tookvett this pottedCserepes plantnövény
that you see on the right
ahol fogtuk ezt a cserepes növényt,
amit a jobb oldalon látnak
03:53
and we filmedfilmre it with a high-speedMagassebesség camerakamera
és egy nagysebességű kamerával filmeztük,
03:56
while a nearbyKözeli loudspeakerhangszóró
playedDátum this soundhang.
miközben egy közeli hangszóró
ezt a hangot játszotta.
03:58
(MusicZene: "MaryMária Had a Little LambBárány")
[A szobában hangszórón játszott hang]
(Zene: "Mary Had a Little Lamb")
04:02
And so here'sitt the videovideó- that we recordedfeljegyzett,
És íme a videó, amit felvettünk,
04:11
and we recordedfeljegyzett it at thousandsTöbb ezer
of frameskeretek perper secondmásodik,
és ugyan másodpercenként
több ezer képkockát rögzítettünk,
04:14
but even if you look very closelyszorosan,
még ha nagyon közelről vizsgálják,
04:18
all you'llazt is megtudhatod see are some leaveslevelek
akkor is csupán néhány levél látható,
04:20
that are prettyszép much
just sittingülés there doing nothing,
amik lényegében csak úgy vannak,
és nem csinálnak semmit,
04:22
because our soundhang only movedköltözött those leaveslevelek
by about a micrometerMikrométer.
mert a hang ezeket a leveleket
alig pár mikrométernyit mozdította meg.
04:25
That's one ten-thousandthtízezred of a centimetercentiméter,
Ez egy centiméter egy-tízezrede,
04:31
whichmelyik spansível somewherevalahol betweenközött
a hundredthszázadik and a thousandthezred
ami nagyjából akkora kiterjedésű,
mint egy pixel százada vagy ezrede
04:35
of a pixelpixel in this imagekép.
ezen a képen.
04:39
So you can squintkancsal all you want,
Szóval hunyoroghatnak, amennyit akarnak,
04:41
but motionmozgás that smallkicsi is prettyszép much
perceptuallyperceptually invisibleláthatatlan.
de egy ilyen kis mértékű mozgás
lényegében érzékszervileg láthatatlan.
04:44
But it turnsmenetek out that something
can be perceptuallyperceptually invisibleláthatatlan
De kiderült, hogy valami lehet
érzékszervileg láthatatlan
04:49
and still be numericallyszámszerűen significantjelentős,
és mégis jelentős számtanilag,
04:53
because with the right algorithmsalgoritmusok,
mert a megfelelő algoritmusokat használva
04:56
we can take this silentcsendes,
seeminglylátszólag still videovideó-
foghatjuk és ebből a néma,
mozdulatlannak tűnő videóból
04:58
and we can recovervisszaszerez this soundhang.
visszanyerhetjük ezt a hangot.
05:02
(MusicZene: "MaryMária Had a Little LambBárány")
(Zene: "Mary Had a Little Lamb")
05:04
(ApplauseTaps)
(Taps)
05:12
So how is this possiblelehetséges?
Szóval hogyan is lehetséges ez?
05:22
How can we get so much informationinformáció
out of so little motionmozgás?
Hogyan szerezhetünk ilyen sok információt,
ilyen kicsi mozgásból?
05:23
Well, let's say that those leaveslevelek
movemozog by just a singleegyetlen micrometerMikrométer,
Nos, mondjuk, hogy azok a levelek
csupán egyetlen mikrométernyit mozdulnak,
05:28
and let's say that that shiftsműszakok our imagekép
by just a thousandthezred of a pixelpixel.
és mondjuk, hogy ez a képünket
csak egy pixel ezredével mozdítja el.
05:33
That maylehet not seemlátszik like much,
Ez talán nem tűnik soknak,
05:39
but a singleegyetlen framekeret of videovideó-
de egyetlen képkocka
05:41
maylehet have hundredsszáz of thousandsTöbb ezer
of pixelspixel in it,
több százezer pixelt foglalhat magába
05:43
and so if we combinekombájn all
of the tinyapró motionsmozgások that we see
és ha össze tudjuk rakni
az összes ilyen kis mozgást, amit látunk
05:47
from acrossát that entireteljes imagekép,
az egész kép területéről,
05:50
then suddenlyhirtelen a thousandthezred of a pixelpixel
akkor hirtelen egy pixel ezrede
05:52
can startRajt to addhozzáad up
to something prettyszép significantjelentős.
elkezdhet összeadódni
valami egészen jelentőssé.
05:55
On a personalszemélyes notejegyzet, we were prettyszép psychedindulva
when we figuredmintás this out.
Hadd áruljam el, hogy eléggé bezsongtunk,
amikor rájöttünk minderre.
05:58
(LaughterNevetés)
(Nevetés)
06:02
But even with the right algorithmalgoritmus,
De még a megfelelő algoritmussal is
06:04
we were still missinghiányzó
a prettyszép importantfontos piecedarab of the puzzlekirakós játék.
hiányzott egy elég fontos darabja
a kirakósnak.
06:08
You see, there are a lot of factorstényezők
that affectérint when and how well
Ugyanis rengeteg tényező befolyásolja,
mikor és mennyire jól fog
06:11
this techniquetechnika will work.
ez a technika működni.
06:15
There's the objecttárgy and how farmessze away it is;
Ott van a tárgy és hogy milyen messze van;
06:17
there's the camerakamera
and the lenslencse that you use;
ott a kamera és a lencsék,
amiket használunk;
06:20
how much lightfény is shiningcsillogó on the objecttárgy
and how loudhangos your soundhang is.
mennyi fény éri a tárgyat
és milyen hangos a hang.
06:22
And even with the right algorithmalgoritmus,
És még a megfelelő algoritmussal is
06:27
we had to be very carefulóvatos
with our earlykorai experimentskísérletek,
nagyon óvatosnak kellett lennünk
a korai kísérleteinkben,
06:31
because if we got
any of these factorstényezők wrongrossz,
mert ha ezen tényezők
akármelyikét elhibáztuk,
06:34
there was no way to tell
what the problemprobléma was.
esélytelen volt megmondani,
hogy mi is a probléma.
06:37
We would just get noisezaj back.
Csak zajt nyertünk vissza.
06:39
And so a lot of our earlykorai
experimentskísérletek lookednézett like this.
Ezért aztán rengeteg korai kísérletünk
festett valahogy így.
06:42
And so here I am,
Íme, itt vagyok én,
06:45
and on the bottomalsó left, you can kindkedves of
see our high-speedMagassebesség camerakamera,
és valamelyest látni a bal alsó sarokban
a nagysebességű kameránkat,
06:47
whichmelyik is pointedhegyes at a bagtáska of chipsjátékpénz,
ami egy zacskó chipsre szegeződik,
06:51
and the wholeegész thing is litmegvilágított
by these brightfényes lampslámpák.
és mindez ezekkel a ragyogó lámpákkal
van bevilágítva.
06:53
And like I said, we had to be
very carefulóvatos in these earlykorai experimentskísérletek,
Mint mondtam, az ilyen korai kísérleteknél
nagyon óvatosnak kellett lennünk,
06:56
so this is how it wentment down.
ezért így festett a dolog.
07:01
(VideoVideóinak) AbeAbe DavisDavis: ThreeHárom, two, one, go.
(Videó) Abe Davis: Három, kettő, egy, és!
07:03
MaryMária had a little lambBárány!
Little lambBárány! Little lambBárány!
Mary had a little lamb!
Little lamb! Little lamb!
07:07
(LaughterNevetés)
(Nevetés)
07:12
ADHIRDETÉS: So this experimentkísérlet
looksúgy néz ki, completelyteljesen ridiculousnevetséges.
AD: Szóval ez a kísérlet
teljes mértékben röhejesen fest.
07:17
(LaughterNevetés)
(Nevetés)
07:20
I mean, I'm screamingvisító at a bagtáska of chipsjátékpénz --
Úgy értem, egy zacskó chipsnek kiabálok...
07:21
(LaughterNevetés) --
(Nevetés)
07:24
and we're blastingrobbantás it with so much lightfény,
...amire annyi fényt nyomtunk,
07:25
we literallyszó szerint meltedolvasztott the first bagtáska
we triedmegpróbálta this on. (LaughterNevetés)
hogy az első zacskót, amin kipróbáltuk,
szó szerint megolvasztottuk. (Nevetés)
07:27
But ridiculousnevetséges as this experimentkísérlet looksúgy néz ki,,
De bármilyen röhejesnek
tűnik is ez a kísérlet,
07:32
it was actuallytulajdonképpen really importantfontos,
valójában nagyon fontos volt,
07:35
because we were ableképes
to recovervisszaszerez this soundhang.
mert sikerült visszanyernünk
ezt a hangot.
07:37
(AudioAudio) MaryMária had a little lambBárány!
Little lambBárány! Little lambBárány!
(Hang) Mary had a little lamb!
Little lamb! Little lamb!
07:40
(ApplauseTaps)
(Taps)
07:45
ADHIRDETÉS: And this was really significantjelentős,
AD: És ennek nagy jelentősége volt,
07:49
because it was the first time
we recoveredvisszanyert intelligibleérthető humanemberi speechbeszéd
mert ez volt az első, hogy
kivehető emberi hangot nyertünk vissza
07:51
from silentcsendes videovideó- of an objecttárgy.
egy tárgyról készült néma videóból.
07:55
And so it gaveadott us this pointpont of referencereferencia,
Ez adott nekünk egy viszonyítási pontot,
07:57
and graduallyfokozatosan we could startRajt
to modifymódosít the experimentkísérlet,
és fokozatosan elkezdhettük
módosítani a kísérletet
08:00
usinghasználva differentkülönböző objectstárgyak
or movingmozgó the objecttárgy furthertovábbi away,
különböző tárgyakat használtunk,
vagy messzebbre helyeztük őket,
08:04
usinghasználva lessKevésbé lightfény or quietercsendesebb soundshangok.
kevesebbet fényt vagy
halkabb hangot használtunk.
08:07
And we analyzedelemzett all of these experimentskísérletek
És elemeztük az összes ilyen kísérletet,
08:11
untilamíg we really understoodmegértett
the limitshatárok of our techniquetechnika,
amíg valóban megértettük
a technikánk korlátait;
08:14
because onceegyszer we understoodmegértett those limitshatárok,
mert amint megismertük
ezeket a korlátokat,
08:18
we could figureábra out how to pushnyom them.
kitalálhattuk, hogyan lehetne
feszegetni őket.
08:20
And that led to experimentskísérletek like this one,
És ez vezetett az olyan kísérletekhez,
mint ez is,
08:22
where again, I'm going to speakbeszél
to a bagtáska of chipsjátékpénz,
ahol ismét beszélni fogok
egy zacskó chipshez,
08:25
but this time we'vevoltunk movedköltözött our camerakamera
about 15 feetláb away,
de ezúttal a kamerát úgy
öt méterrel távolabb helyeztük el,
08:28
outsidekívül, behindmögött a soundproofhangszigetelt windowablak,
kívül, egy hangszigetelt üvegen túl,
08:33
and the wholeegész thing is litmegvilágított
by only naturaltermészetes sunlightnapfény.
és az egész csak természetes napfénnyel
volt megvilágítva.
08:36
And so here'sitt the videovideó- that we capturedelfogott.
Íme a videó, amit felvettünk.
08:40
And this is what things soundedhangzott like
from insidebelül, nextkövetkező to the bagtáska of chipsjátékpénz.
És így hangzott a dolog belül,
a zacskó chips mellett.
08:44
(AudioAudio) MaryMária had a little lambBárány
whoseakinek fleecegyapjú was whitefehér as snow,
(Hang) Mary had a little lamb
whose fleece was white as snow,
08:49
and everywheremindenhol that MaryMária wentment,
that lambBárány was sure to go.
and everywhere that Mary went,
that lamb was sure to go.
08:54
ADHIRDETÉS: And here'sitt what we were ableképes
to recovervisszaszerez from our silentcsendes videovideó-
AD: És ezt sikerült visszanyernünk
a néma videóból,
08:59
capturedelfogott outsidekívül behindmögött that windowablak.
amit kintről,
az üvegen túlról vettünk fel.
09:03
(AudioAudio) MaryMária had a little lambBárány
whoseakinek fleecegyapjú was whitefehér as snow,
(Hang) Mary had a little lamb
whose fleece was white as snow,
09:06
and everywheremindenhol that MaryMária wentment,
that lambBárány was sure to go.
and everywhere that Mary went,
that lamb was sure to go.
09:10
(ApplauseTaps)
(Taps)
09:15
ADHIRDETÉS: And there are other waysmódokon
that we can pushnyom these limitshatárok as well.
AD: Vannak más módjai is annak,
hogy ezeket a határokat feszegessük.
09:22
So here'sitt a quietercsendesebb experimentkísérlet
Itt van ez a csendesebb kísérlet,
09:25
where we filmedfilmre some earphonesfülhallgató
pluggedcsatlakoztatva van into a laptophordozható számítógép computerszámítógép,
ahol egy laptophoz csatlakoztatott
füldugót filmeztünk le,
09:27
and in this caseügy, our goalcél was to recovervisszaszerez
the musiczene that was playingjátszik on that laptophordozható számítógép
és ebben az esetben, a laptopon játszott
zenét akartuk visszanyerni
09:31
from just silentcsendes videovideó-
csupán egy néma videóból
09:35
of these two little plasticműanyag earphonesfülhallgató,
erről a két kis műanyag fülhallgatóról,
09:38
and we were ableképes to do this so well
és ez annyira jól sikerült,
09:40
that I could even ShazamShazam our resultstalálatok.
hogy az eredményre még
a Shazamon is rá tudtam keresni.
09:42
(LaughterNevetés)
(Nevetés)
09:45
(MusicZene: "UnderAlatt PressureNyomás" by QueenKirályné)
[Videóból visszanyert hang]
(Zene: "Under Pressure" a Queentől)
09:49
(ApplauseTaps)
(Taps)
10:01
And we can alsois pushnyom things
by changingváltozó the hardwarehardver that we use.
Próbálkozhatunk azzal is, hogy
más eszközöket használunk a felvételhez.
10:06
Because the experimentskísérletek
I've shownLátható you so farmessze
Mert azok a kísérletek,
amiket eddig mutattam,
10:11
were doneKész with a camerakamera,
a high-speedMagassebesség camerakamera,
mind nagy sebességű kamerával készültek
10:13
that can recordrekord videovideó-
about a 100 timesalkalommal fastergyorsabb
ami nagyjából százszor
gyorsabban tud felvenni,
10:15
than mosta legtöbb cellsejt phonestelefonok,
mint a legtöbb mobiltelefon,
10:18
but we'vevoltunk alsois foundtalál a way
to use this techniquetechnika
de arra is találtunk módot,
hogy ezt a technikát
10:20
with more regularszabályos cameraskamerák,
közönségesebb kamerákkal használjuk.
10:23
and we do that by takingbevétel advantageelőny
of what's calledhívott a rollinggördülő shutterredőny.
Tettük ezt úgy, hogy kihasználtuk
az úgy nevezett gördülő zárat.
10:25
You see, mosta legtöbb cameraskamerák
recordrekord imagesképek one rowsor at a time,
Ugyanis a legtöbb kamera
soronként rögzíti a képeket,
10:29
and so if an objecttárgy movesmozog
duringalatt the recordingfelvétel of a singleegyetlen imagekép,
így, ha egy tárgy elmozdul
egyetlen kép rögzítése közben,
10:34
there's a slightenyhe time delaykésleltetés
betweenközött eachminden egyes rowsor,
van egy kis időeltolódás
minden sor között,
10:40
and this causesokoz slightenyhe artifactsleletek
ez apró kis torzulásokat okoz,
10:43
that get codedkódolt into eachminden egyes framekeret of a videovideó-.
amik a videó minden képkockáján
kódolásra kerülnek.
10:46
And so what we foundtalál
is that by analyzingelemzése these artifactsleletek,
Arra jöttünk rá, hogy ezeket
a torzulásokat elemezve
10:49
we can actuallytulajdonképpen recovervisszaszerez soundhang
usinghasználva a modifiedmódosított versionváltozat of our algorithmalgoritmus.
képesek vagyunk visszanyerni a hangot,
az algoritmusunk módosított verziójával.
10:53
So here'sitt an experimentkísérlet we did
Tehát, itt az egyik kísérletünk,
10:58
where we filmedfilmre a bagtáska of candycukorka
ahol egy zacskó cukrot filmeztünk,
11:00
while a nearbyKözeli loudspeakerhangszóró playedDátum
miközben egy közeli hangszóró
11:01
the sameazonos "MaryMária Had a Little LambBárány"
musiczene from before,
ugyanazt a "Mary Had a Little Lamb"
zenét játszotta korábbról,
11:03
but this time, we used just a regularszabályos
store-boughtbolti camerakamera,
de ezúttal, csak egy általános,
boltban kapható kamerát használtunk,
11:06
and so in a secondmásodik, I'll playjáték for you
the soundhang that we recoveredvisszanyert,
és máris lejátszom önöknek
a hangot, amit visszanyertünk,
11:10
and it's going to soundhang
distortedtorz this time,
ezúttal egy kicsit
torzítottan fog hangzani,
11:13
but listen and see if you can still
recognizeelismerik the musiczene.
de hallgassák, hogy még
fel tudják-e ismerni a zenét.
11:15
(AudioAudio: "MaryMária Had a Little LambBárány")
(Hang: "Mary Had a Little Lamb")
[A zacskó cukorkából visszanyert hang]
11:19
And so, again, that soundshangok distortedtorz,
És igen, ez a hang ugyan torzított,
11:37
but what's really amazingelképesztő here
is that we were ableképes to do this
de ami igazán lenyűgöző,
hogy képesek voltunk ezt elérni,
11:40
with something
that you could literallyszó szerint runfuss out
egy olyan eszközzel,
amit könnyen beszerezhetnek,
11:45
and pickszed up at a BestLegjobb BuyVásárlás.
ha átugranak a Best Buy-ba.
11:48
So at this pointpont,
Szóval ezen a ponton,
11:51
a lot of people see this work,
rengeteg ember, aki látja ezt a munkát
11:52
and they immediatelyazonnal think
about surveillancefelügyelet.
rögtön a megfigyelésre gondol.
11:54
And to be fairbecsületes,
Hogy őszinte legyek,
11:57
it's not hardkemény to imagineKépzeld el how you mightesetleg use
this technologytechnológia to spykém on someonevalaki.
nem nehéz elképzelni, hogy lehetne
ezt a technológiát kémkedésre használni.
12:00
But keep in mindelme that there's alreadymár
a lot of very matureérett technologytechnológia
De tartsuk észben, hogy rengeteg
kiforrott technológia létezik már
12:04
out there for surveillancefelügyelet.
a megfigyelésre.
12:08
In facttény, people have been usinghasználva laserslézerek
Valójában az emberek évtizedek óta
12:09
to eavesdrophallgatózik on objectstárgyak
from a distancetávolság for decadesévtizedekben.
lézerek használatával hallgatnak le
tárgyakat a távolban.
12:12
But what's really newúj here,
De ami igazán új itt,
12:15
what's really differentkülönböző,
ami igazán különböző,
12:18
is that now we have a way
to picturekép the vibrationsrezgések of an objecttárgy,
hogy most már van egy módszerünk,
hogy elképzeljük egy tárgy rezgéseit,
12:19
whichmelyik givesad us a newúj lenslencse
throughkeresztül whichmelyik to look at the worldvilág,
ami egy új szempontot kínál,
ahonnan a világot szemlélhetjük,
12:23
and we can use that lenslencse
és ez nem csak arra jó,
12:27
to learntanul not just about forceserők like soundhang
that causeok an objecttárgy to vibraterezeg,
hogy megismerjük a hanghoz hasonló erőket,
ami egy tárgy rezgését okozza,
12:28
but alsois about the objecttárgy itselfmaga.
de magát a tárgyat is jobban megismerjük.
12:33
And so I want to take a steplépés back
Ezért tennék most egy lépést hátra
12:36
and think about how that mightesetleg changeváltozás
the waysmódokon that we use videovideó-,
és szeretnék elgondolkozni,
hogy változtat ez a videózás használatán,
12:38
because we usuallyáltalában use videovideó-
to look at things,
mert a videót általában arra használjuk,
hogy nézzük a dolgokat,
12:42
and I've just shownLátható you how we can use it
ám épp most mutattam meg,
hogy használható arra,
12:46
to listen to things.
hogy hallgassuk a dolgokat.
12:48
But there's anotheregy másik importantfontos way
that we learntanul about the worldvilág:
De van még egy fontos módszer,
ami által a világról tanulunk:
12:50
that's by interactingkölcsönható with it.
ha interakcióba lépünk vele.
12:54
We pushnyom and pullHúzni and pokelök and prodProd things.
Húzzuk és vonjuk a dolgokat,
böködjük és szurkáljuk.
12:56
We shakeráz things and see what happensmegtörténik.
Megrázzuk őket és figyeljük,
hogy mi történik.
13:00
And that's something that videovideó-
still won'tszokás let us do,
És ez olyasmi, amit a videó
még nem enged nekünk megtenni,
13:03
at leastlegkevésbé not traditionallyhagyományosan.
legalábbis hagyományosan nem.
13:07
So I want to showelőadás you some newúj work,
Ezért mutatnék egy új munkát önöknek,
13:09
and this is basedszékhelyű on an ideaötlet I had
just a fewkevés monthshónap agoezelőtt,
ami egy pár hónappal ezelőtti
ötletemen alapul,
13:11
so this is actuallytulajdonképpen the first time
I've shownLátható it to a publicnyilvános audienceközönség.
szóval igazából ez az első alkalom,
hogy megmutatom a nagyközönségnek.
13:14
And the basicalapvető ideaötlet is that we're going
to use the vibrationsrezgések in a videovideó-
Az alapvető ötlet, hogy felhasználjuk
a videón rögzített rezgéseket arra,
13:17
to captureelfog objectstárgyak in a way
that will let us interactegymásra hat with them
hogy a tárgyakat oly módon örökítsük meg,
ami lehetővé teszi velük az interkaciót
13:22
and see how they reactreagál to us.
és megmutatja, hogyan reagálnak ránk.
13:27
So here'sitt an objecttárgy,
Szóval itt van egy tárgy,
13:31
and in this caseügy, it's a wirehuzal figureábra
in the shapealak of a humanemberi,
ez éppen egy ember alakú drótfigura,
13:32
and we're going to filmfilm that objecttárgy
with just a regularszabályos camerakamera.
és fel fogjuk venni ezt a tárgyat
egy átlagos kamerával.
13:36
So there's nothing specialkülönleges
about this camerakamera.
Tehát a kamerában
nincsen semmi különleges.
13:39
In facttény, I've actuallytulajdonképpen doneKész this
with my cellsejt phonetelefon before.
Sőt, én már csináltam ilyet
a mobilommal is korábban.
13:41
But we do want to see the objecttárgy vibraterezeg,
De szeretnénk látni,
ahogy a tárgy rezeg,
13:44
so to make that happentörténik,
és hogy ezt elérjük,
13:47
we're just going to bangbumm a little bitbit
on the surfacefelület where it's restingpihenő
egy kicsit megütögetjük a felületet,
amin helyet foglal,
13:48
while we recordrekord this videovideó-.
miközben felvesszük ezt a videót.
13:51
So that's it: just fiveöt secondsmásodperc
of regularszabályos videovideó-,
Szóval ennyi: csak öt másodperc
átlagos videó,
13:59
while we bangbumm on this surfacefelület,
miközben ütögetjük a felületet,
14:03
and we're going to use
the vibrationsrezgések in that videovideó-
a videóban lévő rezgéseket
arra fogjuk használni,
14:05
to learntanul about the structuralszerkezeti
and materialanyag propertiestulajdonságok of our objecttárgy,
hogy többet tudjunk meg a tárgyunk
szerkezeti és anyagi tulajdonságairól,
14:08
and we're going to use that informationinformáció
to createteremt something newúj and interactiveinteraktív.
ennek az információnak a segítségével majd
valami újat és interaktívat hozunk létre.
14:13
And so here'sitt what we'vevoltunk createdkészítette.
Íme, amit létrehoztunk.
14:24
And it looksúgy néz ki, like a regularszabályos imagekép,
Úgy néz ki, mint egy közönséges kép,
14:27
but this isn't an imagekép,
and it's not a videovideó-,
de ez nem egy kép,
és nem is egy videó,
14:29
because now I can take my mouseegér
mert most foghatom az egeremet
14:32
and I can startRajt interactingkölcsönható
with the objecttárgy.
és elkezdhetek kapcsolatot teremteni
a tárggyal.
14:35
And so what you see here
És amit most itt látnak,
14:44
is a simulationtettetés of how this objecttárgy
az egy szimulációja annak,
14:47
would respondreagál to newúj forceserők
that we'vevoltunk never seenlátott before,
ahogy a tárgy reagálna új erőkre,
amiket még sosem láttunk,
14:49
and we createdkészítette it from just
fiveöt secondsmásodperc of regularszabályos videovideó-.
és ezt csak egy öt másodperces
egyszerű videóból készítettük.
14:54
(ApplauseTaps)
(Taps)
14:59
And so this is a really powerfulerős
way to look at the worldvilág,
Ez egy nagyon hatásos módja annak,
ahogy a világot szemléljük,
15:09
because it letslehetővé teszi, us predictmegjósolni
how objectstárgyak will respondreagál
mert általa megjósolhatjuk,
hogyan fognak a tárgyak reagálni
15:12
to newúj situationshelyzetek,
egy új helyzetre,
15:15
and you could imagineKépzeld el, for instancepélda,
looking at an oldrégi bridgehíd
és elképzelhetjük például,
ahogy nézünk egy régi hídra,
15:17
and wonderingcsodálkozó what would happentörténik,
how would that bridgehíd holdtart up
és azon gondolkozunk, mi történne,
hogyan tartana ki a híd,
15:20
if I were to drivehajtás my carautó acrossát it.
ha áthajtanánk rajta az autónkkal.
15:24
And that's a questionkérdés
that you probablyvalószínűleg want to answerválasz
Ez egy olyan kérdés,
amire jó lenne tudni a választ,
15:27
before you startRajt drivingvezetés
acrossát that bridgehíd.
mielőtt elkezdünk áthajtani
azon a hídon.
15:30
And of coursetanfolyam, there are going to be
limitationskorlátozások to this techniquetechnika,
És természetesen lesznek korlátai
ennek a technikának,
15:33
just like there were
with the visualvizuális microphonemikrofon,
mint ahogy voltak
a vizuális mikrofonnak is,
15:37
but we foundtalál that it worksművek
in a lot of situationshelyzetek
de azt vettük észre,
hogy sok helyzetben működik,
15:39
that you mightesetleg not expectelvár,
amiben talán nem is várnák,
15:42
especiallykülönösen if you give it longerhosszabb videosvideók.
különösen,
ha hosszabb videókkal dolgozunk.
15:44
So for examplepélda,
here'sitt a videovideó- that I capturedelfogott
Szóval például itt egy videó,
amit felvettem,
15:47
of a bushbokor outsidekívül of my apartmentlakás,
egy bokorról a lakásom előtt.
15:50
and I didn't do anything to this bushbokor,
Nem csináltam semmit a bokorral,
15:52
but by capturingbefogó a minute-longperc hosszú videovideó-,
de míg felvettem egy egyperces videót,
15:55
a gentlekedves breezeszellő causedokozott enoughelég vibrationsrezgések
egy kis szellő elég rezgést okozott,
15:58
that we could learntanul enoughelég about this bushbokor
to createteremt this simulationtettetés.
hogy eleget megtudjunk a bokorról,
és így létrehozhassuk ezt a szimulációt.
16:01
(ApplauseTaps)
(Taps)
16:07
And so you could imagineKépzeld el givingígy this
to a filmfilm directorrendező,
El tudják képzelni,
ahogy egy fimrendező kezébe adjuk ezt,
16:13
and lettingbérbeadása him controlellenőrzés, say,
hogy így kontrollálhassa, mondjuk
16:16
the strengtherő and directionirány of windszél
in a shotlövés after it's been recordedfeljegyzett.
a szél erejét és irányát
egy jelenetben, miután felvették azt.
16:18
Or, in this caseügy, we pointedhegyes our camerakamera
at a hangingfüggő curtainfüggöny,
Vagy, ebben az esetben, a kameránkat
egy felakasztott függönyre szegeztük.
16:24
and you can't even see
any motionmozgás in this videovideó-,
Nem látnak semmi mozgást
ezen a videón,
16:29
but by recordingfelvétel a two-minute-longkét perc hosszú videovideó-,
de egy kétperces videó felvételével,
16:33
naturaltermészetes airlevegő currentsáramok in this roomszoba
a szobában lévő
természetes légmozgások
16:36
createdkészítette enoughelég subtleapró,
imperceptibleészrevehetetlen motionsmozgások and vibrationsrezgések
elegendő finom, alig érzékelhető
mozgást és rezgést okoztak,
16:38
that we could learntanul enoughelég
to createteremt this simulationtettetés.
hogy eleget tudjunk
a szimuláció elkészítéséhez.
16:43
And ironicallyironikusan,
Ironikus módon,
16:48
we're kindkedves of used to havingamelynek
this kindkedves of interactivityinteraktivitás
eléggé hozzá vagyunk szokva
az ilyen fajta interaktivitáshoz,
16:50
when it comesjön to virtualtényleges objectstárgyak,
ha virtuális tárgyakról van szó,
16:53
when it comesjön to videovideó- gamesjátékok
and 3D modelsmodellek,
videó játékokról és 3D modellekről,
16:56
but to be ableképes to captureelfog this informationinformáció
from realigazi objectstárgyak in the realigazi worldvilág
de a képesség, hogy ezt az információt
a valóság valós tárgyairól is megszerezzük
16:59
usinghasználva just simpleegyszerű, regularszabályos videovideó-,
csupán egyszerű,
hagyományos videót használva,
17:04
is something newúj that has
a lot of potentiallehetséges.
ez valami új,
ami nagyon sok lehetőséget rejt.
17:06
So here are the amazingelképesztő people
who workeddolgozott with me on these projectsprojektek.
Szóval íme a lenyűgöző emberek,
akikkel ezeken a projekteken dolgoztam.
17:10
(ApplauseTaps)
(Taps)
17:16
And what I've shownLátható you todayMa
is only the beginningkezdet.
És amit ma megmutattam önöknek,
az csak a kezdet.
17:24
We'veMost már just startedindult to scratchkarcolás the surfacefelület
Épp csak karcolgatjuk a felszínét annak,
17:27
of what you can do
with this kindkedves of imagingImaging,
amit ezzel a képalkotással
megtehetünk,
17:29
because it givesad us a newúj way
mert egy új módszert biztosít arra,
17:32
to captureelfog our surroundingskörnyéke
with commonközös, accessiblehozzáférhető technologytechnológia.
hogy megörökítsük a környezetünket,
mindennapi, hozzáférhető technológiával.
17:35
And so looking to the futurejövő,
Szóval a jövőbe nézve,
17:40
it's going to be
really excitingizgalmas to exploreFedezd fel
nagyon izgalmas lesz felfedezni,
17:41
what this can tell us about the worldvilág.
mit árulhat el ez nekünk a világról.
17:44
Thank you.
Köszönöm!
17:46
(ApplauseTaps)
(Taps)
17:47
Translated by Lúcia Sánta
Reviewed by Csaba Lóki

▲Back to top

About the speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com