ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Ejb Dejvis (Abe Davis): Nova video tehnologija koja otkriva skrivena svojstva predmeta

Filmed:
1,482,525 views

Jedva primetna kretanja dešavaju se stalno oko nas, uključujući sitne vibracije koje izaziva zvuk. Nova tehnologija pokazuje da možemo čuti ove vibracije i ponovo stvoriti zvuk i razgovore iz prostog video zapisa naoko nepomičnog predmeta. Međutim, Ejb Dejvis sada ide korak dalje: pogledajte kako prikazuje softver koji omogućava svakom da se igra ovim skrivenim svojstvima, koristeći samo prost video zapis.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

00:13
MostVećina of us think of motionкретање
as a very visualвизуелно thing.
0
1373
3349
Većina nas shvata pokret
kao nešto izrazito vizuelno.
00:17
If I walkходати acrossпреко this stageфаза
or gestureгест with my handsруке while I speakговорити,
1
5889
5088
Ako hodam po ovoj bini
ili mrdam rukama dok govorim,
00:22
that motionкретање is something that you can see.
2
10977
2261
taj pokret je nešto što možete
da vidite.
00:26
But there's a worldсвет of importantважно motionкретање
that's too subtleсуптилно for the humanљудско eyeоко,
3
14255
5482
Ali postoji ceo svet važnih pokreta
koji je nevidljiv za ljudsko oko,
00:31
and over the pastпрошлост fewнеколико yearsгодине,
4
19737
2041
i proteklih nekoliko godina,
00:33
we'veми смо startedпочела to find that camerasкамере
5
21778
1997
počeo sam da shvatam da kamere
00:35
can oftenчесто see this motionкретање
even when humansљуди can't.
6
23775
3410
često mogu da vide pokret
koji ljudsko oko ne može.
00:40
So let me showсхов you what I mean.
7
28305
1551
Pokazaću vam na šta mislim.
00:42
On the left here, you see videoвидео
of a person'sособа wristручни зглоб,
8
30717
3622
Sa leve strane, možete videti snimak
nečijeg zgloba,
00:46
and on the right, you see videoвидео
of a sleepingспава infantдете,
9
34339
3147
a sa desne strane, snimak bebe koja spava,
00:49
but if I didn't tell you
that these were videosвидеос,
10
37486
3146
ali da vam nisam rekao
da su ovo video snimci,
00:52
you mightМожда assumeпретпоставити that you were looking
at two regularредовно imagesслике,
11
40632
3761
možda biste pomislili da gledate
u dve najobičnije slike,
00:56
because in bothи једно и друго casesслучајева,
12
44393
1672
zato što u oba slučaja,
00:58
these videosвидеос appearпојавити to be
almostскоро completelyу потпуности still.
13
46065
3047
ovi snimci deluju potpuno mirno.
01:02
But there's actuallyзаправо a lot
of subtleсуптилно motionкретање going on here,
14
50175
3885
Zapravo, dosta nevidljivih pokreta
imamo ovde,
01:06
and if you were to touchдодирни
the wristручни зглоб on the left,
15
54060
2392
i ako biste dotakli zglob na levoj strani,
01:08
you would feel a pulseпулс,
16
56452
1996
osetili biste puls,
01:10
and if you were to holdдржати
the infantдете on the right,
17
58448
2485
a kada biste držali bebu, s desne strane,
01:12
you would feel the riseпораст
and fallпасти of her chestгруди
18
60933
2391
ostetili biste podizanje
i spuštanje njenih grudi
01:15
as she tookузела eachсваки breathдах.
19
63324
1390
dok udiše i izdiše.
01:17
And these motionspokreti carryносити
a lot of significanceзначај,
20
65762
3576
Ovi pokreti su od velikog značaja,
01:21
but they're usuallyобично
too subtleсуптилно for us to see,
21
69338
3343
ali su obično jako mali
da bi ih mi uočili,
01:24
so insteadуместо тога, we have to observeposmatrate them
22
72681
2276
pa zbog toga, moramo da ih posmatramo
01:26
throughкроз directдиректан contactконтакт, throughкроз touchдодирни.
23
74957
2900
kroz direktni kontakt, kroz dodir.
01:30
But a fewнеколико yearsгодине agoпре,
24
78997
1265
Ali pre nekoliko godina,
01:32
my colleaguesколеге at MITMIT-A developedразвијен
what they call a motionкретање microscopemikroskop.,
25
80262
4405
moj kolega sa MIT-a je razvio
nešto što oni zovu mikroskopom pokreta,
01:36
whichкоја is softwareсофтвер that findsфиндс
these subtleсуптилно motionspokreti in videoвидео
26
84667
4384
što je zapravo softver koji nalazi
ove male pokrete, snima ih
01:41
and amplifiespojaиava them so that they
becomeпостати largeвелики enoughдовољно for us to see.
27
89051
3562
i uvećava pa time postaju dovoljno
veliki da ih mi vidimo.
01:45
And so, if we use theirњихова softwareсофтвер
on the left videoвидео,
28
93416
3483
Dakle, ako primenimo softver
na levi snimak,
01:48
it letsомогућава us see the pulseпулс in this wristручни зглоб,
29
96899
3250
omogućava nam da vidimo
puls na zglobu,
01:52
and if we were to countбројање that pulseпулс,
30
100149
1695
a ako bismo merili puls,
01:53
we could even figureфигура out
this person'sособа heartсрце rateстопа.
31
101844
2355
mogli bismo čak i izmeriti
otkucaj srca ove osobe.
01:57
And if we used the sameисти softwareсофтвер
on the right videoвидео,
32
105095
3065
A ako primenimo isti softver
na snimak desno,
02:00
it letsомогућава us see eachсваки breathдах
that this infantдете takes,
33
108160
3227
moći ćemo da vidimo svaki udisaj bebe,
02:03
and we can use this as a contact-freebez kontakta way
to monitorмонитор her breathingдисање.
34
111387
4137
i možemo ovo da iskoristimo kao nedirektno
nadgledanje njenog disanja.
02:08
And so this technologyтехнологија is really powerfulмоћан
because it takes these phenomenaфеномени
35
116884
5348
Dakle, ova tehnologija je jako moćna,
zato što ove pojave
02:14
that we normallyнормално have
to experienceискуство throughкроз touchдодирни
36
122232
2367
u normalnim uslovima
doživljavamo kroz dodir,
02:16
and it letsомогућава us captureхватање them visuallyвизуелно
and non-invasivelynon-invasively.
37
124599
2957
i pamtimo ih vizuelno i neinvazivno.
02:21
So a coupleпар yearsгодине agoпре, I startedпочела workingрад
with the folksљуди that createdстворено that softwareсофтвер,
38
129104
4411
Pre par godina, počeo sam da radim
sa ljudima koji su napravili taj softver,
02:25
and we decidedодлучио to pursueгонити a crazyлуд ideaидеја.
39
133515
3367
i odlučili smo da pratimo
jednu ludu ideju.
02:28
We thought, it's coolхладан
that we can use softwareсофтвер
40
136882
2693
Pomislili smo, kul je što
možemo da upotrebimo softver
02:31
to visualizeвизуализовати tinyситни motionspokreti like this,
41
139575
3135
da predočimo majušne pokrete
poput ovog,
02:34
and you can almostскоро think of it
as a way to extendпроширити our senseсмисао of touchдодирни.
42
142710
4458
a možemo to shavatiti kao način
kojim pojačavamo naš osećaj za dodir.
02:39
But what if we could do the sameисти thing
with our abilityспособност to hearчујеш?
43
147168
4059
Ali šta ako bismo mogli da učinimo
isto sa osećajem sluha?
02:44
What if we could use videoвидео
to captureхватање the vibrationsvibracije of soundзвук,
44
152508
4665
Šta ako bismo mogli da koristimo video
za beleženje zvučnih vibracija,
02:49
whichкоја are just anotherдруги kindкинд of motionкретање,
45
157173
2827
koje su samo druga vrsta pokreta,
02:52
and turnред everything that we see
into a microphoneмикрофон?
46
160000
3346
i pretvorimo sve što vidimo u mikrofon?
02:56
Now, this is a bitмало of a strangeчудан ideaидеја,
47
164236
1971
Sad, ovo je pomalo čudna ideja,
02:58
so let me try to put it
in perspectiveперспектива for you.
48
166207
2586
pa me pustite da vam predočim.
03:01
TraditionalTradicionalni microphonesmikrofoni
work by convertingпретварање the motionкретање
49
169523
3488
Obični mikrofoni funkcionišu tako što
pretvaraju vibriranje
03:05
of an internalинтерни diaphragmdijafragmu
into an electricalелектрични signalсигнал,
50
173011
3599
unutrašnje dijafragme
u elektornski signal,
03:08
and that diaphragmdijafragmu is designedдизајниран
to moveпотез readilyлако with soundзвук
51
176610
4318
a ta dijafragma je dizajnirana
da se pomera uporedo sa zvukom,
03:12
so that its motionкретање can be recordedснимљено
and interpretedtumači as audioаудио.
52
180928
4807
pa se njeno vibriranje beleži
i interpretira kao audio zapis.
03:17
But soundзвук causesузроке all objectsобјеката to vibratevibrira.
53
185735
3668
Međutim, zvuk uzrokuje
da svi objekti vibriraju.
03:21
Those vibrationsvibracije are just usuallyобично
too subtleсуптилно and too fastбрзо for us to see.
54
189403
5480
A te vibracije su obično neprimetne
i jako brze za nas da bismo ih uočili.
03:26
So what if we recordзапис them
with a high-speedбрзи cameraКамера
55
194883
3738
Dakle, šta ako bi ih beležili
kamerom velike brzine,
03:30
and then use softwareсофтвер
to extractекстракт tinyситни motionspokreti
56
198621
3576
a zatim upotrebili softver
da pojačamo sićušne vibracije
03:34
from our high-speedбрзи videoвидео,
57
202197
2090
sa našeg brzog snimka,
03:36
and analyzeанализирај those motionspokreti to figureфигура out
what soundsзвуци createdстворено them?
58
204287
4274
i analiziramo te vibracije
da bismo shvatili kakvi ih zvuci stvaraju?
03:41
This would let us turnред visibleвидљив objectsобјеката
into visualвизуелно microphonesmikrofoni from a distanceрастојање.
59
209859
5449
Ovo bi nam dozvolilo da prebacimo vidljive
predmete u vizuelne mikrofone sa distance.
03:49
And so we triedПокушали this out,
60
217080
2183
Pa smo ovo i isprobali.
03:51
and here'sево one of our experimentsексперименте,
61
219263
1927
Evo jednog od eksperimenata,
gde smo uzeli ovu biljku u saksiji,
koju možete da vidite sa desne strane,
03:53
where we tookузела this pottedpijana plantбиљка
that you see on the right
62
221190
2949
03:56
and we filmedснимљен it with a high-speedбрзи cameraКамера
63
224139
2438
i snimili smo kamerom velike brzine,
03:58
while a nearbyу близини loudspeakerzvučnik
playedиграо this soundзвук.
64
226577
3529
dok je zvučnik u blizini puštao ovaj zvuk.
04:02
(MusicMuzika: "MaryMeri Had a Little LambLamb")
65
230275
8190
(muzika: "Meri je imala malo jagnje")
04:11
And so here'sево the videoвидео that we recordedснимљено,
66
239820
2824
A evo snimka koji smo snimili,
04:14
and we recordedснимљено it at thousandsхиљаде
of framesоквири perпер secondдруго,
67
242644
3924
a snimili smo ga
pri 1000 sličica u sekundi,
04:18
but even if you look very closelyблиско,
68
246568
2322
ali čak i kada pogledate bliže,
04:20
all you'llти ћеш see are some leavesоставља
69
248890
1951
sve što vidite su neki listovi
04:22
that are prettyприлично much
just sittingседење there doing nothing,
70
250841
3065
koji jednostavno samo stoje
i ne rade bilo šta,
04:25
because our soundзвук only movedпреселила се those leavesоставља
by about a micrometermikrometar.
71
253906
4806
zato što je naš zvuk pomerao ove listove
samo za mikrometar ili dva.
04:31
That's one ten-thousandthдесет хиљада of a centimetercentimetar,
72
259103
4276
To je desetohiljaditi deo centimetra,
04:35
whichкоја spansраспони somewhereнегде betweenизмеђу
a hundredthстотина and a thousandthhiljaditi
73
263379
4156
što predstavlja između stotog
i hiljaditog dela piksela
04:39
of a pixelпикел in this imageслика.
74
267535
2299
na ovoj slici.
04:41
So you can squintСкуинт all you want,
75
269881
2887
Dakle, možete škiljiti koliko god želite,
04:44
but motionкретање that smallмали is prettyприлично much
perceptuallyperceptually invisibleневидљив.
76
272768
3335
ali toliko mali pokret je vizuelno
prilično nevidljiv.
04:49
But it turnsокреће се out that something
can be perceptuallyperceptually invisibleневидљив
77
277667
4157
Ali ispostavlja se da nešto što može
da bude čulno nevidljivo
04:53
and still be numericallynumerički significantзначајно,
78
281824
2809
i dalje može biti numerički značajno,
04:56
because with the right algorithmsалгоритми,
79
284633
2002
time što sa adekvatnim algoritmima,
04:58
we can take this silentтихо,
seeminglyнаизглед still videoвидео
80
286635
3687
možemo uzeti ovaj tih,
naizgled miran snimak
05:02
and we can recoverопоравити се this soundзвук.
81
290322
1527
i vratimo ovaj zvuk.
05:04
(MusicMuzika: "MaryMeri Had a Little LambLamb")
82
292690
7384
(muzika: "Meri je imala malo jagnje")
05:12
(ApplauseAplauz)
83
300074
5828
(Aplauz)
05:22
So how is this possibleмогуће?
84
310058
1939
Kako je ovo moguće?
05:23
How can we get so much informationинформације
out of so little motionкретање?
85
311997
4344
Kako možemo dobiti toliko informacija
iz toliko sitnih pokreta?
05:28
Well, let's say that those leavesоставља
moveпотез by just a singleједно micrometermikrometar,
86
316341
5361
Pa, recimo da se ti listovi pomeraju
za jedan mikrometar,
05:33
and let's say that that shiftsсмене our imageслика
by just a thousandthhiljaditi of a pixelпикел.
87
321702
4308
i recomo da to pomera našu sliku
za jedan hiljaditi deo piksela.
05:39
That mayможе not seemИзгледа like much,
88
327269
2572
To možda ne deluje mnogo,
05:41
but a singleједно frameРам of videoвидео
89
329841
1996
ali jedna sličica snimka
05:43
mayможе have hundredsстотине of thousandsхиљаде
of pixelspiksela in it,
90
331837
3257
može da sadrži stotine hiljada
piksela u sebi,
05:47
and so if we combineкомбиновати all
of the tinyситни motionspokreti that we see
91
335094
3454
pa tako ako iskombinujemo
sve ove sitne pokrete koje vidimo
05:50
from acrossпреко that entireцео imageслика,
92
338548
2298
preko cele slike,
05:52
then suddenlyизненада a thousandthhiljaditi of a pixelпикел
93
340846
2623
odjednom hiljaditi deo piksela
05:55
can startпочетак to addдодати up
to something prettyприлично significantзначајно.
94
343469
2775
može doprineti nečemu jako bitnom.
05:58
On a personalлични noteБелешка, we were prettyприлично psychedvidovit
when we figuredфигуред this out.
95
346870
3635
Lično, bili smo prilično zapanjeni
kada smo ovo otkrili.
06:02
(LaughterSmeh)
96
350505
2320
(Smeh)
06:04
But even with the right algorithmalgoritam,
97
352825
3253
Ali i sa pravim algoritmom,
06:08
we were still missingнедостаје
a prettyприлично importantважно pieceпиеце of the puzzleпуззле.
98
356078
3617
i dalje nam je nedostajao
jako bitan deo slagalice.
06:11
You see, there are a lot of factorsФактори
that affectутицати when and how well
99
359695
3604
Vidite, postoji veliki broj faktora
koji utiču kada i koliko dobro će
06:15
this techniqueтехника will work.
100
363299
1997
ova tehika raditi.
06:17
There's the objectобјекат and how farдалеко away it is;
101
365296
3204
U pitanju je objekat
i koliko je on daleko;
06:20
there's the cameraКамера
and the lensобјектив that you use;
102
368500
2394
zatim, kamera i sočiva koja koristite;
06:22
how much lightсветло is shiningсјајан on the objectобјекат
and how loudгласно your soundзвук is.
103
370894
4091
koliko je objekat osvetljen
i koliko je jak vaš zvuk.
06:27
And even with the right algorithmalgoritam,
104
375945
3375
I sa odgovarajućim algoritmom,
06:31
we had to be very carefulпажљив
with our earlyрано experimentsексперименте,
105
379320
3390
moramo biti jako pažljivi
sa našim prvim eksperimentima,
zato što ako bilo koji od
ovih faktora bude poremećen,
06:34
because if we got
any of these factorsФактори wrongпогрешно,
106
382710
2392
06:37
there was no way to tell
what the problemпроблем was.
107
385102
2368
ne postoji način da shvatimo
šta je u pitanju.
06:39
We would just get noiseбука back.
108
387470
2647
Zauzvrat bismo dobili samo buku.
06:42
And so a lot of our earlyрано
experimentsексперименте lookedпогледао like this.
109
390117
3320
Pa prema tome, većina naših
prvih eksperimenata je ovako izgledala.
06:45
And so here I am,
110
393437
2206
Evo mene,
06:47
and on the bottomдно left, you can kindкинд of
see our high-speedбрзи cameraКамера,
111
395643
4040
dole levo možete videti kameru
velike brzine,
06:51
whichкоја is pointedпоказао at a bagторба of chipsчипс,
112
399683
2183
koja je usmerena ka kesici čipsa,
06:53
and the wholeцела thing is litлит
by these brightсветао lampslampe.
113
401866
2949
a cela stvar je osvetljena
ovim jakim lampama.
06:56
And like I said, we had to be
very carefulпажљив in these earlyрано experimentsексперименте,
114
404815
4365
Kao što sam rekao, morali smo da budemo
jako pažljivi sa prvim eksperimentima,
07:01
so this is how it wentотишао down.
115
409180
2508
i to je ovako izgledalo.
07:03
(VideoVideo zapis) AbeAbe DavisDavis: ThreeTri, two, one, go.
116
411688
3761
(Snimak) Eb Dejvis:
Tri, dva, jedan, kreni.
07:07
MaryMeri had a little lambjagnje!
Little lambjagnje! Little lambjagnje!
117
415449
5387
Meri je imala malo jagnje!
Malo jagnje! Malo jagnje!
07:12
(LaughterSmeh)
118
420836
4500
(Smeh)
07:17
ADAD: So this experimentексперимент
looksизглед completelyу потпуности ridiculousсмешно.
119
425336
2814
ED: Dakle, ovaj eksperiment
je izgledao potpuno smešno.
07:20
(LaughterSmeh)
120
428150
1788
(Smeh)
07:21
I mean, I'm screamingвришти at a bagторба of chipsчипс --
121
429938
2345
Mislim, vičem na kesicu čipsa,
07:24
(LaughterSmeh) --
122
432283
1551
(Smeh)
07:25
and we're blastingексплозије it with so much lightсветло,
123
433834
2117
i osvetili smo je toliko jakom svetlošću,
07:27
we literallyбуквално meltedтопљен the first bagторба
we triedПокушали this on. (LaughterSmeh)
124
435951
4479
da smo bukvalno istopili prvu kesicu
kada smo probali ovo. (Smeh)
07:32
But ridiculousсмешно as this experimentексперимент looksизглед,
125
440525
3274
Ali koliko god smešno izgledao
ovaj eksperiment,
07:35
it was actuallyзаправо really importantважно,
126
443799
1788
bio je, zapravo, jako bitan,
07:37
because we were ableу могуцности
to recoverопоравити се this soundзвук.
127
445587
2926
zato što smo mogli da povratimo zvuk.
07:40
(AudioZvučni zapis) MaryMeri had a little lambjagnje!
Little lambjagnje! Little lambjagnje!
128
448513
4712
(Audio) Meri je imala malo jagnje!
Malo jagnje! Malo jagnje!
07:45
(ApplauseAplauz)
129
453225
4088
(Aplauz)
07:49
ADAD: And this was really significantзначајно,
130
457313
1881
ED: Ovo je bilo značajno,
07:51
because it was the first time
we recoveredoporavio intelligiblerazumljivim humanљудско speechговор
131
459194
4119
zato što je to bio prvi put da smo uspeli
da povratimo razumljiv ljudski govor
07:55
from silentтихо videoвидео of an objectобјекат.
132
463424
2341
tihog snimka jednog objekta.
07:57
And so it gaveдала us this pointтачка of referenceреференца,
133
465765
2391
Dakle, ovo nam je dalo ovakve rezultate,
08:00
and graduallyпостепено we could startпочетак
to modifyмодификовати the experimentексперимент,
134
468156
3871
i vremenom smo mogli da počnemo
da modifikujemo eksperiment
08:04
usingКористећи differentразличит objectsобјеката
or movingкретање the objectобјекат furtherдаље away,
135
472106
3805
koristeći različite objekte
ili pomerajući objekat dalje,
08:07
usingКористећи lessмање lightсветло or quietermirnije soundsзвуци.
136
475911
2770
koristeći slabije svetlo ili tiši zvuk.
08:11
And we analyzedанализирани all of these experimentsексперименте
137
479887
2874
Analizirali smo sve ove ekperimente
08:14
untilсве док we really understoodпримљено к знању
the limitsограничења of our techniqueтехника,
138
482761
3622
dok nismo zaista shvatili
granice naše tehnike,
zato što kada smo jednom shvatili granice,
08:18
because onceједном we understoodпримљено к знању those limitsограничења,
139
486383
1950
08:20
we could figureфигура out how to pushпусх them.
140
488333
2346
smislili bismo kako da ih gurnemo dalje.
08:22
And that led to experimentsексперименте like this one,
141
490679
3181
A to nas je dovelo
do eksperimenta poput ovog,
08:25
where again, I'm going to speakговорити
to a bagторба of chipsчипс,
142
493860
2739
gde ja, ponovo, govorim kesi čipsa,
08:28
but this time we'veми смо movedпреселила се our cameraКамера
about 15 feetстопала away,
143
496599
4830
ali ovog puta smo pomerili kameru
oko 4,5 m dalje,
08:33
outsideспоља, behindиза a soundproofzvuиno windowпрозор,
144
501429
2833
van, iza zvučno izolovanog prozora,
08:36
and the wholeцела thing is litлит
by only naturalприродно sunlightсунчева светлост.
145
504262
2803
i cela ova stvar je osvetljena samo
prirodnom svetlošću.
08:40
And so here'sево the videoвидео that we capturedзаробљен.
146
508529
2155
I evo snimka koji smo snimili.
08:44
And this is what things soundedзвучало like
from insideу, nextследећи to the bagторба of chipsчипс.
147
512450
4559
A ovako se stvari čuju iznutra,
pored kese čipsa.
08:49
(AudioZvučni zapis) MaryMeri had a little lambjagnje
whoseчије fleeceruno was whiteбео as snowснег,
148
517009
5038
(Audio) Meri je imala malo jagnje,
čije je runo bilo belo kao sneg
08:54
and everywhereсвуда that MaryMeri wentотишао,
that lambjagnje was sure to go.
149
522047
5619
i kuda god je Meri išla,
jagnje je išlo s njom.
08:59
ADAD: And here'sево what we were ableу могуцности
to recoverопоравити се from our silentтихо videoвидео
150
527666
4017
ED: A ovo smo uspeli da povratimo
sa našeg tihog snimka
09:03
capturedзаробљен outsideспоља behindиза that windowпрозор.
151
531683
2345
snimljenog van, iza tog prozora.
09:06
(AudioZvučni zapis) MaryMeri had a little lambjagnje
whoseчије fleeceruno was whiteбео as snowснег,
152
534028
4435
(Audio) Meri je imala malo jagnje
čije je runo bilo belo kao sneg,
09:10
and everywhereсвуда that MaryMeri wentотишао,
that lambjagnje was sure to go.
153
538463
5457
i kuda god je Meri išla,
jagnje je išlo s njom.
09:15
(ApplauseAplauz)
154
543920
6501
(Aplauz)
09:22
ADAD: And there are other waysначини
that we can pushпусх these limitsограничења as well.
155
550421
3542
ED: A postoje, takođe, i drugi načini
kako da pomerimo granice.
09:25
So here'sево a quietermirnije experimentексперимент
156
553963
1798
Time, ovde imamo tiši eksperiment,
09:27
where we filmedснимљен some earphonesslušalice
pluggeduključen into a laptopлап топ computerрачунар,
157
555761
4110
gde smo snimili jedne slušalice
priključene na laptop,
09:31
and in this caseслучај, our goalЦиљ was to recoverопоравити се
the musicмузика that was playingиграње on that laptopлап топ
158
559871
4110
gde je naš cilj bio da muziku
koja je puštena na laptopu
09:35
from just silentтихо videoвидео
159
563981
2299
povratimo sa tihog snimka
09:38
of these two little plasticпластика earphonesslušalice,
160
566280
2507
sa ove dve male plastične bubice,
09:40
and we were ableу могуцности to do this so well
161
568787
2183
i uspeli smo da uradimo to tako dobro
09:42
that I could even ShazamOna je sjajna our resultsрезултате.
162
570970
2461
da smo mogli naše rezultate
koristiti čak i na Šazemu.
09:45
(LaughterSmeh)
163
573431
2411
(Smeh)
09:49
(MusicMuzika: "UnderU okviru PressurePritisak" by QueenKraljica)
164
577191
10034
(Muzika: "Pod pritiskom", grupa Kvin)
10:01
(ApplauseAplauz)
165
589615
4969
(Aplauz)
10:06
And we can alsoтакође pushпусх things
by changingпромена the hardwareхардваре that we use.
166
594584
4551
A možemo i poboljšati stvari menjajući
hardver koji koristimo.
10:11
Because the experimentsексперименте
I've shownпоказано you so farдалеко
167
599135
2461
Jer su eksperimenti koje sam vam
pokazao do sada
10:13
were doneГотово with a cameraКамера,
a high-speedбрзи cameraКамера,
168
601596
2322
napravljeni kamerom,
kamerom velike brzine,
10:15
that can recordзапис videoвидео
about a 100 timesпута fasterбрже
169
603918
2879
koja može da napravi snimak
oko 100 puta brže
10:18
than mostнајвише cellмобилни phonesтелефони,
170
606797
1927
u odnosu na većinu mobilnih telefona,
10:20
but we'veми смо alsoтакође foundнашао a way
to use this techniqueтехника
171
608724
2809
ali takođe smo našli način da
upotrebimo ovu tehniku
10:23
with more regularредовно camerasкамере,
172
611533
2230
sa mnogo običnijim kamerama,
10:25
and we do that by takingузимајући advantageprednost
of what's calledпозвани a rollingваљање shutterblende.
173
613763
4069
i uradili smo to tako što smo iskoristili
nešto što se zove pokretni okidač.
10:29
You see, mostнајвише camerasкамере
recordзапис imagesслике one rowред at a time,
174
617832
4798
Vidite, većina fotoaparata snima slike
jedan po jedan red,
10:34
and so if an objectобјекат movesпотезе
duringу току the recordingснимање of a singleједно imageслика,
175
622630
5702
tako da ako se predmet pomeri
tokom snimanja jedne slike,
10:40
there's a slightблаго time delayкашњење
betweenизмеђу eachсваки rowред,
176
628344
2717
postoji kratko kašnjenje
između svakog reda
10:43
and this causesузроке slightблаго artifactsartefakti
177
631061
3157
i zbog ovoga ostaju blagi tragovi
10:46
that get codedkodiran into eachсваки frameРам of a videoвидео.
178
634218
3483
koji se kodiraju u svaki frejm snimka.
10:49
And so what we foundнашао
is that by analyzinganaliziranje these artifactsartefakti,
179
637701
3806
Otkrili smo da analizom ovih tragova
10:53
we can actuallyзаправо recoverопоравити се soundзвук
usingКористећи a modifiedizmenio versionверзија of our algorithmalgoritam.
180
641507
4615
zapravo možemo povratiti zvuk koristeći
izmenjenu verziju našeg algoritma.
10:58
So here'sево an experimentексперимент we did
181
646122
1912
Evo eksperimenta koji smo uradili,
11:00
where we filmedснимљен a bagторба of candyбомбоне
182
648034
1695
gde smo snimili kesicu bombona
11:01
while a nearbyу близини loudspeakerzvučnik playedиграо
183
649729
1741
dok se iz zvučnika u blizini čulo
11:03
the sameисти "MaryMeri Had a Little LambLamb"
musicмузика from before,
184
651470
2972
ista muzika od pre:
"Meri je imala malo jagnje",
11:06
but this time, we used just a regularредовно
store-boughtkupovna cameraКамера,
185
654442
4203
ali ovog puta smo koristili
običan fotoaparat iz prodavnice
11:10
and so in a secondдруго, I'll playигра for you
the soundзвук that we recoveredoporavio,
186
658645
3174
i sada ću vam pustiti
zvuk koji smo povratili,
11:13
and it's going to soundзвук
distortediskrivljena this time,
187
661819
2050
i ovog puta će zvučati izmenjeno,
11:15
but listen and see if you can still
recognizeпрепознати the musicмузика.
188
663869
2836
ali slušajte i vidite da li još uvek
možete da prepoznate muziku.
11:19
(AudioZvučni zapis: "MaryMeri Had a Little LambLamb")
189
667723
6223
(Audio: "Meri je imala malo jagnje")
11:37
And so, again, that soundsзвуци distortediskrivljena,
190
685527
3465
Opet, to zvuči izmenjeno,
11:40
but what's really amazingНевероватно here
is that we were ableу могуцности to do this
191
688992
4386
ali ovde je zaista neverovatno to
što smo ovo mogli da uradimo
11:45
with something
that you could literallyбуквално runтрцати out
192
693378
2626
sa nečim što bukvalno možete otići
11:48
and pickпицк up at a BestNajbolje BuyKupi.
193
696004
1444
i kupiti u lokalnoj prodavnici
bele tehnike.
11:51
So at this pointтачка,
194
699122
1363
U ovom trenutku,
11:52
a lot of people see this work,
195
700485
1974
mnogi ljudi vide kako ovo radi
11:54
and they immediatelyодмах think
about surveillanceнадзор.
196
702459
3413
i odmah pomisle na nadgledanje.
11:57
And to be fairфер,
197
705872
2415
Da budem iskren, nije teško zamisliti
12:00
it's not hardтешко to imagineзамислити how you mightМожда use
this technologyтехнологија to spyšpijun on someoneнеко.
198
708287
4133
kako biste mogli koristiti ovu tehnologiju
da špijunirate nekoga.
12:04
But keep in mindум that there's alreadyвећ
a lot of very matureza odrasle technologyтехнологија
199
712420
3947
Ali imajte na umu da trenutno već postoji
dosta veoma razvijene tehnologije
12:08
out there for surveillanceнадзор.
200
716367
1579
za nadgledanje.
12:09
In factчињеница, people have been usingКористећи laserslaseri
201
717946
2090
Zapravo, ljudi su decenijama
koristili lasere
12:12
to eavesdropprisluškujem on objectsобјеката
from a distanceрастојање for decadesдеценија.
202
720036
2799
kako bi prisluškivali sa udaljenosti.
12:15
But what's really newново here,
203
723978
2025
Ali ono što je ovde zaista novo,
12:18
what's really differentразличит,
204
726003
1440
zaista drugačije,
12:19
is that now we have a way
to pictureслика the vibrationsvibracije of an objectобјекат,
205
727443
4295
je da sada imamo način da prikažemo
vibracije na predmetu,
12:23
whichкоја givesдаје us a newново lensобјектив
throughкроз whichкоја to look at the worldсвет,
206
731738
3413
što nam daje novi objektiv
kroz koji možemo gledati svet
12:27
and we can use that lensобјектив
207
735151
1510
i taj objektiv možemo koristiti
12:28
to learnучи not just about forcesсиле like soundзвук
that causeузрок an objectобјекат to vibratevibrira,
208
736661
4899
da saznamo, ne samo o silama poput zvuka
od kojih predmet vibrira,
12:33
but alsoтакође about the objectобјекат itselfсам.
209
741560
2288
nego i o samom predmetu.
12:36
And so I want to take a stepкорак back
210
744975
1693
Želim da se udaljim
12:38
and think about how that mightМожда changeпромена
the waysначини that we use videoвидео,
211
746668
4249
i razmislim o tome kako to može
da promeni način na koji koristimo video,
12:42
because we usuallyобично use videoвидео
to look at things,
212
750917
3553
jer video obično koristimo
da posmatramo stvari
12:46
and I've just shownпоказано you how we can use it
213
754470
2322
i pokazao sam vam upravo
kako ga možemo koristiti
12:48
to listen to things.
214
756792
1857
da slušamo stvari.
12:50
But there's anotherдруги importantважно way
that we learnучи about the worldсвет:
215
758649
3971
Ali tu je važan način
na koji saznajemo stvari o svetu -
12:54
that's by interactingинтерактивно with it.
216
762620
2275
kroz interakciju.
12:56
We pushпусх and pullповући and pokeBocni and prodnalog za proizvodnju things.
217
764895
3111
Guramo i vučemo
i pritiskamo i čačkamo stvari.
13:00
We shakeмућкати things and see what happensсе дешава.
218
768006
3181
Tresemo ih da vidimo šta će se desiti.
13:03
And that's something that videoвидео
still won'tнеће let us do,
219
771187
4273
A video nam još uvek ne dozvoljava to,
13:07
at leastнајмање not traditionallyтрадиционално.
220
775460
2136
makar ne u tradicionalnom smislu.
13:09
So I want to showсхов you some newново work,
221
777596
1950
Želim da vam pokažem neke nove radove,
13:11
and this is basedзаснован on an ideaидеја I had
just a fewнеколико monthsмесеци agoпре,
222
779546
2667
a ovo je zasnovano na zamisli
koju sam imao pre nekoliko meseci,
13:14
so this is actuallyзаправо the first time
I've shownпоказано it to a publicјавно audienceпублика.
223
782213
3301
ovo je zapravo prvi put
da to pokazujem pred publikom.
13:17
And the basicосновно ideaидеја is that we're going
to use the vibrationsvibracije in a videoвидео
224
785514
5363
Osnovna ideja je da ćemo koristiti
vibracije u video snimku
13:22
to captureхватање objectsобјеката in a way
that will let us interactИнтерактивно with them
225
790877
4481
da snimimo predmete na način
koji će nam dozvoliti interkaciju sa njima
13:27
and see how they reactреаговати to us.
226
795358
1974
i da vidimo kako reaguju na nas.
13:31
So here'sево an objectобјекат,
227
799120
1764
Evo predmeta,
13:32
and in this caseслучај, it's a wireжица figureфигура
in the shapeоблик of a humanљудско,
228
800884
3832
i u ovom slučaju to je žičana figura
u obliku čoveka,
13:36
and we're going to filmфилм that objectобјекат
with just a regularредовно cameraКамера.
229
804716
3088
i taj predmet ćemo snimiti
običnim fotoaparatom.
Dakle, nema ničeg posebnog
u vezi sa ovim fotoaparatom.
13:39
So there's nothing specialпосебан
about this cameraКамера.
230
807804
2124
13:41
In factчињеница, I've actuallyзаправо doneГотово this
with my cellмобилни phoneтелефон before.
231
809928
2961
Zapravo, ovo sam pre radio
sa svojim telefonom.
13:44
But we do want to see the objectобјекат vibratevibrira,
232
812889
2252
Ali želimo da vidimo da predmet vibrira,
13:47
so to make that happenдесити се,
233
815141
1133
i kako bi se to desilo,
13:48
we're just going to bangбанг a little bitмало
on the surfaceповршина where it's restingодмарати се
234
816274
3346
samo malo ćemo udariti površinu
gde predmet stoji
13:51
while we recordзапис this videoвидео.
235
819620
2138
dok snimamo ovaj video.
13:59
So that's it: just fiveпет secondsсекунде
of regularредовно videoвидео,
236
827398
3671
To je to: samo pet sekundi
običnog video snimka,
14:03
while we bangбанг on this surfaceповршина,
237
831069
2136
dok lupamo po površini
14:05
and we're going to use
the vibrationsvibracije in that videoвидео
238
833205
3513
i iskoristićemo vibracije iz tog videa,
14:08
to learnучи about the structuralструктурално
and materialматеријал propertiesсвојства of our objectобјекат,
239
836718
4544
kako bismo saznali strukturna
i materijalna svojstva našeg predmeta
14:13
and we're going to use that informationинформације
to createстворити something newново and interactiveинтерактивни.
240
841262
4834
i iskoristićemo te informacije
da stvorimo nešto novo i interaktivno.
14:24
And so here'sево what we'veми смо createdстворено.
241
852866
2653
Evo šta smo stvorili.
14:27
And it looksизглед like a regularредовно imageслика,
242
855519
2229
Izgleda kao obična slika,
14:29
but this isn't an imageслика,
and it's not a videoвидео,
243
857748
3111
ali ovo nije slika i nije video,
14:32
because now I can take my mouseмиш
244
860859
2368
jer sada mogu da uzmem miš
14:35
and I can startпочетак interactingинтерактивно
with the objectобјекат.
245
863227
2859
i da budem u interakciji
sa ovim predmetom.
14:44
And so what you see here
246
872936
2357
Ovde možete videti
14:47
is a simulationсимулација of how this objectобјекат
247
875389
2226
simulaciju toga kako bi ovaj predmet
14:49
would respondодговори to newново forcesсиле
that we'veми смо never seenвиђено before,
248
877615
4458
odgovorio na nove sile
koje do sada nismo videli,
14:54
and we createdстворено it from just
fiveпет secondsсекунде of regularредовно videoвидео.
249
882073
3633
i to smo stvorili iz samo
pet sekundi običnog video snimka.
14:59
(ApplauseAplauz)
250
887249
4715
(Aplauz)
15:09
And so this is a really powerfulмоћан
way to look at the worldсвет,
251
897421
3227
Ovo je zaista moćan način
da se posmatra svet
15:12
because it letsомогућава us predictпредвидети
how objectsобјеката will respondодговори
252
900648
2972
jer nam dozvoljava da predvidimo
kako će predmeti odgovoriti
15:15
to newново situationsситуације,
253
903620
1823
na nove situacije
15:17
and you could imagineзамислити, for instanceпример,
looking at an oldстари bridgeмост
254
905443
3473
i možete da zamislite, na primer,
kako gledate stari most
15:20
and wonderingпитајући се what would happenдесити се,
how would that bridgeмост holdдржати up
255
908916
3527
i pitate se šta bi se desilo,
kako bi se ponašao taj most
15:24
if I were to driveпогон my carауто acrossпреко it.
256
912443
2833
kada bih prešao preko njega
svojim automobilom.
15:27
And that's a questionпитање
that you probablyвероватно want to answerодговор
257
915276
2774
A to je pitanje na koje
verovatno želite da odgovorite
15:30
before you startпочетак drivingвожња
acrossпреко that bridgeмост.
258
918050
2560
pre nego što počnete da vozite
preko tog mosta.
15:33
And of courseкурс, there are going to be
limitationsограничења to this techniqueтехника,
259
921988
3272
Naravno, biće nekoliko ograničenja
za ovu tehniku,
15:37
just like there were
with the visualвизуелно microphoneмикрофон,
260
925260
2462
kao što ih je bilo
i sa vizuelnim mikrofonom,
15:39
but we foundнашао that it worksИзвођење радова
in a lot of situationsситуације
261
927722
3181
ali otkrili smo da funkcioniše
u mnogim situacijama
15:42
that you mightМожда not expectочекујте,
262
930903
1875
gde to ne biste očekivali,
15:44
especiallyпосебно if you give it longerдуже videosвидеос.
263
932778
2768
naročito ako radite sa dužim snimcima,
15:47
So for exampleпример,
here'sево a videoвидео that I capturedзаробљен
264
935546
2508
Na primer,
evo video zapisa koji sam napravio
15:50
of a bushгрм outsideспоља of my apartmentстан,
265
938054
2299
gde je žbun ispred mog stana,
15:52
and I didn't do anything to this bushгрм,
266
940353
3088
a njemu nisam radio ništa
15:55
but by capturingхватање a minute-longminut i dužine videoвидео,
267
943441
2705
osim što sam ga snimao jedan minut,
15:58
a gentleнежно breezepovetarac causedизазвана enoughдовољно vibrationsvibracije
268
946146
3378
lagan povetarac
izazvao je dovoljno vibracija
16:01
that we could learnучи enoughдовољно about this bushгрм
to createстворити this simulationсимулација.
269
949524
3587
da smo mogli da saznamo dovoljno
o ovom žbunu da napravimo simulaciju.
16:07
(ApplauseAplauz)
270
955270
6142
(Aplauz)
16:13
And so you could imagineзамислити givingдавање this
to a filmфилм directorдиректор,
271
961412
2972
Možete da zamislite da ovo date
filmskom režiseru
16:16
and lettingизнајмљивање him controlконтрола, say,
272
964384
1719
i date mu da kontroliše, na primer,
16:18
the strengthснага and directionправац of windветер
in a shotпуцањ after it's been recordedснимљено.
273
966103
4922
jačinu i pravac vetra u snimku
nakon što je on nastao.
16:24
Or, in this caseслучај, we pointedпоказао our cameraКамера
at a hangingвешање curtainзавеса,
274
972810
4535
Ili, u ovom slučaju, uperili smo
fotoaparat u zavesu koja visi
16:29
and you can't even see
any motionкретање in this videoвидео,
275
977345
4129
i u ovom snimku čak ni ne možete
da vidite bilo kakvo kretanje,
16:33
but by recordingснимање a two-minute-longminut dužine videoвидео,
276
981474
2925
ali snimanjem videa dugog dva minuta,
16:36
naturalприродно airваздух currentsструје in this roomсоба
277
984399
2438
prirodne vazdušne struje u prostoriji
16:38
createdстворено enoughдовољно subtleсуптилно,
imperceptibleneprimetnu motionspokreti and vibrationsvibracije
278
986837
4412
stvorile su dovoljno suptilnog,
neprimetnog kretanja i vibracija
16:43
that we could learnучи enoughдовољно
to createстворити this simulationсимулација.
279
991249
2565
da možemo da saznamo dovoljno
da stvorimo ovu simulaciju.
16:48
And ironicallyиронично,
280
996243
2366
Ironično je to
16:50
we're kindкинд of used to havingимати
this kindкинд of interactivityinteraktivnost
281
998609
3088
kako smo nekako priviknuti da imamo
ovakvu vrstu interaktivnosti
16:53
when it comesдолази to virtualвиртуелно objectsобјеката,
282
1001697
2647
kod virtuelnih predmeta,
16:56
when it comesдолази to videoвидео gamesигре
and 3D modelsмодели,
283
1004344
3297
što se tiče video igara i 3D modela,
16:59
but to be ableу могуцности to captureхватање this informationинформације
from realправи objectsобјеката in the realправи worldсвет
284
1007641
4404
ali kako bismo dobili ove informacije
iz pravih predmeta iz stvarnosti,
17:04
usingКористећи just simpleједноставно, regularредовно videoвидео,
285
1012045
2817
koristeći proste, obične video snimke,
17:06
is something newново that has
a lot of potentialпотенцијал.
286
1014862
2183
to je nešto novo
što ima dosta potencijala.
17:10
So here are the amazingНевероватно people
who workedрадио је with me on these projectsпројеката.
287
1018410
4904
Evo neverovatnih ljudi koji su sa mnom
radili na ovom projektu.
17:16
(ApplauseAplauz)
288
1024057
5596
(Aplauz)
17:24
And what I've shownпоказано you todayданас
is only the beginningпочетак.
289
1032819
3057
Ono što sam vam pokazao danas
je samo početak.
17:27
We'veMoramo just startedпочела to scratchогреботина the surfaceповршина
290
1035876
2113
Samo smo zagrebali površinu toga
17:29
of what you can do
with this kindкинд of imagingza obradu slika,
291
1037989
2972
što možete da uradite
sa ovim načinom prikazivanja slika,
17:32
because it givesдаје us a newново way
292
1040961
2286
jer nam to daje novi metod
17:35
to captureхватање our surroundingsоколина
with commonзаједнички, accessibleприступачан technologyтехнологија.
293
1043342
4724
da snimimo svoju okolinu,
prostom, dostupnom tehnologijom.
17:40
And so looking to the futureбудућност,
294
1048066
1929
Gledajući u budućnost,
17:41
it's going to be
really excitingузбудљиво to exploreистражити
295
1049995
2037
biće zaista zanimljiva
za istraživanje toga
17:44
what this can tell us about the worldсвет.
296
1052032
1856
šta nam ovo može reći o svetu.
17:46
Thank you.
297
1054381
1204
Hvala vam.
17:47
(ApplauseAplauz)
298
1055610
6107
(Aplauz)
Translated by Mile Živković
Reviewed by Milenka Okuka

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com