ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Nesnelerin gizli özelliklerini ortaya çıkaran yeni video teknolojisi

Filmed:
1,482,525 views

Sesin neden olduğu küçücük titreşimler de dâhil, belirsiz hareketler etrâfımızda hep olur. Yeni teknoloji, bu titreşimleri toplayabileceğimizi ve yalnızca görünürde hareketsiz olan nesnenin bir videosundan sesi yeniden oluşturabileceğimizi gösteriyor. Fakat artık Abe Davis bunu bir adım ileri götürüyor: Yalnızca basit bir videoyla herhangi birinin bu gizli özelliklerle etkileşime geçebilmesini sağlayan yazılımını tanıtan Abe'i izleyin.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

00:13
MostÇoğu of us think of motionhareket
as a very visualgörsel thing.
0
1373
3349
Çoğumuz hareketi oldukça
görsel bir şey olarak düşünürüz.
00:17
If I walkyürümek acrosskarşısında this stageevre
or gesturejest with my handseller while I speakkonuşmak,
1
5889
5088
Bu sahne boyunca yürüsem
ya da konuşurken el hareketleri yapsam,
00:22
that motionhareket is something that you can see.
2
10977
2261
bu hareketler görebileceğiniz şeylerdir.
00:26
But there's a worldDünya of importantönemli motionhareket
that's too subtleince for the humaninsan eyegöz,
3
14255
5482
Fakat insan gözünün göremeyeceği
belirsizlikte önemli hareketler dünyâsı vardır,
00:31
and over the pastgeçmiş fewaz yearsyıl,
4
19737
2041
ve geçen birkaç yıl içinde,
00:33
we'vebiz ettik startedbaşladı to find that cameraskameralar
5
21778
1997
kameraların bu hareketleri sıklıkla
00:35
can oftensık sık see this motionhareket
even when humansinsanlar can't.
6
23775
3410
insanların göremediği zamanlarda bile
görebildiğini bulmaya başladık.
00:40
So let me showgöstermek you what I mean.
7
28305
1551
Ne demek istediğimi göstereyim.
00:42
On the left here, you see videovideo
of a person'skişiler wristbilek,
8
30717
3622
Sol tarafta, birisinin bileğinin
videosunu görüyorsunuz,
00:46
and on the right, you see videovideo
of a sleepinguyuyor infantbebek,
9
34339
3147
ve sağ tarafta, uyuyan bir bebeğin
videosunu görüyorsunuz,
00:49
but if I didn't tell you
that these were videosvideolar,
10
37486
3146
fakat size bunların
video olduğunu söylemesem,
00:52
you mightbelki assumeüstlenmek that you were looking
at two regulardüzenli imagesGörüntüler,
11
40632
3761
iki sıradan fotoğrafa bakıyor
olduğunuzu sanabilirsiniz,
00:56
because in bothher ikisi de casesvakalar,
12
44393
1672
çünkü iki durumda da,
00:58
these videosvideolar appeargörünmek to be
almostneredeyse completelytamamen still.
13
46065
3047
bu videolar neredeyse tamâmen
hareketsiz görünüyor.
01:02
But there's actuallyaslında a lot
of subtleince motionhareket going on here,
14
50175
3885
Fakat aslında burada
birçok belirsiz hareketlenme var
01:06
and if you were to touchdokunma
the wristbilek on the left,
15
54060
2392
ve soldaki bileğe
dokunacak olsanız,
01:08
you would feel a pulsenabız,
16
56452
1996
nabzı hissedersiniz
01:10
and if you were to holdambar
the infantbebek on the right,
17
58448
2485
ve sağdaki bebeği
tutuyor olsanız,
01:12
you would feel the riseyükselmek
and falldüşmek of her chestgöğüs
18
60933
2391
göğsündeki yükselişi ve alçalışı
01:15
as she tookaldı eachher breathnefes.
19
63324
1390
her nefes alışında hissedersiniz.
01:17
And these motionshareketleri carrytaşımak
a lot of significanceönem,
20
65762
3576
Bu hareketler birçok
önemli bilgi taşır,
01:21
but they're usuallygenellikle
too subtleince for us to see,
21
69338
3343
fakat genellikle
göremeyeceğimiz kadar belirsizdir,
01:24
so insteadyerine, we have to observegözlemlemek them
22
72681
2276
bu yüzden, bunun yerine doğrudan temasla,
01:26
throughvasitasiyla directdirekt contacttemas, throughvasitasiyla touchdokunma.
23
74957
2900
dokunarak gözlememiz gerekir.
01:30
But a fewaz yearsyıl agoönce,
24
78997
1265
Fakat birkaç yıl önce,
01:32
my colleaguesmeslektaşlar at MITMIT developedgelişmiş
what they call a motionhareket microscopemikroskop,
25
80262
4405
MIT'teki meslektaşlarım hareket mikroskobu
dedikleri mikroskobu geliştirdi,
01:36
whichhangi is softwareyazılım that findsbuluntular
these subtleince motionshareketleri in videovideo
26
84667
4384
videodaki belirsiz hareketleri bulan
01:41
and amplifiesgüçlendirir them so that they
becomeolmak largegeniş enoughyeterli for us to see.
27
89051
3562
ve görebileceğimiz biçimde olması için
büyüten bir yazılımı.
01:45
And so, if we use theironların softwareyazılım
on the left videovideo,
28
93416
3483
Ve bu sayede, soldaki videoda
onların yazılımını kullanırsak,
01:48
it letsHaydi us see the pulsenabız in this wristbilek,
29
96899
3250
bilekteki nabzı görmemizi sağlıyor
01:52
and if we were to countsaymak that pulsenabız,
30
100149
1695
ve bu nabzı saysak,
01:53
we could even figureşekil out
this person'skişiler heartkalp rateoran.
31
101844
2355
bu kişinin kalp atış hızını
bile bulabiliriz.
01:57
And if we used the sameaynı softwareyazılım
on the right videovideo,
32
105095
3065
Ve aynı yazılımı
sağdaki videoda kullansak,
02:00
it letsHaydi us see eachher breathnefes
that this infantbebek takes,
33
108160
3227
bu bebeğin aldığı her nefesi
görmemizi sağlıyor
02:03
and we can use this as a contact-freeiletişim-ücretsiz way
to monitorizlemek her breathingnefes.
34
111387
4137
ve bunu onun nefesini izlemek için
temassız bir yöntem olarak kullanabiliriz.
02:08
And so this technologyteknoloji is really powerfulgüçlü
because it takes these phenomenafenomenler
35
116884
5348
Ve bu teknoloji gerçekten güçlü
çünkü normalde dokunarak
02:14
that we normallynormalde have
to experiencedeneyim throughvasitasiyla touchdokunma
36
122232
2367
deneyimlememiz gereken
bütün bu durumları
02:16
and it letsHaydi us captureele geçirmek them visuallygörsel
and non-invasivelynon-invaziv.
37
124599
2957
görsel olarak ve müdahalesizce
elde etmemizi sağlıyor.
02:21
So a coupleçift yearsyıl agoönce, I startedbaşladı workingçalışma
with the folksarkadaşlar that createdoluşturulan that softwareyazılım,
38
129104
4411
Birkaç yıl önce, bu yazılımı oluşturan
insanlarla çalışmaya başladım
02:25
and we decidedkarar to pursuesürdürmek a crazyçılgın ideaFikir.
39
133515
3367
ve çılgın bir fikrin peşinden
gitmeye karar verdik.
02:28
We thought, it's coolgüzel
that we can use softwareyazılım
40
136882
2693
Düşündük ki, bunun gibi
küçücük hareketleri
02:31
to visualizegörselleştirmek tinyminik motionshareketleri like this,
41
139575
3135
görselleştirmek için yazılımı
kullanabilmemiz harika
02:34
and you can almostneredeyse think of it
as a way to extenduzatmak our senseduyu of touchdokunma.
42
142710
4458
ve bunu, neredeyse dokunma duyumuzun
bir uzantısı olarak düşünebilirsiniz.
02:39
But what if we could do the sameaynı thing
with our abilitykabiliyet to hearduymak?
43
147168
4059
Fakat, ya aynı şeyi
duyma yetimiz için de yapabilsek?
02:44
What if we could use videovideo
to captureele geçirmek the vibrationstitreşimler of soundses,
44
152508
4665
Ya videoyu ses titreşimlerini
elde etmek için kullanabilsek,
02:49
whichhangi are just anotherbir diğeri kindtür of motionhareket,
45
157173
2827
ses titreşimleri de diğer bir tür harekettir,
02:52
and turndönüş everything that we see
into a microphonemikrofon?
46
160000
3346
ya gördüğümüz her şeyi
mikrofona dönüştürebilsek?
02:56
Now, this is a bitbit of a strangegarip ideaFikir,
47
164236
1971
Şimdi, bu birazcık tuhaf bir fikir,
02:58
so let me try to put it
in perspectiveperspektif for you.
48
166207
2586
bu yüzden, gelin size bir
bakış açısı kazandırmaya çalışayım.
03:01
TraditionalGeleneksel microphonesmikrofonlar
work by convertingdönüştürme the motionhareket
49
169523
3488
Geleneksel mikrofonlar
içsel bir zara gelen
03:05
of an internal diaphragmdiyafram
into an electricalelektrik signalişaret,
50
173011
3599
hareketi elektrik sinyaline
dönüştürerek çalışır
03:08
and that diaphragmdiyafram is designedtasarlanmış
to movehareket readilykolayca with soundses
51
176610
4318
ve bu zar sesle birlikte
hareket edecek şekilde tasarlanmıştır,
03:12
so that its motionhareket can be recordedkaydedilmiş
and interpretedYorumlanan as audioses.
52
180928
4807
bu sâyede, zarın hareketi ses olarak
kaydedilebilir ve yorumlanabilir.
03:17
But soundses causesnedenleri all objectsnesneleri to vibratetitreşim.
53
185735
3668
Fakat ses bütün nesneleri titreştirir.
03:21
Those vibrationstitreşimler are just usuallygenellikle
too subtleince and too fasthızlı for us to see.
54
189403
5480
Bu titreşimler genellikle göremeyeceğimiz
kadar belirsiz ve hızlıdır.
03:26
So what if we recordkayıt them
with a high-speedyüksek hız camerakamera
55
194883
3738
Ya yüksek hızlı bir kamerayla
bu titreşimleri kaydetsek
03:30
and then use softwareyazılım
to extractözüt tinyminik motionshareketleri
56
198621
3576
ve sonra yüksek hızlı videomuzdaki
küçücük hareketleri elde etmek için
03:34
from our high-speedyüksek hız videovideo,
57
202197
2090
yazılımı kullansak
03:36
and analyzeçözümlemek those motionshareketleri to figureşekil out
what soundssesleri createdoluşturulan them?
58
204287
4274
ve bu hareketleri, hangi seslerin
oluşturduğunu anlamak için çözümlesek?
03:41
This would let us turndönüş visiblegözle görülür objectsnesneleri
into visualgörsel microphonesmikrofonlar from a distancemesafe.
59
209859
5449
Bu durum bizim görünen nesneleri uzak
görsel mikrofonlara dönüştürmemizi sağlar.
03:49
And so we trieddenenmiş this out,
60
217080
2183
Ve biz bunu yapmaya çalıştık
03:51
and here'sburada one of our experimentsdeneyler,
61
219263
1927
ve işte deneylerimizden birisi,
03:53
where we tookaldı this pottedsaksı plantbitki
that you see on the right
62
221190
2949
sağda gördüğünüz
bu saksı bitkisini aldık
03:56
and we filmedfilme it with a high-speedyüksek hız camerakamera
63
224139
2438
ve yüksek hızlı bir kamerayla
03:58
while a nearbyyakında loudspeakerhoparlör
playedOyunun this soundses.
64
226577
3529
bir hoparlör yakınında
bu sesi çıkarırken kaydettik.
04:02
(MusicMüzik: "MaryMary Had a Little LambKuzu")
65
230275
8190
(Müzik: "Mary Had a Little Lamb")
04:11
And so here'sburada the videovideo that we recordedkaydedilmiş,
66
239820
2824
Ve işte kaydettiğimiz video
04:14
and we recordedkaydedilmiş it at thousandsbinlerce
of framesçerçeveler perbaşına secondikinci,
67
242644
3924
ve bu videoyu sâniyede bin karelik
bir hızda kaydettik,
04:18
but even if you look very closelyyakından,
68
246568
2322
fakat çok yakından bile baksanız,
04:20
all you'llEğer olacak see are some leavesyapraklar
69
248890
1951
göreceğiniz tek şey hiçbir şey yapmadan
04:22
that are prettygüzel much
just sittingoturma there doing nothing,
70
250841
3065
olduğu yerde duran birkaç yaprak,
04:25
because our soundses only movedtaşındı those leavesyapraklar
by about a micrometermikrometre.
71
253906
4806
çünkü ses bu yaprakları yalnızca
bir mikrometre kadar oynattı.
04:31
That's one ten-thousandthon binde of a centimetersantimetre,
72
259103
4276
Bu ölçü bir santimetrenin on binde biridir
04:35
whichhangi spansaçıklıklı somewherebir yerde betweenarasında
a hundredthyüzüncü and a thousandthbinde
73
263379
4156
bu da, bu görüntüdeki bir pikselin
yüz ile binde biri arasındaki
04:39
of a pixelpiksel in this imagegörüntü.
74
267535
2299
bir bölüme karşılık gelir.
04:41
So you can squintşaşı all you want,
75
269881
2887
Bu yüzden, ne kadar
gözlerinizi kısarak bakarsanız bakın
04:44
but motionhareket that smallküçük is prettygüzel much
perceptuallyperceptually invisiblegörünmez.
76
272768
3335
bu küçüklükteki hareket,
algılanamayacak kadar görünmezdir.
04:49
But it turnsdönüşler out that something
can be perceptuallyperceptually invisiblegörünmez
77
277667
4157
Fakat şu ortaya çıktı, bir şey
algılanamayacak şekilde görünmez olabilir
04:53
and still be numericallysayısal olarak significantönemli,
78
281824
2809
ve yine de sayısal olarak önemlidir,
04:56
because with the right algorithmsalgoritmalar,
79
284633
2002
çünkü doğru algoritmalarla,
04:58
we can take this silentsessiz,
seeminglygörünüşte still videovideo
80
286635
3687
hâlâ bu sessiz, görünürde
hareketsiz olan videoyu alıp
05:02
and we can recoverkurtarmak this soundses.
81
290322
1527
şu sesi kurtarabiliriz.
05:04
(MusicMüzik: "MaryMary Had a Little LambKuzu")
82
292690
7384
(Müzik: "Mary Had a Little Lamb")
05:12
(ApplauseAlkış)
83
300074
5828
(Alkış)
05:22
So how is this possiblemümkün?
84
310058
1939
Peki, bu nasıl mümkün oluyor?
05:23
How can we get so much informationbilgi
out of so little motionhareket?
85
311997
4344
Bu kadar az hareketten bu kadar
çok bilgiyi nasıl elde edebiliyoruz?
05:28
Well, let's say that those leavesyapraklar
movehareket by just a singletek micrometermikrometre,
86
316341
5361
Bu yaprakların yalnızca bir mikrometre
hareket ettiğini varsayalım,
05:33
and let's say that that shiftskaymalar our imagegörüntü
by just a thousandthbinde of a pixelpiksel.
87
321702
4308
ve bunun görüntümüzü yalnızca bir pikselin
binde biri değiştirdiğini varsayalım.
05:39
That mayMayıs ayı not seemgörünmek like much,
88
327269
2572
Bu miktar çok görünmeyebilir,
05:41
but a singletek frameçerçeve of videovideo
89
329841
1996
fakat bir videonun tek karesinde
05:43
mayMayıs ayı have hundredsyüzlerce of thousandsbinlerce
of pixelspiksel in it,
90
331837
3257
yüz binlerce piksel bulunuyor olabilir
05:47
and so if we combinebirleştirmek all
of the tinyminik motionshareketleri that we see
91
335094
3454
ve o fotoğrafta gördüğümüz
bütün küçücük hareketleri
05:50
from acrosskarşısında that entiretüm imagegörüntü,
92
338548
2298
birleştirirsek,
05:52
then suddenlyaniden a thousandthbinde of a pixelpiksel
93
340846
2623
birden, bir pikselin binde biri
05:55
can startbaşlama to addeklemek up
to something prettygüzel significantönemli.
94
343469
2775
çok önemli bir şeye
katkı sağlayabilir.
05:58
On a personalkişisel noteNot, we were prettygüzel psychedheyecanlı
when we figuredanladım this out.
95
346870
3635
Bu arada, bunu keşfettiğimizde
kafayı yedik.
06:02
(LaughterKahkaha)
96
350505
2320
(Gülüşmeler)
06:04
But even with the right algorithmalgoritma,
97
352825
3253
Fakat doğru algoritmayla bile,
06:08
we were still missingeksik
a prettygüzel importantönemli pieceparça of the puzzlebulmaca.
98
356078
3617
yapbozun oldukça önemli
bir parçası eksikti.
06:11
You see, there are a lot of factorsfaktörler
that affectetkilemek when and how well
99
359695
3604
Bu tekniğin ne zaman
ve nasıl çalışacağını etkileyecek
06:15
this techniqueteknik will work.
100
363299
1997
çok fazla etmen var.
06:17
There's the objectnesne and how faruzak away it is;
101
365296
3204
Nesnenin uzaklığı var,
06:20
there's the camerakamera
and the lenslens that you use;
102
368500
2394
kullandığınız kamera
ve lens var;
06:22
how much lightışık is shiningparlıyor on the objectnesne
and how loudyüksek sesle your soundses is.
103
370894
4091
nesneye gelen ışığın parlaklığı
ve sesinizin yüksekliği var.
06:27
And even with the right algorithmalgoritma,
104
375945
3375
Ve doğru algoritmayla bile,
06:31
we had to be very carefuldikkatli
with our earlyerken experimentsdeneyler,
105
379320
3390
ilk deneylerimizde çok dikkâtli
olmak zorundaydık,
06:34
because if we got
any of these factorsfaktörler wrongyanlış,
106
382710
2392
çünkü bu etmenlerden
herhangi birinde yanlışlık olursa,
06:37
there was no way to tell
what the problemsorun was.
107
385102
2368
sorunun ne olduğunu anlamanın
hiçbir yolu yoktu.
06:39
We would just get noisegürültü back.
108
387470
2647
Tek dönüt videodaki gürültü olur.
06:42
And so a lot of our earlyerken
experimentsdeneyler lookedbaktı like this.
109
390117
3320
Ve bu yüzden, ilk deneylerimizin çoğu
şunun gibiydi.
06:45
And so here I am,
110
393437
2206
Buradaki benim
06:47
and on the bottomalt left, you can kindtür of
see our high-speedyüksek hız camerakamera,
111
395643
4040
ve sol altta, yüksek hızlı kameramızın
bir kısmını görüyorsunuz,
06:51
whichhangi is pointedişaretlendi at a bagsırt çantası of chipscips,
112
399683
2183
bir cips paketine doğrultulmuş durumda
06:53
and the wholebütün thing is litAydınlatılmış
by these brightparlak lampslambalar.
113
401866
2949
ve paketin her yeri bu parlak
lambayla aydınlatılmış durumda.
06:56
And like I said, we had to be
very carefuldikkatli in these earlyerken experimentsdeneyler,
114
404815
4365
Ve dediğim gibi, bu ilk deneylerde
çok dikkâtli olmak zorundaydık,
07:01
so this is how it wentgitti down.
115
409180
2508
bu yüzden şöyle yaptık.
07:03
(VideoVideo) AbeAbe DavisDavis: ThreeÜç, two, one, go.
116
411688
3761
(Video) Abe Davis: Üç, iki, bir, başla.
07:07
MaryMary had a little lambkuzu!
Little lambkuzu! Little lambkuzu!
117
415449
5387
Mary'nin küçük bir kuzusu vardı!
Küçük kuzu! Küçük kuzu!
07:12
(LaughterKahkaha)
118
420836
4500
(Gülüşmeler)
07:17
ADREKLAM: So this experimentdeney
looksgörünüyor completelytamamen ridiculousgülünç.
119
425336
2814
AD: Bu yüzden bu deney
çok ama çok saçma görünüyor.
07:20
(LaughterKahkaha)
120
428150
1788
(Gülüşmeler)
07:21
I mean, I'm screamingbağıran at a bagsırt çantası of chipscips --
121
429938
2345
Şuna bakın, bir cips paketine bağırıyorum
07:24
(LaughterKahkaha) --
122
432283
1551
(Gülüşmeler) --
07:25
and we're blastingpatlatma it with so much lightışık,
123
433834
2117
ve paketi o kadar çok ışıkla kavurduk ki
07:27
we literallyharfi harfine meltederitilmiş the first bagsırt çantası
we trieddenenmiş this on. (LaughterKahkaha)
124
435951
4479
denediğimiz ilk paketi
gerçek anlamda erittik. (Gülüşmeler)
07:32
But ridiculousgülünç as this experimentdeney looksgörünüyor,
125
440525
3274
Fakat ne kadar saçma görünürse görünsün,
07:35
it was actuallyaslında really importantönemli,
126
443799
1788
aslında çok önemliydi,
07:37
because we were ableyapabilmek
to recoverkurtarmak this soundses.
127
445587
2926
çünkü şu sesi kurtarmayı başardık.
07:40
(AudioSes) MaryMary had a little lambkuzu!
Little lambkuzu! Little lambkuzu!
128
448513
4712
(Ses) Mary'nin küçük bir kuzusu vardı!
Küçük kuzu! Küçük kuzu!
07:45
(ApplauseAlkış)
129
453225
4088
(Alkış)
07:49
ADREKLAM: And this was really significantönemli,
130
457313
1881
AD: Ve bu gerçekten önemliydi,
07:51
because it was the first time
we recoveredyeniden elde etmek intelligibleanlaşılır humaninsan speechkonuşma
131
459194
4119
çünkü bu anlaşılır insan sesini
bir nesnenin sessiz bir videosundan
07:55
from silentsessiz videovideo of an objectnesne.
132
463424
2341
kurtardığımız ilk zamandı.
07:57
And so it gaveverdi us this pointpuan of referencereferans,
133
465765
2391
Ve bu bize başlangıç noktası oldu
08:00
and graduallykademeli olarak we could startbaşlama
to modifydeğiştirmek the experimentdeney,
134
468156
3871
ve adım adım deney üzerinde
değişiklikler yapmaya başlayabildik,
08:04
usingkullanma differentfarklı objectsnesneleri
or movinghareketli the objectnesne furtherayrıca away,
135
472106
3805
farklı nesneler kullandık,
nesneleri daha uzaktan kaydettik,
08:07
usingkullanma lessaz lightışık or quieterdaha sessiz soundssesleri.
136
475911
2770
daha az ışık ya da daha kısık ses kullandık.
08:11
And we analyzedanaliz all of these experimentsdeneyler
137
479887
2874
Ve bütün bu deneyleri
08:14
untila kadar we really understoodanladım
the limitssınırları of our techniqueteknik,
138
482761
3622
tekniğimizin sınırlarını
anlayana dek çözümledik,
08:18
because oncebir Zamanlar we understoodanladım those limitssınırları,
139
486383
1950
çünkü bu sınırları anlayınca,
08:20
we could figureşekil out how to pushit them.
140
488333
2346
nereye kadar zorlayabileceğimizi öğreniriz.
08:22
And that led to experimentsdeneyler like this one,
141
490679
3181
Ve bu da bizi şöyle bir deneye yöneltti,
08:25
where again, I'm going to speakkonuşmak
to a bagsırt çantası of chipscips,
142
493860
2739
yine bir cips paketine
karşı konuşuyorum,
08:28
but this time we'vebiz ettik movedtaşındı our camerakamera
about 15 feetayaklar away,
143
496599
4830
ama bu kez kameramızı
4,5 metre uzağa yerleştirdik,
08:33
outsidedışında, behindarkasında a soundproofses yalıtımı windowpencere,
144
501429
2833
dışarıya, ses geçirmez bir pencerenin arkasına,
08:36
and the wholebütün thing is litAydınlatılmış
by only naturaldoğal sunlightGüneş ışığı.
145
504262
2803
ve bütün her şey yalnızca
doğal güneş ışığıyla aydınlatıldı.
08:40
And so here'sburada the videovideo that we capturedyakalanan.
146
508529
2155
Ve bu kaydettiğimiz video.
08:44
And this is what things soundedkulağa like
from insideiçeride, nextSonraki to the bagsırt çantası of chipscips.
147
512450
4559
Ve içerde, cips paketinin yanında
oynatılan ses şöyle.
08:49
(AudioSes) MaryMary had a little lambkuzu
whosekimin fleecePolar was whitebeyaz as snowkar,
148
517009
5038
(Ses) Mary'nin küçük bir kuzusu vardı,
kürkü kar gibi beyazdı,
08:54
and everywhereher yerde that MaryMary wentgitti,
that lambkuzu was sure to go.
149
522047
5619
Mary nereye gitse,
kuzu peşinden giderdi.
08:59
ADREKLAM: And here'sburada what we were ableyapabilmek
to recoverkurtarmak from our silentsessiz videovideo
150
527666
4017
AD: Ve o pencerenin dışından kaydedilen
sessiz videodan kurtarmayı
09:03
capturedyakalanan outsidedışında behindarkasında that windowpencere.
151
531683
2345
başardığımız ses şöyle.
09:06
(AudioSes) MaryMary had a little lambkuzu
whosekimin fleecePolar was whitebeyaz as snowkar,
152
534028
4435
(Ses) Mary'nin küçük bir kuzusu vardı,
kürkü kar gibi beyazdı,
09:10
and everywhereher yerde that MaryMary wentgitti,
that lambkuzu was sure to go.
153
538463
5457
Mary nereye gitse,
kuzu peşinden giderdi.
09:15
(ApplauseAlkış)
154
543920
6501
(Alkış)
09:22
ADREKLAM: And there are other waysyolları
that we can pushit these limitssınırları as well.
155
550421
3542
AD: Ve sınırlarımızı zorlayabileceğimiz
başka yollar da var.
09:25
So here'sburada a quieterdaha sessiz experimentdeney
156
553963
1798
Şöyle daha sessiz bir deneyimiz var,
09:27
where we filmedfilme some earphoneskulaklık
pluggedtakılı into a laptopdizüstü computerbilgisayar,
157
555761
4110
dizüstü bilgisayara takılı
kulaklıkları kaydettik
09:31
and in this casedurum, our goalhedef was to recoverkurtarmak
the musicmüzik that was playingoynama on that laptopdizüstü
158
559871
4110
ve bu sefer, amacımız
dizüstünde çalan müziği
09:35
from just silentsessiz videovideo
159
563981
2299
şu küçük plastik kulaklıkların
09:38
of these two little plasticplastik earphoneskulaklık,
160
566280
2507
sessiz videosundan yakalamaktı
09:40
and we were ableyapabilmek to do this so well
161
568787
2183
ve bunu o kadar iyi başardık ki
09:42
that I could even ShazamShazam our resultsSonuçlar.
162
570970
2461
sonuçlarımızı Shazam'layabiliyorum bile.
09:45
(LaughterKahkaha)
163
573431
2411
(Gülüşmeler)
09:49
(MusicMüzik: "UnderAltında PressureBasınç" by QueenKraliçe)
164
577191
10034
(Müzik: "Under Pressure", Şarkıcı: Queen)
10:01
(ApplauseAlkış)
165
589615
4969
(Alkış)
10:06
And we can alsoAyrıca pushit things
by changingdeğiştirme the hardwaredonanım that we use.
166
594584
4551
Ve kullandığımız donanımı değiştirerek de
sınırlarımızı zorlayabiliriz.
10:11
Because the experimentsdeneyler
I've showngösterilen you so faruzak
167
599135
2461
Çünkü şimdiye dek size
gösterdiğim deneyler
10:13
were donetamam with a camerakamera,
a high-speedyüksek hız camerakamera,
168
601596
2322
yüksek hızlı bir kamerayla
yapılmıştı,
10:15
that can recordkayıt videovideo
about a 100 timeszamanlar fasterDaha hızlı
169
603918
2879
bu kamera videoyu
çoğu cep telefonundan
10:18
than mostçoğu cellhücre phonestelefonlar,
170
606797
1927
100 kat daha hızlı kaydedebilir,
10:20
but we'vebiz ettik alsoAyrıca foundbulunan a way
to use this techniqueteknik
171
608724
2809
ama bu tekniği
çoğu sıradan kamerayla da
10:23
with more regulardüzenli cameraskameralar,
172
611533
2230
kullanmanın bir yolunu bulduk
10:25
and we do that by takingalma advantageavantaj
of what's calleddenilen a rollingyuvarlanan shutterçekim.
173
613763
4069
ve bunu jöle etkisi denen
bir şeyden yararlanarak yapıyoruz.
10:29
You see, mostçoğu cameraskameralar
recordkayıt imagesGörüntüler one rowsıra at a time,
174
617832
4798
Çoğu kamera, görüntüyü
tek seferde tek satır olarak kaydeder
10:34
and so if an objectnesne moveshamle
duringsırasında the recordingkayıt of a singletek imagegörüntü,
175
622630
5702
ve bir nesne, tek bir görüntünün
çekildiği anda kıpırdarsa,
10:40
there's a slighthafif time delaygecikme
betweenarasında eachher rowsıra,
176
628344
2717
her satır arasında küçük bir gecikme olur
10:43
and this causesnedenleri slighthafif artifactseserler
177
631061
3157
ve bu durum, bir videonun her karesine
10:46
that get codedkodlanmış into eachher frameçerçeve of a videovideo.
178
634218
3483
işlenen küçük kusurlara neden olur.
10:49
And so what we foundbulunan
is that by analyzinganaliz these artifactseserler,
179
637701
3806
Ve bu kusurları çözümleyip
algoritmamızın değiştirilmiş
10:53
we can actuallyaslında recoverkurtarmak soundses
usingkullanma a modifieddeğiştirilme tarihi versionversiyon of our algorithmalgoritma.
180
641507
4615
sürümünü kullanarak
sesi kurtarabileceğimizi bulduk.
10:58
So here'sburada an experimentdeney we did
181
646122
1912
Yaptığımız deney şöyle:
11:00
where we filmedfilme a bagsırt çantası of candyŞeker
182
648034
1695
bir şeker paketini
11:01
while a nearbyyakında loudspeakerhoparlör playedOyunun
183
649729
1741
yakınında bir hoparlörden
11:03
the sameaynı "MaryMary Had a Little LambKuzu"
musicmüzik from before,
184
651470
2972
daha önceki aynı "Mary Had a Little Lamb"
müziğini çalarken kaydettik,
11:06
but this time, we used just a regulardüzenli
store-boughtmağaza satın camerakamera,
185
654442
4203
ama bu sefer, mağazadan alınma
sıradan bir kamera kullandık
11:10
and so in a secondikinci, I'll playoyun for you
the soundses that we recoveredyeniden elde etmek,
186
658645
3174
ve birazdan, kurtardığımız sesi
size dinleteceğim
11:13
and it's going to soundses
distortedbozuk this time,
187
661819
2050
ve bu sefer,
bozuk bir ses çalacak,
11:15
but listen and see if you can still
recognizetanımak the musicmüzik.
188
663869
2836
ama dinleyip müziği yine de
tanıyıp tanımayacağınızı görün.
11:19
(AudioSes: "MaryMary Had a Little LambKuzu")
189
667723
6223
(Ses: "Mary Had a Little Lamb")
11:37
And so, again, that soundssesleri distortedbozuk,
190
685527
3465
Dediğim gibi, ses bozuk çalıyor,
11:40
but what's really amazingşaşırtıcı here
is that we were ableyapabilmek to do this
191
688992
4386
fakat buradaki şaşırtıcı olan şey,
bunu, gerçekten gidip
11:45
with something
that you could literallyharfi harfine runkoş out
192
693378
2626
Best Buy'dan (teknoloji mağazası)
aldığımız bir ürünle
11:48
and pickalmak up at a BestEn iyi BuySatın almak.
193
696004
1444
yapabilmiş olmamızdır.
11:51
So at this pointpuan,
194
699122
1363
Şu anda,
11:52
a lot of people see this work,
195
700485
1974
birçok insan bu çalışmayı görüyor
11:54
and they immediatelyhemen think
about surveillancegözetim.
196
702459
3413
ve hemen birilerini gözetleme
hakkında düşünüyorlar.
11:57
And to be fairadil,
197
705872
2415
Ve dürüst olmak gerekirse,
12:00
it's not hardzor to imaginehayal etmek how you mightbelki use
this technologyteknoloji to spycasus on someonebirisi.
198
708287
4133
bu teknolojinin birisini gözetlemek için
kullanıldığını hayâl etmek zor değil.
12:04
But keep in mindus that there's alreadyzaten
a lot of very matureOlgun technologyteknoloji
199
712420
3947
Fakat şunu aklınızda tutun,
hâli hazırda zâten gözetleme üzerine
12:08
out there for surveillancegözetim.
200
716367
1579
birçok tamamlanmış teknoloji var.
12:09
In factgerçek, people have been usingkullanma laserslazerler
201
717946
2090
Aslında, insanlar lazerleri uzak mesâfeden
12:12
to eavesdropkulak misafiri on objectsnesneleri
from a distancemesafe for decadeson yıllar.
202
720036
2799
nesneler aracılığıyla gizlice
dinleme için onyıllardır kullanıyor.
12:15
But what's really newyeni here,
203
723978
2025
Fakat burada yeni olan şey,
12:18
what's really differentfarklı,
204
726003
1440
farklı olan şey,
12:19
is that now we have a way
to pictureresim the vibrationstitreşimler of an objectnesne,
205
727443
4295
bir nesnenin titreşimlerini görüntülemek
için bir yol bulmuş olmamızdır,
12:23
whichhangi givesverir us a newyeni lenslens
throughvasitasiyla whichhangi to look at the worldDünya,
206
731738
3413
bu da bize, dünyâya bakmamız için
yeni bir lens veriyor
12:27
and we can use that lenslens
207
735151
1510
ve bu lensi, yalnızca nesneleri
12:28
to learnöğrenmek not just about forcesgüçler like soundses
that causesebeb olmak an objectnesne to vibratetitreşim,
208
736661
4899
titreştiren ses gibi güçler hakkında bilgi
öğrenmek için değil, nesnenin kendisi
12:33
but alsoAyrıca about the objectnesne itselfkendisi.
209
741560
2288
hakkında bilgi için de kullanabiliriz.
12:36
And so I want to take a stepadım back
210
744975
1693
Ve böylece, bir adım geri dönmek
12:38
and think about how that mightbelki changedeğişiklik
the waysyolları that we use videovideo,
211
746668
4249
ve bunun videoyu kullanışımızı nasıl
değiştirebileceğini düşünmek istiyorum,
12:42
because we usuallygenellikle use videovideo
to look at things,
212
750917
3553
çünkü genellikle videoyu nesnelere
bakmak için kullanırız
12:46
and I've just showngösterilen you how we can use it
213
754470
2322
ve demin videoyu nasıl nesneleri dinlemek
12:48
to listen to things.
214
756792
1857
için kullanabileceğimizi gösterdim.
12:50
But there's anotherbir diğeri importantönemli way
that we learnöğrenmek about the worldDünya:
215
758649
3971
Fakat dünyâyı öğrenme şeklimizle ilgili
önemli başka bir yol var:
12:54
that's by interactingetkileşim with it.
216
762620
2275
onunla etkileşim kurmak.
12:56
We pushit and pullÇek and pokepoke and prodüretim emri satırları things.
217
764895
3111
Nesneleri iter, çeker, dürter ve kakarız.
13:00
We shakesallamak things and see what happensolur.
218
768006
3181
Sallar ve ne olacağına bakarız.
13:03
And that's something that videovideo
still won'talışkanlık let us do,
219
771187
4273
Ve bu, videonun yapmamıza
izin vermediği bir şey,
13:07
at leasten az not traditionallygeleneksel.
220
775460
2136
en azından geleneksel olarak böyle.
13:09
So I want to showgöstermek you some newyeni work,
221
777596
1950
Size yeni bir çalışmayı
göstermek istiyorum
13:11
and this is basedmerkezli on an ideaFikir I had
just a fewaz monthsay agoönce,
222
779546
2667
ve bu çalışma, yalnızca birkaç ay
önceki fikrime dayanıyor,
13:14
so this is actuallyaslında the first time
I've showngösterilen it to a publichalka açık audienceseyirci.
223
782213
3301
bu yüzden, bu, herkese açık olarak
göstereceğim ilk an olacak.
13:17
And the basictemel ideaFikir is that we're going
to use the vibrationstitreşimler in a videovideo
224
785514
5363
Ve temel fikir, videodaki titreşimleri
13:22
to captureele geçirmek objectsnesneleri in a way
that will let us interactetkileşim with them
225
790877
4481
nesnelerle etkileşebileceğimiz
bir şekilde yakalamamız
13:27
and see how they reacttepki to us.
226
795358
1974
ve nasıl tepki vereceklerini
görmemizle ilgili.
13:31
So here'sburada an objectnesne,
227
799120
1764
Burada bir nesne var
13:32
and in this casedurum, it's a wiretel figureşekil
in the shapeşekil of a humaninsan,
228
800884
3832
ve bu örnekte,
insan şeklinde bir telimiz var
13:36
and we're going to filmfilm that objectnesne
with just a regulardüzenli camerakamera.
229
804716
3088
ve bu nesneyi sıradan bir kamerayla
kaydedeceğiz.
13:39
So there's nothing specialözel
about this camerakamera.
230
807804
2124
Kameranın hiçbir özel yanı yok.
13:41
In factgerçek, I've actuallyaslında donetamam this
with my cellhücre phonetelefon before.
231
809928
2961
Hattâ, bunu daha önceden
kendi cep telefonumla da yaptım.
13:44
But we do want to see the objectnesne vibratetitreşim,
232
812889
2252
Fakat nesnenin titreştiğini görmek istiyoruz,
13:47
so to make that happenolmak,
233
815141
1133
bunu yapmak için,
13:48
we're just going to bangpatlama a little bitbit
on the surfaceyüzey where it's restingdayanma
234
816274
3346
nesne orada dururken,
kayıt sırasında
13:51
while we recordkayıt this videovideo.
235
819620
2138
yüzeye biraz vuracağız.
13:59
So that's it: just fivebeş secondssaniye
of regulardüzenli videovideo,
236
827398
3671
Bu kadar: sıradan bir videonun
yüzeye vururkenki
14:03
while we bangpatlama on this surfaceyüzey,
237
831069
2136
yalnızca beş sâniyesi
14:05
and we're going to use
the vibrationstitreşimler in that videovideo
238
833205
3513
ve bu videodaki titreşimleri,
14:08
to learnöğrenmek about the structuralyapısal
and materialmalzeme propertiesözellikleri of our objectnesne,
239
836718
4544
nesnemizin yapı ve malzeme
özelliklerini öğrenmek için kullanacağız
14:13
and we're going to use that informationbilgi
to createyaratmak something newyeni and interactiveinteraktif.
240
841262
4834
ve bu bilgiyi yeni ve etkileşimli
bir şey oluşturmak için kullanacağız.
14:24
And so here'sburada what we'vebiz ettik createdoluşturulan.
241
852866
2653
Ve yaptığımız şey şöyle.
14:27
And it looksgörünüyor like a regulardüzenli imagegörüntü,
242
855519
2229
Sıradan bir görüntü gibi görünüyor,
14:29
but this isn't an imagegörüntü,
and it's not a videovideo,
243
857748
3111
ama bu bir görüntü değil,
bir video da değil,
14:32
because now I can take my mousefare
244
860859
2368
çünkü şimdi faremi alabilir
14:35
and I can startbaşlama interactingetkileşim
with the objectnesne.
245
863227
2859
ve nesneyle etkileşime geçebilirim.
14:44
And so what you see here
246
872936
2357
Burada gördüğünüz şey,
14:47
is a simulationsimülasyon of how this objectnesne
247
875389
2226
bu nesnenin daha önce hiç görmediğimiz
14:49
would respondyanıtlamak to newyeni forcesgüçler
that we'vebiz ettik never seengörüldü before,
248
877615
4458
yeni güçlere
nasıl tepki verdiğinin benzetimidir
14:54
and we createdoluşturulan it from just
fivebeş secondssaniye of regulardüzenli videovideo.
249
882073
3633
ve biz bunu sıradan bir videonun
yalnızca beş sâniyesinden oluşturduk.
14:59
(ApplauseAlkış)
250
887249
4715
(Alkış)
15:09
And so this is a really powerfulgüçlü
way to look at the worldDünya,
251
897421
3227
Ve bu dünyâmıza bakmak için
gerçekten güçlü bir yöntem,
15:12
because it letsHaydi us predicttahmin
how objectsnesneleri will respondyanıtlamak
252
900648
2972
çünkü nesnelerin yeni durumlara
nasıl tepki vereceğini
15:15
to newyeni situationsdurumlar,
253
903620
1823
tahmin etmemizi sağlıyor
15:17
and you could imaginehayal etmek, for instanceörnek,
looking at an oldeski bridgeköprü
254
905443
3473
ve örneğin, eski bir köprüye bakarak
15:20
and wonderingmerak ediyor what would happenolmak,
how would that bridgeköprü holdambar up
255
908916
3527
arabamla üstünden geçsem ne olur
diye düşündüğünüzü
15:24
if I were to drivesürücü my cararaba acrosskarşısında it.
256
912443
2833
hayâl edebilirsiniz.
15:27
And that's a questionsoru
that you probablymuhtemelen want to answerCevap
257
915276
2774
Ve bu muhtemelen, köprünün
üzerinde sürmeye başlamadan önce
15:30
before you startbaşlama drivingsürme
acrosskarşısında that bridgeköprü.
258
918050
2560
yanıtlamak isteyeceğiniz bir sorudur.
15:33
And of coursekurs, there are going to be
limitationssınırlamaları to this techniqueteknik,
259
921988
3272
Ve tabii ki, bu tekniğin
sınırları olacak,
15:37
just like there were
with the visualgörsel microphonemikrofon,
260
925260
2462
tıpkı görsel mikrofonda olduğu gibi,
15:39
but we foundbulunan that it worksEserleri
in a lot of situationsdurumlar
261
927722
3181
fakat ummayacağınız
birçok durumda
15:42
that you mightbelki not expectbeklemek,
262
930903
1875
işe yaradığını bulduk,
15:44
especiallyözellikle if you give it longeruzun videosvideolar.
263
932778
2768
özellikle uzun videolar çekerseniz.
15:47
So for exampleörnek,
here'sburada a videovideo that I capturedyakalanan
264
935546
2508
Örneğin, burada
apartmanımın dışındaki
15:50
of a bushçalı outsidedışında of my apartmentapartman,
265
938054
2299
çalıları çektiğim bir video var
15:52
and I didn't do anything to this bushçalı,
266
940353
3088
ve bu çalılığa hiçbir şey yapmadım,
15:55
but by capturingyakalama a minute-longdakikalık uzun videovideo,
267
943441
2705
ama bir dakîkalık uzunluktaki videoda,
15:58
a gentlenazik breezemeltem causedneden oldu enoughyeterli vibrationstitreşimler
268
946146
3378
hafif bir rüzgâr, bu benzetimi oluşturmak için
16:01
that we could learnöğrenmek enoughyeterli about this bushçalı
to createyaratmak this simulationsimülasyon.
269
949524
3587
çalı hakkında öğrenebileceğimiz
yeterli titreşimi sağladı.
16:07
(ApplauseAlkış)
270
955270
6142
(Alkış)
16:13
And so you could imaginehayal etmek givingvererek this
to a filmfilm directoryönetmen,
271
961412
2972
Ve bunu bir
film yönetmenine verdiğinizi
16:16
and lettingicar him controlkontrol, say,
272
964384
1719
ve yönetmenin, örneğin, rüzgârın
16:18
the strengthkuvvet and directionyön of windrüzgar
in a shotatış after it's been recordedkaydedilmiş.
273
966103
4922
yönünü ve şiddetini çekimden sonra
değiştirebildiğini hayâl edebilirsiniz.
16:24
Or, in this casedurum, we pointedişaretlendi our camerakamera
at a hangingasılı curtainperde,
274
972810
4535
Ya da şu örnekte, kameramızı
asılı bir perdeye doğrulttuk
16:29
and you can't even see
any motionhareket in this videovideo,
275
977345
4129
ve bu videoda hiçbir
hareket göremiyorsunuz,
16:33
but by recordingkayıt a two-minute-longiki dakikalık uzun videovideo,
276
981474
2925
ama iki dakîkalık bir video çekerek,
16:36
naturaldoğal airhava currentsakımlar in this roomoda
277
984399
2438
odadaki doğal hava akışı
16:38
createdoluşturulan enoughyeterli subtleince,
imperceptiblealgılanamaz motionshareketleri and vibrationstitreşimler
278
986837
4412
yeterli belirsiz, algılanamaz
hareket ve titreşimi sağladı
16:43
that we could learnöğrenmek enoughyeterli
to createyaratmak this simulationsimülasyon.
279
991249
2565
ve bu benzetimi oluşturmamıza
yetecek kadarını öğrendik.
16:48
And ironicallyironik,
280
996243
2366
Ve ne gariptir ki
16:50
we're kindtür of used to havingsahip olan
this kindtür of interactivityetkileşim
281
998609
3088
bir bakıma bu türde etkileşime
16:53
when it comesgeliyor to virtualsanal objectsnesneleri,
282
1001697
2647
sanal nesnelerde,
16:56
when it comesgeliyor to videovideo gamesoyunlar
and 3D modelsmodeller,
283
1004344
3297
bilgisayar oyunlarında ve
3B modellerde alışkınız,
16:59
but to be ableyapabilmek to captureele geçirmek this informationbilgi
from realgerçek objectsnesneleri in the realgerçek worldDünya
284
1007641
4404
ama bu bilgiyi
gerçek dünyâdaki gerçek nesnelerden,
17:04
usingkullanma just simplebasit, regulardüzenli videovideo,
285
1012045
2817
basit, sıradan videolar kullanarak
17:06
is something newyeni that has
a lot of potentialpotansiyel.
286
1014862
2183
kurtarmak, birçok potansiyeli olan
yeni bir şey.
17:10
So here are the amazingşaşırtıcı people
who workedişlenmiş with me on these projectsprojeler.
287
1018410
4904
Karşınızda bu projelerde benimle
çalışan inanılmaz insanlar.
17:16
(ApplauseAlkış)
288
1024057
5596
(Alkış)
17:24
And what I've showngösterilen you todaybugün
is only the beginningbaşlangıç.
289
1032819
3057
Ve bugün size gösterdiğim
yalnızca başlangıç.
17:27
We'veBiz ettik just startedbaşladı to scratchçizik the surfaceyüzey
290
1035876
2113
Bu türde görüntü işlemeyle
17:29
of what you can do
with this kindtür of imaginggörüntüleme,
291
1037989
2972
neler yapılabileceğinin
daha yalnızca yüzeyini kazıdık,
17:32
because it givesverir us a newyeni way
292
1040961
2286
çünkü bu bize; genel, erişilebilir
17:35
to captureele geçirmek our surroundingsçevre
with commonortak, accessibleulaşılabilir technologyteknoloji.
293
1043342
4724
teknolojiyle çevremizi kaydetmek için
yeni bir yol sağlıyor.
17:40
And so looking to the futuregelecek,
294
1048066
1929
Ve geleceğe bakınca, bu teknolojinin
17:41
it's going to be
really excitingheyecan verici to explorekeşfetmek
295
1049995
2037
dünyâmız hakkında
söyleyebileceklerini keşfetmek
17:44
what this can tell us about the worldDünya.
296
1052032
1856
gerçekten heyecan verici olacak.
17:46
Thank you.
297
1054381
1204
Teşekkür ederim.
17:47
(ApplauseAlkış)
298
1055610
6107
(Alkış)
Translated by Şâkir Aşçı
Reviewed by Ramazan Şen

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com