ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

آبي دافيز: تقنية الفيديو الجديدة التي تكشف الخصائص المخفية للكائن

Filmed:
1,482,525 views

حركة خفية تحدث من حولنا في كل وقت، بما في ذلك الاهتزازات الصغيرة الناجمة عن الصوت. تكنولوجيا جديدة تظهر أننا ممكن أن نتمكن من التقاط هذه الاهتزازات وفعلا إعادة إنشاء الصوت والمحادثات فقط من شريط فيديو . ولكن الآن ابي ديفيس يأخذ خطوة أبعد: ببرنامج تجريبي يسمح لأي شخص أن يتفاعل مع هذه الخصائص الخفية، فقط من شريط فيديو بسيط.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

أكثرنا يرى الحركة بإعتبارها شيئا بصريا فقط
00:13
Mostعظم of us think of motionاقتراح
as a very visualبصري thing.
0
1373
3349
00:17
If I walkسير acrossعبر this stageالمسرح
or gestureإيماءة with my handsأيادي while I speakتحدث,
1
5889
5088
لو مشيت عبر المسرح أو أشرت يدي بينما أتكلم
00:22
that motionاقتراح is something that you can see.
2
10977
2261
فتلك الحركة هي شئ يمكنكم رؤيته
00:26
But there's a worldالعالمية of importantمهم motionاقتراح
that's too subtleفصيح for the humanبشري eyeعين,
3
14255
5482
ولكن هناك عالم من الحركات المهمة
دقيقة جدا للعين البشرية
00:31
and over the pastالماضي fewقليل yearsسنوات,
4
19737
2041
وخلال السنوات القليلة الماضية
00:33
we'veقمنا startedبدأت to find that camerasكاميرات
5
21778
1997
بدأنا بمعرفة إن الكاميرا
00:35
can oftenغالبا see this motionاقتراح
even when humansالبشر can't.
6
23775
3410
تستطيع رؤية الحركة حتى لو لم يتمكن البشر
لذلك دعوني اريكم ما اعني
00:40
So let me showتبين you what I mean.
7
28305
1551
00:42
On the left here, you see videoفيديو
of a person'sالشخص wristمعصم,
8
30717
3622
هنا إلى اليسار ترون فلما عن معصم شخص ما
00:46
and on the right, you see videoفيديو
of a sleepingنائم infantرضيع,
9
34339
3147
وإلى اليمين ترون فلما عن طفلة نائمة
00:49
but if I didn't tell you
that these were videosأشرطة فيديو,
10
37486
3146
ولكن لو لم اخبركم بانها أفلام
00:52
you mightربما assumeافترض that you were looking
at two regularمنتظم imagesصور,
11
40632
3761
ستعتثدون إنكم تنظرون إلى صورتين إعتياديتين
00:56
because in bothكلا casesالحالات,
12
44393
1672
لأن في الحالتين
00:58
these videosأشرطة فيديو appearبدا to be
almostتقريبيا completelyتماما still.
13
46065
3047
يظهر هاذان الفلمان بأنهما ثابتان تماما
ولكن هناك الكثير من الحركات الدقيقة
01:02
But there's actuallyفعلا a lot
of subtleفصيح motionاقتراح going on here,
14
50175
3885
التي تحدث هنا
01:06
and if you were to touchلمس. اتصال. صلة
the wristمعصم on the left,
15
54060
2392
وإذا تحسستم المعصم الذي على اليسار
01:08
you would feel a pulseنبض,
16
56452
1996
كنتم ستشعرون بالنبض
01:10
and if you were to holdمعلق
the infantرضيع on the right,
17
58448
2485
ولو أمسكتم الطفلة التي على اليمين
01:12
you would feel the riseترتفع
and fallخريف of her chestصدر
18
60933
2391
لشعرتم بإرتفاع وإنخفاض صدرها
01:15
as she tookأخذ eachكل breathنفس.
19
63324
1390
بينما تأخذ أنفاسها
01:17
And these motionsالاقتراحات carryيحمل
a lot of significanceالدلالة,
20
65762
3576
وهذه الحركات تأخذ الكثير من الأهمية
01:21
but they're usuallyعادة
too subtleفصيح for us to see,
21
69338
3343
ولكنها عادة دقيقة جدا علينا لنراها
01:24
so insteadفي حين أن, we have to observeرصد them
22
72681
2276
وبدلا من ذلك علينا مراقبتها
01:26
throughعبر directمباشرة contactاتصل, throughعبر touchلمس. اتصال. صلة.
23
74957
2900
من خلال الأتصال المباشر أو اللمس المباشر
01:30
But a fewقليل yearsسنوات agoمنذ,
24
78997
1265
ولكن قبل بضع سنوات
01:32
my colleaguesالزملاء at MITMIT developedالمتقدمة
what they call a motionاقتراح microscopeمجهر,
25
80262
4405
قام زملائي بتطوير ما سموه بمجهر الحركة
01:36
whichالتي is softwareالبرمجيات that findsيجد
these subtleفصيح motionsالاقتراحات in videoفيديو
26
84667
4384
وهو برنامج يجد الحركة الدقيقة في الافلام
01:41
and amplifiesتضخيم them so that they
becomeيصبح largeكبير enoughكافية for us to see.
27
89051
3562
ويضخمها بما يجعلها كبيرة كفاية لنا لنراها
و لو استخدمنا البرنامج على الفلم الأيسر
01:45
And so, if we use theirهم softwareالبرمجيات
on the left videoفيديو,
28
93416
3483
01:48
it letsدعونا us see the pulseنبض in this wristمعصم,
29
96899
3250
يجعلنا نرى النبض في المعصم
01:52
and if we were to countعد that pulseنبض,
30
100149
1695
وإذا اردنا حساب ذلك النبض
01:53
we could even figureالشكل out
this person'sالشخص heartقلب rateمعدل.
31
101844
2355
يمكننا تحديد معدل النبض لهذا الشخص
ولو إستخدمنا نفس البرنامج على الفلم الأيمن
01:57
And if we used the sameنفسه softwareالبرمجيات
on the right videoفيديو,
32
105095
3065
02:00
it letsدعونا us see eachكل breathنفس
that this infantرضيع takes,
33
108160
3227
يمكننا أن نرى كل تنفس تقوم به الطفلة
02:03
and we can use this as a contact-freeخالية من اتصال way
to monitorمراقب her breathingتنفس.
34
111387
4137
ويمكننا هذا من مراقبة تنفسها دون لمسها
وبهذا فإن هذه التكنولوجبا قوية فعلا
02:08
And so this technologyتقنية is really powerfulقوي
because it takes these phenomenaالظواهر
35
116884
5348
لأنها تأخذ مثل هذه الظواهر
التي نمارسها عادة باللمس
02:14
that we normallyبشكل طبيعي have
to experienceتجربة throughعبر touchلمس. اتصال. صلة
36
122232
2367
02:16
and it letsدعونا us captureأسر them visuallyبصريا
and non-invasivelyغير جراحية..
37
124599
2957
وتسمح لنا بالتقاطها بصريا وبدون احتكاك
وهكذا ومنذ بضعة سنين
02:21
So a coupleزوجان yearsسنوات agoمنذ, I startedبدأت workingعامل
with the folksالناس that createdخلقت that softwareالبرمجيات,
38
129104
4411
بدأت بالعمل مع الذين وضعوا هذا البرنامج
وقررنا أن نتابع فكرة مجنونة
02:25
and we decidedقرر to pursueلاحق a crazyمجنون ideaفكرة.
39
133515
3367
رأينا إنها فكرة جيدة بأن نستخدم برنامجا
02:28
We thought, it's coolبارد
that we can use softwareالبرمجيات
40
136882
2693
02:31
to visualizeتصور tinyصغيرة جدا motionsالاقتراحات like this,
41
139575
3135
لأستيعاب حركات دقيقة مثل هذه
02:34
and you can almostتقريبيا think of it
as a way to extendتمديد our senseإحساس of touchلمس. اتصال. صلة.
42
142710
4458
ولنا أن تأخذها كطريقة لتوسيع حاسة لمسنا
02:39
But what if we could do the sameنفسه thing
with our abilityالقدرة to hearسمع?
43
147168
4059
ولكن ماذا لو أستطعنا عمل نفس الشيء
مع قدرتنا على السمع؟
ماذا لو تمكنا من إستخدام الأفلام
02:44
What if we could use videoفيديو
to captureأسر the vibrationsالاهتزازات of soundصوت,
44
152508
4665
لأاتقاط ذبذبات الصوت
والتي هي ليست إلا نوع آخر من الحركة
02:49
whichالتي are just anotherآخر kindطيب القلب of motionاقتراح,
45
157173
2827
02:52
and turnمنعطف أو دور everything that we see
into a microphoneميكروفون?
46
160000
3346
وتحويل كل ما نراه إلى ميكروفون
02:56
Now, this is a bitقليلا of a strangeغريب ideaفكرة,
47
164236
1971
وهذه حقا فكرة غريبة قليلا
02:58
so let me try to put it
in perspectiveإنطباع for you.
48
166207
2586
لذا دعوني أضعها بالشكل الصحيح لكم
03:01
Traditionalتقليدي microphonesالميكروفونات
work by convertingالتحول the motionاقتراح
49
169523
3488
لميكروفون العادي يعمل بتحويل الحركة
03:05
of an internalداخلي diaphragmالاعجاز
into an electricalالكهرباء signalإشارة,
50
173011
3599
لغشاء داخلي إلى إشارة كهربائية
03:08
and that diaphragmالاعجاز is designedتصميم
to moveنقل readilyبسهولة with soundصوت
51
176610
4318
وهذا الغشاء مصمم للحركة بسهولة تبعا للصوت
03:12
so that its motionاقتراح can be recordedمسجل
and interpretedتفسير as audioسمعي.
52
180928
4807
بحيث يمكن تسجيل حركته و ترجمتها إلى صوت
03:17
But soundصوت causesالأسباب all objectsشاء to vibrateتذبذب.
53
185735
3668
ولكن الصوت يسبب ذبذبة جميع الأجسام
03:21
Those vibrationsالاهتزازات are just usuallyعادة
too subtleفصيح and too fastبسرعة for us to see.
54
189403
5480
وهذه الذبذبات عادة تكون دقيقة جدا
وسريعة جدا لنا لنراها
03:26
So what if we recordسجل them
with a high-speedالسرعه العاليه cameraالة تصوير
55
194883
3738
أي إننا عندما نسجلها بكاميرا ذات سرع عالية
03:30
and then use softwareالبرمجيات
to extractاستخراج tinyصغيرة جدا motionsالاقتراحات
56
198621
3576
ونستخدم البرنامج لأستخلاص الحركات الدقيقة
03:34
from our high-speedالسرعه العاليه videoفيديو,
57
202197
2090
من فلمنا العالي السرعة
03:36
and analyzeتحليل those motionsالاقتراحات to figureالشكل out
what soundsاصوات createdخلقت them?
58
204287
4274
ثم نحلل هذه الحركات
لنجد أي صوت هو الذي سبّبها؟
وهذا يسمح لنا بتحويل الأشياء المنظورة
03:41
This would let us turnمنعطف أو دور visibleمرئي objectsشاء
into visualبصري microphonesالميكروفونات from a distanceمسافه: بعد.
59
209859
5449
إلى مكروفونات بصرية بعيدة
03:49
And so we triedحاول this out,
60
217080
2183
وهكذا جربنا ذلك
03:51
and here'sمن هنا one of our experimentsتجارب,
61
219263
1927
وهذه واحدة من إحدى تجاربنا
03:53
where we tookأخذ this pottedبوعاء plantنبات
that you see on the right
62
221190
2949
حيث أخذنا نبتة مزروعة نراها على اليمين
03:56
and we filmedصور it with a high-speedالسرعه العاليه cameraالة تصوير
63
224139
2438
وصورناها بكاميرا عالية السرعة
03:58
while a nearbyمجاوز loudspeakerمكبر الصوت
playedلعب this soundصوت.
64
226577
3529
بينما كان مكبر صوت مجاور يظهر الصوت
(موسيقى بأغنية أطفال)
04:02
(Musicموسيقى: "Maryمريم العذراء Had a Little Lambعدس")
65
230275
8190
04:11
And so here'sمن هنا the videoفيديو that we recordedمسجل,
66
239820
2824
وههذا هو الفيديو الذي سجلناه
04:14
and we recordedمسجل it at thousandsالآلاف
of framesإطارات perلكل secondثانيا,
67
242644
3924
وصورناه بسرعة عدة ألاف من الأطر بالثانية
04:18
but even if you look very closelyبعناية,
68
246568
2322
ولكن حتى إذا نظرت إليه عن قرب
04:20
all you'llعليك see are some leavesاوراق اشجار
69
248890
1951
سترى أن هناك بعض الاوراق
04:22
that are prettyجميلة much
just sittingجلسة there doing nothing,
70
250841
3065
لا تفعل شيئا سوى البقاء ساكنة
04:25
because our soundصوت only movedانتقل those leavesاوراق اشجار
by about a micrometerميكرومتر.
71
253906
4806
لأن الصوت لم يحرك هذه الأوراق
إلا أقل من ميكروميتر
04:31
That's one ten-thousandth، عشرة آلاف of a centimeterسنتيمتر,
72
259103
4276
وهو جزء من عشرة آلاف من السنتمتر
04:35
whichالتي spansيمتد somewhereمكان ما betweenما بين
a hundredthجزء من مئة and a thousandthجزء من ألف
73
263379
4156
والذي يمتد بين واحد بالمائة وواحد بالألف
04:39
of a pixelبكسل in this imageصورة.
74
267535
2299
من البكسل من هذه الصورة
04:41
So you can squintالحول all you want,
75
269881
2887
ويمكنك أن تحدق كما تريد
04:44
but motionاقتراح that smallصغير is prettyجميلة much
perceptuallyادراكي invisibleغير مرئى.
76
272768
3335
ولكن حركة بهذا الصغر تبقى غير قابلة للرؤية
04:49
But it turnsيتحول out that something
can be perceptuallyادراكي invisibleغير مرئى
77
277667
4157
غير إنه ظهر إن هناك شيئا يمكن رؤيته
04:53
and still be numericallyعدديا significantكبير,
78
281824
2809
ويبقى رقميا شيئا مهما
04:56
because with the right algorithmsخوارزميات,
79
284633
2002
لأننا باستخدام الخوارزمية الصحيحة
04:58
we can take this silentصامت,
seeminglyعلى ما يبدو still videoفيديو
80
286635
3687
لأننا سنأخذ الفلم الصامت الذي يبدو ساكنا
05:02
and we can recoverاستعادة this soundصوت.
81
290322
1527
ونستطيع استعادة ذلك الصوت
05:04
(Musicموسيقى: "Maryمريم العذراء Had a Little Lambعدس")
82
292690
7384
(موسيقى أطفال )
05:12
(Applauseتصفيق)
83
300074
5828
(تصفيق)
كيف كان ذلك ممكنا ؟
05:22
So how is this possibleممكن?
84
310058
1939
كيف تمكنا من الحصول على هذا القدر
05:23
How can we get so much informationمعلومات
out of so little motionاقتراح?
85
311997
4344
من المعلومات من هذه الحركة القليلة؟
05:28
Well, let's say that those leavesاوراق اشجار
moveنقل by just a singleغير مرتبطة micrometerميكرومتر,
86
316341
5361
حسنا، لنقل بأن هذه الأوراق
تحركت ميكروميترا واحدا
05:33
and let's say that that shiftsالتحولات our imageصورة
by just a thousandthجزء من ألف of a pixelبكسل.
87
321702
4308
ولنقل بأن ذلك سيحرك الصورة
بمقدار واحد بالألف من البكسل
05:39
That mayقد not seemبدا like much,
88
327269
2572
ولا يبدو هذا كثيرا
05:41
but a singleغير مرتبطة frameالإطار of videoفيديو
89
329841
1996
ولكن صورة واحدة من الفلم الفيديو
05:43
mayقد have hundredsالمئات of thousandsالآلاف
of pixelsبكسل in it,
90
331837
3257
يمكن ن يكون فيها مئات الآلاف من البكسلات
05:47
and so if we combineدمج all
of the tinyصغيرة جدا motionsالاقتراحات that we see
91
335094
3454
لذلك اذا أدمجنا جميع الحركات الدقيقة
05:50
from acrossعبر that entireكامل imageصورة,
92
338548
2298
التي نشاهدها عبر الصورة بكاملها
05:52
then suddenlyفجأة a thousandthجزء من ألف of a pixelبكسل
93
340846
2623
و فجأة يمكن لواحد بالألف من البكسل
05:55
can startبداية to addإضافة up
to something prettyجميلة significantكبير.
94
343469
2775
أن يبدأ ليكون شيئا مهما جدا
05:58
On a personalالشخصية noteملحوظة, we were prettyجميلة psychedمتحمسا
when we figuredأحسب this out.
95
346870
3635
وأقول بأننا أصبنا بالجنون عندما عرفنا ذلك
06:02
(Laughterضحك)
96
350505
2320
(ضحك)
06:04
But even with the right algorithmخوارزمية,
97
352825
3253
ولكن حتى مع الخوارزمية الصحيحة
06:08
we were still missingمفقود
a prettyجميلة importantمهم pieceقطعة of the puzzleلغز.
98
356078
3617
لا نزال نفتقد جزءا مهما من الحزورة
06:11
You see, there are a lot of factorsالعوامل
that affectتؤثر when and how well
99
359695
3604
ترون إن هناك العديد من العوامل تؤثر في
06:15
this techniqueتقنية will work.
100
363299
1997
متى وكيف ستعمل هذه التقنية
06:17
There's the objectموضوع and how farبعيدا away it is;
101
365296
3204
هناك الموضوع وكم يبعد
06:20
there's the cameraالة تصوير
and the lensعدسة that you use;
102
368500
2394
هناك الكاميرا والعدسة المستعملة
06:22
how much lightضوء is shiningساطع on the objectموضوع
and how loudبصوت عال your soundصوت is.
103
370894
4091
كمبة الضوء النازل على الجسم و إرتفاع الصوت
06:27
And even with the right algorithmخوارزمية,
104
375945
3375
وحتى مع الخوارزمية الصحيحة
06:31
we had to be very carefulحذر
with our earlyمبكرا experimentsتجارب,
105
379320
3390
يجب أن نعتني جدا بتجاربنا الأولية
06:34
because if we got
any of these factorsالعوامل wrongخطأ,
106
382710
2392
إذ لو إخترنا أي من هذه العوامل بشكل خاطئ
06:37
there was no way to tell
what the problemمشكلة was.
107
385102
2368
لن نتمكن من معرفة ماذا كانت المشكلة
06:39
We would just get noiseالضوضاء back.
108
387470
2647
وسنحصل على ضجيج فقط
06:42
And so a lot of our earlyمبكرا
experimentsتجارب lookedبدا like this.
109
390117
3320
وهكذا بدت العديد من تجاربنا الأولية
06:45
And so here I am,
110
393437
2206
وها أنا الآن
06:47
and on the bottomالأسفل left, you can kindطيب القلب of
see our high-speedالسرعه العاليه cameraالة تصوير,
111
395643
4040
وعلى اليسار تشاهدون الكاميرا عالية السرعة
06:51
whichالتي is pointedيشير الى at a bagحقيبة of chipsرقائق,
112
399683
2183
تشير إلى كيس من الرقاقات
06:53
and the wholeكامل thing is litأشعل
by these brightمشرق lampsمصابيح.
113
401866
2949
وكل شئ مضاء بهذه المصابيح القوية
06:56
And like I said, we had to be
very carefulحذر in these earlyمبكرا experimentsتجارب,
114
404815
4365
وكما قلت يجب أن نهتم بهذه التجارب الأولية
07:01
so this is how it wentذهب down.
115
409180
2508
وهكذا جرت التجربة أخيرا
07:03
(Videoفيديو) Abeابي Davisديفيس: Threeثلاثة, two, one, go.
116
411688
3761
ئيب ديفز: ثلاثة إثنين واحد إبدأ
07:07
Maryمريم العذراء had a little lambعدس!
Little lambعدس! Little lambعدس!
117
415449
5387
أغنية أطفال
07:12
(Laughterضحك)
118
420836
4500
(ضحك)
07:17
ADميلادي: So this experimentتجربة
looksتبدو completelyتماما ridiculousسخيف.
119
425336
2814
إذا تبدو هذه التجربة سخيفة تماما
07:20
(Laughterضحك)
120
428150
1788
(ضحك)
07:21
I mean, I'm screamingصراخ at a bagحقيبة of chipsرقائق --
121
429938
2345
أقصد إنني أصرخ على كيس من الرقاقات
07:24
(Laughterضحك) --
122
432283
1551
(ضحك)
07:25
and we're blastingنسف it with so much lightضوء,
123
433834
2117
ونحن نحاول تدميرها بهذه الكمية من الضوء
07:27
we literallyحرفيا meltedالذائب the first bagحقيبة
we triedحاول this on. (Laughterضحك)
124
435951
4479
وبالفعل فقد أذبنا الكيس الأول
الذي أجرينا التجربة عليه (ضحك)
ولكن مهما بدت التجربة سخيفة
07:32
But ridiculousسخيف as this experimentتجربة looksتبدو,
125
440525
3274
07:35
it was actuallyفعلا really importantمهم,
126
443799
1788
فقد كانت فعلا مهمة جدا
07:37
because we were ableقادر
to recoverاستعادة this soundصوت.
127
445587
2926
لأننا إستطعنا إستعادة هذا الصوت
07:40
(Audioسمعي) Maryمريم العذراء had a little lambعدس!
Little lambعدس! Little lambعدس!
128
448513
4712
صوت أغنية الاطفال
07:45
(Applauseتصفيق)
129
453225
4088
(تصفيق)
07:49
ADميلادي: And this was really significantكبير,
130
457313
1881
وكان هذا مهما فعلا
07:51
because it was the first time
we recoveredتعافى intelligibleواضح humanبشري speechخطاب
131
459194
4119
لأنها كانت المرة الأولى
التي إستعدنا فيها كلاما بشريا مفهوما
من الفلم الصامت لشيء ما
07:55
from silentصامت videoفيديو of an objectموضوع.
132
463424
2341
07:57
And so it gaveأعطى us this pointنقطة of referenceمرجع,
133
465765
2391
وهكذا أعطتنا نقطة للبداية
08:00
and graduallyتدريجيا we could startبداية
to modifyتعديل the experimentتجربة,
134
468156
3871
وتدريجيا بدأنا بتطوير التجربة
بإستخدام مواضيع مختلفة
08:04
usingاستخدام differentمختلف objectsشاء
or movingمتحرك the objectموضوع furtherبالإضافة إلى ذلك away,
135
472106
3805
أو تغيير موضعها وبعدها
08:07
usingاستخدام lessأقل lightضوء or quieterأكثر هدوءا soundsاصوات.
136
475911
2770
وإستخدام ضوء أقل أو اصوات أهدأ
وقمنا بتحليل كل هذه التجارب
08:11
And we analyzedتحليل all of these experimentsتجارب
137
479887
2874
08:14
untilحتى we really understoodفهم
the limitsحدود of our techniqueتقنية,
138
482761
3622
حتى فهمنا فعلا حدود تقنياتنا
08:18
because onceذات مرة we understoodفهم those limitsحدود,
139
486383
1950
وما أن فهمنا هذه الحدود
08:20
we could figureالشكل out how to pushإدفع them.
140
488333
2346
فقد عرفنا كيف نوسعها
08:22
And that led to experimentsتجارب like this one,
141
490679
3181
وقادنا هذا إلى تجارب مثل هذه
08:25
where again, I'm going to speakتحدث
to a bagحقيبة of chipsرقائق,
142
493860
2739
حيث سأعود مجددا للتكلم مع كيس رقاقات
08:28
but this time we'veقمنا movedانتقل our cameraالة تصوير
about 15 feetأقدام away,
143
496599
4830
لكن هذه المرة ابعدنا الكاميرا 15 قدما
08:33
outsideفي الخارج, behindخلف a soundproofعازل للصوت windowنافذة او شباك,
144
501429
2833
وفي الخارج من خلف نافذة عازلة للصوت
08:36
and the wholeكامل thing is litأشعل
by only naturalطبيعي >> صفة sunlightضوء الشمس.
145
504262
2803
وكان كل شيء مضاءا بنور الشمس الطبيعي فقط
والأن ها هو الفيديو الذي حصلنا عليه
08:40
And so here'sمن هنا the videoفيديو that we capturedالقبض.
146
508529
2155
08:44
And this is what things soundedبدا like
from insideفي داخل, nextالتالى to the bagحقيبة of chipsرقائق.
147
512450
4559
وهذا ما بدا مسموعا من الداخل
من قرب كيس الرقاقات
08:49
(Audioسمعي) Maryمريم العذراء had a little lambعدس
whoseملك من fleeceالصوف was whiteأبيض as snowثلج,
148
517009
5038
صوت أغنية الأطفال
08:54
and everywhereفي كل مكان that Maryمريم العذراء wentذهب,
that lambعدس was sure to go.
149
522047
5619
08:59
ADميلادي: And here'sمن هنا what we were ableقادر
to recoverاستعادة from our silentصامت videoفيديو
150
527666
4017
وهذا ما أمكننا إستعادته من الفيديو الصامت
09:03
capturedالقبض outsideفي الخارج behindخلف that windowنافذة او شباك.
151
531683
2345
الذي صورناه من الخارج من خلف تلك النافذة
09:06
(Audioسمعي) Maryمريم العذراء had a little lambعدس
whoseملك من fleeceالصوف was whiteأبيض as snowثلج,
152
534028
4435
صوت أغنية الأطفال
09:10
and everywhereفي كل مكان that Maryمريم العذراء wentذهب,
that lambعدس was sure to go.
153
538463
5457
(تصفيق)
09:15
(Applauseتصفيق)
154
543920
6501
إعلان: وهناك طرق أخرى نستطيع بها
09:22
ADميلادي: And there are other waysطرق
that we can pushإدفع these limitsحدود as well.
155
550421
3542
دفع هذه الحدود ابعد وابعد
09:25
So here'sمن هنا a quieterأكثر هدوءا experimentتجربة
156
553963
1798
وإليكم هنا تجربة أهدأ
09:27
where we filmedصور some earphonesسماعات
pluggedمسدود into a laptopحاسوب محمول computerالحاسوب,
157
555761
4110
حيث صورنا سماعات أذنية مركبة على حاسبة
09:31
and in this caseقضية, our goalهدف was to recoverاستعادة
the musicموسيقى that was playingتلعب on that laptopحاسوب محمول
158
559871
4110
وفي هذه الحالة كان هدفنا إستعادة موسيقى
09:35
from just silentصامت videoفيديو
159
563981
2299
تدور على الحاسبة من فيديو صامت
09:38
of these two little plasticبلاستيك earphonesسماعات,
160
566280
2507
ومن سماعتي الأذن البلاستيكية الصغيرة هذه
09:40
and we were ableقادر to do this so well
161
568787
2183
تمكنا من القيام بهذا جيدا
09:42
that I could even Shazamالصويغ our resultsالنتائج.
162
570970
2461
بحيث كان يمكن أن أنشر النتائج
09:45
(Laughterضحك)
163
573431
2411
(ضحك)
09:49
(Musicموسيقى: "Underتحت Pressureالضغط" by Queenملكة)
164
577191
10034
(موسيقى)
10:01
(Applauseتصفيق)
165
589615
4969
(تصفيق)
كما إننا نستطيع دفع الأمور والتوسع
10:06
And we can alsoأيضا pushإدفع things
by changingمتغير the hardwareالمعدات that we use.
166
594584
4551
بإستبدال أجهزتنا التي نستعملها
10:11
Because the experimentsتجارب
I've shownأظهرت you so farبعيدا
167
599135
2461
لأن التجارب التي قمنا بها لحد الآن
10:13
were doneفعله with a cameraالة تصوير,
a high-speedالسرعه العاليه cameraالة تصوير,
168
601596
2322
تمت بكاميرا ذات سرعة عالية
10:15
that can recordسجل videoفيديو
about a 100 timesمرات fasterبسرعة
169
603918
2879
تستطيع تصوير وتسجيل الفيديو 100 مرة اسرع
10:18
than mostعظم cellخلية - زنزانة phonesالهواتف,
170
606797
1927
من أكثر الهواتف الخلوية
10:20
but we'veقمنا alsoأيضا foundوجدت a way
to use this techniqueتقنية
171
608724
2809
ولكننا وجدنا ايضا طريقة
10:23
with more regularمنتظم camerasكاميرات,
172
611533
2230
لإستخدام هذه التقنية بكاميرات عادية أكثر
10:25
and we do that by takingمع الأخذ advantageأفضلية
of what's calledمسمي a rollingلف shutterمصراع.
173
613763
4069
و بذلك بالإستفادة مما يسمى المغلاق الدوار
تعرفون إن معظم الكاميرات تسجل الصور
10:29
You see, mostعظم camerasكاميرات
recordسجل imagesصور one rowصف at a time,
174
617832
4798
بصف واحد كل مرة
10:34
and so if an objectموضوع movesالتحركات
duringأثناء the recordingتسجيل of a singleغير مرتبطة imageصورة,
175
622630
5702
لهذا إذا تحرك الشيء خلال تسجيل صورة واحدة
10:40
there's a slightطفيف time delayتأخير
betweenما بين eachكل rowصف,
176
628344
2717
سيكون هناك تأخير طفيف بين كل صف
10:43
and this causesالأسباب slightطفيف artifactsالآثار
177
631061
3157
ويسبب هذا حركة طفيفة
10:46
that get codedمشفرة into eachكل frameالإطار of a videoفيديو.
178
634218
3483
تتحول إلى رمز في كل إطار من ذلك الفيديو
10:49
And so what we foundوجدت
is that by analyzingتحليل these artifactsالآثار,
179
637701
3806
ووجدنا إننا بتحليل هذه الحركات الطفيفة
10:53
we can actuallyفعلا recoverاستعادة soundصوت
usingاستخدام a modifiedتم التعديل versionالإصدار of our algorithmخوارزمية.
180
641507
4615
سنتمكن فعلا من إستعادة الصوت
بإستخدام نسخة مطورة من الخوارزمية
10:58
So here'sمن هنا an experimentتجربة we did
181
646122
1912
وإليكم التجربة التي قمنا بها
11:00
where we filmedصور a bagحقيبة of candyحلويات
182
648034
1695
حيث صورنا كيسا من الحلويات
11:01
while a nearbyمجاوز loudspeakerمكبر الصوت playedلعب
183
649729
1741
بينما كان مكبر صوت قريب يعمل
11:03
the sameنفسه "Maryمريم العذراء Had a Little Lambعدس"
musicموسيقى from before,
184
651470
2972
ونفس أغنية الأطفال السابقة
11:06
but this time, we used just a regularمنتظم
store-boughtمخزن اشترى cameraالة تصوير,
185
654442
4203
ولكننا هذه المرة إستخدمنا كاميرا عادية
إشتريناها من مخزن
11:10
and so in a secondثانيا, I'll playلعب for you
the soundصوت that we recoveredتعافى,
186
658645
3174
وهكذا سأعرض عليكم خلال ثواني
الصوت الذي إستعدناه
11:13
and it's going to soundصوت
distortedالمحرفة this time,
187
661819
2050
لكنه سيبدو مشوها هذه المرة
11:15
but listen and see if you can still
recognizeتعرف the musicموسيقى.
188
663869
2836
ولكن إسمعوا وإعرفوا إذا كان بإمكانكم
تمييز هذه الموسيقى
11:19
(Audioسمعي: "Maryمريم العذراء Had a Little Lambعدس")
189
667723
6223
11:37
And so, again, that soundsاصوات distortedالمحرفة,
190
685527
3465
وهكذا من جديد يبدو الصوت مشوها
11:40
but what's really amazingرائعة حقا here
is that we were ableقادر to do this
191
688992
4386
ولكن العجيب هنا إننا إستطعنا القيام بذلك
11:45
with something
that you could literallyحرفيا runيركض out
192
693378
2626
بشيء كان يمكن أن نفقده
11:48
and pickقطف او يقطف up at a Bestالأفضل Buyيشترى.
193
696004
1444
ونشتري آخر منه من اي محزن
11:51
So at this pointنقطة,
194
699122
1363
هذه هي النقطة
11:52
a lot of people see this work,
195
700485
1974
الكثير من الناس يشاهدون هذا العمل
11:54
and they immediatelyفورا think
about surveillanceمراقبة.
196
702459
3413
ويفكرون بالمراقبة
11:57
And to be fairمعرض,
197
705872
2415
ولنكن منصفين
12:00
it's not hardالصعب to imagineتخيل how you mightربما use
this technologyتقنية to spyالجاسوس on someoneشخصا ما.
198
708287
4133
ليس من الصعب أن تتخيل استخدام هذه التقنية
للتجسس على شخص ما
12:04
But keep in mindعقل that there's alreadyسابقا
a lot of very matureناضج technologyتقنية
199
712420
3947
ولكن يجب أن تعرف بأن هناك تقنيات أكثر نضجا
12:08
out there for surveillanceمراقبة.
200
716367
1579
تستخدم حاليا للمراقبة
12:09
In factحقيقة, people have been usingاستخدام lasersالليزر
201
717946
2090
في الواقع إن الناس بدأت بإستخدام الليزر
12:12
to eavesdropتجسس on objectsشاء
from a distanceمسافه: بعد for decadesعقود.
202
720036
2799
للتنصت على الناس من مسافات بعيدة قبل عقود
ولكن الجديد هنا فعلا
12:15
But what's really newالجديد here,
203
723978
2025
12:18
what's really differentمختلف,
204
726003
1440
والمختلف هنا فعلا
12:19
is that now we have a way
to pictureصورة the vibrationsالاهتزازات of an objectموضوع,
205
727443
4295
إن لدينا الآن طريقة لتصوير ذبذبات شيء ما
12:23
whichالتي givesيعطي us a newالجديد lensعدسة
throughعبر whichالتي to look at the worldالعالمية,
206
731738
3413
مما يعطينا عدسات جديدة ننظر خلالها للعالم
12:27
and we can use that lensعدسة
207
735151
1510
ونستطيع غستخدام هذه العدسات
12:28
to learnتعلم not just about forcesالقوات like soundصوت
that causeسبب an objectموضوع to vibrateتذبذب,
208
736661
4899
لنتعلم ليس فقط عن القوى
التي تجعل الشياء تتذبذب مثل الصوت
12:33
but alsoأيضا about the objectموضوع itselfبحد ذاتها.
209
741560
2288
ولكن عن الشيء نفسه
لذا أريد أن اعود خطوة إلى الوراء
12:36
And so I want to take a stepخطوة back
210
744975
1693
12:38
and think about how that mightربما changeيتغيرون
the waysطرق that we use videoفيديو,
211
746668
4249
والتفكير في كيف إننا قد نغير
أساليب إستخدامنا للفيديو
12:42
because we usuallyعادة use videoفيديو
to look at things,
212
750917
3553
لأننا عادة نستخدم الفيديو لننظر الى الأشياء
12:46
and I've just shownأظهرت you how we can use it
213
754470
2322
بينما عرضت عليكم كيف يمكن إستخدامها
12:48
to listen to things.
214
756792
1857
للأستماع إلى الاشياء
12:50
But there's anotherآخر importantمهم way
that we learnتعلم about the worldالعالمية:
215
758649
3971
ولكن هناك طريقة أخرى مهمة
يمكن معرفة العالم بها
12:54
that's by interactingالتفاعل with it.
216
762620
2275
وذلك بالتفاعل معه
12:56
We pushإدفع and pullسحب. شد and pokeنكز and prodهمز things.
217
764895
3111
نحن ندفع ونسحب ونلكز ونحث الشياء
13:00
We shakeهزة things and see what happensيحدث.
218
768006
3181
نحن نهز الأشياء و نرى ما يحدث
13:03
And that's something that videoفيديو
still won'tمتعود let us do,
219
771187
4273
وهذه أشياء لا يسمح لنا الفيديو القيام بها
على الأقل ليس تقليديا
13:07
at leastالأقل not traditionallyتقليديا.
220
775460
2136
13:09
So I want to showتبين you some newالجديد work,
221
777596
1950
اذلك أريد أن أعرض عليكم عملا جديدا
13:11
and this is basedعلى أساس on an ideaفكرة I had
just a fewقليل monthsالشهور agoمنذ,
222
779546
2667
وأساسها فكرة جاءتني قبل بضعة شهور
وهذه فعلا أول مرة أريها لمشاهدين عامة
13:14
so this is actuallyفعلا the first time
I've shownأظهرت it to a publicعامة audienceجمهور.
223
782213
3301
والفكرة الاساسية هي إننا
13:17
And the basicالأساسية ideaفكرة is that we're going
to use the vibrationsالاهتزازات in a videoفيديو
224
785514
5363
سنستخدم الذبذبات في فيديو
13:22
to captureأسر objectsشاء in a way
that will let us interactتفاعل with them
225
790877
4481
لتصوير أشياء بطريقة تجعلنا نتفاعل معها
13:27
and see how they reactتتفاعل to us.
226
795358
1974
ولنرى كيف تتفاعل معنا
13:31
So here'sمن هنا an objectموضوع,
227
799120
1764
هاكم أحد المواضيع أو الأجسام
13:32
and in this caseقضية, it's a wireالأسلاك figureالشكل
in the shapeشكل of a humanبشري,
228
800884
3832
و هو جسم من الأسلاك على شكل إنسان
13:36
and we're going to filmفيلم that objectموضوع
with just a regularمنتظم cameraالة تصوير.
229
804716
3088
وسنصور هذا الجسم بكاميرا عادية
13:39
So there's nothing specialخاص
about this cameraالة تصوير.
230
807804
2124
ولا يوجد شيء خاص بهذه الكاميرا
13:41
In factحقيقة, I've actuallyفعلا doneفعله this
with my cellخلية - زنزانة phoneهاتف before.
231
809928
2961
وفي الواقع قمت بذلك سابقا بهاتفي الخلوي
13:44
But we do want to see the objectموضوع vibrateتذبذب,
232
812889
2252
ولكننا نريد أن نرى الجسم يتذبذب
13:47
so to make that happenيحدث,
233
815141
1133
ولنجعل ذلك يحدث
13:48
we're just going to bangانفجار a little bitقليلا
on the surfaceسطح - المظهر الخارجي where it's restingيستريح
234
816274
3346
سنقرع قليلا على السطح الذي يستقر عليه
13:51
while we recordسجل this videoفيديو.
235
819620
2138
بينما نسجل هذا الفيديو
13:59
So that's it: just fiveخمسة secondsثواني
of regularمنتظم videoفيديو,
236
827398
3671
وهذا كل شيء فقط خمس ثواني من فيديو إعتيادي
14:03
while we bangانفجار on this surfaceسطح - المظهر الخارجي,
237
831069
2136
بينما نحن نقرع على السطح
14:05
and we're going to use
the vibrationsالاهتزازات in that videoفيديو
238
833205
3513
وسنستخدم الذبذبة في ذلك الفيديو
14:08
to learnتعلم about the structuralالهيكلي
and materialمواد propertiesالخصائص of our objectموضوع,
239
836718
4544
لنعرف عن خواص هيكلية ومواد ذلك الجسم
14:13
and we're going to use that informationمعلومات
to createخلق something newالجديد and interactiveمتفاعل.
240
841262
4834
و بتلك الخواص نصنع شيئا جديدا وتفاعليا
14:24
And so here'sمن هنا what we'veقمنا createdخلقت.
241
852866
2653
وهكذا إليكم ما صنعناه
14:27
And it looksتبدو like a regularمنتظم imageصورة,
242
855519
2229
ويبدو مثل اي صورة عادية
14:29
but this isn't an imageصورة,
and it's not a videoفيديو,
243
857748
3111
ولكن هذه ليست صورة كما إنها ليست فيديو
14:32
because now I can take my mouseالفأر
244
860859
2368
لأنني استطيع إستخدام فارة الحاسبة
14:35
and I can startبداية interactingالتفاعل
with the objectموضوع.
245
863227
2859
والتفاعل مع هذا الشيء
14:44
And so what you see here
246
872936
2357
لذلك فإن ما ترونه هنا
هو محاكاة لكيفية لستجابة
14:47
is a simulationمحاكاة of how this objectموضوع
247
875389
2226
14:49
would respondرد to newالجديد forcesالقوات
that we'veقمنا never seenرأيت before,
248
877615
4458
هذا الجسم لقوى جديدة لم يشاهدها قبلا
14:54
and we createdخلقت it from just
fiveخمسة secondsثواني of regularمنتظم videoفيديو.
249
882073
3633
وهذا ما صنعناه من خمس ثواني فيديو عادي فقط
(تصفيق)
14:59
(Applauseتصفيق)
250
887249
4715
15:09
And so this is a really powerfulقوي
way to look at the worldالعالمية,
251
897421
3227
وبالفعل فهذه طريقة فعالة
ننظر بها الى العالم
15:12
because it letsدعونا us predictتنبؤ
how objectsشاء will respondرد
252
900648
2972
لأنها تسمح لكم بالتنبؤ برد فعل الأجسام
15:15
to newالجديد situationsمواقف,
253
903620
1823
للأوضاع الجديدة
15:17
and you could imagineتخيل, for instanceحتة,
looking at an oldقديم bridgeجسر
254
905443
3473
فيمكن لك أن تتصور مثلا النظر الى جسر قديم
15:20
and wonderingيتساءل what would happenيحدث,
how would that bridgeجسر holdمعلق up
255
908916
3527
وأن تتخيل ماذا سيحدث وكم سيتحمل ذلك الجسر
15:24
if I were to driveقيادة my carسيارة acrossعبر it.
256
912443
2833
إذا أردت قيادة سيارتي عبره
15:27
And that's a questionسؤال
that you probablyالمحتمل want to answerإجابة
257
915276
2774
وهذا سؤال قد تريد الإجابة عليه
15:30
before you startبداية drivingالقيادة
acrossعبر that bridgeجسر.
258
918050
2560
قبل القيادة عبر هذا الجسر
15:33
And of courseدورة, there are going to be
limitationsمحددات to this techniqueتقنية,
259
921988
3272
وبالطبع سيكون ناك تحديدات لهذه التقنية
15:37
just like there were
with the visualبصري microphoneميكروفون,
260
925260
2462
كما كانت للميكرفون البصري
15:39
but we foundوجدت that it worksأعمال
in a lot of situationsمواقف
261
927722
3181
لكننا وجدنا إنها تعمل في الكثير من الحالات
15:42
that you mightربما not expectتوقع,
262
930903
1875
التي قد لا تتوقعها
15:44
especiallyخصوصا if you give it longerطويل videosأشرطة فيديو.
263
932778
2768
خاصة اذا اعطيتها فيديوات أطول
15:47
So for exampleمثال,
here'sمن هنا a videoفيديو that I capturedالقبض
264
935546
2508
مثلا هذا فيديو أنا صورته
15:50
of a bushدفع outsideفي الخارج of my apartmentشقة,
265
938054
2299
لشجيرات خارج شقتي
15:52
and I didn't do anything to this bushدفع,
266
940353
3088
ولم افعل شيئا لهذه ااشجيرات
15:55
but by capturingاسر a minute-longلمدة دقيقة videoفيديو,
267
943441
2705
لكن عند إلتقاطي الفيديو ذو الدقيقة الواحدة
15:58
a gentleلطيف breezeنسيم causedتسبب enoughكافية vibrationsالاهتزازات
268
946146
3378
سبب بعض النسيم ذبذبة كافية
16:01
that we could learnتعلم enoughكافية about this bushدفع
to createخلق this simulationمحاكاة.
269
949524
3587
مما أمكننا من التعرف كفاية
على هذه الشجيرات لصنع هذه المحاكاة
(تصفيق)
16:07
(Applauseتصفيق)
270
955270
6142
16:13
And so you could imagineتخيل givingإعطاء this
to a filmفيلم directorمدير,
271
961412
2972
وتخيل لو أعطيت هذا الفلم لمخرج سينمائي
16:16
and lettingالسماح him controlمراقبة, say,
272
964384
1719
وتركت له أن يتحكم مثلا
16:18
the strengthقوة and directionاتجاه of windينفخ
in a shotاطلاق النار after it's been recordedمسجل.
273
966103
4922
بقوة وإتجاه الريح في لقطة ما بعد تصويرها
16:24
Or, in this caseقضية, we pointedيشير الى our cameraالة تصوير
at a hangingمعلق curtainستارة,
274
972810
4535
حسنا .. في هذه الحالة
وجهنا كاميرتنا إلى ستارة معلقة
16:29
and you can't even see
any motionاقتراح in this videoفيديو,
275
977345
4129
ولا تستطيع أن ترى اي حركة في هذا الفيديو
ولكن بتصوير فيديو بطول دقيقتين
16:33
but by recordingتسجيل a two-minute-longلمدة دقيقتين طويلة videoفيديو,
276
981474
2925
16:36
naturalطبيعي >> صفة airهواء currentsالتيارات in this roomمجال
277
984399
2438
فإن التيارات الهوائية العادية في الغرفة
ولدت الكافي من الحركات الدقيقة
16:38
createdخلقت enoughكافية subtleفصيح,
imperceptibleدقيق إلى حد بعيد motionsالاقتراحات and vibrationsالاهتزازات
278
986837
4412
والتي لا يمكن ملاحظتها ومن الذبذبات
16:43
that we could learnتعلم enoughكافية
to createخلق this simulationمحاكاة.
279
991249
2565
وهكذا سنعرف ما يكفي لتوليد هذه المحاكاة
16:48
And ironicallyبسخرية,
280
996243
2366
وللسخرية
16:50
we're kindطيب القلب of used to havingوجود
this kindطيب القلب of interactivityالتفاعل
281
998609
3088
لقد تعودنا على هذا النوع من التفاعلية
16:53
when it comesيأتي to virtualافتراضية objectsشاء,
282
1001697
2647
عندما عملنا بالأجسام الأفتراضية
16:56
when it comesيأتي to videoفيديو gamesألعاب
and 3D modelsعارضات ازياء,
283
1004344
3297
وعندما حركنا الألعاب الفيديوية أوالمجسمات
16:59
but to be ableقادر to captureأسر this informationمعلومات
from realحقيقة objectsشاء in the realحقيقة worldالعالمية
284
1007641
4404
ولكن للحصول على هذه المعلومات
لأجسام حقيقية في العالم الحقيقي
17:04
usingاستخدام just simpleبسيط, regularمنتظم videoفيديو,
285
1012045
2817
باستخدام كاميرا عادية بسيطة
17:06
is something newالجديد that has
a lot of potentialمحتمل.
286
1014862
2183
فهو شيء جديد له الكثير من الأمكانيات
17:10
So here are the amazingرائعة حقا people
who workedعمل with me on these projectsمشاريع.
287
1018410
4904
وها هم الاشخاص الرائعون
الذين عملوا معي على هذه المواضيع
17:16
(Applauseتصفيق)
288
1024057
5596
(تصفيق)
وما عرضته عليكم اليوم هو البداية فقط
17:24
And what I've shownأظهرت you todayاليوم
is only the beginningالبداية.
289
1032819
3057
17:27
We'veقمنا just startedبدأت to scratchخدش the surfaceسطح - المظهر الخارجي
290
1035876
2113
لقد بدأنا الآن بخدش السطح فقط
17:29
of what you can do
with this kindطيب القلب of imagingالتصوير,
291
1037989
2972
لما يمكن أن نقوم به بمثل هذا التصوير
17:32
because it givesيعطي us a newالجديد way
292
1040961
2286
لأنه يعطينا طريقا جديدا
لألتقاط محيطنا بواسطة تقنيات عامة و متوفرة
17:35
to captureأسر our surroundingsمحيط
with commonمشترك, accessibleيمكن الوصول technologyتقنية.
293
1043342
4724
17:40
And so looking to the futureمستقبل,
294
1048066
1929
وعندما ننظر غلى المستقبل
17:41
it's going to be
really excitingمثير to exploreإستكشاف
295
1049995
2037
سيكون من الممتع إستكشاف
ما يمكن أن يخبرنا هذا عن العالم
17:44
what this can tell us about the worldالعالمية.
296
1052032
1856
شكرا لكم
17:46
Thank you.
297
1054381
1204
17:47
(Applauseتصفيق)
298
1055610
6107
Translated by Abdulaziz Al-Wandawi
Reviewed by Mohamed Nabil

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com