TED2015
Abe Davis: New video technology that reveals an object's hidden properties
אייב דייויס: טכנולוגיית וידאו חדשה שמגלה את התכונות הנסתרות של עצמים
Filmed:
Readability: 4.3
1,482,525 views
תנועות עדינות מתרחשות סביבנו כל הזמן, כולל רעידות זעירות שמתרחשות על ידי צלילים. טכנולוגיה חדשה מראה שאנחנו יכולים לזהות את התנועות הזעירות האלו ולמעשה ליצור מחדש צלילים ושיחות רק מסרטון של עצם שנראה דומם. אבל עכשיו אייב דייויס לוקח את זה צעד אחד נוסף: צפו בתוכנת הדמו שלו שמפאשרת לכל אחד לפעול עם התכונות החבויות האלו, רק מסרטון פשוט.
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio
Double-click the English transcript below to play the video.
00:13
Most of us think of motion
as a very visual thing.
as a very visual thing.
0
1373
3349
רובנו חושבים על תנועה כמשהו מאוד ויזואלי.
00:17
If I walk across this stage
or gesture with my hands while I speak,
or gesture with my hands while I speak,
1
5889
5088
אם אני אלך ברחבי הבמה
או אחווה בידיי בעודי מדבר,
או אחווה בידיי בעודי מדבר,
00:22
that motion is something that you can see.
2
10977
2261
התנועה היא משהו שאתם יכולים לראות.
00:26
But there's a world of important motion
that's too subtle for the human eye,
that's too subtle for the human eye,
3
14255
5482
אבל יש עולם של תנועות חשובות
שהן עדינות מדי לעין האנושית,
שהן עדינות מדי לעין האנושית,
00:31
and over the past few years,
4
19737
2041
ובמהלך השנים האחרונות,
00:33
we've started to find that cameras
5
21778
1997
התחלנו לגלות שמצלמות
00:35
can often see this motion
even when humans can't.
even when humans can't.
6
23775
3410
יכולות הרבה פעמים לראות
את התנועה הזו אפילו כשאנשים לא.
את התנועה הזו אפילו כשאנשים לא.
00:40
So let me show you what I mean.
7
28305
1551
אז תנו לי להראות לכם למה אני מתכוון.
00:42
On the left here, you see video
of a person's wrist,
of a person's wrist,
8
30717
3622
מצד שמאל פה, אתם רואים סרטון
של פרק כף יד של אדם,
של פרק כף יד של אדם,
00:46
and on the right, you see video
of a sleeping infant,
of a sleeping infant,
9
34339
3147
ומימין אתם רואים סרטון של תינוקת ישנה,
00:49
but if I didn't tell you
that these were videos,
that these were videos,
10
37486
3146
אבל אם לא הייתי אומר לכם שאלה סרטונים,
00:52
you might assume that you were looking
at two regular images,
at two regular images,
11
40632
3761
אולי הייתם מניחים שאתם מביטים
בשתי תמונות רגילות,
בשתי תמונות רגילות,
00:56
because in both cases,
12
44393
1672
מפני שבשני המקרים,
00:58
these videos appear to be
almost completely still.
almost completely still.
13
46065
3047
הסרטונים האלה נראים כמעט לגמרי נייחים.
01:02
But there's actually a lot
of subtle motion going on here,
of subtle motion going on here,
14
50175
3885
אבל יש למעשה הרבה תנועות עדינות
שמתרחשות שם,
שמתרחשות שם,
01:06
and if you were to touch
the wrist on the left,
the wrist on the left,
15
54060
2392
ואם הייתם נוגעים בפרק היד משמאל,
01:08
you would feel a pulse,
16
56452
1996
הייתם מרגישים דופק,
01:10
and if you were to hold
the infant on the right,
the infant on the right,
17
58448
2485
ואם הייתם מחזיקים את התינוקת מימין,
01:12
you would feel the rise
and fall of her chest
and fall of her chest
18
60933
2391
הייתם מרגישים את העליה והירידה של החזה שלה
01:15
as she took each breath.
19
63324
1390
כשהיא לוקחת כל נשימה.
01:17
And these motions carry
a lot of significance,
a lot of significance,
20
65762
3576
והתנועות האלו בעלות משמעות גדולה מאוד,
01:21
but they're usually
too subtle for us to see,
too subtle for us to see,
21
69338
3343
אבל הן בדרך כלל עדינות מדי
כדי שנוכל לראות אותן,
כדי שנוכל לראות אותן,
01:24
so instead, we have to observe them
22
72681
2276
אז במקום, אנחנו צריכים לצפות בהן
01:26
through direct contact, through touch.
23
74957
2900
דרך מגע ישיר, דרך מגע.
01:30
But a few years ago,
24
78997
1265
אבל לפני כמה שנים,
01:32
my colleagues at MIT developed
what they call a motion microscope,
what they call a motion microscope,
25
80262
4405
העמיתים שלי ב MIT פיתחו
מה שהם קוראים לו מיקרוסקופ תנועה,
מה שהם קוראים לו מיקרוסקופ תנועה,
01:36
which is software that finds
these subtle motions in video
these subtle motions in video
26
84667
4384
שהוא תוכנה שמגלה
את התנועות העדינות האלו בסרטון
את התנועות העדינות האלו בסרטון
01:41
and amplifies them so that they
become large enough for us to see.
become large enough for us to see.
27
89051
3562
ומגבירה אותן כך שהן הופכות
לגדולות מספיק כדי שנראה אותן.
לגדולות מספיק כדי שנראה אותן.
01:45
And so, if we use their software
on the left video,
on the left video,
28
93416
3483
וכך, אם נשתמש בתוכנה שלהם
על הסרטון השמאלי,
על הסרטון השמאלי,
01:48
it lets us see the pulse in this wrist,
29
96899
3250
זה נותן לנו לראות את הדופק בפרק היד,
01:52
and if we were to count that pulse,
30
100149
1695
ואם היינו סופרים את הדופק הזה,
01:53
we could even figure out
this person's heart rate.
this person's heart rate.
31
101844
2355
נוכל אפילו לדעת מה הדופק של האדם הזה.
01:57
And if we used the same software
on the right video,
on the right video,
32
105095
3065
ואם היינו משתשמים באותה תוכנה
על הסרטון הימני,
על הסרטון הימני,
02:00
it lets us see each breath
that this infant takes,
that this infant takes,
33
108160
3227
זה נותן לנו לראות כל נשימה
שהתינוקת הזו לוקחת,
שהתינוקת הזו לוקחת,
02:03
and we can use this as a contact-free way
to monitor her breathing.
to monitor her breathing.
34
111387
4137
ואנחנו יכולים להשתמש בזה כדרך
נטולת מגע כדי לנטר את הנשימה שלה.
נטולת מגע כדי לנטר את הנשימה שלה.
02:08
And so this technology is really powerful
because it takes these phenomena
because it takes these phenomena
35
116884
5348
וכך הטכנולוגיה הזו היא ממש חזקה
מפני שהיא לוקחת את התופעה הזו
מפני שהיא לוקחת את התופעה הזו
02:14
that we normally have
to experience through touch
to experience through touch
36
122232
2367
שאנחנו בדרך כלל חווים דרך מגע
02:16
and it lets us capture them visually
and non-invasively.
and non-invasively.
37
124599
2957
והיא מאפשרת לנו ללכוד אותה
ויזואלית וללא פלישה.
ויזואלית וללא פלישה.
02:21
So a couple years ago, I started working
with the folks that created that software,
with the folks that created that software,
38
129104
4411
אז לפני כמה שנים, התחלתי לעבוד
עם האנשים שיצרו את התוכנה הזו,
עם האנשים שיצרו את התוכנה הזו,
02:25
and we decided to pursue a crazy idea.
39
133515
3367
והחלטנו לנסות רעיון משוגע.
02:28
We thought, it's cool
that we can use software
that we can use software
40
136882
2693
חשבנו, זה מגניב שאנחנו יכולים
להשתמש בתוכנה
להשתמש בתוכנה
02:31
to visualize tiny motions like this,
41
139575
3135
כדי לדמות תנועות זעירות כמו אלו,
02:34
and you can almost think of it
as a way to extend our sense of touch.
as a way to extend our sense of touch.
42
142710
4458
ואתם יכולים כמעט לחשוב על זה
כדרך להרחיב את חוש המגע שלנו.
כדרך להרחיב את חוש המגע שלנו.
02:39
But what if we could do the same thing
with our ability to hear?
with our ability to hear?
43
147168
4059
אבל מה אם נוכל לעשות אותו הדבר
עם היכולת לשמוע?
עם היכולת לשמוע?
02:44
What if we could use video
to capture the vibrations of sound,
to capture the vibrations of sound,
44
152508
4665
מה אם נוכל להשתמש בסרטון
כדי ללכוד את הרעידות של הצלילים,
כדי ללכוד את הרעידות של הצלילים,
02:49
which are just another kind of motion,
45
157173
2827
שהן פשוט עוד סוג של תנועה,
02:52
and turn everything that we see
into a microphone?
into a microphone?
46
160000
3346
ולהפוך כל מה שאנחנו רואים למיקרופון?
02:56
Now, this is a bit of a strange idea,
47
164236
1971
עכשיו, זה רעיון מעט מוזר,
02:58
so let me try to put it
in perspective for you.
in perspective for you.
48
166207
2586
אז תנו לי לשים את זה בפרספקטיבה בשבילכם.
03:01
Traditional microphones
work by converting the motion
work by converting the motion
49
169523
3488
מיקרופונים מסורתיים עובדים
על ידי המרת התנועה
על ידי המרת התנועה
03:05
of an internal diaphragm
into an electrical signal,
into an electrical signal,
50
173011
3599
של דיאפרגמה פנימית לאות חשמלי,
03:08
and that diaphragm is designed
to move readily with sound
to move readily with sound
51
176610
4318
והדיאפרגמה מתוכננת לנוע בקלות עם קול
03:12
so that its motion can be recorded
and interpreted as audio.
and interpreted as audio.
52
180928
4807
כך שהתנועה תוכל להיות מוקלטת
ומתורגמת לאודיו.
ומתורגמת לאודיו.
03:17
But sound causes all objects to vibrate.
53
185735
3668
אבל צלילים גורמים לכל העצמים לרטוט.
03:21
Those vibrations are just usually
too subtle and too fast for us to see.
too subtle and too fast for us to see.
54
189403
5480
הרטיטות האלו הן פשוט בדרך כלל
עדינות ומהירות מדי כדי שנוכל לראות אותן.
עדינות ומהירות מדי כדי שנוכל לראות אותן.
03:26
So what if we record them
with a high-speed camera
with a high-speed camera
55
194883
3738
אז מה אם נקליט אותן עם מצלמה במהירות גבוהה
03:30
and then use software
to extract tiny motions
to extract tiny motions
56
198621
3576
ואז נשתמש בתוכנה כדי ללכוד תנודות זעירות
03:34
from our high-speed video,
57
202197
2090
מהוידאו במהירות גבוהה שלנו,
03:36
and analyze those motions to figure out
what sounds created them?
what sounds created them?
58
204287
4274
וננתח את התנועות האלו
כדי להבין איזה צלילים יצרו אותן?
כדי להבין איזה צלילים יצרו אותן?
03:41
This would let us turn visible objects
into visual microphones from a distance.
into visual microphones from a distance.
59
209859
5449
זה יתן לנו להפוך עצמים נראים
למיקרופונים ויזואליים ממרחק.
למיקרופונים ויזואליים ממרחק.
03:49
And so we tried this out,
60
217080
2183
וכך ניסינו את זה,
03:51
and here's one of our experiments,
61
219263
1927
והנה אחד הניסויים,
03:53
where we took this potted plant
that you see on the right
that you see on the right
62
221190
2949
בו לקחנו צמח בעציץ שאתם רואים מימין
03:56
and we filmed it with a high-speed camera
63
224139
2438
וצילמנו אותו עם מצלמה במהירות גבוהה
03:58
while a nearby loudspeaker
played this sound.
played this sound.
64
226577
3529
בעוד רמקול ביתי ניגן את הצליל הזה.
04:02
(Music: "Mary Had a Little Lamb")
65
230275
8190
(מוזיקה: "למרי היה טלה קטן")
04:11
And so here's the video that we recorded,
66
239820
2824
והנה הסרטון שהקלטנו,
04:14
and we recorded it at thousands
of frames per second,
of frames per second,
67
242644
3924
והקלטנו את זה באלפי פריימים בשניה,
04:18
but even if you look very closely,
68
246568
2322
אבל אפילו אם תביטו מקרוב,
04:20
all you'll see are some leaves
69
248890
1951
כל מה שאתם רואים זה כמה עלים
04:22
that are pretty much
just sitting there doing nothing,
just sitting there doing nothing,
70
250841
3065
שפשוט יושבים שם ולא עושים כלום,
04:25
because our sound only moved those leaves
by about a micrometer.
by about a micrometer.
71
253906
4806
מפני שהצליל שלנו הזיז את העלים האלה
בערך במיקרו מטר.
בערך במיקרו מטר.
04:31
That's one ten-thousandth of a centimeter,
72
259103
4276
זה עשירית אלפית של סנטימטר,
04:35
which spans somewhere between
a hundredth and a thousandth
a hundredth and a thousandth
73
263379
4156
שמתרחבת למאית או אלפית
04:39
of a pixel in this image.
74
267535
2299
של פיקסל בתמונה הזו.
04:41
So you can squint all you want,
75
269881
2887
אז אתם יכולים למצמץ כמה שאתם רוצים,
04:44
but motion that small is pretty much
perceptually invisible.
perceptually invisible.
76
272768
3335
אבל תנועה כל כך קטנה
היא בלתי נראית תפיסתית.
היא בלתי נראית תפיסתית.
04:49
But it turns out that something
can be perceptually invisible
can be perceptually invisible
77
277667
4157
אבל מסתבר שמשהו יכול להיות
בלתי נראה תפיסתית
בלתי נראה תפיסתית
04:53
and still be numerically significant,
78
281824
2809
ועדיין להיות משמעותית מספרית,
04:56
because with the right algorithms,
79
284633
2002
מפני שעם האלגוריתמים הנכונים,
04:58
we can take this silent,
seemingly still video
seemingly still video
80
286635
3687
אנחנו יכולים לקחת את הסרטון השקט הזה,
שנראה דומם
שנראה דומם
05:02
and we can recover this sound.
81
290322
1527
ואנחנו יכולים לשחזר את הצליל.
05:04
(Music: "Mary Had a Little Lamb")
82
292690
7384
(מוזיקה: "למרי היה טלה קטן")
05:12
(Applause)
83
300074
5828
(מחיאות כפיים)
05:22
So how is this possible?
84
310058
1939
אז איך זה אפשרי?
05:23
How can we get so much information
out of so little motion?
out of so little motion?
85
311997
4344
איך אנחנו יכולים לקבל כל כך הרבה מידע
מכל כך מעט תנועה?
מכל כך מעט תנועה?
05:28
Well, let's say that those leaves
move by just a single micrometer,
move by just a single micrometer,
86
316341
5361
ובכן, בואו נגיד שהעלים האלה
זזים במיקרומטר אחד בלבד,
זזים במיקרומטר אחד בלבד,
05:33
and let's say that that shifts our image
by just a thousandth of a pixel.
by just a thousandth of a pixel.
87
321702
4308
ובואו נגיד שזה מזיז את התמונה שלנו
רק באלפית פיקסל.
רק באלפית פיקסל.
05:39
That may not seem like much,
88
327269
2572
זה אולי לא נראה הרבה,
05:41
but a single frame of video
89
329841
1996
אבל בפריים יחיד של סרטון
05:43
may have hundreds of thousands
of pixels in it,
of pixels in it,
90
331837
3257
יש אולי מאות אלפי פיקסלים,
05:47
and so if we combine all
of the tiny motions that we see
of the tiny motions that we see
91
335094
3454
וכך אם נשלב את כל
התנועות הזעירות האלו שאנחנו רואים
התנועות הזעירות האלו שאנחנו רואים
05:50
from across that entire image,
92
338548
2298
ברחבי כל התמונה,
05:52
then suddenly a thousandth of a pixel
93
340846
2623
אז פתאום אלפית פיקסל
05:55
can start to add up
to something pretty significant.
to something pretty significant.
94
343469
2775
יכולה להתווסף למשהו די משמעותי.
05:58
On a personal note, we were pretty psyched
when we figured this out.
when we figured this out.
95
346870
3635
בנימה אישית, די התלהבנו כשהבנו את זה.
06:02
(Laughter)
96
350505
2320
(צחוק)
06:04
But even with the right algorithm,
97
352825
3253
אבל אפילו עם האלגוריתם הנכון,
06:08
we were still missing
a pretty important piece of the puzzle.
a pretty important piece of the puzzle.
98
356078
3617
עדיין היה חסר לנו חלק די חשוב של הפאזל.
06:11
You see, there are a lot of factors
that affect when and how well
that affect when and how well
99
359695
3604
אתם מבינים, יש הרבה משתנים
שמשפיעים על מתי וכמה טוב
שמשפיעים על מתי וכמה טוב
06:15
this technique will work.
100
363299
1997
השיטה הזו תעבוד.
06:17
There's the object and how far away it is;
101
365296
3204
יש את העצם וכמה רחוק הוא;
06:20
there's the camera
and the lens that you use;
and the lens that you use;
102
368500
2394
יש את המצלמה והעדשה בהם אתם משתמשים;
06:22
how much light is shining on the object
and how loud your sound is.
and how loud your sound is.
103
370894
4091
כמה אור מאיר על העצם וכמה חזק הצליל.
06:27
And even with the right algorithm,
104
375945
3375
ואפילו עם האלגוריתם הנכון,
06:31
we had to be very careful
with our early experiments,
with our early experiments,
105
379320
3390
היינו צריכים להיות מאוד זהירים
עם הניסויים הראשונים,
עם הניסויים הראשונים,
06:34
because if we got
any of these factors wrong,
any of these factors wrong,
106
382710
2392
מפני שאם אחד המשתנים האלה היה שגוי
06:37
there was no way to tell
what the problem was.
what the problem was.
107
385102
2368
לא היתה דרך לדעת מה הבעיה.
06:39
We would just get noise back.
108
387470
2647
פשוט היינו מקבלים רעש.
06:42
And so a lot of our early
experiments looked like this.
experiments looked like this.
109
390117
3320
וכך הרבה מהניסויים הראשונים נראו כך.
06:45
And so here I am,
110
393437
2206
אז הנה אני,
06:47
and on the bottom left, you can kind of
see our high-speed camera,
see our high-speed camera,
111
395643
4040
ומשמאל למטה, אתם סוג של יכולים לראות
את המצלמה המהירה שלנו,
את המצלמה המהירה שלנו,
06:51
which is pointed at a bag of chips,
112
399683
2183
שמצביעה על שקית צ'יפס,
06:53
and the whole thing is lit
by these bright lamps.
by these bright lamps.
113
401866
2949
וכל זה מואר על ידי המנורות הבוהקות האלו.
06:56
And like I said, we had to be
very careful in these early experiments,
very careful in these early experiments,
114
404815
4365
וכמו שאמרתי, היינו צריכים להיות
מאוד זהירים בניסויים הראשונים האלה,
מאוד זהירים בניסויים הראשונים האלה,
07:01
so this is how it went down.
115
409180
2508
אז כך זה התרחש.
07:03
(Video) Abe Davis: Three, two, one, go.
116
411688
3761
(סרטון)אייס דייויס: שלוש, שתיים, אחד, גו.
07:07
Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
117
415449
5387
למרי היה טלה קטן! טלה קטן! טלה קטן!
07:12
(Laughter)
118
420836
4500
(צחוק)
07:17
AD: So this experiment
looks completely ridiculous.
looks completely ridiculous.
119
425336
2814
א.ד: אז הניסוי הזה נראה מגוחך לגמרי.
07:20
(Laughter)
120
428150
1788
(צחוק)
07:21
I mean, I'm screaming at a bag of chips --
121
429938
2345
אני מתכוון, אני צורח על שקית צי'פס --
07:24
(Laughter) --
122
432283
1551
(צחוק) --
07:25
and we're blasting it with so much light,
123
433834
2117
ואנחנו מפציצים אותה בכל כך הרבה אור,
07:27
we literally melted the first bag
we tried this on. (Laughter)
we tried this on. (Laughter)
124
435951
4479
שלמעשה המסנו את השקית הראשונה
שניסינו עליה את זה. (צחוק)
שניסינו עליה את זה. (צחוק)
07:32
But ridiculous as this experiment looks,
125
440525
3274
אבל מגוחך ככל שזה נשמע,
07:35
it was actually really important,
126
443799
1788
זה היה למעשה מאוד חשוב,
07:37
because we were able
to recover this sound.
to recover this sound.
127
445587
2926
מפני שהיינו מסוגלים לשחזר את הצליל הזה.
07:40
(Audio) Mary had a little lamb!
Little lamb! Little lamb!
Little lamb! Little lamb!
128
448513
4712
(אודיו) למרי היה טלה קטן!
טלה קטן! טלה קטן!
טלה קטן! טלה קטן!
07:45
(Applause)
129
453225
4088
(מחיאות כפיים)
07:49
AD: And this was really significant,
130
457313
1881
א.ד: וזה היה ממש משמעותי,
07:51
because it was the first time
we recovered intelligible human speech
we recovered intelligible human speech
131
459194
4119
מפני שזו היתה הפעם הראשונה
ששחזרנו דיבור אדם מובן
ששחזרנו דיבור אדם מובן
07:55
from silent video of an object.
132
463424
2341
מסרטון דומם של עצם.
07:57
And so it gave us this point of reference,
133
465765
2391
אז זה נתן לנו נקודת התייחסות,
08:00
and gradually we could start
to modify the experiment,
to modify the experiment,
134
468156
3871
ולבסוף נוכל להתחיל לשנות את הניסוי,
08:04
using different objects
or moving the object further away,
or moving the object further away,
135
472106
3805
בשימוש בעצמים שונים או להרחיק את העצמים,
08:07
using less light or quieter sounds.
136
475911
2770
שימוש בפחות אור או צלילים שקטים יותר.
08:11
And we analyzed all of these experiments
137
479887
2874
וניתחנו את כל הניסויים האלה
08:14
until we really understood
the limits of our technique,
the limits of our technique,
138
482761
3622
עד שבאמת הבנו את המגבלות של השיטה שלנו,
08:18
because once we understood those limits,
139
486383
1950
מפני שברגע שהבנו את המגבלות האלו,
08:20
we could figure out how to push them.
140
488333
2346
יכולנו להבין איך לדחוף אותן.
08:22
And that led to experiments like this one,
141
490679
3181
וזה הוביל לניסויים כמו זה,
08:25
where again, I'm going to speak
to a bag of chips,
to a bag of chips,
142
493860
2739
כששוב, אני עומד לדבר לשקית צ'יפס,
08:28
but this time we've moved our camera
about 15 feet away,
about 15 feet away,
143
496599
4830
אבל הפעם הזזנו את המצלמה למרחק 5 מטר,
08:33
outside, behind a soundproof window,
144
501429
2833
בחוץ, מאחורי חלון אטום לצלילים,
08:36
and the whole thing is lit
by only natural sunlight.
by only natural sunlight.
145
504262
2803
וכל זה מואר באור שמש טבעי.
08:40
And so here's the video that we captured.
146
508529
2155
וכך הנה הסרטון שלכדנו.
08:44
And this is what things sounded like
from inside, next to the bag of chips.
from inside, next to the bag of chips.
147
512450
4559
וכך נשמעו הדברים מבפנים, ליד שקית הצ'יפס.
08:49
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
148
517009
5038
(אודיו) למרי היה טלה קטן
שצמרו היה לבן כשלג,
שצמרו היה לבן כשלג,
08:54
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
149
522047
5619
ולכל מקום שמרי הלכה, הטלה היה איתה.
08:59
AD: And here's what we were able
to recover from our silent video
to recover from our silent video
150
527666
4017
א.ד: והנה מה שהיינו מסוגלים
לשחזר מהסרטון הדומם שלנו
לשחזר מהסרטון הדומם שלנו
09:03
captured outside behind that window.
151
531683
2345
שצולם בחוץ מאחורי החלון ההוא.
09:06
(Audio) Mary had a little lamb
whose fleece was white as snow,
whose fleece was white as snow,
152
534028
4435
(אודיו) למרי היה טלה קטן
שצמרו היה לבן כשלג,
שצמרו היה לבן כשלג,
09:10
and everywhere that Mary went,
that lamb was sure to go.
that lamb was sure to go.
153
538463
5457
ולכל מקום שמרי הלכה, הטלה היה איתה.
09:15
(Applause)
154
543920
6501
(מחיאות כפיים)
09:22
AD: And there are other ways
that we can push these limits as well.
that we can push these limits as well.
155
550421
3542
א.ד: ויש דרכים אחרות שגם איתן
אנחנו יכולים לדחוף את המגבלות.
אנחנו יכולים לדחוף את המגבלות.
09:25
So here's a quieter experiment
156
553963
1798
אז הנה ניסוי שקט יותר
09:27
where we filmed some earphones
plugged into a laptop computer,
plugged into a laptop computer,
157
555761
4110
בו צילמנו אוזניות מחוברות למחשב נייד,
09:31
and in this case, our goal was to recover
the music that was playing on that laptop
the music that was playing on that laptop
158
559871
4110
ובמקרה הזה, המטרה שלנו היתה לשחזר
את המוזיקה שנוגנה במחשב הנייד
את המוזיקה שנוגנה במחשב הנייד
09:35
from just silent video
159
563981
2299
מסרטון דומם בלבד
09:38
of these two little plastic earphones,
160
566280
2507
של שתי האוזניות הפלסטיות הקטנות האלו,
09:40
and we were able to do this so well
161
568787
2183
והיינו מסוגלים לעשות זאת כל כך טוב
09:42
that I could even Shazam our results.
162
570970
2461
שאפילו יכולתי להריץ את התוצאה בשזאם.
09:45
(Laughter)
163
573431
2411
(צחוק)
09:49
(Music: "Under Pressure" by Queen)
164
577191
10034
(מוזיקה: "תחת לחץ" של קווין)
10:01
(Applause)
165
589615
4969
(מחיאות כפיים)
10:06
And we can also push things
by changing the hardware that we use.
by changing the hardware that we use.
166
594584
4551
ואנחנו יכולים גם לדחוף דברים
על ידי שינוי החומרה בה אנחנו משתמשים.
על ידי שינוי החומרה בה אנחנו משתמשים.
10:11
Because the experiments
I've shown you so far
I've shown you so far
167
599135
2461
מפני שהניסוים שהראתי עד עכשיו
10:13
were done with a camera,
a high-speed camera,
a high-speed camera,
168
601596
2322
נעשו עם מצלמה, מצלמה מהירה,
10:15
that can record video
about a 100 times faster
about a 100 times faster
169
603918
2879
שיכולה להקליט סרטונים
במהירות גדולה פי 100 בערך
במהירות גדולה פי 100 בערך
10:18
than most cell phones,
170
606797
1927
מרוב הטלפונים הסלולוריים,
10:20
but we've also found a way
to use this technique
to use this technique
171
608724
2809
אבל גילינו גם דרך להשתמש בטכניקה
10:23
with more regular cameras,
172
611533
2230
עם מצלמות רגילות יותר,
10:25
and we do that by taking advantage
of what's called a rolling shutter.
of what's called a rolling shutter.
173
613763
4069
ואנחנו עושים את זה על ידי ניצול
מה שנקרא צמצם מתגלגל.
מה שנקרא צמצם מתגלגל.
10:29
You see, most cameras
record images one row at a time,
record images one row at a time,
174
617832
4798
אתם מבינים, רוב המצלמות
מקליטות תמונות שורה אחת אחרי השניה,
מקליטות תמונות שורה אחת אחרי השניה,
10:34
and so if an object moves
during the recording of a single image,
during the recording of a single image,
175
622630
5702
וכך אם העצם נע במהלך הקלטת תמונה אחת,
10:40
there's a slight time delay
between each row,
between each row,
176
628344
2717
יש עיכוב זמן קטן בין כל שורה,
10:43
and this causes slight artifacts
177
631061
3157
וזה גורם לפגמים קלים
10:46
that get coded into each frame of a video.
178
634218
3483
שמקודדים לכל פריים של הסרטון.
10:49
And so what we found
is that by analyzing these artifacts,
is that by analyzing these artifacts,
179
637701
3806
וכך מה שגילינו זה
שעל ידי ניתוח הפגמים האלה,
שעל ידי ניתוח הפגמים האלה,
10:53
we can actually recover sound
using a modified version of our algorithm.
using a modified version of our algorithm.
180
641507
4615
אנחנו יכולים למעשה לשחזר צליל
בשימוש בגרסה מעודכנת של האלגוריתם שלנו.
בשימוש בגרסה מעודכנת של האלגוריתם שלנו.
10:58
So here's an experiment we did
181
646122
1912
אז הנה דוגמה שעשינו
11:00
where we filmed a bag of candy
182
648034
1695
בה צילמנו שקית סוכריות
11:01
while a nearby loudspeaker played
183
649729
1741
בעוד רמקול קרוב ניגן
11:03
the same "Mary Had a Little Lamb"
music from before,
music from before,
184
651470
2972
את אותה מוזיקה של
"למרי היה טלה קטן" כמו מקודם,
"למרי היה טלה קטן" כמו מקודם,
11:06
but this time, we used just a regular
store-bought camera,
store-bought camera,
185
654442
4203
אבל הפעם, השתמשנו
במצלמה רגילה שנקנתה בחנות,
במצלמה רגילה שנקנתה בחנות,
11:10
and so in a second, I'll play for you
the sound that we recovered,
the sound that we recovered,
186
658645
3174
וכך עוד רגע, אני אשמיע לכם
את הצליל ששחזרנו,
את הצליל ששחזרנו,
11:13
and it's going to sound
distorted this time,
distorted this time,
187
661819
2050
וזה עומד להשמע מעוות הפעם,
11:15
but listen and see if you can still
recognize the music.
recognize the music.
188
663869
2836
אבל האזינו ותראו אם אתם יכולים עדיין
לזהות את המוזיקה.
לזהות את המוזיקה.
11:19
(Audio: "Mary Had a Little Lamb")
189
667723
6223
(אודיו: למרי היה טלה קטן")
11:37
And so, again, that sounds distorted,
190
685527
3465
וכך, שוב, זה נשמע מעוות,
11:40
but what's really amazing here
is that we were able to do this
is that we were able to do this
191
688992
4386
אבל מה שבאמת מדהים פה
זה שהיינו מסוגלים לעשות זאת
זה שהיינו מסוגלים לעשות זאת
11:45
with something
that you could literally run out
that you could literally run out
192
693378
2626
עם משהו שאתם באמת יכולים לצאת
11:48
and pick up at a Best Buy.
193
696004
1444
ולקנות בבסט ביי.
11:51
So at this point,
194
699122
1363
אז בנקודה הזו,
11:52
a lot of people see this work,
195
700485
1974
הרבה אנשים רואים את העבודה הזו,
11:54
and they immediately think
about surveillance.
about surveillance.
196
702459
3413
והם מייד חושבים על מעקב.
11:57
And to be fair,
197
705872
2415
ולהיות כנים,
12:00
it's not hard to imagine how you might use
this technology to spy on someone.
this technology to spy on someone.
198
708287
4133
זה לא קשה לדמיין איך תוכלו
להשתמש בטכנולוגיה הזו לרגל על מישהו.
להשתמש בטכנולוגיה הזו לרגל על מישהו.
12:04
But keep in mind that there's already
a lot of very mature technology
a lot of very mature technology
199
712420
3947
אבל זכרו שיש כבר הרבה טכנולוגיות בשלות
12:08
out there for surveillance.
200
716367
1579
שקיימות למעקב.
12:09
In fact, people have been using lasers
201
717946
2090
למעשה, אנשים השתמשו בלייזרים
12:12
to eavesdrop on objects
from a distance for decades.
from a distance for decades.
202
720036
2799
כדי לצותת לעצמים ממרחק במשך עשורים.
12:15
But what's really new here,
203
723978
2025
אבל מה שבאמת חדש פה,
12:18
what's really different,
204
726003
1440
מה שבאמת שונה,
12:19
is that now we have a way
to picture the vibrations of an object,
to picture the vibrations of an object,
205
727443
4295
זה שעכשיו יש לנו דרך לצלם תמונות של עצם,
12:23
which gives us a new lens
through which to look at the world,
through which to look at the world,
206
731738
3413
מה שנותן לנו עדשה חדשה
דרכה להסתכל על העולם,
דרכה להסתכל על העולם,
12:27
and we can use that lens
207
735151
1510
ואנחנו יכולים להשתמש בעדשה הזו
12:28
to learn not just about forces like sound
that cause an object to vibrate,
that cause an object to vibrate,
208
736661
4899
כדי ללמוד לא רק על הכוחות
כמו צליל שגורמים לעצם לנוע,
כמו צליל שגורמים לעצם לנוע,
12:33
but also about the object itself.
209
741560
2288
אלא גם על העצם עצמו.
12:36
And so I want to take a step back
210
744975
1693
אז אני רוצה לקחת צעד אחורה
12:38
and think about how that might change
the ways that we use video,
the ways that we use video,
211
746668
4249
ולחשוב על איך זה אולי ישנה
את הדרך בה אנחנו משתמשים בסרטונים,
את הדרך בה אנחנו משתמשים בסרטונים,
12:42
because we usually use video
to look at things,
to look at things,
212
750917
3553
מפני שאנחנו בדרך כלל
משתמשים בסרטונים כדי להביט בדברים,
משתמשים בסרטונים כדי להביט בדברים,
12:46
and I've just shown you how we can use it
213
754470
2322
ורק הראתי לכם איך אנחנו יכולים להשתמש בזה
12:48
to listen to things.
214
756792
1857
כדי להקשיב לדברים.
12:50
But there's another important way
that we learn about the world:
that we learn about the world:
215
758649
3971
אבל יש דרך חשובה נוספת
שאנחנו יכולים ללמוד על העולם:
שאנחנו יכולים ללמוד על העולם:
12:54
that's by interacting with it.
216
762620
2275
זה על ידי השפעה עליו.
12:56
We push and pull and poke and prod things.
217
764895
3111
אנחנו דוחפים ומושכים
ודוחפים וממששים עצמים.
ודוחפים וממששים עצמים.
13:00
We shake things and see what happens.
218
768006
3181
אחננו מנערים ורואים מה קורה.
13:03
And that's something that video
still won't let us do,
still won't let us do,
219
771187
4273
וזה משהו שוידאו עדיין לא נותן לנו לעשות,
13:07
at least not traditionally.
220
775460
2136
לפחות לא באופן מסורתי.
13:09
So I want to show you some new work,
221
777596
1950
אז רציתי להראות לכם
קצת מהעבודה החדשה שלי,
קצת מהעבודה החדשה שלי,
13:11
and this is based on an idea I had
just a few months ago,
just a few months ago,
222
779546
2667
וזה מבוסס על רעיון
שהיה לי רק לפני כמה חודשים,
שהיה לי רק לפני כמה חודשים,
13:14
so this is actually the first time
I've shown it to a public audience.
I've shown it to a public audience.
223
782213
3301
אז זאת למעשה הפעם הראשונה
שאני מראה את זה לציבור.
שאני מראה את זה לציבור.
13:17
And the basic idea is that we're going
to use the vibrations in a video
to use the vibrations in a video
224
785514
5363
והרעיון הבסיסי הוא שאנחנו עומדים
להשתמש ברעידות בסרטון
להשתמש ברעידות בסרטון
13:22
to capture objects in a way
that will let us interact with them
that will let us interact with them
225
790877
4481
כדי ללכוד עצמים בדרך
שתיתן לנו להשפיע עליהם
שתיתן לנו להשפיע עליהם
13:27
and see how they react to us.
226
795358
1974
ולראות איך הם מגיבים לנו.
13:31
So here's an object,
227
799120
1764
אז הנה עצם,
13:32
and in this case, it's a wire figure
in the shape of a human,
in the shape of a human,
228
800884
3832
ובמקרה הזה, זה דמות חוט בצורה של אדם,
13:36
and we're going to film that object
with just a regular camera.
with just a regular camera.
229
804716
3088
ואנחנו הולכים לצלם את העצם עם מצלמה רגילה.
13:39
So there's nothing special
about this camera.
about this camera.
230
807804
2124
אז אין שום דבר מיוחד במצלמה הזו.
13:41
In fact, I've actually done this
with my cell phone before.
with my cell phone before.
231
809928
2961
למעשה, עשיתי את זה
עם מצלמת הסלולרי שלי לפני כן.
עם מצלמת הסלולרי שלי לפני כן.
13:44
But we do want to see the object vibrate,
232
812889
2252
אבל אנחנו רוצים לראות את האובייקט רוטט.
13:47
so to make that happen,
233
815141
1133
אז כדי לגרום לזה לקרות,
13:48
we're just going to bang a little bit
on the surface where it's resting
on the surface where it's resting
234
816274
3346
אנחנו פשוט דופקים
מעט על המשטח עליו הוא מונח
מעט על המשטח עליו הוא מונח
13:51
while we record this video.
235
819620
2138
בעוד אנחנו מקליטים את הסרטון הזה.
13:59
So that's it: just five seconds
of regular video,
of regular video,
236
827398
3671
אז זהו, רק חמש שניות של סרטון רגיל,
14:03
while we bang on this surface,
237
831069
2136
בעוד אנחנו דופקים על המשטח הזה,
14:05
and we're going to use
the vibrations in that video
the vibrations in that video
238
833205
3513
ואנחנו עומדים להשתמש ברעידות בסרטון
14:08
to learn about the structural
and material properties of our object,
and material properties of our object,
239
836718
4544
כדי ללמוד על התכונות
המבניות והחומריות של העצם שלנו,
המבניות והחומריות של העצם שלנו,
14:13
and we're going to use that information
to create something new and interactive.
to create something new and interactive.
240
841262
4834
ואנחנו הולכים להשתמש במידע הזה
כדי ליצור משהו חדש ואינטראקטיבי.
כדי ליצור משהו חדש ואינטראקטיבי.
14:24
And so here's what we've created.
241
852866
2653
והנה מה שיצרנו.
14:27
And it looks like a regular image,
242
855519
2229
וזה נראה כמו תמונה רגילה,
14:29
but this isn't an image,
and it's not a video,
and it's not a video,
243
857748
3111
אבל זו לא תמונה, וזה לא סרטון,
14:32
because now I can take my mouse
244
860859
2368
מפני שעכשיו אני יכול לקחת את העכבר שלי
14:35
and I can start interacting
with the object.
with the object.
245
863227
2859
ואני יכול להתחיל להשפיע על העצם.
14:44
And so what you see here
246
872936
2357
וכך מה שאתם רואים פה
14:47
is a simulation of how this object
247
875389
2226
זה הדמייה של איך העצם הזה
14:49
would respond to new forces
that we've never seen before,
that we've never seen before,
248
877615
4458
יגיב לכוחות חדשים שמעולם לא ראינו לפני כן,
14:54
and we created it from just
five seconds of regular video.
five seconds of regular video.
249
882073
3633
ויצרנו את זה רק מחמש שניות של סרטון רגיל.
14:59
(Applause)
250
887249
4715
(מחיאות כפיים)
15:09
And so this is a really powerful
way to look at the world,
way to look at the world,
251
897421
3227
וזו דרך באמת חזקה להביט בעולם,
15:12
because it lets us predict
how objects will respond
how objects will respond
252
900648
2972
מפני שהיא מאפשרת לנו לחזות איך עצמים יגיבו
15:15
to new situations,
253
903620
1823
למצבים חדשים,
15:17
and you could imagine, for instance,
looking at an old bridge
looking at an old bridge
254
905443
3473
ואתם יכולים לדמיין, לדוגמה,
שתביטו בגשר ישן
שתביטו בגשר ישן
15:20
and wondering what would happen,
how would that bridge hold up
how would that bridge hold up
255
908916
3527
ותתהו מה יקרה, איך הגשר יחזיק
15:24
if I were to drive my car across it.
256
912443
2833
אם מכונית תיסע עליו.
15:27
And that's a question
that you probably want to answer
that you probably want to answer
257
915276
2774
וזו שאלה שאתם כנראה רוצים לענות עליה
15:30
before you start driving
across that bridge.
across that bridge.
258
918050
2560
לפני שאתם מתחילים לנסוע לאורך הגשר.
15:33
And of course, there are going to be
limitations to this technique,
limitations to this technique,
259
921988
3272
וכמובן, יהיו מגבלות על השיטה הזו,
15:37
just like there were
with the visual microphone,
with the visual microphone,
260
925260
2462
ממש כמו שיש עם המיקרופון הויזואלי,
15:39
but we found that it works
in a lot of situations
in a lot of situations
261
927722
3181
אבל גילינו שזה עובד בהרבה מקרים
15:42
that you might not expect,
262
930903
1875
שאולי לא הייתם מצפים,
15:44
especially if you give it longer videos.
263
932778
2768
בעיקר אם אתם נותנים לזה סרטון ארוך יותר.
15:47
So for example,
here's a video that I captured
here's a video that I captured
264
935546
2508
אז לדוגמה, הנה סרטון שצילמנו
15:50
of a bush outside of my apartment,
265
938054
2299
של שיח מחוץ לדירה שלי,
15:52
and I didn't do anything to this bush,
266
940353
3088
ולא עשיתי כלום לשיח הזה,
15:55
but by capturing a minute-long video,
267
943441
2705
אבל על ידי צילום של סרטון באורך של דקה,
15:58
a gentle breeze caused enough vibrations
268
946146
3378
רוח קלה גרמה למספיק רעידות
16:01
that we could learn enough about this bush
to create this simulation.
to create this simulation.
269
949524
3587
שיכולנו ללמוד מספיק על השיח הזה
כדי ליצור את הדמייה הזו.
כדי ליצור את הדמייה הזו.
16:07
(Applause)
270
955270
6142
(מחיאות כפיים)
16:13
And so you could imagine giving this
to a film director,
to a film director,
271
961412
2972
וכך תוכלו לדמייין שתתנו את זה לבמאי סרטים,
16:16
and letting him control, say,
272
964384
1719
ותתנו לו שליטה, נגיד,
16:18
the strength and direction of wind
in a shot after it's been recorded.
in a shot after it's been recorded.
273
966103
4922
בעוצמה ובכיוון של הרוח
בצילום לאחר שהוא הוקלט.
בצילום לאחר שהוא הוקלט.
16:24
Or, in this case, we pointed our camera
at a hanging curtain,
at a hanging curtain,
274
972810
4535
או, במקרה הזה,
כיוונו את המצלמה לוילון תלוי,
כיוונו את המצלמה לוילון תלוי,
16:29
and you can't even see
any motion in this video,
any motion in this video,
275
977345
4129
ואתם לא יכולים אפילו לראות
תנועה בסרטון הזה,
תנועה בסרטון הזה,
16:33
but by recording a two-minute-long video,
276
981474
2925
אבל על ידי הקלטת סרטון של שתי דקות,
16:36
natural air currents in this room
277
984399
2438
זרמי אויר טבעיים בחדר הזה
16:38
created enough subtle,
imperceptible motions and vibrations
imperceptible motions and vibrations
278
986837
4412
יצרו מספיק תנועות ורעידות עדינות
ובלתי נקלטות
ובלתי נקלטות
16:43
that we could learn enough
to create this simulation.
to create this simulation.
279
991249
2565
שיכולנו ללמוד מספיק
כדי ליצור את ההדמיה הזו.
כדי ליצור את ההדמיה הזו.
16:48
And ironically,
280
996243
2366
ובאופן אירוני,
16:50
we're kind of used to having
this kind of interactivity
this kind of interactivity
281
998609
3088
אנחנו די רגילים שיש לנו
את יכולת ההשפעה הזו
את יכולת ההשפעה הזו
16:53
when it comes to virtual objects,
282
1001697
2647
כשזה מגיע לעצמים וירטואלים,
16:56
when it comes to video games
and 3D models,
and 3D models,
283
1004344
3297
כשזה מגיע למשחקי מחשב ומודלים תלת מימדיים,
16:59
but to be able to capture this information
from real objects in the real world
from real objects in the real world
284
1007641
4404
אבל כדי להיות מסוגלים ללכוד את המידע הזה
מעצמים אמיתיים בעולם האמיתי
מעצמים אמיתיים בעולם האמיתי
17:04
using just simple, regular video,
285
1012045
2817
בשימוש בסרטון פשוט ורגיל,
17:06
is something new that has
a lot of potential.
a lot of potential.
286
1014862
2183
זה משהו חדש שיש לו פוטנציאל גדול.
17:10
So here are the amazing people
who worked with me on these projects.
who worked with me on these projects.
287
1018410
4904
אז הנה האנשים המדהימים
שעבדו איתי על הפרוייקטים האלה.
שעבדו איתי על הפרוייקטים האלה.
17:16
(Applause)
288
1024057
5596
(מחיאות כפיים)
17:24
And what I've shown you today
is only the beginning.
is only the beginning.
289
1032819
3057
ומה שהראתי לכם היום זו רק ההתחלה.
17:27
We've just started to scratch the surface
290
1035876
2113
רק התחלנו לגרד את פני השטח
17:29
of what you can do
with this kind of imaging,
with this kind of imaging,
291
1037989
2972
של מה אפשר לעשות עם תמונות מסוג זה,
17:32
because it gives us a new way
292
1040961
2286
מפני שזה נותן לנו דרך חדשה
17:35
to capture our surroundings
with common, accessible technology.
with common, accessible technology.
293
1043342
4724
ללכוד את הסביבה שלנו
עם טכנולוגיה נפוצה ונגישה.
עם טכנולוגיה נפוצה ונגישה.
17:40
And so looking to the future,
294
1048066
1929
ובציפיה לעתיד,
17:41
it's going to be
really exciting to explore
really exciting to explore
295
1049995
2037
זה עומד להיות מאוד מרגש לחקור
17:44
what this can tell us about the world.
296
1052032
1856
מה זה יכול להגיד לנו על העולם.
17:46
Thank you.
297
1054381
1204
תודה לכם.
17:47
(Applause)
298
1055610
6107
(מחיאת כפיים)
ABOUT THE SPEAKER
Abe Davis - Computer scientistComputer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.
Why you should listen
MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument. In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.
Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.
Abe Davis | Speaker | TED.com