ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com
TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Nueva tecnología de video que revela propiedades ocultas de un objeto

Filmed:
1,482,525 views

Estamos rodeados por movimientos sutiles todo el tiempo, incluyendo pequeñas vibraciones causadas por el sonido. Y existe nueva tecnología que muestra que podemos captar esas vibraciones y, de hecho, recrear el sonido y las conversaciones mediante videos de objetos aparentemente inmóviles. Pero ahora Abe Davis nos lleva un paso más allá: veámoslo en esta demostración de software que permite a cualquier persona interactuar con estas propiedades ocultas, a partir solo de un simple video.
- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Double-click the English transcript below to play the video.

La mayoría pensamos en el movimiento
como algo muy visual.
00:13
MostMás of us think of motionmovimiento
as a very visualvisual thing.
0
1373
3349
00:17
If I walkcaminar acrossa través de this stageescenario
or gesturegesto with my handsmanos while I speakhablar,
1
5889
5088
Si camino por este escenario o gesticulo
con las manos, mientras hablo,
00:22
that motionmovimiento is something that you can see.
2
10977
2261
ese movimiento se puede ver.
00:26
But there's a worldmundo of importantimportante motionmovimiento
that's too subtlesutil for the humanhumano eyeojo,
3
14255
5482
Existe un mundo de movimiento importante
demasiado sutil para el ojo humano,
00:31
and over the pastpasado fewpocos yearsaños,
4
19737
2041
y en los últimos años,
00:33
we'venosotros tenemos startedempezado to find that camerascámaras
5
21778
1997
hemos averiguado que a menudo las cámaras
00:35
can oftena menudo see this motionmovimiento
even when humanshumanos can't.
6
23775
3410
pueden ver este movimiento,
incluso cuando los humanos no pueden.
Les mostraré lo que quiero decir.
00:40
So let me showespectáculo you what I mean.
7
28305
1551
00:42
On the left here, you see videovídeo
of a person'spersona wristmuñeca,
8
30717
3622
A la izquierda, se ve un video
de la muñeca de una persona,
00:46
and on the right, you see videovídeo
of a sleepingdormido infantinfantil,
9
34339
3147
y a la derecha, el video
de un bebé dormido,
00:49
but if I didn't tell you
that these were videosvideos,
10
37486
3146
pero si yo no dijera que
se trataba de videos,
00:52
you mightpodría assumeasumir that you were looking
at two regularregular imagesimágenes,
11
40632
3761
se puede suponer que uno mira
imágenes normales,
00:56
because in bothambos casescasos,
12
44393
1672
porque en ambos casos,
00:58
these videosvideos appearAparecer to be
almostcasi completelycompletamente still.
13
46065
3047
estos videos parecen casi
completamente inmóviles.
01:02
But there's actuallyactualmente a lot
of subtlesutil motionmovimiento going on here,
14
50175
3885
Pero en realidad existe mucho
movimiento sutil aquí,
01:06
and if you were to touchtoque
the wristmuñeca on the left,
15
54060
2392
y si tocaran la muñeca de la izquierda,
01:08
you would feel a pulselegumbres,
16
56452
1996
sentirían un pulso,
01:10
and if you were to holdsostener
the infantinfantil on the right,
17
58448
2485
y si se fueran al bebé de la derecha,
01:12
you would feel the risesubir
and fallotoño of her chestpecho
18
60933
2391
sentirían el ascenso y
el descenso de su pecho
01:15
as she tooktomó eachcada breathaliento.
19
63324
1390
mientras respira.
01:17
And these motionsmovimientos carryllevar
a lot of significancesignificado,
20
65762
3576
Y estos movimientos
tienen mucho significado,
01:21
but they're usuallygeneralmente
too subtlesutil for us to see,
21
69338
3343
pero son generalmente demasiado
sutiles para que los notemos,
01:24
so insteaden lugar, we have to observeobservar them
22
72681
2276
así que en su lugar,
tenemos que observarlos
01:26
throughmediante directdirecto contactcontacto, throughmediante touchtoque.
23
74957
2900
mediante contacto directo,
a través del tacto.
01:30
But a fewpocos yearsaños agohace,
24
78997
1265
Pero hace unos años,
01:32
my colleaguescolegas at MITMIT developeddesarrollado
what they call a motionmovimiento microscopemicroscopio,
25
80262
4405
mis colegas del MIT desarrollaron lo que
llaman un microscopio de movimiento,
01:36
whichcual is softwaresoftware that findsencuentra
these subtlesutil motionsmovimientos in videovídeo
26
84667
4384
que es un software que capta
estos movimientos sutiles en video
01:41
and amplifiesamplifica them so that they
becomevolverse largegrande enoughsuficiente for us to see.
27
89051
3562
y los amplía para que sean lo
suficientemente grandes para verlos.
01:45
And so, if we use theirsu softwaresoftware
on the left videovídeo,
28
93416
3483
Y así, si usamos ese software
en el video de la izquierda,
01:48
it letsdeja us see the pulselegumbres in this wristmuñeca,
29
96899
3250
vemos el pulso de esta muñeca,
01:52
and if we were to countcontar that pulselegumbres,
30
100149
1695
y si contáramos ese pulso,
01:53
we could even figurefigura out
this person'spersona heartcorazón ratetarifa.
31
101844
2355
podríamos incluso averiguar
la frecuencia cardíaca de esta persona.
01:57
And if we used the samemismo softwaresoftware
on the right videovídeo,
32
105095
3065
Y si usamos el mismo software
en el video de la derecha,
02:00
it letsdeja us see eachcada breathaliento
that this infantinfantil takes,
33
108160
3227
vemos cada respiración de este bebé,
02:03
and we can use this as a contact-freesin contacto way
to monitormonitor her breathingrespiración.
34
111387
4137
y podemos usarlo monitorear
su respiración sin que haya contacto.
02:08
And so this technologytecnología is really powerfulpoderoso
because it takes these phenomenafenómenos
35
116884
5348
Y esta tecnología es realmente
poderosa porque capta estos fenómenos
02:14
that we normallynormalmente have
to experienceexperiencia throughmediante touchtoque
36
122232
2367
que normalmente experimentamos
a través del tacto
02:16
and it letsdeja us capturecapturar them visuallyvisualmente
and non-invasivelyde forma no invasiva.
37
124599
2957
permitiéndonos captarlos visualmente
y de forma no invasiva.
02:21
So a couplePareja yearsaños agohace, I startedempezado workingtrabajando
with the folksamigos that createdcreado that softwaresoftware,
38
129104
4411
Hace un par de años, empecé a trabajar
con la gente que creó ese software,
02:25
and we decideddecidido to pursueperseguir a crazyloca ideaidea.
39
133515
3367
y decidimos seguir una idea descabellada.
02:28
We thought, it's coolguay
that we can use softwaresoftware
40
136882
2693
Pensamos que sería genial
usar el software
02:31
to visualizevisualizar tinyminúsculo motionsmovimientos like this,
41
139575
3135
para visualizar pequeños
movimientos como este,
02:34
and you can almostcasi think of it
as a way to extendampliar our sensesentido of touchtoque.
42
142710
4458
y podemos pensarlo como una forma
de ampliar el sentido del tacto.
02:39
But what if we could do the samemismo thing
with our abilitycapacidad to hearoír?
43
147168
4059
Pero ¿y si pudiéramos hacer lo mismo
con nuestra capacidad de escuchar?
02:44
What if we could use videovídeo
to capturecapturar the vibrationsvibraciones of soundsonar,
44
152508
4665
¿Y si pudiéramos usar el video para
captar las vibraciones de sonido,
02:49
whichcual are just anotherotro kindtipo of motionmovimiento,
45
157173
2827
que no son más que
otro tipo de movimiento,
02:52
and turngiro everything that we see
into a microphonemicrófono?
46
160000
3346
y convertir todo lo que vemos
en un micrófono?
02:56
Now, this is a bitpoco of a strangeextraño ideaidea,
47
164236
1971
Esto es una idea un poco extraña,
02:58
so let me try to put it
in perspectiveperspectiva for you.
48
166207
2586
así que trataré de ponerlo
en perspectiva.
03:01
TraditionalTradicional microphonesmicrófonos
work by convertingmudado the motionmovimiento
49
169523
3488
Los micrófonos tradicionales
funcionan convirtiendo el movimiento
03:05
of an internalinterno diaphragmdiafragma
into an electricaleléctrico signalseñal,
50
173011
3599
de un diafragma interno
en una señal eléctrica,
03:08
and that diaphragmdiafragma is designeddiseñado
to movemovimiento readilyfácilmente with soundsonar
51
176610
4318
y el diafragma está diseñado
para moverse fácilmente con sonido
03:12
so that its motionmovimiento can be recordedgrabado
and interpretedinterpretado as audioaudio.
52
180928
4807
de manera que su movimiento se puede
grabar e interpretar como sonido.
03:17
But soundsonar causescausas all objectsobjetos to vibratevibrar.
53
185735
3668
Pero el sonido hace que
todos los objetos vibren.
03:21
Those vibrationsvibraciones are just usuallygeneralmente
too subtlesutil and too fastrápido for us to see.
54
189403
5480
Esas vibraciones son por norma demasiado
sutiles y rápidas para que se vean.
03:26
So what if we recordgrabar them
with a high-speedalta velocidad cameracámara
55
194883
3738
¿Y si grabamos con una
cámara de alta velocidad
03:30
and then use softwaresoftware
to extractextraer tinyminúsculo motionsmovimientos
56
198621
3576
y luego usamos el software para
extraer pequeños movimientos
03:34
from our high-speedalta velocidad videovídeo,
57
202197
2090
de nuestro video de alta velocidad,
03:36
and analyzeanalizar those motionsmovimientos to figurefigura out
what soundssonidos createdcreado them?
58
204287
4274
y analizamos los movimientos para
averiguar qué sonidos se han creado?
03:41
This would let us turngiro visiblevisible objectsobjetos
into visualvisual microphonesmicrófonos from a distancedistancia.
59
209859
5449
Nos permitiría convertir objetos visibles
en micrófonos visuales a la distancia.
03:49
And so we triedintentó this out,
60
217080
2183
Así que lo intentamos,
03:51
and here'saquí está one of our experimentsexperimentos,
61
219263
1927
y aquí está uno de nuestros experimentos,
03:53
where we tooktomó this potteden conserva plantplanta
that you see on the right
62
221190
2949
donde tomamos esta planta
en maceta de la derecha
03:56
and we filmedfilmado it with a high-speedalta velocidad cameracámara
63
224139
2438
y filmamos con una
cámara de alta velocidad
03:58
while a nearbycerca loudspeakeraltoparlante
playedjugó this soundsonar.
64
226577
3529
mientras que un altavoz cercano
reproducía este sonido.
♪ ♫ María tenía un corderito ♪ ♫
04:02
(MusicMúsica: "MaryMaría Had a Little LambCordero")
65
230275
8190
04:11
And so here'saquí está the videovídeo that we recordedgrabado,
66
239820
2824
Aquí el video que grabamos,
04:14
and we recordedgrabado it at thousandsmiles
of framesmarcos perpor secondsegundo,
67
242644
3924
que grabamos en miles de
fotogramas por segundo,
04:18
but even if you look very closelycercanamente,
68
246568
2322
pero incluso mirándolo muy de cerca,
04:20
all you'lltu vas a see are some leaveshojas
69
248890
1951
solo se ven algunas hojas
04:22
that are prettybonita much
just sittingsentado there doing nothing,
70
250841
3065
que están más o menos
allí sin hacer nada,
04:25
because our soundsonar only movedmovido those leaveshojas
by about a micrometermicrómetro.
71
253906
4806
porque nuestro sonido solo movió
esas hojas cerca de un micrómetro.
04:31
That's one ten-thousandthdiez milésima of a centimetercentímetro,
72
259103
4276
Esa es una diezmilésima de centímetro,
04:35
whichcual spansluces somewherealgun lado betweenEntre
a hundredthcentésimo and a thousandthmilésimo
73
263379
4156
que se extiende en algún lugar
entre una centésima y una milésima
04:39
of a pixelpíxel in this imageimagen.
74
267535
2299
de pixel en esta imagen.
04:41
So you can squintestrabismo all you want,
75
269881
2887
Así que aunque entrecierren
los ojos lo más posible,
04:44
but motionmovimiento that smallpequeña is prettybonita much
perceptuallyperceptualmente invisibleinvisible.
76
272768
3335
el movimiento tan pequeño
es perceptualmente invisible.
04:49
But it turnsvueltas out that something
can be perceptuallyperceptualmente invisibleinvisible
77
277667
4157
Pero resulta que algo
perceptualmente invisible
04:53
and still be numericallynuméricamente significantsignificativo,
78
281824
2809
aún así puede ser
numéricamente significativo,
04:56
because with the right algorithmsAlgoritmos,
79
284633
2002
porque con los algoritmos adecuados,
04:58
we can take this silentsilencio,
seeminglyaparentemente still videovídeo
80
286635
3687
podemos captar este silencio
aparentemente silencioso
05:02
and we can recoverrecuperar this soundsonar.
81
290322
1527
y podemos recuperar ese sonido.
05:04
(MusicMúsica: "MaryMaría Had a Little LambCordero")
82
292690
7384
♪ ♫ María tenía un corderito ♪ ♫
05:12
(ApplauseAplausos)
83
300074
5828
(Aplausos)
05:22
So how is this possibleposible?
84
310058
1939
¿Cómo es esto posible?
05:23
How can we get so much informationinformación
out of so little motionmovimiento?
85
311997
4344
¿Cómo podemos conseguir tanta
información de tan poco movimiento?
05:28
Well, let's say that those leaveshojas
movemovimiento by just a singlesoltero micrometermicrómetro,
86
316341
5361
Esas hojas se mueven solo un micrómetro,
05:33
and let's say that that shiftsturnos our imageimagen
by just a thousandthmilésimo of a pixelpíxel.
87
321702
4308
y nuestra imagen cambia
solo una milésima de píxel.
05:39
That maymayo not seemparecer like much,
88
327269
2572
Eso puede no parecer mucho,
05:41
but a singlesoltero framemarco of videovídeo
89
329841
1996
pero un solo fotograma de video
05:43
maymayo have hundredscientos of thousandsmiles
of pixelspíxeles in it,
90
331837
3257
puede contener cientos
de miles de píxeles,
05:47
and so if we combinecombinar all
of the tinyminúsculo motionsmovimientos that we see
91
335094
3454
y si combinamos todos los minúsculos
movimientos que vemos
05:50
from acrossa través de that entiretodo imageimagen,
92
338548
2298
desde el otro lado de
esa imagen completa,
05:52
then suddenlyrepentinamente a thousandthmilésimo of a pixelpíxel
93
340846
2623
entonces, de repente
una milésima de un pixel
05:55
can startcomienzo to addañadir up
to something prettybonita significantsignificativo.
94
343469
2775
puede aportar a algo
bastante significado.
05:58
On a personalpersonal noteNota, we were prettybonita psychedmentalizado
when we figuredfigurado this out.
95
346870
3635
A título personal, estábamos muy
emocionados al darnos cuenta de esto.
06:02
(LaughterRisa)
96
350505
2320
(Risas)
06:04
But even with the right algorithmalgoritmo,
97
352825
3253
Pero incluso con el algoritmo correcto,
06:08
we were still missingdesaparecido
a prettybonita importantimportante piecepieza of the puzzlerompecabezas.
98
356078
3617
todavía faltaba una pieza
muy importante del rompecabezas.
06:11
You see, there are a lot of factorsfactores
that affectafectar when and how well
99
359695
3604
Hay muchos factores que afectan
cuánto y cómo de bien
06:15
this techniquetécnica will work.
100
363299
1997
funcionará esta técnica.
06:17
There's the objectobjeto and how farlejos away it is;
101
365296
3204
Ahí está el objeto y lo lejos que está;
06:20
there's the cameracámara
and the lenslente that you use;
102
368500
2394
la cámara y la lente que se usa;
06:22
how much lightligero is shiningbrillante on the objectobjeto
and how loudruidoso your soundsonar is.
103
370894
4091
cuánta luz brilla sobre el objeto
y cuán alto es el sonido.
06:27
And even with the right algorithmalgoritmo,
104
375945
3375
E incluso con el algoritmo correcto,
06:31
we had to be very carefulcuidadoso
with our earlytemprano experimentsexperimentos,
105
379320
3390
tuvimos que ser muy cuidadosos
con nuestros primeros experimentos,
06:34
because if we got
any of these factorsfactores wrongincorrecto,
106
382710
2392
porque si teníamos alguno
de estos factores mal,
06:37
there was no way to tell
what the problemproblema was.
107
385102
2368
no había forma de saber
cuál era el problema.
06:39
We would just get noiseruido back.
108
387470
2647
Obtendríamos solo ruido.
06:42
And so a lot of our earlytemprano
experimentsexperimentos lookedmirado like this.
109
390117
3320
Muchos de nuestros primeros
experimentos eran así.
06:45
And so here I am,
110
393437
2206
Aquí estoy,
06:47
and on the bottomfondo left, you can kindtipo of
see our high-speedalta velocidad cameracámara,
111
395643
4040
y abajo a izquierda puede verse
nuestra cámara de alta velocidad
06:51
whichcual is pointedpuntiagudo at a bagbolso of chipspapas fritas,
112
399683
2183
dirigida a una bolsa de papas,
06:53
and the wholetodo thing is litiluminado
by these brightbrillante lampslámparas.
113
401866
2949
y todo está iluminado
por estos focos brillantes.
06:56
And like I said, we had to be
very carefulcuidadoso in these earlytemprano experimentsexperimentos,
114
404815
4365
Y como dije, teníamos que ser muy
cuidados en estos primeros experimentos,
07:01
so this is how it wentfuimos down.
115
409180
2508
así es que esta es la forma
en que fracasó.
07:03
(VideoVídeo) AbeAbe DavisDavis: ThreeTres, two, one, go.
116
411688
3761
(Video) Abe Davis: Tres, dos, uno.
07:07
MaryMaría had a little lambCordero!
Little lambCordero! Little lambCordero!
117
415449
5387
♪ ♫ María tenía un corderito,
corderito, corderito ♪ ♫
07:12
(LaughterRisa)
118
420836
4500
(Risas)
07:17
ADANUNCIO: So this experimentexperimentar
looksmiradas completelycompletamente ridiculousridículo.
119
425336
2814
AD: Este experimento parece
súper ridículo.
07:20
(LaughterRisa)
120
428150
1788
(Risas)
07:21
I mean, I'm screaminggritando at a bagbolso of chipspapas fritas --
121
429938
2345
Quiero decir, estoy gritando
a una bolsa de papas fritas,
07:24
(LaughterRisa) --
122
432283
1551
(Risas)
07:25
and we're blastingvoladura it with so much lightligero,
123
433834
2117
y la bombardeamos con tanta luz que,
07:27
we literallyliteralmente meltedDerretido the first bagbolso
we triedintentó this on. (LaughterRisa)
124
435951
4479
literalmente, la bolsa con la que
lo intentamos, se derritió. (Risas)
Pero por ridículo que
se vea este experimento,
07:32
But ridiculousridículo as this experimentexperimentar looksmiradas,
125
440525
3274
07:35
it was actuallyactualmente really importantimportante,
126
443799
1788
en realidad, era realmente importante,
07:37
because we were ablepoder
to recoverrecuperar this soundsonar.
127
445587
2926
porque hemos podido captar este sonido.
07:40
(AudioAudio) MaryMaría had a little lambCordero!
Little lambCordero! Little lambCordero!
128
448513
4712
♪ ♫ María tenía un corderito,
corderito, corderito ♪ ♫
07:45
(ApplauseAplausos)
129
453225
4088
(Aplausos)
07:49
ADANUNCIO: And this was really significantsignificativo,
130
457313
1881
AD: Y esto fue realmente significativo,
07:51
because it was the first time
we recoveredrecuperado intelligibleinteligible humanhumano speechhabla
131
459194
4119
porque era la primera vez que
capturamos el habla humana inteligible
a partir de un video
silencioso de un objeto.
07:55
from silentsilencio videovídeo of an objectobjeto.
132
463424
2341
07:57
And so it gavedio us this pointpunto of referencereferencia,
133
465765
2391
Así que esto nos dio
este punto de referencia,
08:00
and graduallygradualmente we could startcomienzo
to modifymodificar the experimentexperimentar,
134
468156
3871
y poco a poco empezamos
a modificar el experimento,
utilizando diferentes objetos
o alejando el objeto más,
08:04
usingutilizando differentdiferente objectsobjetos
or movingemocionante the objectobjeto furtherpromover away,
135
472106
3805
08:07
usingutilizando lessMenos lightligero or quietermás tranquilo soundssonidos.
136
475911
2770
usando menos luz
o sonidos más suaves.
Y analizamos todos estos experimentos
08:11
And we analyzedanalizado all of these experimentsexperimentos
137
479887
2874
08:14
untilhasta we really understoodentendido
the limitslímites of our techniquetécnica,
138
482761
3622
hasta realmente entender
los límites de nuestra técnica,
08:18
because onceuna vez we understoodentendido those limitslímites,
139
486383
1950
porque una vez que
entendimos esos límites,
08:20
we could figurefigura out how to pushempujar them.
140
488333
2346
podíamos encontrar
la manera de mejorarlos.
08:22
And that led to experimentsexperimentos like this one,
141
490679
3181
Y eso llevó a
experimentos como este,
08:25
where again, I'm going to speakhablar
to a bagbolso of chipspapas fritas,
142
493860
2739
donde de nuevo, hablo
con una bolsa de papas,
08:28
but this time we'venosotros tenemos movedmovido our cameracámara
about 15 feetpies away,
143
496599
4830
pero esta vez hemos alejado
la cámara unos 4,5 m,
08:33
outsidefuera de, behinddetrás a soundproofinsonorizar windowventana,
144
501429
2833
tras una ventana insonorizada.
08:36
and the wholetodo thing is litiluminado
by only naturalnatural sunlightluz de sol.
145
504262
2803
y todo esto está iluminado
solo por la luz solar natural.
Así que aquí está el video
que hemos capturado.
08:40
And so here'saquí está the videovídeo that we capturedcapturado.
146
508529
2155
08:44
And this is what things soundedsonaba like
from insidedentro, nextsiguiente to the bagbolso of chipspapas fritas.
147
512450
4559
Y así se escuchaban las cosas desde
el interior, junto a la bolsa de papas.
08:49
(AudioAudio) MaryMaría had a little lambCordero
whosecuyo fleecelana was whiteblanco as snownieve,
148
517009
5038
(Audio) "María tenía un corderito
con piel blanca como la nieve,
08:54
and everywhereen todos lados that MaryMaría wentfuimos,
that lambCordero was sure to go.
149
522047
5619
y a donde iba María,
ahí iba ese corderito".
08:59
ADANUNCIO: And here'saquí está what we were ablepoder
to recoverrecuperar from our silentsilencio videovídeo
150
527666
4017
AD: Y esto es lo que hemos podido
recuperar de nuestro video en silencio
09:03
capturedcapturado outsidefuera de behinddetrás that windowventana.
151
531683
2345
capturado fuera tras esa ventana.
09:06
(AudioAudio) MaryMaría had a little lambCordero
whosecuyo fleecelana was whiteblanco as snownieve,
152
534028
4435
(Audio) "María tenía un corderito
con piel blanca como la nieve,
09:10
and everywhereen todos lados that MaryMaría wentfuimos,
that lambCordero was sure to go.
153
538463
5457
y a donde iba María,
ahí iba ese corderito".
09:15
(ApplauseAplausos)
154
543920
6501
(Aplausos)
09:22
ADANUNCIO: And there are other waysformas
that we can pushempujar these limitslímites as well.
155
550421
3542
AD: Y hay otras maneras para
ir más allá de los límites.
09:25
So here'saquí está a quietermás tranquilo experimentexperimentar
156
553963
1798
Así que aquí hay
un experimento más tranquilo
09:27
where we filmedfilmado some earphonesauriculares
pluggedatascado into a laptopordenador portátil computercomputadora,
157
555761
4110
donde filmamos los auriculares
conectados a una portátil,
09:31
and in this casecaso, our goalGol was to recoverrecuperar
the musicmúsica that was playingjugando on that laptopordenador portátil
158
559871
4110
y en este caso, teníamos que recuperar
la música que sonaba en ese portátil
09:35
from just silentsilencio videovídeo
159
563981
2299
a partir de ese video
simplemente en silencio
09:38
of these two little plasticel plastico earphonesauriculares,
160
566280
2507
a partir de estos dos
auriculares de plástico,
09:40
and we were ablepoder to do this so well
161
568787
2183
y lo hemos hecho tan bien
09:42
that I could even ShazamShazam our resultsresultados.
162
570970
2461
que incluso puedo decir Shazam
por los resultados.
09:45
(LaughterRisa)
163
573431
2411
(Risas)
09:49
(MusicMúsica: "UnderDebajo PressurePresión" by QueenReina)
164
577191
10034
(Música: "Under Pressure" de Queen)
10:01
(ApplauseAplausos)
165
589615
4969
(Aplausos)
10:06
And we can alsoademás pushempujar things
by changingcambiando the hardwarehardware that we use.
166
594584
4551
Y también podemos mejorarlo
cambiando el hardware que usamos.
10:11
Because the experimentsexperimentos
I've shownmostrado you so farlejos
167
599135
2461
Porque los experimentos
que he mostrado hasta ahora
10:13
were donehecho with a cameracámara,
a high-speedalta velocidad cameracámara,
168
601596
2322
se realizaron con una cámara
de alta velocidad,
10:15
that can recordgrabar videovídeo
about a 100 timesveces fasterMás rápido
169
603918
2879
que puede grabar video
100 veces más rápido
10:18
than mostmás cellcelda phonesteléfonos,
170
606797
1927
que la mayoría de
los teléfonos móviles,
10:20
but we'venosotros tenemos alsoademás foundencontró a way
to use this techniquetécnica
171
608724
2809
pero también hemos encontrado
la manera de usar esta técnica
10:23
with more regularregular camerascámaras,
172
611533
2230
con cámaras más convencionales,
10:25
and we do that by takingtomando advantageventaja
of what's calledllamado a rollinglaminación shutterobturador.
173
613763
4069
y lo hacemos aprovechando lo que
se llama el efecto gelatina.
10:29
You see, mostmás camerascámaras
recordgrabar imagesimágenes one rowfila at a time,
174
617832
4798
La mayoría de las cámaras funciona
con un fotosito por cada píxel,
10:34
and so if an objectobjeto movesmovimientos
duringdurante the recordinggrabación of a singlesoltero imageimagen,
175
622630
5702
y si un objeto se mueve durante
la grabación de una sola imagen,
10:40
there's a slightleve time delayretrasar
betweenEntre eachcada rowfila,
176
628344
2717
hay una leve demora entre cada fotosito,
10:43
and this causescausas slightleve artifactsartefactos
177
631061
3157
y esto hace que objetos sencillos
10:46
that get codedcodificado into eachcada framemarco of a videovídeo.
178
634218
3483
sean codificados en
cada fotograma de un video.
10:49
And so what we foundencontró
is that by analyzinganalizando these artifactsartefactos,
179
637701
3806
Hallamos que mediante
el análisis de estos objetos,
10:53
we can actuallyactualmente recoverrecuperar soundsonar
usingutilizando a modifiedmodificado versionversión of our algorithmalgoritmo.
180
641507
4615
se puede recuperar el sonido usando una
versión modificada de nuestro algoritmo.
10:58
So here'saquí está an experimentexperimentar we did
181
646122
1912
Aquí un experimento que hicimos
11:00
where we filmedfilmado a bagbolso of candycaramelo
182
648034
1695
donde filmamos una bolsa de dulces
11:01
while a nearbycerca loudspeakeraltoparlante playedjugó
183
649729
1741
mientras que un altavoz reproducía
11:03
the samemismo "MaryMaría Had a Little LambCordero"
musicmúsica from before,
184
651470
2972
el mismo "María tenía un corderito",
la música de antes,
11:06
but this time, we used just a regularregular
store-boughtcomprado en la tienda cameracámara,
185
654442
4203
pero esta vez, usamos una cámara
comprada en la tienda normal,
11:10
and so in a secondsegundo, I'll playjugar for you
the soundsonar that we recoveredrecuperado,
186
658645
3174
y en un segundo, les reproduciré
el sonido que hemos recuperado,
11:13
and it's going to soundsonar
distorteddistorsionado this time,
187
661819
2050
y esta vez sonará distorsionado,
11:15
but listen and see if you can still
recognizereconocer the musicmúsica.
188
663869
2836
pero escuchen a ver si aún así todavía
se puede reconocer la música.
(Audio: "María tenía un corderito")
11:19
(AudioAudio: "MaryMaría Had a Little LambCordero")
189
667723
6223
11:37
And so, again, that soundssonidos distorteddistorsionado,
190
685527
3465
Y así, una vez más,
esto suena distorsionado,
11:40
but what's really amazingasombroso here
is that we were ablepoder to do this
191
688992
4386
pero lo realmente sorprendente
es que hemos podido hacerlo
11:45
with something
that you could literallyliteralmente runcorrer out
192
693378
2626
con algo que, literalmente,
podría estar agotado
11:48
and pickrecoger up at a BestMejor BuyComprar.
193
696004
1444
y adquirirse en una tienda de ocasiones.
11:51
So at this pointpunto,
194
699122
1363
Así que en este punto
11:52
a lot of people see this work,
195
700485
1974
mucha gente verá este proyecto,
11:54
and they immediatelyinmediatamente think
about surveillancevigilancia.
196
702459
3413
y pensará de inmediato en la vigilancia.
11:57
And to be fairjusta,
197
705872
2415
Y para ser justos,
12:00
it's not harddifícil to imagineimagina how you mightpodría use
this technologytecnología to spyespiar on someonealguien.
198
708287
4133
no es difícil imaginar cómo usar
esta tecnología para espiar a alguien.
12:04
But keep in mindmente that there's alreadyya
a lot of very maturemaduro technologytecnología
199
712420
3947
Pero tengan en cuenta que ya hay
mucha tecnología muy madura
12:08
out there for surveillancevigilancia.
200
716367
1579
para vigilancia.
12:09
In facthecho, people have been usingutilizando lasersláser
201
717946
2090
De hecho, se ha estado usando láseres
12:12
to eavesdropescuchar a escondidas on objectsobjetos
from a distancedistancia for decadesdécadas.
202
720036
2799
para espiar objetos
a distancia durante décadas.
Pero lo que es realmente nuevo aquí,
12:15
But what's really newnuevo here,
203
723978
2025
12:18
what's really differentdiferente,
204
726003
1440
lo que es realmente diferente,
12:19
is that now we have a way
to pictureimagen the vibrationsvibraciones of an objectobjeto,
205
727443
4295
es que ahora tenemos una forma de
imaginar las vibraciones de un objeto,
12:23
whichcual givesda us a newnuevo lenslente
throughmediante whichcual to look at the worldmundo,
206
731738
3413
lo que nos da una nueva lente
a través de la cual mirar el mundo,
12:27
and we can use that lenslente
207
735151
1510
y podemos usar esa lente,
12:28
to learnaprender not just about forcesefectivo like soundsonar
that causeporque an objectobjeto to vibratevibrar,
208
736661
4899
aprender no solo de fuerzas como el
sonido que hacen que un objeto vibre,
12:33
but alsoademás about the objectobjeto itselfsí mismo.
209
741560
2288
sino también sobre el propio objeto.
Y por eso quiero dar un paso atrás
12:36
And so I want to take a steppaso back
210
744975
1693
12:38
and think about how that mightpodría changecambio
the waysformas that we use videovídeo,
211
746668
4249
y pensar en cómo podría cambiar
la manera de usar el video,
12:42
because we usuallygeneralmente use videovídeo
to look at things,
212
750917
3553
porque normalmente usamos
el video para mirar las cosas,
12:46
and I've just shownmostrado you how we can use it
213
754470
2322
y acabo de mostrar cómo podemos usarlo
12:48
to listen to things.
214
756792
1857
para escuchar las cosas.
12:50
But there's anotherotro importantimportante way
that we learnaprender about the worldmundo:
215
758649
3971
Pero hay otra forma importante
en que aprendemos del mundo:
12:54
that's by interactinginteractuando with it.
216
762620
2275
y es interactuando con él.
12:56
We pushempujar and pullHalar and pokemeter and prodpinchar things.
217
764895
3111
Empujamos, estiramos,
metemos y desplazamos cosas.
13:00
We shakesacudir things and see what happenssucede.
218
768006
3181
Estrechamos las cosas para ver qué pasa.
13:03
And that's something that videovídeo
still won'tcostumbre let us do,
219
771187
4273
Y eso es algo que el video
aún no nos deja hacer;
13:07
at leastmenos not traditionallytradicionalmente.
220
775460
2136
al menos no el tradicional.
13:09
So I want to showespectáculo you some newnuevo work,
221
777596
1950
Así que les mostraré
un nuevo trabajo,
13:11
and this is basedbasado on an ideaidea I had
just a fewpocos monthsmeses agohace,
222
779546
2667
y esto se basa en una idea que
tuve hace apenas unos meses,
es pues la primera vez que lo muestro
públicamente a una audiencia.
13:14
so this is actuallyactualmente the first time
I've shownmostrado it to a publicpúblico audienceaudiencia.
223
782213
3301
Y la idea básica es que usaremos
las vibraciones en un video
13:17
And the basicBASIC ideaidea is that we're going
to use the vibrationsvibraciones in a videovídeo
224
785514
5363
13:22
to capturecapturar objectsobjetos in a way
that will let us interactinteractuar with them
225
790877
4481
para capturar objetos de forma que
nos permitirá interactuar con ellos
13:27
and see how they reactreaccionar to us.
226
795358
1974
para ver cómo reaccionan con nosotros.
13:31
So here'saquí está an objectobjeto,
227
799120
1764
Aquí hay un objeto,
13:32
and in this casecaso, it's a wirecable figurefigura
in the shapeforma of a humanhumano,
228
800884
3832
y en este caso, es una figura
de alambre en forma de ser humano,
13:36
and we're going to filmpelícula that objectobjeto
with just a regularregular cameracámara.
229
804716
3088
y filmaremos ese objeto
con una cámara normal.
13:39
So there's nothing specialespecial
about this cameracámara.
230
807804
2124
No hay nada de especial
en esta cámara.
13:41
In facthecho, I've actuallyactualmente donehecho this
with my cellcelda phoneteléfono before.
231
809928
2961
En realidad, he hecho esto
con mi teléfono móvil antes.
13:44
But we do want to see the objectobjeto vibratevibrar,
232
812889
2252
Pero queremos ver cómo vibra el objeto,
13:47
so to make that happenocurrir,
233
815141
1133
así que para que esto suceda,
13:48
we're just going to bangexplosión a little bitpoco
on the surfacesuperficie where it's restingdescansando
234
816274
3346
golpearemos un poco
en la superficie donde yace
13:51
while we recordgrabar this videovídeo.
235
819620
2138
mientras grabamos un video.
13:59
So that's it: just fivecinco secondssegundos
of regularregular videovídeo,
236
827398
3671
Así que es eso: solo 5 segundos
de video normal,
14:03
while we bangexplosión on this surfacesuperficie,
237
831069
2136
mientras golpeamos en esta superficie,
14:05
and we're going to use
the vibrationsvibraciones in that videovídeo
238
833205
3513
y usaremos las vibraciones de ese video
14:08
to learnaprender about the structuralestructural
and materialmaterial propertiespropiedades of our objectobjeto,
239
836718
4544
para aprender algunas propiedades
estructurales y materiales del objeto,
14:13
and we're going to use that informationinformación
to createcrear something newnuevo and interactiveinteractivo.
240
841262
4834
y usaremos esa información para
crear algo nuevo e interactivo.
14:24
And so here'saquí está what we'venosotros tenemos createdcreado.
241
852866
2653
Y así, esto es lo que hemos creado.
14:27
And it looksmiradas like a regularregular imageimagen,
242
855519
2229
Y parece una imagen común,
14:29
but this isn't an imageimagen,
and it's not a videovídeo,
243
857748
3111
pero no es una imagen,
ni un video,
14:32
because now I can take my mouseratón
244
860859
2368
porque ahora puedo desplazar mi ratón
14:35
and I can startcomienzo interactinginteractuando
with the objectobjeto.
245
863227
2859
y empezar a interactuar con el objeto.
14:44
And so what you see here
246
872936
2357
Y, cómo se ve aquí,
es una simulación de cómo este objeto
14:47
is a simulationsimulación of how this objectobjeto
247
875389
2226
14:49
would respondresponder to newnuevo forcesefectivo
that we'venosotros tenemos never seenvisto before,
248
877615
4458
respondería a las nuevas fuerzas
que nunca hemos visto antes,
14:54
and we createdcreado it from just
fivecinco secondssegundos of regularregular videovídeo.
249
882073
3633
y lo creamos a partir de tan solo
5 segundos de video normal.
(Aplausos)
14:59
(ApplauseAplausos)
250
887249
4715
15:09
And so this is a really powerfulpoderoso
way to look at the worldmundo,
251
897421
3227
Y esta es una forma muy poderosa
de mirar el mundo,
15:12
because it letsdeja us predictpredecir
how objectsobjetos will respondresponder
252
900648
2972
porque nos permite predecir
cómo responderán los objetos
15:15
to newnuevo situationssituaciones,
253
903620
1823
a las nuevas situaciones,
15:17
and you could imagineimagina, for instanceejemplo,
looking at an oldantiguo bridgepuente
254
905443
3473
y uno puede imaginar, por ejemplo,
mirar un viejo puente
15:20
and wonderingpreguntando what would happenocurrir,
how would that bridgepuente holdsostener up
255
908916
3527
y preguntarse qué ocurriría,
cómo aguantará ese puente
15:24
if I were to drivemanejar my carcoche acrossa través de it.
256
912443
2833
si lo atravieso con mi auto.
15:27
And that's a questionpregunta
that you probablyprobablemente want to answerresponder
257
915276
2774
Y esa es una pregunta que
probablemente desee responder
15:30
before you startcomienzo drivingconducción
acrossa través de that bridgepuente.
258
918050
2560
antes de empezar
a atravesar ese puente.
15:33
And of coursecurso, there are going to be
limitationslimitaciones to this techniquetécnica,
259
921988
3272
Y, por supuesto, habrá
limitaciones a esta técnica,
15:37
just like there were
with the visualvisual microphonemicrófono,
260
925260
2462
al igual que había
con el micrófono visual,
15:39
but we foundencontró that it workstrabajos
in a lot of situationssituaciones
261
927722
3181
pero hemos encontrado que
funciona en muchas situaciones
15:42
that you mightpodría not expectesperar,
262
930903
1875
que no se podría esperar,
15:44
especiallyespecialmente if you give it longermás videosvideos.
263
932778
2768
especialmente con videos más largos.
15:47
So for exampleejemplo,
here'saquí está a videovídeo that I capturedcapturado
264
935546
2508
Así, por ejemplo, aquí hay
un video que capturé
15:50
of a busharbusto outsidefuera de of my apartmentapartamento,
265
938054
2299
de un arbusto fuera de mi apartamento,
15:52
and I didn't do anything to this busharbusto,
266
940353
3088
y no le hice nada a este arbusto,
15:55
but by capturingcapturando a minute-longminuto largo videovídeo,
267
943441
2705
solo capturar un video durante un minuto,
15:58
a gentleamable breezebrisa causedcausado enoughsuficiente vibrationsvibraciones
268
946146
3378
una suave brisa causó
bastantes vibraciones
16:01
that we could learnaprender enoughsuficiente about this busharbusto
to createcrear this simulationsimulación.
269
949524
3587
para aprender lo suficiente sobre
este arbusto y crear esta simulación.
16:07
(ApplauseAplausos)
270
955270
6142
(Aplausos)
16:13
And so you could imagineimagina givingdando this
to a filmpelícula directordirector,
271
961412
2972
Y uno podría imaginar
dárselo a un director de cine,
16:16
and lettingdejar him controlcontrolar, say,
272
964384
1719
y dejarle el control, por ejemplo,
16:18
the strengthfuerza and directiondirección of windviento
in a shotDisparo after it's been recordedgrabado.
273
966103
4922
la fuerza y ​​dirección del viento en
una toma después de haberla grabado.
16:24
Or, in this casecaso, we pointedpuntiagudo our cameracámara
at a hangingcolgando curtaincortina,
274
972810
4535
O, en este caso, apuntamos
la cámara a una cortina,
16:29
and you can't even see
any motionmovimiento in this videovídeo,
275
977345
4129
y ni siquiera se puede ver
movimiento en el video,
16:33
but by recordinggrabación a two-minute-longdos minutos de duración videovídeo,
276
981474
2925
sino por la grabación
de dos minutos de video,
16:36
naturalnatural airaire currentscorrientes in this roomhabitación
277
984399
2438
de corrientes de aire naturales
en esta sala, creando
16:38
createdcreado enoughsuficiente subtlesutil,
imperceptibleimperceptible motionsmovimientos and vibrationsvibraciones
278
986837
4412
suficientes movimientos y vibraciones
y imperceptibles sutiles
16:43
that we could learnaprender enoughsuficiente
to createcrear this simulationsimulación.
279
991249
2565
de las que aprender lo suficiente
para crear esta simulación.
16:48
And ironicallyirónicamente,
280
996243
2366
E irónicamente,
16:50
we're kindtipo of used to havingteniendo
this kindtipo of interactivityinteractividad
281
998609
3088
estamos muy acostumbrados a tener
este tipo de interactividad
16:53
when it comesproviene to virtualvirtual objectsobjetos,
282
1001697
2647
con objetos virtuales,
16:56
when it comesproviene to videovídeo gamesjuegos
and 3D modelsmodelos,
283
1004344
3297
juegos de video y modelos 3D,
16:59
but to be ablepoder to capturecapturar this informationinformación
from realreal objectsobjetos in the realreal worldmundo
284
1007641
4404
pero para capturar esta información
a partir de objetos del mundo real
17:04
usingutilizando just simplesencillo, regularregular videovídeo,
285
1012045
2817
el uso de este simple video, normal
17:06
is something newnuevo that has
a lot of potentialpotencial.
286
1014862
2183
es algo nuevo que tiene mucho potencial.
17:10
So here are the amazingasombroso people
who workedtrabajó with me on these projectsproyectos.
287
1018410
4904
Así están las increíbles personas que
trabajaron conmigo en estos proyectos.
17:16
(ApplauseAplausos)
288
1024057
5596
(Aplausos)
Y lo que les he mostrado hoy
es solo el comienzo.
17:24
And what I've shownmostrado you todayhoy
is only the beginningcomenzando.
289
1032819
3057
17:27
We'veNosotros tenemos just startedempezado to scratchrasguño the surfacesuperficie
290
1035876
2113
Acabamos de empezar
a arañar la superficie
17:29
of what you can do
with this kindtipo of imagingimágenes,
291
1037989
2972
de lo que se puede hacer
con este tipo de imágenes,
17:32
because it givesda us a newnuevo way
292
1040961
2286
porque nos da una nueva forma
para capturar nuestro entorno
con tecnología común, accesible.
17:35
to capturecapturar our surroundingsalrededores
with commoncomún, accessibleaccesible technologytecnología.
293
1043342
4724
17:40
And so looking to the futurefuturo,
294
1048066
1929
Y así, mirar hacia el futuro,
17:41
it's going to be
really excitingemocionante to exploreexplorar
295
1049995
2037
que será muy emocionante explorar
17:44
what this can tell us about the worldmundo.
296
1052032
1856
lo que esto nos puede
decir sobre el mundo.
17:46
Thank you.
297
1054381
1204
Gracias.
17:47
(ApplauseAplausos)
298
1055610
6107
(Aplausos)

▲Back to top

ABOUT THE SPEAKER
Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com