English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TED2015

Abe Davis: New video technology that reveals an object's hidden properties

Abe Davis: Uma nova tecnologia de vídeo que revela as propriedades ocultas de um objeto.

Filmed
Views 1,402,354

Movimentos subtis estão sempre a ocorrer à nossa volta, incluindo pequenas vibrações provocadas pelo som. Uma nova tecnologia mostra que podemos agarrar nessas vibrações e recrear o som e as conversas a partir dum vídeo dum objeto aparentemente imóvel. Abe Davis ainda dá mais um passo em frente: Observem-no a mostrar um "software" que permite interagir com essas propriedades ocultas, a partir de um simples vídeo.

- Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras. Full bio

Quase todos nós pensamos no movimento
como uma coisa muito visual.
00:13
MostMaioria of us think of motionmovimento
as a very visualvisual thing.
00:17
If I walkandar acrossatravés this stageetapa
or gesturegesto with my handsmãos while I speakfalar,
Se eu passear por este palco,
ou gesticular enquanto falo,
esses movimentos são uma coisa
que vocês veem.
00:22
that motionmovimento is something that you can see.
00:26
But there's a worldmundo of importantimportante motionmovimento
that's too subtlesutil for the humanhumano eyeolho,
Mas há um mundo de movimentos importantes
que são demasiado subtis
para os olhos humanos.
00:31
and over the pastpassado fewpoucos yearsanos,
Nos últimos anos,
começámos a descobrir que as câmaras
00:33
we'venós temos startedcomeçado to find that camerascâmeras
00:35
can oftenfrequentemente see this motionmovimento
even when humanshumanos can't.
veem esses movimentos
que os nossos olhos não conseguem ver.
00:40
So let me showexposição you what I mean.
Vou mostrar-vos o que quero dizer.
Aqui à esquerda, veem um vídeo
do pulso duma pessoa
00:42
On the left here, you see videovídeo
of a person'spessoas wristpulso,
e à direita, veem um vídeo
de um bebé a dormir.
00:46
and on the right, you see videovídeo
of a sleepingdormindo infantinfantil,
00:49
but if I didn't tell you
that these were videosvídeos,
Se eu não vos tivesse dito
que isto eram vídeos,
00:52
you mightpoderia assumeassumir that you were looking
at two regularregular imagesimagens,
vocês podiam julgar que estavam a olhar
para duas fotos normais
porque, em ambos os casos,
00:56
because in bothambos casescasos,
estes vídeos parecem estar
totalmente imóveis.
00:58
these videosvídeos appearaparecer to be
almostquase completelycompletamente still.
01:02
But there's actuallyna realidade a lot
of subtlesutil motionmovimento going on here,
Na realidade, há aqui
muito movimento subtil.
Se tocassem neste pulso à esquerda,
01:06
and if you were to touchtocar
the wristpulso on the left,
sentiriam a pulsação,
01:08
you would feel a pulsepulso,
se agarrassem no bebé da direita,
01:10
and if you were to holdaguarde
the infantinfantil on the right,
sentiriam o erguer e descer do peito dele
01:12
you would feel the risesubir
and fallcair of her chestpeito
quando respira.
01:15
as she tooktomou eachcada breathrespiração.
Esses movimentos têm muito significado
01:17
And these motionsmovimentos carrylevar
a lot of significancesignificado,
mas normalmente são demasiado subtis
para os podermos ver.
01:21
but they're usuallygeralmente
too subtlesutil for us to see,
Em vez disso, temos que os observar
01:24
so insteadem vez de, we have to observeobservar them
através de contacto direto,
através do tato.
01:26
throughatravés directdireto contactcontato, throughatravés touchtocar.
Mas há uns anos,
01:30
But a fewpoucos yearsanos agoatrás,
01:32
my colleaguescolegas at MITMIT developeddesenvolvido
what they call a motionmovimento microscopemicroscópio,
os meus colegas no MIT
desenvolveram uma coisa
a que chamaram um microscópio do movimento
01:36
whichqual is softwareProgramas that findsencontra
these subtlesutil motionsmovimentos in videovídeo
que é um "software" que encontra
esses movimentos subtis no vídeo
e os amplifica até eles ficarem
suficientemente grandes para os vermos.
01:41
and amplifiesamplifica them so that they
becometornar-se largeampla enoughsuficiente for us to see.
01:45
And so, if we use theirdeles softwareProgramas
on the left videovídeo,
Assim, se eu usar esse "software"
no vídeo da esquerda,
passamos a ver a pulsação deste pulso,
01:48
it letsvamos us see the pulsepulso in this wristpulso,
e se contarmos a pulsação
01:52
and if we were to countcontagem that pulsepulso,
podemos deduzir
o ritmo cardíaco desta pessoa.
01:53
we could even figurefigura out
this person'spessoas heartcoração ratetaxa.
Se eu usar o mesmo "software"
no vídeo da direita,
01:57
And if we used the samemesmo softwareProgramas
on the right videovídeo,
passamos a ver cada inspiração
que o bebé faz
02:00
it letsvamos us see eachcada breathrespiração
that this infantinfantil takes,
e podemos usar isso
como uma forma isenta de contacto
02:03
and we can use this as a contact-freesem contacto way
to monitormonitor her breathingrespiração.
para vigiar a sua respiração.
Esta tecnologia é muito poderosa
porque agarra nestes fenómenos
02:08
And so this technologytecnologia is really powerfulpoderoso
because it takes these phenomenafenômenos
que normalmente só conseguimos
perceber através do tato
02:14
that we normallynormalmente have
to experienceexperiência throughatravés touchtocar
e faz com que passemos a visualizá-los
de forma não invasiva.
02:16
and it letsvamos us capturecapturar them visuallyvisualmente
and non-invasivelynão invasiva.
Há uns anos, comecei a trabalhar
com as pessoas que criaram este "software"
02:21
So a couplecasal yearsanos agoatrás, I startedcomeçado workingtrabalhando
with the folkspessoal that createdcriada that softwareProgramas,
e decidimos avançar com uma ideia maluca.
02:25
and we decideddecidiu to pursueperseguir a crazylouco ideaidéia.
Pensámos que era fixe
poder usar um "software"
02:28
We thought, it's coollegal
that we can use softwareProgramas
para visualizar pequenos movimentos
como estes,
02:31
to visualizevisualizar tinyminúsculo motionsmovimentos like this,
e até podíamos pensar nisso como uma forma
de expandir o nosso sentido do tato.
02:34
and you can almostquase think of it
as a way to extendampliar our sensesentido of touchtocar.
02:39
But what if we could do the samemesmo thing
with our abilityhabilidade to hearouvir?
E se pudéssemos fazer o mesmo
com a nossa capacidade para ouvir?
E se usássemos o vídeo para captar
as vibrações dos sons,
02:44
What if we could use videovídeo
to capturecapturar the vibrationsvibrações of soundsom,
02:49
whichqual are just anotheroutro kindtipo of motionmovimento,
que afinal são um outro tipo de movimento,
e transformar tudo o que vemos
num microfone?
02:52
and turnvirar everything that we see
into a microphonemicrofone?
02:56
Now, this is a bitpouco of a strangeestranho ideaidéia,
Esta é uma ideia um pouco extravagante
02:58
so let me try to put it
in perspectiveperspectiva for you.
por isso vou tentar pô-la em perspetiva.
03:01
TraditionalTradicional microphonesmicrofones
work by convertingconvertendo the motionmovimento
Os microfones tradicionais funcionam
transformando o movimento
de um diafragma interior
num sinal elétrico,
03:05
of an internalinterno diaphragmdiafragma
into an electricalelétrico signalsinal,
e esse diafragma está concebido
para se mover prontamente com os sons
03:08
and that diaphragmdiafragma is designedprojetado
to movemover readilyprontamente with soundsom
de forma a que os movimentos podem ser
gravados e interpretados como áudio.
03:12
so that its motionmovimento can be recordedgravado
and interpretedinterpretado as audioáudio.
Ma o som faz com que
todos os objetos vibrem.
03:17
But soundsom causescausas all objectsobjetos to vibratevibrar.
Mas essas vibrações são normalmente
demasiado subtis e demasiado rápidas
03:21
Those vibrationsvibrações are just usuallygeralmente
too subtlesutil and too fastvelozes for us to see.
para nós as podermos ver.
E se as gravássemos
com uma câmara de alta velocidade
03:26
So what if we recordregistro them
with a high-speedalta velocidade cameraCâmera
e depois usássemos o "software"
para extrair pequenos movimentos
03:30
and then use softwareProgramas
to extractextrair tinyminúsculo motionsmovimentos
03:34
from our high-speedalta velocidade videovídeo,
do nosso vídeo de alta velocidade,
03:36
and analyzeanalisar those motionsmovimentos to figurefigura out
what soundssoa createdcriada them?
e analisássemos esses movimentos
para ver que sons os tinham criado?
Isso permitir-nos-ia
transformar objetos visíveis
03:41
This would let us turnvirar visiblevisível objectsobjetos
into visualvisual microphonesmicrofones from a distancedistância.
em microfones visuais à distância.
03:49
And so we triedtentou this out,
Então, foi o que tentámos fazer.
03:51
and here'saqui está one of our experimentsexperiências,
Esta é uma das nossas experiências,
em que agarrámos neste vaso
com uma planta que estão a ver à direita
03:53
where we tooktomou this pottedem vaso plantplantar
that you see on the right
03:56
and we filmedfilmado it with a high-speedalta velocidade cameraCâmera
e filmámos com uma câmara
de alta velocidade
03:58
while a nearbynas proximidades loudspeakeralto-falante
playedreproduziu this soundsom.
enquanto um altifalante ali ao pé
transmitia este som.
04:02
(MusicMúsica: "MaryMary Had a Little LambCordeiro")
(Música: "Maria tinha um cordeirinho")
E este é o vídeo que gravámos.
04:11
And so here'saqui está the videovídeo that we recordedgravado,
Gravámos a uma velocidade
de milhares de imagens por segundo.
04:14
and we recordedgravado it at thousandsmilhares
of framesquadros perpor secondsegundo,
Mas, mesmo que observemos muito de perto,
04:18
but even if you look very closelyde perto,
só vemos algumas folhas
04:20
all you'llvocê vai see are some leavessai
que estão ali paradas sem fazer nada,
04:22
that are prettybonita much
just sittingsentado there doing nothing,
04:25
because our soundsom only movedse mudou those leavessai
by about a micrometermicrômetro.
porque o nosso som limitou-se a fazer
mover estas folhas apenas um micrómetro,
ou seja uma décima milésima
de um centímetro,
04:31
That's one ten-thousandthdez milésimo of a centimetercentímetros,
o que corresponde mais ou menos
entre um centésimo e um milésimo
04:35
whichqual spansabrange somewherealgum lugar betweenentre
a hundredthcentésimo and a thousandthmilésimo
de um pixel nesta imagem.
04:39
of a pixelpixel in this imageimagem.
Por isso, podem piscar os olhos
quanto quiserem,
04:41
So you can squintestrabismo all you want,
mas um movimento tão pequeno
é praticamente invisível.
04:44
but motionmovimento that smallpequeno is prettybonita much
perceptuallyperceptualmente invisibleinvisível.
Mas acontece que uma coisa
pode ser invisível à nossa perceção
04:49
But it turnsgira out that something
can be perceptuallyperceptualmente invisibleinvisível
04:53
and still be numericallynumericamente significantsignificativo,
e mesmo assim ser
numericamente significativo,
porque com os algoritmos adequados
04:56
because with the right algorithmsalgoritmos,
podemos agarrar neste vídeo silencioso,
aparentemente parado,
04:58
we can take this silentsilencioso,
seeminglyaparentemente still videovídeo
e podemos recuperar esse som.
05:02
and we can recoverrecuperar this soundsom.
(Música: "Maria tinha um cordeirinho")
05:04
(MusicMúsica: "MaryMary Had a Little LambCordeiro")
(Aplausos)
05:12
(ApplauseAplausos)
Como é que isto é possível?
05:22
So how is this possiblepossível?
Como é que podemos obter tantas informações
a partir de tão pouco movimento?
05:23
How can we get so much informationem formação
out of so little motionmovimento?
05:28
Well, let's say that those leavessai
movemover by just a singlesolteiro micrometermicrômetro,
Digamos que estas folhas
se movem apenas um micrómetro,
05:33
and let's say that that shiftsturnos our imageimagem
by just a thousandthmilésimo of a pixelpixel.
e digamos que movimenta a nossa imagem
apenas numa milésima de pixel
Pode não parecer muito,
05:39
That maypode not seemparecem like much,
mas uma única imagem do vídeo
05:41
but a singlesolteiro framequadro, armação of videovídeo
pode conter centenas de milhares de pixéis.
05:43
maypode have hundredscentenas of thousandsmilhares
of pixelspixéis in it,
05:47
and so if we combinecombinar all
of the tinyminúsculo motionsmovimentos that we see
Por isso, se combinarmos
todos os pequenos movimentos
que vemos em toda a imagem,
05:50
from acrossatravés that entireinteira imageimagem,
05:52
then suddenlyDe repente a thousandthmilésimo of a pixelpixel
um milésimo de um pixel
05:55
can startcomeçar to addadicionar up
to something prettybonita significantsignificativo.
pode, de repente, tornar-se
numa coisa significativa.
05:58
On a personalpessoal noteNota, we were prettybonita psychedempolgado
when we figuredfigurado this out.
Aqui para nós, ficámos malucos
quando descobrimos isto.
06:02
(LaughterRiso)
(Risos)
Mas, mesmo com o algoritmo adequado,
06:04
But even with the right algorithmalgoritmo de,
ainda nos faltava uma peça
muito importante do "puzzle".
06:08
we were still missingausência de
a prettybonita importantimportante piecepeça of the puzzleenigma.
06:11
You see, there are a lot of factorsfatores
that affectafetar when and how well
Há muitos fatores que afetam
quando e como funciona esta técnica.
06:15
this techniquetécnica will work.
Há o objeto e a distância a que ele está.
06:17
There's the objectobjeto and how farlonge away it is;
Há a câmara e as lentes que usamos.
06:20
there's the cameraCâmera
and the lenslente that you use;
06:22
how much lightluz is shiningbrilhando on the objectobjeto
and how loudalto your soundsom is.
A quantidade de luz que incide no objeto
e a intensidade do som.
06:27
And even with the right algorithmalgoritmo de,
E, mesmo com o algoritmo adequado,
tivemos que ter muito cuidado
com as nossas primeiras experiências,
06:31
we had to be very carefulCuidado
with our earlycedo experimentsexperiências,
porque, se considerássemos erradamente
qualquer destes fatores,
06:34
because if we got
any of these factorsfatores wrongerrado,
06:37
there was no way to tell
what the problemproblema was.
não tínhamos forma de saber
qual era o problema.
06:39
We would just get noisebarulho back.
Só obtínhamos ruído.
Portanto, muitas das nossas
primeiras experiências foram assim.
06:42
And so a lot of our earlycedo
experimentsexperiências lookedolhou like this.
Aqui estou eu.
06:45
And so here I am,
06:47
and on the bottominferior left, you can kindtipo of
see our high-speedalta velocidade cameraCâmera,
Em baixo à esquerda, podem ver
a nossa câmara de alta velocidade,
que está apontada
para um pacote de batatas fritas.
06:51
whichqual is pointedapontado at a bagBolsa of chipssalgadinhos,
06:53
and the wholetodo thing is litaceso
by these brightbrilhante lampslâmpadas.
Está tudo iluminado
por aquelas lâmpadas brilhantes.
Como já disse, temos que ter muito cuidado
nestas primeiras experiências,
06:56
And like I said, we had to be
very carefulCuidado in these earlycedo experimentsexperiências,
por isso, foi assim
que as coisas se passaram.
07:01
so this is how it wentfoi down.
07:03
(VideoVídeo) AbeAbe DavisDavis: ThreeTrês, two, one, go.
(Vídeo): Três, dois, um... Começar.
(Aos gritos): Mary tinha um carneirinho!
07:07
MaryMary had a little lambCordeiro!
Little lambCordeiro! Little lambCordeiro!
Carneirinho! Carneirinho!
07:12
(LaughterRiso)
(Risos)
Esta experiência parece mesmo ridícula.
07:17
ADAD: So this experimentexperimentar
looksparece completelycompletamente ridiculousridículo.
(Risos)
07:20
(LaughterRiso)
07:21
I mean, I'm screaminggritando at a bagBolsa of chipssalgadinhos --
Estou para aqui a gritar
para um pacote de batatas...
07:24
(LaughterRiso) --
(Risos)
07:25
and we're blastingexplosão it with so much lightluz,
... e está tudo iluminado com tanta luz
07:27
we literallyliteralmente meltedderretido the first bagBolsa
we triedtentou this on. (LaughterRiso)
que literalmente derretemos o primeiro
pacote de batatas nesta experiência.
(Risos)
07:32
But ridiculousridículo as this experimentexperimentar looksparece,
Mas, por mais ridícula
que esta experiência pareça,
foi de facto muito importante,
07:35
it was actuallyna realidade really importantimportante,
porque pudemos recuperar este som.
07:37
because we were ablecapaz
to recoverrecuperar this soundsom.
(Áudio) Mary tinha um cordeirinho!
Cordeirinho! Cordeirinho!
07:40
(AudioÁudio) MaryMary had a little lambCordeiro!
Little lambCordeiro! Little lambCordeiro!
07:45
(ApplauseAplausos)
(Aplausos)
Isto foi muito significativo
07:49
ADAD: And this was really significantsignificativo,
porque foi a primeira vez
que recuperámos fala humana inteligível
07:51
because it was the first time
we recoveredrecuperado intelligibleinteligível humanhumano speechdiscurso
07:55
from silentsilencioso videovídeo of an objectobjeto.
a partir do vídeo silencioso de um objeto.
Isso deu-nos este ponto de referência
07:57
And so it gavedeu us this pointponto of referencereferência,
08:00
and graduallygradualmente we could startcomeçar
to modifymodificar the experimentexperimentar,
e a pouco e pouco pudemos
começar a modificar a experiência,
08:04
usingusando differentdiferente objectsobjetos
or movingmovendo-se the objectobjeto furthermais distante away,
usando objetos diferentes,
ou afastando mais o objeto,
usando menos luz ou sons mais abafados.
08:07
usingusando lessMenos lightluz or quietermais silencioso soundssoa.
Analisámos todas essas experiências
08:11
And we analyzedanalisado all of these experimentsexperiências
08:14
untilaté we really understoodEntendido
the limitslimites of our techniquetécnica,
até percebermos bem
os limites da nossa técnica,
porque, depois de
percebermos esses limites,
08:18
because onceuma vez we understoodEntendido those limitslimites,
08:20
we could figurefigura out how to pushempurrar them.
podíamos pensar em como alargá-los.
08:22
And that led to experimentsexperiências like this one,
Isso levou-nos a experiências como esta,
em que, de novo, eu vou falar
para um pacote de batatas
08:25
where again, I'm going to speakfalar
to a bagBolsa of chipssalgadinhos,
08:28
but this time we'venós temos movedse mudou our cameraCâmera
about 15 feetpés away,
mas, desta vez, afastámos a câmara
cerca de 5 metros,
08:33
outsidelado de fora, behindatrás a soundproofà prova de som windowjanela,
atrás duma vidraça à prova de som,
08:36
and the wholetodo thing is litaceso
by only naturalnatural sunlightluz solar.
e está tudo iluminado
apenas por luz natural.
08:40
And so here'saqui está the videovídeo that we capturedcapturado.
Este é o vídeo do que captámos.
Isto é como as coisas soaram, no interior,
junto do pacote de batatas.
08:44
And this is what things soundedsoou like
from insidedentro, nextPróximo to the bagBolsa of chipssalgadinhos.
08:49
(AudioÁudio) MaryMary had a little lambCordeiro
whosede quem fleecevelo was whitebranco as snowneve,
(Áudio) Mary tinha um carneirinho!
Branco como a neve.
Sempre que a Maria vai,
o carneirinho vai também.
08:54
and everywhereem toda parte that MaryMary wentfoi,
that lambCordeiro was sure to go.
08:59
ADAD: And here'saqui está what we were ablecapaz
to recoverrecuperar from our silentsilencioso videovídeo
Isto foi o que conseguimos recuperar
a partir do nosso vídeo silencioso
captado no exterior
por detrás daquele vidro.
09:03
capturedcapturado outsidelado de fora behindatrás that windowjanela.
(Áudio) Mary tinha um carneirinho!
Branco como a neve.
09:06
(AudioÁudio) MaryMary had a little lambCordeiro
whosede quem fleecevelo was whitebranco as snowneve,
Sempre que a Maria vai,
o carneirinho vai também.
09:10
and everywhereem toda parte that MaryMary wentfoi,
that lambCordeiro was sure to go.
09:15
(ApplauseAplausos)
(Aplausos)
Também há outras formas
de podermos alargar estes limites.
09:22
ADAD: And there are other waysmaneiras
that we can pushempurrar these limitslimites as well.
Esta é uma experiência mais tranquila
09:25
So here'saqui está a quietermais silencioso experimentexperimentar
09:27
where we filmedfilmado some earphonesfones de ouvido
pluggedconectado into a laptopcomputador portátil computercomputador,
em que filmámos uns auscultadores
ligados a um computador portátil.
Neste caso, o nosso objetivo
era recuperar a música
09:31
and in this casecaso, our goalobjetivo was to recoverrecuperar
the musicmúsica that was playingjogando on that laptopcomputador portátil
que estava a tocar nesse computador
09:35
from just silentsilencioso videovídeo
a partir de um vídeo silencioso
destes dois pequenos
auscultadores de plástico.
09:38
of these two little plasticplástico earphonesfones de ouvido,
Conseguimos fazer isto tão bem feito
09:40
and we were ablecapaz to do this so well
09:42
that I could even ShazamShazam our resultsresultados.
que até pude dizer Shazam aos resultados.
09:45
(LaughterRiso)
(Risos)
09:49
(MusicMúsica: "UnderSob PressurePressão" by QueenRainha)
(Áudio): (Música:
"Under Pressure" dos Queen)
(Aplausos)
10:01
(ApplauseAplausos)
Também podemos ir mais longe,
mudando o "hardware" que usamos.
10:06
And we can alsoAlém disso pushempurrar things
by changingmudando the hardwarehardware that we use.
As experiências que vos mostrei até aqui
10:11
Because the experimentsexperiências
I've shownmostrando you so farlonge
foram feitas com uma câmara
de alta velocidade,
10:13
were donefeito with a cameraCâmera,
a high-speedalta velocidade cameraCâmera,
10:15
that can recordregistro videovídeo
about a 100 timesvezes fasterMais rápido
que pode registar um vídeo
cerca de 100 vezes mais depressa
10:18
than mosta maioria cellcélula phonestelefones,
do que a maior parte dos telemóveis.
10:20
but we'venós temos alsoAlém disso foundencontrado a way
to use this techniquetécnica
Mas também arranjámos forma
de usar esta técnica
com câmaras mais vulgares.
10:23
with more regularregular camerascâmeras,
Fazemos isso tirando partido
do que se chama "rolling shutter".
10:25
and we do that by takinglevando advantagevantagem
of what's calledchamado a rollingrolando shutterobturador.
10:29
You see, mosta maioria camerascâmeras
recordregistro imagesimagens one rowlinha at a time,
A maior parte das câmaras regista
imagens seguidas, uma a uma.
Por isso, se um objeto se move
durante a gravação duma mesma imagem,
10:34
and so if an objectobjeto movesse move
duringdurante the recordinggravação of a singlesolteiro imageimagem,
há um pequeno compasso de atraso
entre cada imagem,
10:40
there's a slightleve time delaydemora
betweenentre eachcada rowlinha,
10:43
and this causescausas slightleve artifactsartefatos
o que causa pequenas distorções
10:46
that get codedcodificados into eachcada framequadro, armação of a videovídeo.
que ficam registadas
em cada imagem do vídeo.
Descobrimos que,
analisando essas distorções,
10:49
And so what we foundencontrado
is that by analyzinganalisando these artifactsartefatos,
10:53
we can actuallyna realidade recoverrecuperar soundsom
usingusando a modifiedmodificado versionversão of our algorithmalgoritmo de.
podemos recuperar o som, usando
uma versão modificada do nosso algoritmo.
10:58
So here'saqui está an experimentexperimentar we did
Esta foi uma experiência que fizemos
11:00
where we filmedfilmado a bagBolsa of candydoces
em que filmámos um pacote de rebuçados
11:01
while a nearbynas proximidades loudspeakeralto-falante playedreproduziu
junto dum altifalante que tocava
11:03
the samemesmo "MaryMary Had a Little LambCordeiro"
musicmúsica from before,
a mesma "Maria tinha um carneirinho"
11:06
but this time, we used just a regularregular
store-boughtloja cameraCâmera,
mas, desta vez, usámos uma câmara vulgar
comprada no supermercado.
Vou passar já o som que recuperámos.
11:10
and so in a secondsegundo, I'll playToque for you
the soundsom that we recoveredrecuperado,
Desta vez, vai soar distorcido,
11:13
and it's going to soundsom
distorteddistorcido this time,
mas oiçam com atenção
e vejam se reconhecem a música.
11:15
but listen and see if you can still
recognizereconhecer the musicmúsica.
(Áudio): (Música:
Mary tinha um cordeirinho.)
11:19
(AudioÁudio: "MaryMary Had a Little LambCordeiro")
De novo, esse som distorcido,
11:37
And so, again, that soundssoa distorteddistorcido,
mas o que é deveras espantoso nisto
é que conseguimos fazê-lo
11:40
but what's really amazingsurpreendente here
is that we were ablecapaz to do this
11:45
with something
that you could literallyliteralmente runcorre out
com uma coisa que vocês podem usar
11:48
and pickescolher up at a BestMelhor BuyComprar.
e comprar numa Loja de Audiovisuais.
Nesta altura, há muitas pessoas
que olham para isto
11:51
So at this pointponto,
11:52
a lot of people see this work,
11:54
and they immediatelyimediatamente think
about surveillancevigilância.
e pensam logo na vigilância.
(Risos)
11:57
And to be fairjusto,
Realmente,
não é difícil imaginar como é que podemos
usar esta tecnologia para espiar alguém.
12:00
it's not hardDifícil to imagineImagine how you mightpoderia use
this technologytecnologia to spyespião on someonealguém.
12:04
But keep in mindmente that there's already
a lot of very maturemaduras technologytecnologia
Mas lembrem-se que já há
imensa tecnologia muito sofisticada
para a vigilância.
12:08
out there for surveillancevigilância.
12:09
In factfacto, people have been usingusando laserslasers de
Na verdade, há décadas
que se usam os raios "laser"
12:12
to eavesdropbisbilhotar on objectsobjetos
from a distancedistância for decadesdécadas.
para escutar objetos à distância.
O que isto tem de novo
12:15
But what's really newNovo here,
o que é mesmo diferente,
12:18
what's really differentdiferente,
12:19
is that now we have a way
to picturecenário the vibrationsvibrações of an objectobjeto,
é que agora temos uma forma de representar
as vibrações dum objeto,
que nos dá novas lentes
através das quais vemos o mundo,
12:23
whichqual gives us a newNovo lenslente
throughatravés whichqual to look at the worldmundo,
e podemos usar essas lentes
12:27
and we can use that lenslente
12:28
to learnaprender not just about forcesforças like soundsom
that causecausa an objectobjeto to vibratevibrar,
para ver as forças, como o som,
que fazem vibrar um objeto,
12:33
but alsoAlém disso about the objectobjeto itselfem si.
mas também o próprio objeto.
12:36
And so I want to take a stepdegrau back
Vou recuar um pouco
12:38
and think about how that mightpoderia changemudança
the waysmaneiras that we use videovídeo,
e pensar como é que podíamos
alterar a forma de usar o vídeo,
porque habitualmente usamos
o vídeo para observar as coisas
12:42
because we usuallygeralmente use videovídeo
to look at things,
e eu acabei de mostrar como podemos usá-lo
12:46
and I've just shownmostrando you how we can use it
para escutar as coisas.
12:48
to listen to things.
Mas há outra importante forma
de conhecermos o mundo:
12:50
But there's anotheroutro importantimportante way
that we learnaprender about the worldmundo:
é interagindo com ele.
12:54
that's by interactinginteragindo with it.
Nós pressionamos, empurramos
e espicaçamos as coisas.
12:56
We pushempurrar and pullpuxar and pokegato por lebre and prodprod things.
Abanamos as coisas e vemos o que acontece.
13:00
We shakemexe things and see what happensacontece.
É uma coisa que o vídeo
ainda não nos deixa fazer,
13:03
And that's something that videovídeo
still won'tnão vai let us do,
pelo menos habitualmente.
13:07
at leastpelo menos not traditionallytradicionalmente.
13:09
So I want to showexposição you some newNovo work,
Vou mostrar-vos um trabalho novo
baseado numa ideia
que eu tive há uns meses.
13:11
and this is basedSediada on an ideaidéia I had
just a fewpoucos monthsmeses agoatrás,
13:14
so this is actuallyna realidade the first time
I've shownmostrando it to a publicpúblico audiencepúblico.
É a primeira vez
que mostro isto em público.
A ideia básica é que vamos usar
as vibrações num vídeo
13:17
And the basicbásico ideaidéia is that we're going
to use the vibrationsvibrações in a videovídeo
13:22
to capturecapturar objectsobjetos in a way
that will let us interactinteragir with them
para captar objetos duma forma
que nos permite interagir com eles
e ver como é que eles reagem.
13:27
and see how they reactreagir to us.
Isto é um objeto.
13:31
So here'saqui está an objectobjeto,
13:32
and in this casecaso, it's a wirefio figurefigura
in the shapeforma of a humanhumano,
Neste caso, é um boneco de arame
com a forma dum ser humano.
Vamos filmar este objeto
com uma câmara normal.
13:36
and we're going to filmfilme that objectobjeto
with just a regularregular cameraCâmera.
Esta câmara não tem nada de especial.
13:39
So there's nothing specialespecial
about this cameraCâmera.
Na verdade, já fiz isto
com o meu telemóvel.
13:41
In factfacto, I've actuallyna realidade donefeito this
with my cellcélula phonetelefone before.
Mas queremos ver o objeto a vibrar,
13:44
But we do want to see the objectobjeto vibratevibrar,
portanto, para que isso aconteça,
13:47
so to make that happenacontecer,
13:48
we're just going to bangbang a little bitpouco
on the surfacesuperfície where it's restingem repouso
vamos bater na superfície
onde ele está poisado
enquanto gravamos este vídeo.
13:51
while we recordregistro this videovídeo.
Já está: são cinco segundos
de gravação normal,
13:59
So that's it: just fivecinco secondssegundos
of regularregular videovídeo,
enquanto batemos na superfície.
14:03
while we bangbang on this surfacesuperfície,
Vamos usar as vibrações deste vídeo
14:05
and we're going to use
the vibrationsvibrações in that videovídeo
para conhecer as propriedades
estruturais e materiais do nosso objeto.
14:08
to learnaprender about the structuralestrutural
and materialmaterial propertiespropriedades of our objectobjeto,
Vamos usar essas informações
para criar uma coisa nova e interativa.
14:13
and we're going to use that informationem formação
to createcrio something newNovo and interactiveinterativo.
14:24
And so here'saqui está what we'venós temos createdcriada.
Isto é o que criámos.
Parece uma imagem normal,
14:27
And it looksparece like a regularregular imageimagem,
14:29
but this isn't an imageimagem,
and it's not a videovídeo,
mas isto não é uma imagem, nem é um vídeo
14:32
because now I can take my mouserato
porque agora eu posso agarrar no rato
14:35
and I can startcomeçar interactinginteragindo
with the objectobjeto.
e posso começar a interagir com o objeto.
14:44
And so what you see here
O que estão a ver aqui
14:47
is a simulationsimulação of how this objectobjeto
é uma simulação de como
este objeto responde a novas forças
14:49
would respondresponder to newNovo forcesforças
that we'venós temos never seenvisto before,
que nunca tínhamos visto.
14:54
and we createdcriada it from just
fivecinco secondssegundos of regularregular videovídeo.
Criámos isto a partir de apenas
cinco segundos dum vídeo normal.
(Aplausos)
14:59
(ApplauseAplausos)
Isto é de facto uma forma muito poderosa
de olhar para o mundo
15:09
And so this is a really powerfulpoderoso
way to look at the worldmundo,
porque nos permite prever
15:12
because it letsvamos us predictprever
how objectsobjetos will respondresponder
como o objetos reagem a novas situações.
15:15
to newNovo situationssituações,
15:17
and you could imagineImagine, for instanceinstância,
looking at an oldvelho bridgeponte
Podemos imaginar, por exemplo,
olhar para uma ponte antiga
15:20
and wonderingperguntando what would happenacontecer,
how would that bridgeponte holdaguarde up
e pensar o que pode acontecer,
se essa ponte aguentará
o peso do meu carro a atravessá-la.
15:24
if I were to drivedirigir my carcarro acrossatravés it.
Isso é uma pergunta que provavelmente
todos querem ver respondida
15:27
And that's a questionquestão
that you probablyprovavelmente want to answerresponda
15:30
before you startcomeçar drivingdirigindo
acrossatravés that bridgeponte.
antes de começar a atravessar essa ponte.
15:33
And of coursecurso, there are going to be
limitationslimitações to this techniquetécnica,
Claro que há limitações para esta técnica,
tal como havia para o microfone visual,
15:37
just like there were
with the visualvisual microphonemicrofone,
mas verificámos que funciona
em muitas situações
15:39
but we foundencontrado that it workstrabalho
in a lot of situationssituações
em que não estávamos à espera,
15:42
that you mightpoderia not expectEspero,
especialmente se obtivermos
vídeos mais longos.
15:44
especiallyespecialmente if you give it longermais longo videosvídeos.
Por exemplo, este é um vídeo que eu gravei
15:47
So for exampleexemplo,
here'saqui está a videovídeo that I capturedcapturado
15:50
of a busharbusto outsidelado de fora of my apartmentapartamento,
de um arbusto à porta do meu apartamento.
15:52
and I didn't do anything to this busharbusto,
Não fiz nada a este arbusto,
mas gravei um vídeo
com a duração de um minuto.
15:55
but by capturingcapturando a minute-longminutos de duração videovídeo,
15:58
a gentle□ Gentil breezebrisa causedcausou enoughsuficiente vibrationsvibrações
Uma leve brisa provocou
vibrações suficientes
16:01
that we could learnaprender enoughsuficiente about this busharbusto
to createcrio this simulationsimulação.
para eu poder criar esta simulação.
(Aplausos)
16:07
(ApplauseAplausos)
Podemos imaginar dar este vídeo
a um realizador de cinema
16:13
And so you could imagineImagine givingdando this
to a filmfilme directordiretor,
16:16
and lettingde locação him controlao controle, say,
e ele poder controlar, por exemplo,
16:18
the strengthforça and directiondireção of windvento
in a shottiro after it's been recordedgravado.
a força e a direção do vento numa cena,
depois de ela ter sido gravada.
Ou, neste caso, apontámos
a câmara para uma cortina pendurada.
16:24
Or, in this casecaso, we pointedapontado our cameraCâmera
at a hangingsuspensão curtaincortina,
16:29
and you can't even see
any motionmovimento in this videovídeo,
Não conseguimos ver
qualquer movimento neste vídeo
mas, gravando o vídeo
com a duração de dois minutos,
16:33
but by recordinggravação a two-minute-longdois minutos de duração videovídeo,
as correntes de ar naturais nesta sala
16:36
naturalnatural airar currentscorrentes in this roomquarto
16:38
createdcriada enoughsuficiente subtlesutil,
imperceptibleimperceptível motionsmovimentos and vibrationsvibrações
criaram movimentos
e vibrações subtis, impercetíveis,
16:43
that we could learnaprender enoughsuficiente
to createcrio this simulationsimulação.
suficientes para sabermos
criar esta simulação.
Ironicamente,
16:48
And ironicallyironicamente,
16:50
we're kindtipo of used to havingtendo
this kindtipo of interactivityinteratividade
estamos fartos de ter
este tipo de interatividade
no que refere a objetos virtuais,
16:53
when it comesvem to virtualvirtual objectsobjetos,
no que respeita a videojogos
e modelos a 3D,
16:56
when it comesvem to videovídeo gamesjogos
and 3D modelsmodelos,
mas ser capaz de captar estas informações
a partir de objetos reais do mundo real
16:59
but to be ablecapaz to capturecapturar this informationem formação
from realreal objectsobjetos in the realreal worldmundo
usando apenas um vídeo simples, normal,
17:04
usingusando just simplesimples, regularregular videovídeo,
é uma coisa totalmente nova
que tem imenso potencial.
17:06
is something newNovo that has
a lot of potentialpotencial.
17:10
So here are the amazingsurpreendente people
who workedtrabalhou with me on these projectsprojetos.
Estas são as pessoas espantosas
que trabalharam comigo nestes projetos.
(Aplausos)
17:16
(ApplauseAplausos)
O que vos mostrei hoje é apenas o início.
17:24
And what I've shownmostrando you todayhoje
is only the beginningcomeçando.
Só começámos a arranhar a superfície
17:27
We'veTemos just startedcomeçado to scratchcoçar, arranhão the surfacesuperfície
do que podemos fazer
com este tipo de imagens
17:29
of what you can do
with this kindtipo of imagingimagem latente,
porque nos dão uma nova forma
17:32
because it gives us a newNovo way
17:35
to capturecapturar our surroundingsarredores
with commoncomum, accessibleacessível technologytecnologia.
de captar o nosso meio envolvente
com uma tecnologia comum, acessível.
Olhando para o futuro,
17:40
And so looking to the futurefuturo,
vai ser uma coisa excitante para explorar
17:41
it's going to be
really excitingemocionante to exploreexplorar
17:44
what this can tell us about the worldmundo.
o que isto nos pode revelar sobre o mundo.
17:46
Thank you.
Obrigado.
17:47
(ApplauseAplausos)
(Aplausos)

▲Back to top

About the speaker:

Abe Davis - Computer scientist
Computer vision expert Abe Davis pioneers methods to extract audio from silent digital videos, even footage shot on ordinary consumer cameras.

Why you should listen

MIT PhD student, computer vision wizard and rap artist Abe Davis has co-created the world’s most improbable audio instrument.  In 2014, Davis and his collaborators debuted the “visual microphone,” an algorithm that samples the sympathetic vibrations of ordinary objects (such as a potato chip bag) from ordinary high-speed video footage and transduces them into intelligible audio tracks.

Davis is also the author of Caperture, a 3D-imaging app designed to create and share 3D images on any compatible smartphone.

More profile about the speaker
Abe Davis | Speaker | TED.com