TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Como um computador aprende a reconhecer objetos instantaneamente
Filmed:
Readability: 4.5
2,471,805 views
Dez anos atrás, pesquisadores pensavam que fazer um computador dizer a diferença entre um gato e um cachorro seria quase impossível. Hoje, sistemas de visão computacional o fazem com mais de 99 por cento de precisão. Como? Joseph Redmon trabalha no sistema YOLO (You Only Look Once), um método de código aberto para detecção de objetos que consegue identificar objetos em imagens e vídeos - de zebras a placas - de maneira extremamente rápida. Em uma memorável demonstração ao vivo, Redmon mostra este importante passo à frente para aplicações como carros auto-motores, robótica e ainda detecção de câncer.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
Há dez anos, os investigadores
de visão computacional
de visão computacional
00:12
Ten years ago,
0
825
1151
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
pensavam que fazer
com que um computador
com que um computador
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
percebesse a diferença
entre um gato e um cão
entre um gato e um cão
00:19
would be almost impossible,
3
7520
1976
seria praticamente impossível,
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
mesmo com o avanço significativo
no campo da inteligência artificial.
no campo da inteligência artificial.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Agora, podemos fazê-lo
com uma precisão superior a 99%.
com uma precisão superior a 99%.
Isto chama-se classificação de imagem:
00:29
This is called image classification --
6
17680
1856
dar ao computador uma imagem,
atribuirmos-lhe um rótulo,
atribuirmos-lhe um rótulo,
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
e os computadores reconhecem
milhares de outras categorias também.
milhares de outras categorias também.
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
Sou um aluno de pós-graduação
da Universidade de Washington,
da Universidade de Washington,
e trabalho num projeto chamado "Darknet",
00:41
and I work on a project called Darknet,
10
29600
1896
00:43
which is a neural network framework
11
31520
1696
que é uma estrutura de rede neural
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
para treinar e testar modelos
de visão computacional.
de visão computacional.
00:48
So let's just see what Darknet thinks
13
36080
2976
Então, vamos ver o que a "Darknet" pensa
00:51
of this image that we have.
14
39080
1760
desta imagem que temos.
00:54
When we run our classifier
15
42520
2336
Quando usamos
o nosso classificador nesta imagem,
o nosso classificador nesta imagem,
00:56
on this image,
16
44880
1216
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
não ficamos somente a saber
se é um cão ou um gato,
se é um cão ou um gato,
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
mas obtemos a raça específica.
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
Este é o nível de detalhe que temos agora.
01:05
And it's correct.
20
53160
1616
E está correto.
01:06
My dog is in fact a malamute.
21
54800
1840
O meu cão é, de facto, um malamute.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Então, fizemos incríveis avanços
na classificação de imagem,
na classificação de imagem,
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
mas o que acontece quando usamos
o classificador numa imagem como esta?
o classificador numa imagem como esta?
01:15
on an image that looks like this?
24
63424
1960
01:19
Well ...
25
67080
1200
Bem...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Vemos que o classificador retorna com
uma predição muito similar.
uma predição muito similar.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
E está correta, há um malamute na imagem,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
mas só através deste rótulo,
não conseguimos saber muito
não conseguimos saber muito
01:35
about what's going on in the image.
29
83400
1667
sobre o que se passa na imagem.
01:37
We need something more powerful.
30
85091
1560
Precisamos de algo mais eficaz.
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
Eu trabalho numa questão
chamada deteção de objetos,
chamada deteção de objetos,
em que analisamos uma imagem
e tentamos achar todos os objetos,
e tentamos achar todos os objetos,
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
colocamos caixas delimitadoras
à volta deles
à volta deles
01:44
put bounding boxes around them
33
92840
1456
01:46
and say what those objects are.
34
94320
1520
e dizemos que objetos são aqueles.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Isto é o que acontece quando
usamos um detetor nesta imagem.
usamos um detetor nesta imagem.
01:53
Now, with this kind of result,
36
101240
2256
Com este tipo de resultado,
podemos fazer muito mais com os nossos
algoritmos de visão computacional.
algoritmos de visão computacional.
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Vemos que o detetor sabe
que está ali um gato e um cão.
que está ali um gato e um cão.
02:01
It knows their relative locations,
39
109240
2256
Ele sabe quais as suas posições relativas,
o tamanho deles.
o tamanho deles.
02:03
their size.
40
111520
1216
02:04
It may even know some extra information.
41
112760
1936
Pode até saber alguma informação extra:
está um livro ali ao fundo.
02:06
There's a book sitting in the background.
42
114720
1960
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
E se quisermos construir um sistema
a partir da visão computacional,
a partir da visão computacional,
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
digamos, um veículo autónomo
ou um sistema robótico,
ou um sistema robótico,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
este é o tipo de informação que queremos.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Precisamos de algo que possa
interagir com o mundo físico.
interagir com o mundo físico.
Quando comecei a trabalhar
em deteção de objetos,
em deteção de objetos,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
levava 20 segundos para
processar uma única imagem.
processar uma única imagem.
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
E para terem uma noção de como a
velocidade é tão importante neste campo,
velocidade é tão importante neste campo,
02:33
here's an example of an object detector
50
141120
2536
este é um exemplo
de um detetor de objetos
de um detetor de objetos
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
que leva dois segundos
para processar uma imagem.
para processar uma imagem.
02:38
So this is 10 times faster
52
146120
2616
Isto é, 10 vezes mais rápido
02:40
than the 20-seconds-per-image detector,
53
148760
3536
que o detetor de 20-segundos-por-imagem.
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
Podem ver que. no tempo
que demora a fazer predições,
que demora a fazer predições,
02:47
the entire state of the world has changed,
55
155000
2040
tudo mudou.
02:49
and this wouldn't be very useful
56
157880
2416
Isso não seria muito útil
para uma aplicação.
para uma aplicação.
02:52
for an application.
57
160320
1416
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Se aumentarmos a velocidade 10 vezes mais,
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
este é um detetor
a cinco quadros por segundo.
a cinco quadros por segundo.
02:59
This is a lot better,
60
167120
1536
Isto é muito melhor
03:00
but for example,
61
168680
1976
mas, por exemplo,
03:02
if there's any significant movement,
62
170680
2296
se houver qualquer
movimento significativo,
movimento significativo,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
eu não quereria um sistema
como este a conduzir o meu carro.
como este a conduzir o meu carro.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
Este é o nosso sistema de deteção
em tempo-real no meu portátil.
em tempo-real no meu portátil.
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Ele acompanha-me suavemente
enquanto me movo à volta do quadro,
enquanto me movo à volta do quadro,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
e é potente para uma grande variedade
de mudanças de tamanho,
de mudanças de tamanho,
03:21
pose,
67
189440
1200
de posição,
03:23
forward, backward.
68
191280
1856
para a frente, para trás,
isto é uma maravilha.
isto é uma maravilha.
03:25
This is great.
69
193160
1216
É disto que realmente precisamos
03:26
This is what we really need
70
194400
1736
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
se formos construir sistemas
a partir de visão computacional.
a partir de visão computacional.
03:31
(Applause)
72
199080
4000
(Aplausos)
03:36
So in just a few years,
73
204280
2176
Apenas nalguns anos,
03:38
we've gone from 20 seconds per image
74
206480
2656
mudámos de 20 segundos por imagem
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
para 20 milissegundos por imagem,
mil vezes mais rápido.
mil vezes mais rápido.
03:44
How did we get there?
76
212720
1416
Como chegámos lá?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
Bom, no passado,
os sistemas de deteção de objetos
os sistemas de deteção de objetos
03:49
would take an image like this
78
217200
1936
agarrariam numa imagem assim
03:51
and split it into a bunch of regions
79
219160
2456
e dividi-la-iam num punhado de regiões
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
e depois rodariam um classificador
em cada uma destas regiões.
em cada uma destas regiões.
03:56
and high scores for that classifier
81
224920
2536
As pontuações altas
para aquele classificador
para aquele classificador
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
seriam consideradas deteções na imagem.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Mas isto envolvia rodar o classificador
milhares de vezes numa imagem,
milhares de vezes numa imagem,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
milhares de avaliações de redes neurais
para produzir deteção.
para produzir deteção.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
Em vez disso, treinamos uma única rede
para fazer toda a deteção por nós.
para fazer toda a deteção por nós.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Ela produz todas as caixas limitadoras e
probabilidades de classe simultaneamente.
probabilidades de classe simultaneamente.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Com o nosso sistema, em vez de
olhar para uma imagem milhares de vezes
olhar para uma imagem milhares de vezes
04:24
to produce detection,
88
252200
1456
para produzir deteção,
04:25
you only look once,
89
253680
1256
olhamos apenas para uma.
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
É por isso que lhe chamamos
o método YOLO de deteção de objetos.
o método YOLO de deteção de objetos.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Então com essa velocidade,
não estamos limitados apenas a imagens;
não estamos limitados apenas a imagens;
04:35
we can process video in real time.
92
263360
2416
podemos processar vídeos em tempo real.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
E agora, em vez de ver
um gato e um cão,
um gato e um cão,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
podemos vê-los moverem-se
e interagirem um com o outro.
e interagirem um com o outro.
04:46
This is a detector that we trained
95
274560
2056
Este é um detetor que treinámos
04:48
on 80 different classes
96
276640
4376
em 80 classes diferentes
04:53
in Microsoft's COCO dataset.
97
281040
3256
no conjunto de dados COCO, da Microsoft.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Ele tem todo o tipo de coisas,
como colher e garfo, tigela,
como colher e garfo, tigela,
04:59
common objects like that.
99
287680
1800
objetos comuns como esses.
05:02
It has a variety of more exotic things:
100
290360
3096
Tem uma variedade
de coisas mais exóticas:
de coisas mais exóticas:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
animais, carros, zebras, girafas.
05:08
And now we're going to do something fun.
102
296760
1936
E agora vamos fazer algo divertido.
Vamos até à audiência e ver
que tipos de coisas podemos detetar.
que tipos de coisas podemos detetar.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
05:12
and see what kind of things we can detect.
104
300840
2016
Alguém quer um animal de peluche?
05:14
Does anyone want a stuffed animal?
105
302880
1620
05:18
There are some teddy bears out there.
106
306000
1762
Há por aqui uns ursinhos.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
Podemos diminuir o nosso limiar
de deteção por um momento,
de deteção por um momento,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
para podemos detetar
mais pessoas na audiência.
mais pessoas na audiência.
05:31
Let's see if we can get these stop signs.
109
319560
2336
Vamos ver se conseguimos
detetar essas placas.
detetar essas placas.
05:33
We find some backpacks.
110
321920
1880
Achámos umas mochilas.
05:37
Let's just zoom in a little bit.
111
325880
1840
Vamos ampliar um pouco.
05:42
And this is great.
112
330320
1256
E isso é ótimo.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
Todo o processamento
está a ocorrer em tempo real
está a ocorrer em tempo real
05:46
on the laptop.
114
334800
1200
no portátil.
05:49
And it's important to remember
115
337080
1456
E é importante lembrarem-se
que este é um sistema
de deteção de propósito geral,
de deteção de propósito geral,
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
05:53
so we can train this for any image domain.
117
341800
5000
e assim podemos treiná-lo para
qualquer domínio de imagens.
qualquer domínio de imagens.
06:00
The same code that we use
118
348320
2536
O mesmo código que usamos
06:02
to find stop signs or pedestrians,
119
350880
2456
para encontrar sinais de stop
ou pedestres,
ou pedestres,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
bicicletas num veículo automotor,
06:07
can be used to find cancer cells
121
355360
2856
pode ser usado para encontrar
células cancerígenas
células cancerígenas
06:10
in a tissue biopsy.
122
358240
3016
numa biópsia de tecido.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
Há investigadores por todo o mundo
que já usam esta tecnologia
que já usam esta tecnologia
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
para progredirem em coisas
como a medicina, a robótica.
como a medicina, a robótica.
06:21
This morning, I read a paper
125
369680
1376
Hoje de manhã, li um artigo
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
que dizia que estavam a fazer
um recenseamento de animais
um recenseamento de animais
no Parque Nacional Nairobi
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
com YOLO como parte
deste sistema de deteção.
deste sistema de deteção.
06:30
And that's because Darknet is open source
128
378840
3096
Isto é possível porque a Darknet
é de código aberto
é de código aberto
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
e está sob domínio público,
livre para qualquer um usar.
livre para qualquer um usar.
06:37
(Applause)
130
385600
5696
(Aplausos)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Mas queríamos tornar a deteção
ainda mais acessível e utilizável,
ainda mais acessível e utilizável,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
então através de uma combinação
de otimização de modelos,
de otimização de modelos,
06:52
network binarization and approximation,
133
400360
2296
binarização de redes e aproximação,
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
conseguimos fazer a deteção
de objetos rodar num telemóvel.
de objetos rodar num telemóvel.
07:04
(Applause)
135
412800
5320
(Aplausos)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
Estou realmente ansioso porque
agora temos uma solução muito poderosa
agora temos uma solução muito poderosa
para este problema de
visão computacional de baixo-nível,
visão computacional de baixo-nível,
07:16
to this low-level computer vision problem,
137
424040
2296
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
e todos podem tomá-lo
e fazer algo com ele.
e fazer algo com ele.
07:22
So now the rest is up to all of you
139
430240
3176
Agora o resto é com todos vocês
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
e com as pessoas em todo o mundo
com acesso a este software.
com acesso a este software.
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
Não posso esperar para ver o que as
pessoas construirão com esta tecnologia.
pessoas construirão com esta tecnologia.
07:32
Thank you.
142
440080
1216
Obrigado.
07:33
(Applause)
143
441320
3440
(Aplausos)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com