TED2017
Joseph Redmon: How computers learn to recognize objects instantly
Joseph Redmon: Cómo las computadoras aprenden a reconocer objetos al instante
Filmed:
Readability: 4.5
2,471,805 views
Hace diez años los investigadores pensaban que inventar una computadora que distinguiera un gato de un perro sería casi imposible. Hoy en día los sistemas de visión artificial lo hacen con una precisión superior al 99 %. ¿Cómo? Joseph Redmon trabaja en el sistema YOLO (You Only Look Once), un método de detección de objetos de código abierto que puede identificar objetos en imágenes y video, desde cebras hasta señales de stop, a una gran velocidad. En una demostración en vivo memorable, Redmon muestra este importante avance con aplicaciones en la autoconducción de autos, robótica e incluso en la detección del cáncer.
Joseph Redmon - Computer scientist
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Joseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time. Full bio
Double-click the English transcript below to play the video.
Hace diez años los investigadores
de la visión artificial
de la visión artificial
00:12
Ten years ago,
0
825
1151
00:14
computer vision researchers
thought that getting a computer
thought that getting a computer
1
2000
2776
pensaban que hacer que una computadora
00:16
to tell the difference
between a cat and a dog
between a cat and a dog
2
4800
2696
distinguiera un gato de un perro
00:19
would be almost impossible,
3
7520
1976
sería casi imposible,
00:21
even with the significant advance
in the state of artificial intelligence.
in the state of artificial intelligence.
4
9520
3696
incluso con el avance significativo
de la inteligencia artificial.
de la inteligencia artificial.
00:25
Now we can do it at a level
greater than 99 percent accuracy.
greater than 99 percent accuracy.
5
13240
3560
Ahora podemos hacerlo con un nivel
superior al 99 % de precisión.
superior al 99 % de precisión.
00:29
This is called image classification --
6
17680
1856
Esto se llama clasificación de imagen.
00:31
give it an image,
put a label to that image --
put a label to that image --
7
19560
3096
Esto es, poner una etiqueta a esa imagen.
00:34
and computers know
thousands of other categories as well.
thousands of other categories as well.
8
22680
3040
Y las computadoras conocen miles
de otras categorías también.
de otras categorías también.
Soy estudiante de posgrado
en la Universidad de Washington,
en la Universidad de Washington,
00:38
I'm a graduate student
at the University of Washington,
at the University of Washington,
9
26680
2896
y trabajo en un proyecto llamado Darknet,
00:41
and I work on a project called Darknet,
10
29600
1896
00:43
which is a neural network framework
11
31520
1696
que es un framework de red neuronal
00:45
for training and testing
computer vision models.
computer vision models.
12
33240
2816
para la capacitación y ensayo
de modelos de visión artificial,
de modelos de visión artificial,
00:48
So let's just see what Darknet thinks
13
36080
2976
Así que veamos lo que piensa Darknet
00:51
of this image that we have.
14
39080
1760
de esta imagen que tenemos aquí.
00:54
When we run our classifier
15
42520
2336
Cuando ejecutamos nuestro clasificador
en esta imagen,
00:56
on this image,
16
44880
1216
vemos que no solo se obtiene
una predicción de perro o gato,
una predicción de perro o gato,
00:58
we see we don't just get
a prediction of dog or cat,
a prediction of dog or cat,
17
46120
2456
en realidad, obtenemos
predicciones de raza específicas.
predicciones de raza específicas.
01:00
we actually get
specific breed predictions.
specific breed predictions.
18
48600
2336
01:02
That's the level
of granularity we have now.
of granularity we have now.
19
50960
2176
Ese es el nivel de granularidad actual.
01:05
And it's correct.
20
53160
1616
Y es correcto.
01:06
My dog is in fact a malamute.
21
54800
1840
Mi perro es de hecho un malamute.
01:09
So we've made amazing strides
in image classification,
in image classification,
22
57040
4336
Hemos hecho avances increíbles
en la clasificación de imágenes,
en la clasificación de imágenes,
01:13
but what happens
when we run our classifier
when we run our classifier
23
61400
2000
pero ¿qué pasa
al ejecutar nuestro clasificador
al ejecutar nuestro clasificador
01:15
on an image that looks like this?
24
63424
1960
en una imagen así?
01:19
Well ...
25
67080
1200
Bien...
01:24
We see that the classifier comes back
with a pretty similar prediction.
with a pretty similar prediction.
26
72640
3896
Vemos que el clasificador vuelve
con una predicción bastante similar.
con una predicción bastante similar.
01:28
And it's correct,
there is a malamute in the image,
there is a malamute in the image,
27
76560
3096
Y es correcto,
hay un malamute en la imagen,
hay un malamute en la imagen,
01:31
but just given this label,
we don't actually know that much
we don't actually know that much
28
79680
3696
pero solo con esta etiqueta,
en realidad, no sabemos mucho
en realidad, no sabemos mucho
01:35
about what's going on in the image.
29
83400
1667
sobre lo que pasa en la imagen.
01:37
We need something more powerful.
30
85091
1560
Necesitamos algo más potente.
Trabajo en un problema
llamado detección de objetos,
llamado detección de objetos,
01:39
I work on a problem
called object detection,
called object detection,
31
87240
2616
donde miramos una imagen e
intentamos encontrar todos los objetos,
intentamos encontrar todos los objetos,
01:41
where we look at an image
and try to find all of the objects,
and try to find all of the objects,
32
89880
2936
poniendo cajas delimitadoras
alrededor de ellos
alrededor de ellos
01:44
put bounding boxes around them
33
92840
1456
01:46
and say what those objects are.
34
94320
1520
y averiguar qué son esos objetos.
01:48
So here's what happens
when we run a detector on this image.
when we run a detector on this image.
35
96400
3280
Así que esto es lo que ocurre
al ejecutar un detector en esta imagen.
al ejecutar un detector en esta imagen.
Ahora, con este tipo de resultado,
01:53
Now, with this kind of result,
36
101240
2256
podemos hacer mucho más con nuestros
algoritmos de visión artificial.
algoritmos de visión artificial.
01:55
we can do a lot more
with our computer vision algorithms.
with our computer vision algorithms.
37
103520
2696
01:58
We see that it knows
that there's a cat and a dog.
that there's a cat and a dog.
38
106240
2976
Vemos que sabe que hay un gato y un perro.
02:01
It knows their relative locations,
39
109240
2256
Conoce sus ubicaciones relativas,
02:03
their size.
40
111520
1216
su tamaño.
02:04
It may even know some extra information.
41
112760
1936
Incluso puede saber
alguna información adicional.
alguna información adicional.
02:06
There's a book sitting in the background.
42
114720
1960
Hay un libro en el fondo.
02:09
And if you want to build a system
on top of computer vision,
on top of computer vision,
43
117280
3256
Y si desea construir un sistema con base
en la visión artificial
en la visión artificial
02:12
say a self-driving vehicle
or a robotic system,
or a robotic system,
44
120560
3456
por ejemplo, un vehículo autodirigido
o un sistema robótico,
o un sistema robótico,
02:16
this is the kind
of information that you want.
of information that you want.
45
124040
2456
este es el tipo de información
que necesita.
que necesita.
02:18
You want something so that
you can interact with the physical world.
you can interact with the physical world.
46
126520
3239
Algo para interactuar con el mundo físico.
Cuando empecé a trabajar
en la detección de objetos,
en la detección de objetos,
02:22
Now, when I started working
on object detection,
on object detection,
47
130759
2257
02:25
it took 20 seconds
to process a single image.
to process a single image.
48
133040
3296
se tardaba 20 segundos
en procesar una sola imagen.
en procesar una sola imagen.
02:28
And to get a feel for why
speed is so important in this domain,
speed is so important in this domain,
49
136360
3880
Y para entender por qué la velocidad
es tan importante en este ámbito,
es tan importante en este ámbito,
02:33
here's an example of an object detector
50
141120
2536
este es un ejemplo
de un detector de objetos
de un detector de objetos
02:35
that takes two seconds
to process an image.
to process an image.
51
143680
2416
que tarda dos segundos
en procesar una imagen.
en procesar una imagen.
02:38
So this is 10 times faster
52
146120
2616
Así que esto es 10 veces más rápido
02:40
than the 20-seconds-per-image detector,
53
148760
3536
que el detector de 20 segundos por imagen,
02:44
and you can see that by the time
it makes predictions,
it makes predictions,
54
152320
2656
y se puede ver que, en el momento
de hacer las predicciones,
de hacer las predicciones,
02:47
the entire state of the world has changed,
55
155000
2040
el estado entero del mundo ha cambiado,
02:49
and this wouldn't be very useful
56
157880
2416
y esto no sería muy útil
02:52
for an application.
57
160320
1416
para una aplicación.
02:53
If we speed this up
by another factor of 10,
by another factor of 10,
58
161760
2496
Si aceleramos esto por otro factor de 10,
esto es un detector que funciona
en cinco fotogramas por segundo.
en cinco fotogramas por segundo.
02:56
this is a detector running
at five frames per second.
at five frames per second.
59
164280
2816
02:59
This is a lot better,
60
167120
1536
Esto es mucho mejor
03:00
but for example,
61
168680
1976
pero, por ejemplo,
03:02
if there's any significant movement,
62
170680
2296
si hay algún movimiento significativo,
03:05
I wouldn't want a system
like this driving my car.
like this driving my car.
63
173000
2560
yo no quisiera un sistema como este
conduciendo mi auto.
conduciendo mi auto.
Este es nuestro sistema de detección que
se ejecuta en tiempo real en mi portátil.
se ejecuta en tiempo real en mi portátil.
03:09
This is our detection system
running in real time on my laptop.
running in real time on my laptop.
64
177120
3240
03:13
So it smoothly tracks me
as I move around the frame,
as I move around the frame,
65
181000
3136
Así que suavemente me sigue
mientras me muevo en la imagen,
mientras me muevo en la imagen,
03:16
and it's robust to a wide variety
of changes in size,
of changes in size,
66
184160
3720
y es robusto con una amplia variedad
de cambios de tamaño,
de cambios de tamaño,
03:21
pose,
67
189440
1200
poses,
03:23
forward, backward.
68
191280
1856
hacia adelante, hacia atrás.
03:25
This is great.
69
193160
1216
Esto es genial.
03:26
This is what we really need
70
194400
1736
Esto es lo que realmente necesitamos
03:28
if we're going to build systems
on top of computer vision.
on top of computer vision.
71
196160
2896
si vamos a construir sistemas
con base en visión artificial.
con base en visión artificial.
03:31
(Applause)
72
199080
4000
(Aplausos)
03:36
So in just a few years,
73
204280
2176
Así que en solo unos pocos años,
03:38
we've gone from 20 seconds per image
74
206480
2656
hemos pasado de 20 segundos por imagen
03:41
to 20 milliseconds per image,
a thousand times faster.
a thousand times faster.
75
209160
3536
a 20 milisegundos por imagen,
mil veces más rápido.
mil veces más rápido.
03:44
How did we get there?
76
212720
1416
¿Cómo llegamos hasta aquí?
03:46
Well, in the past,
object detection systems
object detection systems
77
214160
3016
Bueno, en el pasado,
los sistemas de detección de objetos
los sistemas de detección de objetos
03:49
would take an image like this
78
217200
1936
tomaban una imagen como esta
03:51
and split it into a bunch of regions
79
219160
2456
y la dividían en un montón de regiones
03:53
and then run a classifier
on each of these regions,
on each of these regions,
80
221640
3256
y luego ejecutaban un clasificador
en cada una de estas regiones,
en cada una de estas regiones,
03:56
and high scores for that classifier
81
224920
2536
y las puntuaciones altas
de ese clasificador
de ese clasificador
03:59
would be considered
detections in the image.
detections in the image.
82
227480
3136
se consideraban detecciones de la imagen.
04:02
But this involved running a classifier
thousands of times over an image,
thousands of times over an image,
83
230640
4056
Pero eso implicaba ejecutar un clasificador
miles de veces sobre una imagen,
miles de veces sobre una imagen,
04:06
thousands of neural network evaluations
to produce detection.
to produce detection.
84
234720
2920
miles de evaluaciones de redes neuronales
para producir detección.
para producir detección.
04:11
Instead, we trained a single network
to do all of detection for us.
to do all of detection for us.
85
239240
4536
En cambio, nosotros hemos entrenado
una sola red para hacer toda la detección.
una sola red para hacer toda la detección.
04:15
It produces all of the bounding boxes
and class probabilities simultaneously.
and class probabilities simultaneously.
86
243800
4280
Produce todas las cajas delimitadoras
y ordena las probabilidades en simultáneo.
y ordena las probabilidades en simultáneo.
04:20
With our system, instead of looking
at an image thousands of times
at an image thousands of times
87
248680
3496
Con nuestro sistema, en lugar
de mirar una imagen miles de veces
de mirar una imagen miles de veces
04:24
to produce detection,
88
252200
1456
para hacer la detección,
04:25
you only look once,
89
253680
1256
se mira tan solo una vez,
04:26
and that's why we call it
the YOLO method of object detection.
the YOLO method of object detection.
90
254960
2920
y por eso lo llamamos
método YOLO de detección de objetos.
método YOLO de detección de objetos.
04:31
So with this speed,
we're not just limited to images;
we're not just limited to images;
91
259360
3976
Así que con esta velocidad,
no estamos limitados a las imágenes;
no estamos limitados a las imágenes;
04:35
we can process video in real time.
92
263360
2416
podemos procesar el video en tiempo real.
04:37
And now, instead of just seeing
that cat and dog,
that cat and dog,
93
265800
3096
Y ahora, en lugar de solo ver
a ese gato y perro,
a ese gato y perro,
04:40
we can see them move around
and interact with each other.
and interact with each other.
94
268920
2960
podemos verlos moverse
e interactuar unos con otros.
e interactuar unos con otros.
04:46
This is a detector that we trained
95
274560
2056
Este es un detector que entrenamos
04:48
on 80 different classes
96
276640
4376
en 80 clases diferentes
04:53
in Microsoft's COCO dataset.
97
281040
3256
en el conjunto de datos COCO de Microsoft.
04:56
It has all sorts of things
like spoon and fork, bowl,
like spoon and fork, bowl,
98
284320
3336
Tiene todo tipo de cosas
como cuchara y tenedor, cuenco,
como cuchara y tenedor, cuenco,
04:59
common objects like that.
99
287680
1800
objetos comunes como esos.
05:02
It has a variety of more exotic things:
100
290360
3096
Tiene una variedad de cosas más exóticas:
05:05
animals, cars, zebras, giraffes.
101
293480
3256
animales, autos, cebras, jirafas.
05:08
And now we're going to do something fun.
102
296760
1936
Y ahora vamos a hacer algo divertido.
05:10
We're just going to go
out into the audience
out into the audience
103
298720
2096
Solo vamos a ir a la audiencia
05:12
and see what kind of things we can detect.
104
300840
2016
y ver qué tipo de cosas podemos detectar.
05:14
Does anyone want a stuffed animal?
105
302880
1620
¿Alguien quiere un peluche?
05:18
There are some teddy bears out there.
106
306000
1762
Hay algunos osos de peluche por aquí.
05:22
And we can turn down
our threshold for detection a little bit,
our threshold for detection a little bit,
107
310040
4536
Y podemos reducir
nuestro umbral de detección un poco,
nuestro umbral de detección un poco,
05:26
so we can find more of you guys
out in the audience.
out in the audience.
108
314600
3400
así podemos encontrar
a más de Uds. en la audiencia.
a más de Uds. en la audiencia.
Vamos a ver si podemos obtener
estas señales de stop.
estas señales de stop.
05:31
Let's see if we can get these stop signs.
109
319560
2336
05:33
We find some backpacks.
110
321920
1880
Encontramos algunas mochilas.
05:37
Let's just zoom in a little bit.
111
325880
1840
Vamos a acercarnos un poco.
05:42
And this is great.
112
330320
1256
Y esto es genial.
05:43
And all of the processing
is happening in real time
is happening in real time
113
331600
3176
Y todo el procesamiento
está sucediendo en tiempo real
está sucediendo en tiempo real
05:46
on the laptop.
114
334800
1200
en la computadora portátil.
05:49
And it's important to remember
115
337080
1456
Y es importante recordar
05:50
that this is a general purpose
object detection system,
object detection system,
116
338560
3216
que se trata de un sistema de
detección de objetos de propósito general,
detección de objetos de propósito general,
05:53
so we can train this for any image domain.
117
341800
5000
así que podemos entrenar esto
para cualquier dominio de la imagen.
para cualquier dominio de la imagen.
06:00
The same code that we use
118
348320
2536
El mismo código que usamos
06:02
to find stop signs or pedestrians,
119
350880
2456
para encontrar señales
de stop o de peatones,
de stop o de peatones,
06:05
bicycles in a self-driving vehicle,
120
353360
1976
bicicletas en un vehículo autodirigido,
06:07
can be used to find cancer cells
121
355360
2856
puede usarse
para encontrar células cancerosas
para encontrar células cancerosas
06:10
in a tissue biopsy.
122
358240
3016
en una biopsia de tejido.
06:13
And there are researchers around the globe
already using this technology
already using this technology
123
361280
4040
Y hay investigadores de todo el mundo
que ya usan esta tecnología
que ya usan esta tecnología
06:18
for advances in things
like medicine, robotics.
like medicine, robotics.
124
366240
3416
para avances en cosas
como la medicina, la robótica.
como la medicina, la robótica.
06:21
This morning, I read a paper
125
369680
1376
Esta mañana leí un periódico
06:23
where they were taking a census
of animals in Nairobi National Park
of animals in Nairobi National Park
126
371080
4576
sobre un censo de animales que estaban
haciendo en el Parque Nacional de Nairobi
haciendo en el Parque Nacional de Nairobi
06:27
with YOLO as part
of this detection system.
of this detection system.
127
375680
3136
que usa YOLO como parte
de este sistema de detección.
de este sistema de detección.
06:30
And that's because Darknet is open source
128
378840
3096
Y eso es posible,
porque Darknet es de código abierto
porque Darknet es de código abierto
06:33
and in the public domain,
free for anyone to use.
free for anyone to use.
129
381960
2520
y de dominio público y libre para
que lo use cualquier persona.
que lo use cualquier persona.
06:37
(Applause)
130
385600
5696
(Aplausos)
06:43
But we wanted to make detection
even more accessible and usable,
even more accessible and usable,
131
391320
4936
Pero queríamos que la detección
fuera aún más accesible y usable,
fuera aún más accesible y usable,
06:48
so through a combination
of model optimization,
of model optimization,
132
396280
4056
por eso, mediante una combinación
de optimización de modelos,
de optimización de modelos,
06:52
network binarization and approximation,
133
400360
2296
binarización de red y aproximación,
06:54
we actually have object detection
running on a phone.
running on a phone.
134
402680
3920
tenemos un reconocimiento de objetos
que funciona en un teléfono.
que funciona en un teléfono.
07:04
(Applause)
135
412800
5320
(Aplausos)
07:10
And I'm really excited because
now we have a pretty powerful solution
now we have a pretty powerful solution
136
418960
5056
Y estoy muy contento porque ahora
tenemos una solución bastante potente
tenemos una solución bastante potente
a este problema de visión artificial
de bajo nivel,
de bajo nivel,
07:16
to this low-level computer vision problem,
137
424040
2296
07:18
and anyone can take it
and build something with it.
and build something with it.
138
426360
3856
y cualquiera puede usarlo
y hacer algo con esto.
y hacer algo con esto.
07:22
So now the rest is up to all of you
139
430240
3176
Así que ahora el resto depende de Uds.
07:25
and people around the world
with access to this software,
with access to this software,
140
433440
2936
y de personas de todo el mundo
con acceso a este software,
con acceso a este software,
07:28
and I can't wait to see what people
will build with this technology.
will build with this technology.
141
436400
3656
y estoy impaciente por ver qué construirá
la gente con esta tecnología.
la gente con esta tecnología.
07:32
Thank you.
142
440080
1216
Gracias.
07:33
(Applause)
143
441320
3440
(Aplausos)
ABOUT THE SPEAKER
Joseph Redmon - Computer scientistJoseph Redmon works on the YOLO algorithm, which combines the simple face detection of your phone camera with a cloud-based AI -- in real time.
Why you should listen
Computer scientist Joseph Redmon is working on the YOLO (You Only Look Once) algorithm, which has a simple goal: to deliver image recognition and object detection at a speed that would seem science-fictional only a few years ago. The algorithm looks like the simple face detection of a camera app but with the level complexity of systems like Google's Deep Mind Cloud Vision, using Convolutional Deep Neural Networks to crunch object detection in realtime. It's the kind of technology that will be embedded on all smartphones in the next few years.
Redmon is also internet-famous for his resume.
Joseph Redmon | Speaker | TED.com