English-Video.net comment policy

The comment field is common to all languages

Let's write in your language and use "Google Translate" together

Please refer to informative community guidelines on TED.com

TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

Zeynep Tufekci: La inteligencia artificial hace que la moral humana sea más importante

Filmed
1,400,776 views

La inteligencia artificial está aquí, y ya la estamos usando para tomar decisiones subjetivas. Pero la forma compleja en la que crece y mejora la inteligencia artificial hace que sea difícil de entender e incluso más difícil de controlar. En esta charla cautelosa, la tecnosocióloga Zeynep Tufekci explica cómo las máquinas inteligentes pueden fallar en formas que no encajan en los patrones del error humano y de maneras que no esperamos ni predecimos. "No podemos delegar nuestra responsabilidad a las máquinas", dice. "Debemos ajustarlas cada vez más a los valores humanos y a la ética humana".

- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives as they play out online. Full bio

Empecé mi primer trabajo
como programadora informática
00:12
So, I startedempezado my first jobtrabajo
as a computercomputadora programmerprogramador
en mi primer año de universidad,
00:16
in my very first yearaño of collegeUniversidad --
básicamente, siendo aún adolescente.
00:18
basicallybásicamente, as a teenageradolescente.
Poco después de empezar a trabajar,
00:20
Soonpronto after I startedempezado workingtrabajando,
programando software en una empresa,
00:22
writingescritura softwaresoftware in a companyempresa,
un gerente que trabajaba en la compañía
bajó a donde yo estaba,
00:24
a managergerente who workedtrabajó at the companyempresa
camevino down to where I was,
y me dijo al oído:
00:28
and he whisperedsusurrado to me,
"¿Puede decir él si estoy mintiendo?"
00:30
"Can he tell if I'm lyingacostado?"
No había nadie más en la habitación.
00:33
There was nobodynadie elsemás in the roomhabitación.
"¿Puede "quién" decir si está mintiendo?
¿Y por qué estamos susurrando?"
00:37
"Can who tell if you're lyingacostado?
And why are we whisperingsusurro?"
El gerente señaló a la computadora
en la habitación.
00:42
The managergerente pointedpuntiagudo
at the computercomputadora in the roomhabitación.
"¿Puede ella decir si estoy mintiendo?"
00:45
"Can he tell if I'm lyingacostado?"
Bueno, el gerente estaba teniendo
una aventura con la recepcionista.
00:49
Well, that managergerente was havingteniendo
an affairasunto with the receptionistrecepcionista.
(Risas)
00:53
(LaughterRisa)
Y yo todavía era adolescente.
00:55
And I was still a teenageradolescente.
Por lo tanto, le susurro yo a él:
00:57
So I whisper-shoutedsusurro-gritó back to him,
"Sí, la computadora puede determinar
si Ud. está mintiendo".
00:59
"Yes, the computercomputadora can tell
if you're lyingacostado."
(Risas)
01:03
(LaughterRisa)
Bueno, me reí, pero,
en realidad, me reía de mí.
01:04
Well, I laughedSe rió, but actuallyactualmente,
the laugh'sreír on me.
Hoy en día, existen sistemas informáticos
01:07
NowadaysHoy en día, there are computationalcomputacional systemssistemas
que pueden detectar
estados emocionales e incluso mentir
01:11
that can sussSuss out
emotionalemocional statesestados and even lyingacostado
a partir del procesamiento
de rostros humanos.
01:14
from processingtratamiento humanhumano facescaras.
Los anunciantes, e incluso
hay gobiernos muy interesados.
01:17
AdvertisersAnunciantes and even governmentsgobiernos
are very interestedinteresado.
Me había convertido en
programadora informática
01:22
I had becomevolverse a computercomputadora programmerprogramador
01:24
because I was one of those kidsniños
crazyloca about mathmates and scienceciencia.
porque yo era una de esas chicas
locas por las matemáticas y la ciencia.
Pero en algún lugar también había
aprendido sobre las armas nucleares,
01:27
But somewherealgun lado alonga lo largo the linelínea
I'd learnedaprendido about nuclearnuclear weaponsarmas,
01:31
and I'd gottenconseguido really concernedpreocupado
with the ethicsética of scienceciencia.
y había empezado a realmente a
preocuparme por la ética de la ciencia.
01:34
I was troubledpreocupado.
Yo estaba preocupada.
01:35
Howeversin embargo, because of familyfamilia circumstancescircunstancias,
Sin embargo,
por circunstancias familiares,
01:37
I alsoademás needednecesario to startcomienzo workingtrabajando
as soonpronto as possibleposible.
también debía empezar
a trabajar lo antes posible.
Así que me dije, bueno,
vamos a elegir un campo técnico
01:41
So I thought to myselfmí mismo, hey,
let me pickrecoger a technicaltécnico fieldcampo
donde poder conseguir un trabajo fácil
01:44
where I can get a jobtrabajo easilyfácilmente
y donde no tenga que lidiar
con preguntas molestas sobre ética.
01:46
and where I don't have to dealacuerdo
with any troublesomemolesto questionspreguntas of ethicsética.
Así que elegí las computadoras.
01:51
So I pickedescogido computersordenadores.
(Risas)
01:52
(LaughterRisa)
Bueno, ¡ja, ja, ja!
Todas las risas a mi costa.
01:53
Well, hadecir ah, hadecir ah, hadecir ah!
All the laughsrisas are on me.
Hoy en día, los informáticos
construyen plataformas
01:57
NowadaysHoy en día, computercomputadora scientistscientíficos
are buildingedificio platformsplataformas
que controlan lo que millones
de personas ven todos los días.
01:59
that controlcontrolar what a billionmil millones
people see everycada day.
Están desarrollando automóviles que
podrían decidir a quién atropellar.
02:05
They're developingdesarrollando carscarros
that could decidedecidir who to runcorrer over.
Es más, están construyendo
máquinas, armas,
02:09
They're even buildingedificio machinesmáquinas, weaponsarmas,
que podrían matar
a seres humanos en la guerra.
02:12
that mightpodría killmatar humanhumano beingsseres in warguerra.
Esto es ética a fondo.
02:15
It's ethicsética all the way down.
La inteligencia artificial está aquí.
02:19
MachineMáquina intelligenceinteligencia is here.
Estamos usando la computación
para tomar todo tipo de decisiones,
02:21
We're now usingutilizando computationcálculo
to make all sortordenar of decisionsdecisiones,
además de nuevos tipos de decisiones.
02:25
but alsoademás newnuevo kindsclases of decisionsdecisiones.
Planteamos preguntas a las computadoras
que no tienen respuestas
02:27
We're askingpreguntando questionspreguntas to computationcálculo
that have no singlesoltero right answersrespuestas,
correctas individuales,
por ser subjetivas
02:32
that are subjectivesubjetivo
e indefinidas y cargadas de valores.
02:33
and open-endedAbierto and value-ladencargado de valor.
Planteamos preguntas como:
02:36
We're askingpreguntando questionspreguntas like,
"¿A quién debe contratar la empresa?"
02:37
"Who should the companyempresa hirealquiler?"
"¿Qué actualización de qué amigo
debe mostrarse?"
02:40
"WhichCual updateactualizar from whichcual friendamigo
should you be shownmostrado?"
"¿Qué convicto tiene
más probabilidades de reincidir?"
02:42
"WhichCual convictcondenar is more
likelyprobable to reoffendreincidir?"
02:45
"WhichCual newsNoticias itemít or moviepelícula
should be recommendedrecomendado to people?"
"¿Qué artículo de noticias o película
se deben recomendar a la gente?"
02:48
Look, yes, we'venosotros tenemos been usingutilizando
computersordenadores for a while,
Miren, sí, hemos venido usando
computadoras hace tiempo,
pero esto es diferente.
02:51
but this is differentdiferente.
Se trata de un giro histórico,
02:53
This is a historicalhistórico twistgiro,
porque no podemos anclar el cálculo
para este tipo de decisiones subjetivas
02:55
because we cannotno poder anchorancla computationcálculo
for suchtal subjectivesubjetivo decisionsdecisiones
como anclamos el cálculo para
pilotar aviones, construir puentes
03:00
the way we can anchorancla computationcálculo
for flyingvolador airplanesaviones, buildingedificio bridgespuentes,
o ir a la luna.
03:06
going to the moonLuna.
¿Son los aviones más seguros?
¿Se balanceó el puente y cayó?
03:08
Are airplanesaviones safermás seguro?
Did the bridgepuente swayinfluencia and fallotoño?
Ahí, hemos acordado puntos
de referencia bastante claros,
03:11
There, we have agreed-uponacordado,
fairlybastante clearclaro benchmarkspuntos de referencia,
y tenemos leyes de
la naturaleza que nos guían.
03:16
and we have lawsleyes of naturenaturaleza to guideguía us.
Nosotros no tenemos tales anclas
y puntos de referencia
03:18
We have no suchtal anchorsanclajes and benchmarkspuntos de referencia
para las decisiones sobre cuestiones
humanas desordenadas.
03:21
for decisionsdecisiones in messysucio humanhumano affairsasuntos.
Para complicar más las cosas,
nuestro software es cada vez más potente,
03:25
To make things more complicatedComplicado,
our softwaresoftware is gettingconsiguiendo more powerfulpoderoso,
pero también es cada vez
menos transparente y más complejo.
03:30
but it's alsoademás gettingconsiguiendo lessMenos
transparenttransparente and more complexcomplejo.
Recientemente, en la última década,
03:34
RecentlyRecientemente, in the pastpasado decadedécada,
algunos algoritmos complejos
han hecho grandes progresos.
03:36
complexcomplejo algorithmsAlgoritmos
have madehecho great stridespasos.
Pueden reconocer rostros humanos.
03:39
They can recognizereconocer humanhumano facescaras.
Pueden descifrar la letra.
03:41
They can decipherdescifrar handwritingescritura.
Pueden detectar
el fraude de tarjetas de crédito
03:44
They can detectdetectar creditcrédito cardtarjeta fraudfraude
y bloquear el spam
03:46
and blockbloquear spamcorreo no deseado
y pueden traducir a otros idiomas.
03:47
and they can translatetraducir betweenEntre languagesidiomas.
Pueden detectar tumores
en imágenes médicas.
03:49
They can detectdetectar tumorstumores in medicalmédico imagingimágenes.
Puede vencer a los humanos
en el ajedrez y en el go.
03:52
They can beatgolpear humanshumanos in chessajedrez and Go.
Gran parte de este progreso viene de un
método llamado "aprendizaje automático".
03:55
Much of this progressProgreso comesproviene
from a methodmétodo calledllamado "machinemáquina learningaprendizaje."
El aprendizaje automático es
diferente a la programación tradicional,
04:00
MachineMáquina learningaprendizaje is differentdiferente
than traditionaltradicional programmingprogramación,
donde se da al equipo instrucciones
exactas, detalladas y meticulosas.
04:03
where you give the computercomputadora
detaileddetallado, exactexacto, painstakingesmerado instructionsinstrucciones.
Es como si uno alimentara el sistema
con una gran cantidad de datos,
04:07
It's more like you take the systemsistema
and you feedalimentar it lots of datadatos,
incluyendo los datos no estructurados,
04:11
includingincluso unstructureddesestructurado datadatos,
como los que generamos
en nuestras vidas digitales.
04:13
like the kindtipo we generategenerar
in our digitaldigital livesvive.
04:15
And the systemsistema learnsaprende
by churningrevolviendo throughmediante this datadatos.
Y el sistema aprende de esos datos.
Y también, de manera crucial,
04:18
And alsoademás, cruciallycrucialmente,
estos sistemas no funcionan
bajo una lógica de una sola respuesta.
04:20
these systemssistemas don't operatefuncionar
underdebajo a single-answerrespuesta única logiclógica.
No producen una respuesta sencilla;
es más probabilístico:
04:24
They don't produceProduce a simplesencillo answerresponder;
it's more probabilisticprobabilístico:
"Esto es probablemente parecido
a lo que estás buscando".
04:27
"This one is probablyprobablemente more like
what you're looking for."
La ventaja es que
este método es muy potente.
04:32
Now, the upsideboca arriba is:
this methodmétodo is really powerfulpoderoso.
El jefe de sistemas de inteligencia
artificial de Google lo llama:
04:35
The headcabeza of Google'sGoogle AIAI systemssistemas calledllamado it,
04:37
"the unreasonableirrazonable effectivenesseficacia of datadatos."
"la eficacia razonable de los datos".
La desventaja es que
04:39
The downsidedesventaja is,
realmente no entendemos
lo que aprendió el sistema.
04:41
we don't really understandentender
what the systemsistema learnedaprendido.
De hecho, ese es su poder.
04:44
In facthecho, that's its powerpoder.
Esto no se parece a dar instrucciones
a una computadora;
04:46
This is lessMenos like givingdando
instructionsinstrucciones to a computercomputadora;
se parece más a la formación
de una criatura cachorro máquina
04:51
it's more like trainingformación
a puppy-machine-creaturecachorro-máquina-criatura
que realmente no entendemos o controlamos.
04:55
we don't really understandentender or controlcontrolar.
Así que este es nuestro problema;
un problema cuando el sistema
04:58
So this is our problemproblema.
05:00
It's a problemproblema when this artificialartificial
intelligenceinteligencia systemsistema getsse pone things wrongincorrecto.
de inteligencia artificial
hace cosas erróneas.
Es también un problema
cuando hace bien las cosas,
05:04
It's alsoademás a problemproblema
when it getsse pone things right,
porque ni siquiera sabemos qué es qué
cuando se trata de un problema subjetivo.
05:08
because we don't even know whichcual is whichcual
when it's a subjectivesubjetivo problemproblema.
No sabemos qué está pensando esta cosa.
05:11
We don't know what this thing is thinkingpensando.
Por lo tanto, piensen en
un algoritmo de contratación,
05:15
So, considerconsiderar a hiringContratación algorithmalgoritmo --
un sistema usado para contratar,
usa sistemas de aprendizaje automático.
05:20
a systemsistema used to hirealquiler people,
usingutilizando machine-learningaprendizaje automático systemssistemas.
un sistema así habría sido entrenado
con anteriores datos de empleados
05:25
SuchTal a systemsistema would have been trainedentrenado
on previousanterior employees'empleados' datadatos
y tiene la instrucción
de encontrar y contratar
05:28
and instructedinstruido to find and hirealquiler
personas como las de alto rendimiento
existentes en la empresa.
05:31
people like the existingexistente
highalto performersejecutantes in the companyempresa.
Suena bien.
05:34
SoundsSonidos good.
Una vez asistí a una conferencia
05:35
I onceuna vez attendedatendido a conferenceconferencia
que reunió a los responsables
de recursos humanos y ejecutivos,
05:38
that broughttrajo togetherjuntos
humanhumano resourcesrecursos managersgerentes and executivesejecutivos,
las personas de alto nivel,
05:41
high-levelnivel alto people,
que usaban estos sistemas
en la contratación.
05:42
usingutilizando suchtal systemssistemas in hiringContratación.
05:43
They were supersúper excitedemocionado.
Estaban muy emocionados.
Pensaban que esto haría la contratación
más objetiva, menos tendenciosa,
05:45
They thought that this would make hiringContratación
more objectiveobjetivo, lessMenos biasedparcial,
para dar a las mujeres y a las minorías
mejores oportunidades
05:50
and give womenmujer
and minoritiesminorías a better shotDisparo
contra los administradores
humanos tendenciosos.
05:53
againsten contra biasedparcial humanhumano managersgerentes.
05:55
And look -- humanhumano hiringContratación is biasedparcial.
La contratación humana es tendenciosa.
Lo sé.
05:59
I know.
Es decir, en uno de mis primeros
trabajos como programadora,
06:00
I mean, in one of my earlytemprano jobstrabajos
as a programmerprogramador,
mi jefa a veces venía
allí donde yo estaba
06:03
my immediateinmediato managergerente would sometimesa veces
come down to where I was
muy temprano en la mañana
o muy tarde por la tarde,
06:07
really earlytemprano in the morningMañana
or really latetarde in the afternoontarde,
y decía: "Zeynep, ¡vayamos a comer!"
06:11
and she'dcobertizo say, "ZeynepZeynep,
let's go to lunchalmuerzo!"
Me dejaba perpleja por el
momento extraño de preguntar.
06:14
I'd be puzzledperplejo by the weirdextraño timingsincronización.
06:16
It's 4pmpm. LunchAlmuerzo?
Son las 16. ¿Almuerzo?
Estaba en la ruina, así que,
ante un almuerzo gratis, siempre fui.
06:19
I was brokerompió, so freegratis lunchalmuerzo. I always wentfuimos.
Más tarde me di cuenta
de lo que estaba ocurriendo.
06:22
I laterluego realizeddio cuenta what was happeningsucediendo.
06:24
My immediateinmediato managersgerentes
had not confessedconfesado to theirsu higher-upssuperiores
Mis jefes inmediatos no habían
confesado a sus altos mandos
que el programador contratado para
un trabajo serio era una adolescente
06:29
that the programmerprogramador they hiredcontratado
for a seriousgrave jobtrabajo was a teenadolescente girlniña
que llevaba pantalones vaqueros
y zapatillas de deporte en el trabajo.
06:32
who worellevaba jeanspantalones and sneakerszapatillas to work.
Yo hacía un buen trabajo,
solo que no encajaba
06:37
I was doing a good jobtrabajo,
I just lookedmirado wrongincorrecto
por la edad y por el sexo equivocado.
06:39
and was the wrongincorrecto ageaños and gendergénero.
Así que contratar a ciegas
independiente del género y de la raza
06:41
So hiringContratación in a gender-género- and race-blindciego a la carrera way
ciertamente me parece bien.
06:44
certainlyciertamente soundssonidos good to me.
Sin embargo, con estos sistemas,
es más complicado, y he aquí por qué:
06:47
But with these systemssistemas,
it is more complicatedComplicado, and here'saquí está why:
Hoy los sistemas informáticos pueden
deducir todo tipo de cosas sobre Uds.
06:50
CurrentlyActualmente, computationalcomputacional systemssistemas
can inferinferir all sortstipo of things about you
a partir de sus pistas digitales,
06:56
from your digitaldigital crumbsmigas,
incluso si no las han dado a conocer.
06:58
even if you have not
disclosedrevelado those things.
Pueden inferir su orientación sexual,
07:01
They can inferinferir your sexualsexual orientationorientación,
sus rasgos de personalidad,
07:04
your personalitypersonalidad traitsrasgos,
sus inclinaciones políticas.
07:06
your politicalpolítico leaningsinclinaciones.
Tienen poder predictivo
con altos niveles de precisión.
07:08
They have predictiveprofético powerpoder
with highalto levelsniveles of accuracyexactitud.
Recuerden, por cosas que
ni siquiera han dado a conocer.
07:13
RememberRecuerda -- for things
you haven'tno tiene even disclosedrevelado.
Esta es la inferencia.
07:15
This is inferenceinferencia.
Tengo una amiga que desarrolló
este tipo de sistemas informáticos
07:17
I have a friendamigo who developeddesarrollado
suchtal computationalcomputacional systemssistemas
para predecir la probabilidad
de depresión clínica o posparto
07:20
to predictpredecir the likelihoodprobabilidad
of clinicalclínico or postpartumpostparto depressiondepresión
a partir de datos de medios sociales.
07:24
from socialsocial mediamedios de comunicación datadatos.
Los resultados son impresionantes.
07:26
The resultsresultados are impressiveimpresionante.
Su sistema puede predecir
la probabilidad de depresión
07:28
Her systemsistema can predictpredecir
the likelihoodprobabilidad of depressiondepresión
meses antes de la aparición
de cualquier síntoma,
07:31
monthsmeses before the onsetcomienzo of any symptomssíntomas --
meses antes.
07:35
monthsmeses before.
No hay síntomas, sí hay predicción.
07:37
No symptomssíntomas, there's predictionpredicción.
Ella espera que se use para
la intervención temprana. ¡Estupendo!
07:39
She hopesesperanzas it will be used
for earlytemprano interventionintervención. Great!
Pero ahora pongan esto en el
contexto de la contratación.
07:44
But now put this in the contextcontexto of hiringContratación.
Así que en esa conferencia
de recursos humanos,
07:48
So at this humanhumano resourcesrecursos
managersgerentes conferenceconferencia,
me acerqué a una gerenta de alto nivel
de una empresa muy grande,
07:51
I approachedacercado a high-levelnivel alto managergerente
in a very largegrande companyempresa,
y le dije: "Mira, ¿qué pasaría si,
sin su conocimiento,
07:55
and I said to her, "Look,
what if, unbeknownstDesconocido to you,
el sistema elimina a las personas con
alta probabilidad futura de la depresión?
08:00
your systemsistema is weedingdeshierbe out people
with highalto futurefuturo likelihoodprobabilidad of depressiondepresión?
No están deprimidos ahora, solo
quizá en el futuro, sea probable.
08:07
They're not depressedDeprimido now,
just maybe in the futurefuturo, more likelyprobable.
¿Y si elimina a las mujeres con más
probabilidades de estar embarazadas
08:11
What if it's weedingdeshierbe out womenmujer
more likelyprobable to be pregnantembarazada
en el próximo año o dos,
pero no está embarazada ahora?
08:15
in the nextsiguiente yearaño or two
but aren'tno son pregnantembarazada now?
¿Y si contratamos a personas agresivas,
porque esa es su cultura de trabajo?"
08:18
What if it's hiringContratación aggressiveagresivo people
because that's your workplacelugar de trabajo culturecultura?"
No se puede saber esto
mirando un desglose por sexos.
08:25
You can't tell this by looking
at gendergénero breakdownsaverías.
Estos pueden ser equilibrados.
08:27
Those maymayo be balancedequilibrado.
Y como esto es aprendizaje automático,
no la programación tradicional,
08:29
And sinceya que this is machinemáquina learningaprendizaje,
not traditionaltradicional codingcodificación,
08:32
there is no variablevariable there
labeledetiquetado "highermayor riskriesgo of depressiondepresión,"
no hay una variable etiquetada
como "mayor riesgo de depresión",
"mayor riesgo de embarazo",
08:37
"highermayor riskriesgo of pregnancyel embarazo,"
"escala de chico agresivo".
08:39
"aggressiveagresivo guy scaleescala."
Ud. no solo no sabe lo que
su sistema selecciona,
08:41
Not only do you not know
what your systemsistema is selectingseleccionando on,
sino que ni siquiera sabe
por dónde empezar a buscar.
08:45
you don't even know
where to beginempezar to look.
Es una caja negra.
08:48
It's a blacknegro boxcaja.
Tiene capacidad de predicción,
pero uno no lo entiende.
08:49
It has predictiveprofético powerpoder,
but you don't understandentender it.
"¿Qué salvaguardia", pregunté,
08:52
"What safeguardssalvaguardias," I askedpreguntó, "do you have
"puede asegurar que la caja negra
no hace algo perjudicial?"
08:54
to make sure that your blacknegro boxcaja
isn't doing something shadysombreado?"
Ella me miró como si acabara
de romper algo valioso.
09:00
She lookedmirado at me as if I had
just steppedcaminado on 10 puppyperrito tailscruz.
(Risas)
09:04
(LaughterRisa)
Me miró y dijo:
09:06
She staredmiró at me and she said,
"No quiero oír ni una palabra de esto".
09:08
"I don't want to hearoír
anotherotro wordpalabra about this."
Dio la vuelta y se alejó.
09:13
And she turnedconvertido around and walkedcaminado away.
Eso sí, ella no fue grosera.
09:16
MindMente you -- she wasn'tno fue rudegrosero.
Era claramente: lo que no sé, no es
mi problema, vete, encara la muerte.
09:17
It was clearlyclaramente: what I don't know
isn't my problemproblema, go away, deathmuerte staremirar fijamente.
(Risas)
09:23
(LaughterRisa)
Un sistema de este tipo
puede ser incluso menos sesgado
09:25
Look, suchtal a systemsistema
maymayo even be lessMenos biasedparcial
que los administradores humanos
en algunos aspectos.
09:29
than humanhumano managersgerentes in some waysformas.
09:31
And it could make monetarymonetario sensesentido.
Y podría tener sentido monetario.
Pero también podría llevar
09:34
But it could alsoademás leaddirigir
a un cierre constante pero sigiloso
del mercado de trabajo
09:36
to a steadyestable but stealthycauteloso
shuttingcerrando out of the jobtrabajo marketmercado
a las personas
con mayor riesgo de depresión.
09:41
of people with highermayor riskriesgo of depressiondepresión.
¿Es este el tipo de sociedad
la que queremos construir,
09:43
Is this the kindtipo of societysociedad
we want to buildconstruir,
sin siquiera saber que lo hemos hecho,
09:46
withoutsin even knowingconocimiento we'venosotros tenemos donehecho this,
porque nos movemos en torno a decisiones
de máquinas que no entendemos totalmente?
09:48
because we turnedconvertido decision-makingToma de decisiones
to machinesmáquinas we don't totallytotalmente understandentender?
Otro problema es el siguiente:
09:53
AnotherOtro problemproblema is this:
estos sistemas son a menudo
entrenados con datos generados
09:55
these systemssistemas are oftena menudo trainedentrenado
on datadatos generatedgenerado by our actionscomportamiento,
por nuestras acciones,
por huellas humanas.
09:59
humanhumano imprintsimpresiones.
Podrían pues estar reflejando
nuestros prejuicios,
10:02
Well, they could just be
reflectingreflejando our biasessesgos,
y estos sistemas podrían dar cuenta
de nuestros prejuicios
10:06
and these systemssistemas
could be pickingcosecha up on our biasessesgos
y la amplificación de ellos
10:09
and amplifyingamplificando them
volviendo a nosotros,
10:10
and showingdemostración them back to us,
mientras que decimos:
10:12
while we're tellingnarración ourselvesNosotros mismos,
"Somos objetivos, es el cómputo neutral".
10:13
"We're just doing objectiveobjetivo,
neutralneutral computationcálculo."
Los investigadores encontraron
que en Google las mujeres tienen
10:18
ResearchersInvestigadores foundencontró that on GoogleGoogle,
menos probabilidades que los hombres
10:22
womenmujer are lessMenos likelyprobable than menhombres
to be shownmostrado jobtrabajo adsanuncios for high-payingde alto sueldo jobstrabajos.
de que les aparezcan anuncios
de trabajo bien remunerados.
Y buscando nombres afroestadounidenses
10:28
And searchingbuscando for African-AmericanAfroamericano namesnombres
es más probable que aparezcan anuncios
que sugieren antecedentes penales,
10:31
is more likelyprobable to bringtraer up adsanuncios
suggestingsugerencia criminalcriminal historyhistoria,
incluso cuando no existan.
10:35
even when there is noneninguna.
Estos sesgos ocultos
y algoritmos de la caja negra
10:38
SuchTal hiddenoculto biasessesgos
and black-boxcaja negra algorithmsAlgoritmos
que descubren los investigadores
a veces, pero a veces no,
10:42
that researchersinvestigadores uncoverdescubrir sometimesa veces
but sometimesa veces we don't know,
pueden tener consecuencias
que cambian la vida.
10:46
can have life-alteringalterar la vida consequencesConsecuencias.
En Wisconsin, un acusado
fue condenado a seis años de prisión
10:49
In WisconsinWisconsin, a defendantacusado
was sentencedsentenciado to sixseis yearsaños in prisonprisión
por escaparse de la policía.
10:54
for evadingevadiendo the policepolicía.
Quizá no lo sepan, pero los algoritmos
se usan cada vez más
10:56
You maymayo not know this,
10:58
but algorithmsAlgoritmos are increasinglycada vez más used
in parolelibertad condicional and sentencingsentencia decisionsdecisiones.
en las decisiones de
libertad condicional y de sentencia.
El acusado quiso saber:
¿Cómo se calcula la puntuación?
11:02
He wanted to know:
How is this scorePuntuación calculatedcalculado?
Es una caja negra comercial.
11:05
It's a commercialcomercial blacknegro boxcaja.
La empresa se negó a que se cuestionara
su algoritmo en audiencia pública.
11:07
The companyempresa refusedrechazado to have its algorithmalgoritmo
be challengedDesafiado in openabierto courtCorte.
Pero ProPublica, organización
no lucrativa de investigación,
11:12
But ProPublicaProPublica, an investigativeinvestigador
nonprofitsin ánimo de lucro, auditedauditado that very algorithmalgoritmo
auditó precisamente ese algoritmo
con los datos públicos que encontró,
11:17
with what publicpúblico datadatos they could find,
11:19
and foundencontró that its outcomesresultados were biasedparcial
y descubrió que sus resultados
estaban sesgados
11:22
and its predictiveprofético powerpoder
was dismaltriste, barelyapenas better than chanceoportunidad,
y su capacidad de predicción era pésima,
apenas mejor que el azar,
y se etiquetaban erróneamente
acusados ​​negros como futuros criminales
11:25
and it was wronglyerróneamente labelingetiquetado
blacknegro defendantsacusados as futurefuturo criminalscriminales
con una tasa del doble
que a los acusados ​​blancos.
11:30
at twicedos veces the ratetarifa of whiteblanco defendantsacusados.
Piensen en este caso:
11:35
So, considerconsiderar this casecaso:
Esta mujer llegó tarde a
recoger a la hija de su madrina
11:38
This womanmujer was latetarde
pickingcosecha up her godsisterbuena hermana
de una escuela en
el condado de Broward, Florida,
11:41
from a schoolcolegio in BrowardBroward CountyCondado, FloridaFlorida,
iba corriendo por la calle con una amiga.
11:44
runningcorriendo down the streetcalle
with a friendamigo of herssuyo.
Vieron la bicicleta de un niño sin candado
y una moto en un porche
11:47
They spottedmanchado an unlockeddesbloqueado kid'sniño bikebicicleta
and a scooterscooter on a porchporche
y tontamente saltó sobre ella.
11:51
and foolishlyneciamente jumpedsaltó on it.
A medida que aceleraban,
una mujer salió y dijo,
11:52
As they were speedingexceso de velocidad off,
a womanmujer camevino out and said,
"¡Eh, esa es la bicicleta de mi hijo!"
11:55
"Hey! That's my kid'sniño bikebicicleta!"
Se bajaron, se alejaron,
pero fueron detenidas.
11:57
They droppedcaído it, they walkedcaminado away,
but they were arresteddetenido.
Estaba equivocada, fue una tontería,
pero también tenía solo 18 años.
12:01
She was wrongincorrecto, she was foolishtonto,
but she was alsoademás just 18.
Tenía un par de faltas menores.
12:04
She had a couplePareja of juvenilejuvenil misdemeanorsdelitos menores.
Mientras tanto, detenían al hombre
por hurto en Home Depot,
12:07
Meanwhilemientras tanto, that man had been arresteddetenido
for shopliftinghurto in Home Depotdeposito --
por un valor de USD 85,
un delito menor similar.
12:13
85 dollars'dólares worthvalor of stuffcosas,
a similarsimilar pettypequeño crimecrimen.
Pero él tenía dos condenas anteriores
por robo a mano armada.
12:16
But he had two prioranterior
armedarmado robberyrobo convictionsconvicciones.
Sin embargo, el algoritmo la anotó
a ella como de alto riesgo, y no a él.
12:21
But the algorithmalgoritmo scoredanotado her
as highalto riskriesgo, and not him.
Dos años más tarde, ProPublica descubrió
que ella no había vuelto a delinquir.
12:26
Two yearsaños laterluego, ProPublicaProPublica foundencontró
that she had not reoffendedreincidido.
Pero le era difícil conseguir un trabajo
con sus antecedentes registrados.
12:30
It was just harddifícil to get a jobtrabajo
for her with her recordgrabar.
12:33
He, on the other handmano, did reoffendreincidir
Él, por el contrario, era reincidente
12:35
and is now servingservicio an eight-yearocho años
prisonprisión termtérmino for a laterluego crimecrimen.
y ahora cumple una pena de ocho años
de prisión por un delito posterior.
Es evidente que necesitamos
auditar nuestras cajas negras
12:40
ClearlyClaramente, we need to auditauditoría our blacknegro boxescajas
para no tener
este tipo de poder sin control.
12:43
and not have them have
this kindtipo of uncheckeddesenfrenado powerpoder.
(Aplausos)
12:46
(ApplauseAplausos)
Las auditorías son grandes e importantes,
pero no resuelven todos los problemas.
12:50
AuditsAuditorias are great and importantimportante,
but they don't solveresolver all our problemsproblemas.
Tomemos el potente algoritmo
de noticias de Facebook,
12:54
Take Facebook'sFacebook powerfulpoderoso
newsNoticias feedalimentar algorithmalgoritmo --
ese que sabe todo y decide qué mostrarles
12:57
you know, the one that ranksrangos everything
and decidesdecide what to showespectáculo you
de las páginas de los amigos que siguen.
13:01
from all the friendsamigos and pagespáginas you followseguir.
¿Debería mostrarles otra imagen de bebé?
13:04
Should you be shownmostrado anotherotro babybebé pictureimagen?
(Risas)
13:07
(LaughterRisa)
¿Una nota deprimente de un conocido?
13:08
A sullenhosco noteNota from an acquaintanceconocido?
¿Una noticia importante pero difícil?
13:11
An importantimportante but difficultdifícil newsNoticias itemít?
No hay una respuesta correcta.
13:13
There's no right answerresponder.
Facebook optimiza para
que se participe en el sitio:
13:14
FacebookFacebook optimizesoptimiza
for engagementcompromiso on the sitesitio:
con Me gusta, Compartir
y con Comentarios.
13:17
likesgustos, sharesComparte, commentscomentarios.
En agosto de 2014,
13:20
In Augustagosto of 2014,
estallaron protestas
en Ferguson, Missouri,
13:22
protestsprotestas brokerompió out in FergusonFerguson, MissouriMisuri,
tras la muerte de un adolescente
afroestadounidense por un policía blanco,
13:25
after the killingasesinato of an African-AmericanAfroamericano
teenageradolescente by a whiteblanco policepolicía officeroficial,
en circunstancias turbias.
13:30
underdebajo murkyturbio circumstancescircunstancias.
La noticia de las protestas llegaron
13:31
The newsNoticias of the protestsprotestas was all over
en mi cuenta de Twitter
algorítmicamente sin filtrar
13:34
my algorithmicallyalgorítmicamente
unfilteredsin filtro TwitterGorjeo feedalimentar,
pero en ninguna parte en mi Facebook.
13:36
but nowhereen ninguna parte on my FacebookFacebook.
¿Y qué pasaba con mis amigos de Facebook?
13:39
Was it my FacebookFacebook friendsamigos?
Desactivé el algoritmo de Facebook,
13:40
I disableddiscapacitado Facebook'sFacebook algorithmalgoritmo,
lo cual es difícil ya que Facebook
quiere seguir manteniéndonos
13:43
whichcual is harddifícil because FacebookFacebook
keepsmantiene wantingfalto to make you
bajo el control del algoritmo,
13:46
come underdebajo the algorithm'sAlgoritmo controlcontrolar,
y vi que mis amigos
estaban hablando de ello.
13:48
and saw that my friendsamigos
were talkinghablando about it.
Pero el algoritmo no me lo mostraba.
13:50
It's just that the algorithmalgoritmo
wasn'tno fue showingdemostración it to me.
He investigado esto y encontré
que era un problema generalizado.
13:53
I researchedinvestigado this and foundencontró
this was a widespreadextendido problemproblema.
La historia de Ferguson no era
compatible con el algoritmo.
13:56
The storyhistoria of FergusonFerguson
wasn'tno fue algorithm-friendlyAlgoritmo amigable.
No es "gustable".
14:00
It's not "likableagradable."
¿Quién va a hacer clic en "Me gusta"?
14:01
Who'sQuién es going to clickhacer clic on "like?"
Ni siquiera es fácil de comentar.
14:03
It's not even easyfácil to commentcomentario on.
Sin Me gusta y sin comentarios,
14:05
WithoutSin likesgustos and commentscomentarios,
14:07
the algorithmalgoritmo was likelyprobable showingdemostración it
to even fewermenos people,
el algoritmo era probable de
mostrarse a aún menos personas,
así que no tuvimos
oportunidad de ver esto.
14:10
so we didn't get to see this.
En cambio, esa semana,
14:12
InsteadEn lugar, that weeksemana,
el algoritmo de Facebook destacó esto,
14:14
Facebook'sFacebook algorithmalgoritmo highlightedresaltado this,
el ALS que era
el desafío del cubo de hielo.
14:16
whichcual is the ALSALS IceHielo BucketCangilón ChallengeReto.
Noble causa; verter agua con hielo,
donar a la caridad, bien.
14:18
WorthyDigno causeporque; dumptugurio icehielo wateragua,
donatedonar to charitycaridad, fine.
Esa causa era súper compatible
con el algoritmo.
14:22
But it was supersúper algorithm-friendlyAlgoritmo amigable.
La máquina tomó
esta decisión por nosotros.
14:25
The machinemáquina madehecho this decisiondecisión for us.
Una conversación
muy importante pero difícil
14:27
A very importantimportante
but difficultdifícil conversationconversacion
podría haber sido silenciada
14:31
mightpodría have been smotheredsofocado,
si Facebook hubiese sido el único canal.
14:32
had FacebookFacebook been the only channelcanal.
Ahora, por fin, estos sistemas
pueden también equivocarse
14:36
Now, finallyfinalmente, these systemssistemas
can alsoademás be wrongincorrecto
de formas que no se parecen a los humanos.
14:39
in waysformas that don't resembleparecerse a humanhumano systemssistemas.
¿Se acuerdan de Watson, el sistema
de inteligencia artificial de IBM
14:42
Do you guys rememberrecuerda WatsonWatson,
IBM'sIBM machine-intelligenceinteligencia de máquina systemsistema
14:45
that wipedlimpiado the floorpiso
with humanhumano contestantsconcursantes on JeopardyPeligro?
que arrasó con los concursantes
humanos en Jeopardy?
Fue un gran jugador.
14:49
It was a great playerjugador.
Pero entonces, para la final de Jeopardy,
a Watson se le hizo esta pregunta:
14:50
But then, for FinalFinal JeopardyPeligro,
WatsonWatson was askedpreguntó this questionpregunta:
"Su mayor aeropuerto lleva el nombre
de un héroe de la 2ª Guerra Mundial,
14:54
"Its largestmás grande airportaeropuerto is namedllamado
for a WorldMundo WarGuerra IIII herohéroe,
la 2ª batalla más grande
de la 2ª Guerra Mundial".
14:57
its second-largestEl segundo mas largo
for a WorldMundo WarGuerra IIII battlebatalla."
14:59
(HumsHums FinalFinal JeopardyPeligro musicmúsica)
(Música final de Jeopardy)
Chicago.
15:01
ChicagoChicago.
Los dos humanos lo hicieron bien.
15:02
The two humanshumanos got it right.
Watson, por otra parte,
respondió "Toronto"
15:04
WatsonWatson, on the other handmano,
answeredcontestada "TorontoToronto" --
para una categoría de ciudad de EE.UU.
15:09
for a US cityciudad categorycategoría!
El impresionante sistema
también cometió un error
15:11
The impressiveimpresionante systemsistema alsoademás madehecho an errorerror
que un humano nunca cometería, que
un estudiante de segundo grado tampoco.
15:14
that a humanhumano would never make,
a second-graderestudiante de segundo grado wouldn'tno lo haría make.
La inteligencia artificial puede fallar
15:18
Our machinemáquina intelligenceinteligencia can failfallar
en formas que no se ajustan a
los patrones de error de los humanos,
15:21
in waysformas that don't fitajuste
errorerror patternspatrones of humanshumanos,
de maneras que no esperamos
y para las que no estamos preparados.
15:25
in waysformas we won'tcostumbre expectesperar
and be preparedpreparado for.
Sería pésimo no conseguir trabajo,
una vez que uno se cualifica para ello,
15:28
It'dHubiera be lousymalísimo not to get a jobtrabajo
one is qualifiedcalificado for,
pero sería el triple de pésimo
si fue por un desbordamiento de pila
15:31
but it would tripletriple suckchupar
if it was because of stackapilar overflowrebosar
en algunas subrutinas.
15:35
in some subroutinesubrutina.
(Risas)
15:36
(LaughterRisa)
En mayo del 2010
15:38
In MayMayo of 2010,
un flash crash de Wall Street alimentado
por un circuito de retroalimentación
15:41
a flashdestello crashchoque on Wallpared StreetCalle
fueledalimentado by a feedbackrealimentación looplazo
por el algoritmo de "venta" de Wall Street
15:45
in Wallpared Street'sStreet's "sellvender" algorithmalgoritmo
borró un billón de dólares en 36 minutos.
15:48
wipedlimpiado a trilliontrillón dollarsdólares
of valuevalor in 36 minutesminutos.
Yo no quiero ni pensar
lo que significa "error"
15:53
I don't even want to think
what "errorerror" meansmedio
en el contexto de
las armas autónomas letales.
15:55
in the contextcontexto of lethalletal
autonomousautónomo weaponsarmas.
Los humanos siempre
hemos tenido prejuicios.
16:01
So yes, humanshumanos have always madehecho biasessesgos.
Los que toman decisiones y los guardias,
16:05
DecisionDecisión makerscreadores and gatekeepersguardianes,
en los tribunales,
en la actualidad, en la guerra...
16:07
in courtstribunales, in newsNoticias, in warguerra ...
cometen errores; pero ese
es exactamente mi tema.
16:11
they make mistakeserrores;
but that's exactlyexactamente my pointpunto.
No podemos escapar
a estas preguntas difíciles.
16:14
We cannotno poder escapeescapar
these difficultdifícil questionspreguntas.
No podemos delegar nuestra
responsabilidad a las máquinas.
16:18
We cannotno poder outsourcesubcontratar
our responsibilitiesresponsabilidades to machinesmáquinas.
(Aplausos)
16:22
(ApplauseAplausos)
La inteligencia artificial
no nos da una tarjeta libre de ética.
16:29
ArtificialArtificial intelligenceinteligencia does not give us
a "Get out of ethicsética freegratis" cardtarjeta.
El experto en datos Fred Benenson lo
llama "mathwashing" o lavado matemático.
16:34
DataDatos scientistcientífico FredFred BenensonBenenson
callsllamadas this math-washinglavado de matemática.
Necesitamos lo contrario.
16:38
We need the oppositeopuesto.
Necesitamos fomentar un algoritmo
de sospecha, escrutinio e investigación.
16:39
We need to cultivatecultivar algorithmalgoritmo suspicionsospecha,
scrutinyescrutinio and investigationinvestigación.
Tenemos que asegurarnos de tener
responsabilidad algorítmica,
16:45
We need to make sure we have
algorithmicalgorítmico accountabilityresponsabilidad,
auditoría y transparencia significativa.
16:48
auditingrevisión de cuentas and meaningfulsignificativo transparencytransparencia.
Tenemos que aceptar que llevar
las matemáticas y la computación
16:51
We need to acceptaceptar
that bringingtrayendo mathmates and computationcálculo
a los asuntos humanos,
desordenados y cargados de valores
16:54
to messysucio, value-ladencargado de valor humanhumano affairsasuntos
no conlleva a la objetividad;
16:57
does not bringtraer objectivityobjetividad;
más bien, la complejidad de los asuntos
humanos invaden los algoritmos.
17:00
rathermás bien, the complexitycomplejidad of humanhumano affairsasuntos
invadesinvade the algorithmsAlgoritmos.
Sí, podemos y debemos
usar la computación
17:04
Yes, we can and we should use computationcálculo
para ayudar a tomar mejores decisiones.
17:07
to help us make better decisionsdecisiones.
Pero tenemos que apropiarnos de
nuestra responsabilidad moral de juicio,
17:09
But we have to ownpropio up
to our moralmoral responsibilityresponsabilidad to judgmentjuicio,
y usar algoritmos dentro de ese marco,
17:15
and use algorithmsAlgoritmos withindentro that frameworkmarco de referencia,
no como un medio para abdicar
y delegar nuestras responsabilidades
17:17
not as a meansmedio to abdicateabdicar
and outsourcesubcontratar our responsibilitiesresponsabilidades
el uno al otro, como de humano a humano.
17:22
to one anotherotro as humanhumano to humanhumano.
La inteligencia artificial está aquí.
17:25
MachineMáquina intelligenceinteligencia is here.
Eso significa que hay que
ajustarla cada vez más
17:28
That meansmedio we mustdebe holdsostener on ever tightermás apretado
a los valores humanos y a la ética humana.
17:31
to humanhumano valuesvalores and humanhumano ethicsética.
Gracias.
17:34
Thank you.
(Aplausos)
17:35
(ApplauseAplausos)

▲Back to top

About the speaker:

Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives as they play out online.

Why you should listen

We've never had so many ways to express ourselves to the world, to break news, blast opinions, build communities. Zeynep Tufekci studies how online voices and online crowds -- using Facebook, Twitter and other social tools -- interact with traditional power. Her analysis of the Gezi Park demonstrations in her native Turkey broke new ground, and she's quickly become a must-follow on Medium for her sharp insights into news and events that are, more and more, influenced by spontaneous online social reaction.

An assistant professor at the School of Information and Library Science (SILS) at University of North Carolina, Chapel Hill, she's a faculty associate at Harvard's Berkman Center and the co-editor of Inequity in the Technopolis, a 10-year longitudinal study of tech access in Austin, Texas.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com