ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

Stuart Russell: Como a Inteligência Artificial pode nos tornar pessoas melhores

Filmed:
1,465,832 views

Como podemos aproveitar o poder da Inteligência Artificial enquanto também impedimos a catástrofe do controle pelos robôs? À medida que avançamos para criar computadores que conhecem tudo, o precursor da Inteligência Artificial, Stuart Russell, está trabalhando em algo um pouco diferente: robôs com incerteza. Assista à sua visão para a Inteligência Artificial compatível com o homem, que pode resolver problemas usando bom senso, altruísmo e outros valores humanos.
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

00:12
This is Lee Sedol.
0
712
1552
Este é Lee Sedol.
00:14
Lee Sedol is one of the world's
greatest Go players,
1
2288
3997
Lee Sedol é um dos maiores
jogadores de Go do mundo,
00:18
and he's having what my friends
in Silicon Valley call
2
6309
2885
e está tendo o que meus amigos
do Vale do Silício
chamam de momento "Caramba!",
00:21
a "Holy Cow" moment --
3
9218
1510
00:22
(Laughter)
4
10752
1073
(Risos)
00:23
a moment where we realize
5
11849
2188
um momento em que percebemos
00:26
that AI is actually progressing
a lot faster than we expected.
6
14061
3296
que a IA está progredindo realmente
muito mais rápido do que esperávamos.
00:30
So humans have lost on the Go board.
What about the real world?
7
18154
3047
O homem perde no tabuleiro de Go.
E no mundo real?
00:33
Well, the real world is much bigger,
8
21225
2100
Bem, o mundo real é muito maior,
00:35
much more complicated than the Go board.
9
23349
2249
muito mais complicado
do que o tabuleiro de Go.
00:37
It's a lot less visible,
10
25622
1819
É muito menos visível,
mas ainda é um problema de decisão.
00:39
but it's still a decision problem.
11
27465
2038
00:42
And if we think about some
of the technologies
12
30948
2321
Se pensarmos sobre algumas
das tecnologias que estão surgindo...
00:45
that are coming down the pike ...
13
33293
1749
00:47
Noriko [Arai] mentioned that reading
is not yet happening in machines,
14
35738
4335
Noriko [Arai] mencionou que a leitura
ainda não acontece nos computadores,
00:52
at least with understanding.
15
40097
1500
pelo menos, com compreensão,
00:53
But that will happen,
16
41621
1536
mas isso irá acontecer.
00:55
and when that happens,
17
43181
1771
E quando acontecer,
00:56
very soon afterwards,
18
44976
1187
muito em breve, os computadores
terão lido tudo que o homem tiver escrito.
00:58
machines will have read everything
that the human race has ever written.
19
46187
4572
01:03
And that will enable machines,
20
51850
2030
Isso permitirá aos computadores,
01:05
along with the ability to look
further ahead than humans can,
21
53904
2920
junto com a capacidade de olhar
mais adiante do que o homem,
01:08
as we've already seen in Go,
22
56848
1680
como já vimos no Go,
01:10
if they also have access
to more information,
23
58552
2164
se também tiverem acesso
a mais informação,
01:12
they'll be able to make better decisions
in the real world than we can.
24
60740
4268
serem capazes de tomar decisões
melhores no mundo real do que nós.
01:18
So is that a good thing?
25
66792
1606
Isso é bom?
01:21
Well, I hope so.
26
69898
2232
Bem, espero que sim.
01:26
Our entire civilization,
everything that we value,
27
74694
3255
Toda a nossa civilização,
tudo o que valorizamos,
01:29
is based on our intelligence.
28
77973
2068
está baseada em nossa inteligência.
01:32
And if we had access
to a lot more intelligence,
29
80065
3694
Se tivéssemos acesso
a muito mais informações,
01:35
then there's really no limit
to what the human race can do.
30
83783
3302
não haveria limites para o homem.
01:40
And I think this could be,
as some people have described it,
31
88665
3325
Creio que seria, como alguns descreveram,
01:44
the biggest event in human history.
32
92014
2016
o maior evento na história da humanidade.
[Bem-vindo à Utopia.
Aproveite sua viagem.]
01:48
So why are people saying things like this,
33
96665
2829
Então, por que as pessoas
dizem coisas como esta,
01:51
that AI might spell the end
of the human race?
34
99518
2876
que a IA pode ser o sinal
do fim da raça humana?
01:55
Is this a new thing?
35
103438
1659
Isso é novidade?
01:57
Is it just Elon Musk and Bill Gates
and Stephen Hawking?
36
105121
4110
Trata-se apenas de Elon Musk,
Bill Gates e Stephen Hawking?
02:01
Actually, no. This idea
has been around for a while.
37
109953
3262
Na verdade, não. Esta ideia
está por aí há algum tempo.
02:05
Here's a quotation:
38
113239
1962
Aqui está uma citação:
02:07
"Even if we could keep the machines
in a subservient position,
39
115225
4350
"Mesmo que pudéssemos manter
os computadores em posição submissa,
02:11
for instance, by turning off the power
at strategic moments" --
40
119599
2984
desligando, por exemplo, a energia
em momentos estratégicos",
voltarei mais tarde com essa ideia
de "desligar a energia",
02:14
and I'll come back to that
"turning off the power" idea later on --
41
122607
3237
"deveríamos, como espécie,
nos sentir muito humilhados".
02:17
"we should, as a species,
feel greatly humbled."
42
125868
2804
Quem disse isso?
02:22
So who said this?
This is Alan Turing in 1951.
43
130177
3448
Foi Alan Turing, em 1951.
02:26
Alan Turing, as you know,
is the father of computer science
44
134300
2763
Alan Turing, como sabem,
é o pai da informática
02:29
and in many ways,
the father of AI as well.
45
137087
3048
e, de muitas formas, o pai da IA também.
02:33
So if we think about this problem,
46
141239
1882
Se pensarmos sobre o problema
02:35
the problem of creating something
more intelligent than your own species,
47
143145
3787
de criar algo mais inteligente
do que a própria espécie,
02:38
we might call this "the gorilla problem,"
48
146956
2622
podemos chamar isso
de "problema do gorila",
02:42
because gorillas' ancestors did this
a few million years ago,
49
150345
3750
porque os ancestrais dos gorilas
fizeram isso há milhões de anos,
02:46
and now we can ask the gorillas:
50
154119
1745
e podemos agora perguntar a eles:
02:48
Was this a good idea?
51
156752
1160
"Foi uma boa ideia?"
02:49
So here they are having a meeting
to discuss whether it was a good idea,
52
157936
3530
Aqui estão eles tendo uma reunião
para discutir se foi uma boa ideia,
02:53
and after a little while,
they conclude, no,
53
161490
3346
e, depois de um tempo, concluem que não,
02:56
this was a terrible idea.
54
164860
1345
foi uma péssima ideia.
02:58
Our species is in dire straits.
55
166229
1782
Nossa espécie está em apuros.
03:00
In fact, you can see the existential
sadness in their eyes.
56
168538
4263
Sim, você pode ver a tristeza
existencial nos olhos deles.
03:04
(Laughter)
57
172825
1640
(Risos)
03:06
So this queasy feeling that making
something smarter than your own species
58
174489
4840
Esta sensação desconfortável de algo
mais inteligente do que a própria espécie
03:11
is maybe not a good idea --
59
179353
2365
talvez não seja uma boa ideia.
03:14
what can we do about that?
60
182488
1491
O que podemos fazer a respeito?
03:16
Well, really nothing,
except stop doing AI,
61
184003
4767
Bem, realmente nada,
a não ser parar de fazer IA,
03:20
and because of all
the benefits that I mentioned
62
188794
2510
e, por causa de todos
os benefícios que mencionei
03:23
and because I'm an AI researcher,
63
191328
1716
e, por ser pesquisador de IA,
não permitirei isso.
03:25
I'm not having that.
64
193068
1791
03:27
I actually want to be able
to keep doing AI.
65
195283
2468
Quero mesmo poder continuar a fazer IA.
03:30
So we actually need to nail down
the problem a bit more.
66
198615
2678
Temos, na realidade,
que decidir sobre o problema.
03:33
What exactly is the problem?
67
201317
1371
Qual é o problema exatamente?
03:34
Why is better AI possibly a catastrophe?
68
202712
3246
Por que a IA pode ser uma catástrofe?
03:39
So here's another quotation:
69
207398
1498
Aqui está uma outra citação:
03:41
"We had better be quite sure
that the purpose put into the machine
70
209935
3335
"É melhor termos certeza
de que a missão passada ao computador
03:45
is the purpose which we really desire."
71
213294
2298
é o que realmente desejamos".
03:48
This was said by Norbert Wiener in 1960,
72
216282
3498
Isso foi dito por Norbert Wiener, em 1960,
03:51
shortly after he watched
one of the very early learning systems
73
219804
4002
pouco depois de ter visto
um dos sistemas de aprendizagem
03:55
learn to play checkers
better than its creator.
74
223830
2583
aprender a jogar damas
melhor do que seu criador.
04:00
But this could equally have been said
75
228602
2683
Mas isso também poderia ter sido dito
04:03
by King Midas.
76
231309
1167
pelo Rei Midas.
04:05
King Midas said, "I want everything
I touch to turn to gold,"
77
233083
3134
O Rei Midas disse: "Quero
que tudo o que eu tocar vire ouro",
04:08
and he got exactly what he asked for.
78
236241
2473
e ele conseguiu exatamente o que pediu.
04:10
That was the purpose
that he put into the machine,
79
238738
2751
Essa foi a missão passada ao computador,
04:13
so to speak,
80
241513
1450
por assim dizer,
04:14
and then his food and his drink
and his relatives turned to gold
81
242987
3444
e então, sua comida, bebida
e seus parentes se transformaram em ouro,
04:18
and he died in misery and starvation.
82
246455
2281
e ele morreu de tristeza e fome.
04:22
So we'll call this
"the King Midas problem"
83
250444
2341
Chamaremos isso de "problema do Rei Midas"
04:24
of stating an objective
which is not, in fact,
84
252809
3305
de dar uma missão que não está, de fato,
04:28
truly aligned with what we want.
85
256138
2413
verdadeiramente alinhada
com aquilo que queremos.
04:30
In modern terms, we call this
"the value alignment problem."
86
258575
3253
Em termos modernos, chamamos
de "problema de alinhamento de valor".
04:37
Putting in the wrong objective
is not the only part of the problem.
87
265047
3485
Atribuir a missão errada
não é a única parte do problema.
04:40
There's another part.
88
268556
1152
Há outro elemento.
04:42
If you put an objective into a machine,
89
270160
1943
Se você passar uma missão ao computador,
04:44
even something as simple as,
"Fetch the coffee,"
90
272127
2448
mesmo algo tão simples
como "Traga o café",
04:47
the machine says to itself,
91
275908
1841
o computador dirá a si mesmo:
04:50
"Well, how might I fail
to fetch the coffee?
92
278733
2623
"Bem, como posso falhar ao trazer o café?
04:53
Someone might switch me off.
93
281380
1580
Alguém pode me desligar.
04:55
OK, I have to take steps to prevent that.
94
283645
2387
Certo, tenho que fazer algo
para evitar isso.
04:58
I will disable my 'off' switch.
95
286056
1906
Desabilitarei meu botão liga e desliga.
05:00
I will do anything to defend myself
against interference
96
288534
2959
Farei de tudo para me defender
contra interferências
05:03
with this objective
that I have been given."
97
291517
2629
a esta missão que recebi".
05:06
So this single-minded pursuit
98
294170
2012
Esta busca determinada,
05:09
in a very defensive mode
of an objective that is, in fact,
99
297213
2945
de modo muito defensivo,
de uma missão que não está,
05:12
not aligned with the true objectives
of the human race --
100
300182
2814
de fato, alinhada com os reais
objetivos do homem,
05:16
that's the problem that we face.
101
304122
1862
é o problema que enfrentamos.
05:19
And in fact, that's the high-value
takeaway from this talk.
102
307007
4767
Essa é, na verdade,
a conclusão valiosa desta palestra.
05:23
If you want to remember one thing,
103
311798
2055
Se quiserem se lembrar de uma coisa,
05:25
it's that you can't fetch
the coffee if you're dead.
104
313877
2675
é que não podem trazer
o café se estiverem mortos.
05:28
(Laughter)
105
316576
1061
(Risos)
05:29
It's very simple. Just remember that.
Repeat it to yourself three times a day.
106
317661
3829
É muito simples. Lembrem-se apenas disso.
Repitam a si mesmos três vezes ao dia.
05:33
(Laughter)
107
321514
1821
(Risos)
05:35
And in fact, this is exactly the plot
108
323359
2754
Este é exatamente o enredo
de "2001: Uma Odisseia no Espaço".
05:38
of "2001: [A Space Odyssey]"
109
326137
2648
05:41
HAL has an objective, a mission,
110
329226
2090
HAL tem um objetivo, uma missão,
05:43
which is not aligned
with the objectives of the humans,
111
331340
3732
que não está alinhada
aos objetivos do homem,
05:47
and that leads to this conflict.
112
335096
1810
e que leva a este conflito.
05:49
Now fortunately, HAL
is not superintelligent.
113
337494
2969
Felizmente, HAL não é superinteligente.
05:52
He's pretty smart,
but eventually Dave outwits him
114
340487
3587
É bem inteligente, mas Dave
é mais esperto do que ele no final
05:56
and manages to switch him off.
115
344098
1849
e consegue desligá-lo.
06:01
But we might not be so lucky.
116
349828
1619
Mas podemos não ter tanta sorte.
[Desculpe, Dave,
mas não posso fazer isso.]
06:08
So what are we going to do?
117
356193
1592
Então, o que faremos?
06:12
I'm trying to redefine AI
118
360371
2601
Estou tentando redefinir
a Inteligência Artificial
06:14
to get away from this classical notion
119
362996
2061
para escapar dessa ideia tradicional
06:17
of machines that intelligently
pursue objectives.
120
365081
4567
de computadores que se dedicam
aos objetivos de forma inteligente.
06:22
There are three principles involved.
121
370712
1798
Há três princípios envolvidos.
O primeiro é o princípio do altruísmo
06:24
The first one is a principle
of altruism, if you like,
122
372534
3289
06:27
that the robot's only objective
123
375847
3262
segundo o qual o único objetivo do robô
06:31
is to maximize the realization
of human objectives,
124
379133
4246
é maximizar a realização
de objetivos do homem,
06:35
of human values.
125
383403
1390
de valores humanos.
06:36
And by values here I don't mean
touchy-feely, goody-goody values.
126
384817
3330
Por valores aqui, não me refiro
a valores morais, sentimentais.
06:40
I just mean whatever it is
that the human would prefer
127
388171
3787
Refiro-me apenas ao que o homem
prefere que seja sua vida.
06:43
their life to be like.
128
391982
1343
06:47
And so this actually violates Asimov's law
129
395364
2309
Isso realmente viola a lei de Asimov
06:49
that the robot has to protect
its own existence.
130
397697
2329
pela qual o robô
deve proteger sua existência.
Ele não tem interesse em preservar
sua existência de forma alguma.
06:52
It has no interest in preserving
its existence whatsoever.
131
400050
3723
06:57
The second law is a law
of humility, if you like.
132
405420
3768
A segunda lei é a lei da humildade.
07:01
And this turns out to be really
important to make robots safe.
133
409974
3743
Isso vem a ser realmente importante
para fazer com que os robôs sejam seguros.
07:05
It says that the robot does not know
134
413741
3142
Segundo ela, o robô não sabe
quais são esses valores humanos.
07:08
what those human values are,
135
416907
2028
07:10
so it has to maximize them,
but it doesn't know what they are.
136
418959
3178
Então, ele tem que maximizá-los,
mas não sabe quais são eles.
07:15
And that avoids this problem
of single-minded pursuit
137
423254
2626
Isso evita este problema de busca
determinada por um objetivo.
07:17
of an objective.
138
425904
1212
Esta incerteza revela-se crucial.
07:19
This uncertainty turns out to be crucial.
139
427140
2172
07:21
Now, in order to be useful to us,
140
429726
1639
Para ser útil a nós, ele precisa
ter uma ideia do que queremos.
07:23
it has to have some idea of what we want.
141
431389
2731
07:27
It obtains that information primarily
by observation of human choices,
142
435223
5427
Ele obtém essa informação principalmente
pela observação das escolhas humanas.
07:32
so our own choices reveal information
143
440674
2801
Assim nossas próprias escolhas
revelam informação
07:35
about what it is that we prefer
our lives to be like.
144
443499
3300
sobre como preferimos
que sejam nossas vidas.
São três princípios.
07:40
So those are the three principles.
145
448632
1683
Vejamos como isso
se aplica a esta questão:
07:42
Let's see how that applies
to this question of:
146
450339
2318
07:44
"Can you switch the machine off?"
as Turing suggested.
147
452681
2789
"Você pode desligar o computador?"
como sugeriu Turing.
07:49
So here's a PR2 robot.
148
457073
2120
Aqui está o robô PR2,
que temos em nosso laboratório,
07:51
This is one that we have in our lab,
149
459217
1821
07:53
and it has a big red "off" switch
right on the back.
150
461062
2903
com um grande botão
liga e desliga vermelho nas costas.
07:56
The question is: Is it
going to let you switch it off?
151
464541
2615
A questão é: ele deixará você desligá-lo?
07:59
If we do it the classical way,
152
467180
1465
Pelo modo tradicional,
damos a ele a missão
08:00
we give it the objective of, "Fetch
the coffee, I must fetch the coffee,
153
468669
3482
"Traga o café, devo trazer o café,
08:04
I can't fetch the coffee if I'm dead,"
154
472175
2580
não posso trazer o café
se eu estiver morto".
08:06
so obviously the PR2
has been listening to my talk,
155
474779
3341
É claro que o PR2 estava
ouvindo minha conversa,
08:10
and so it says, therefore,
"I must disable my 'off' switch,
156
478144
3753
e diz então: "Devo desabilitar
meu botão liga e desliga,
08:14
and probably taser all the other
people in Starbucks
157
482976
2694
e talvez dar um choque nas pessoas
do Starbucks que mexerem comigo".
08:17
who might interfere with me."
158
485694
1560
08:19
(Laughter)
159
487278
2062
(Risos)
08:21
So this seems to be inevitable, right?
160
489364
2153
Isso parece inevitável, não?
08:23
This kind of failure mode
seems to be inevitable,
161
491541
2398
Este tipo de modo de falha
parece inevitável,
08:25
and it follows from having
a concrete, definite objective.
162
493963
3543
e resulta de um objetivo
concreto, definido.
08:30
So what happens if the machine
is uncertain about the objective?
163
498812
3144
O que acontece se o computador
não tem certeza do objetivo?
08:33
Well, it reasons in a different way.
164
501980
2127
Bem, ele raciocina de modo diferente.
08:36
It says, "OK, the human
might switch me off,
165
504131
2424
Diz: "Tudo bem, o homem pode me desligar,
08:39
but only if I'm doing something wrong.
166
507144
1866
mas só se estiver fazendo algo errado.
08:41
Well, I don't really know what wrong is,
167
509747
2475
Bem, não sei o que é errado,
mas sei que não quero fazer isso".
08:44
but I know that I don't want to do it."
168
512246
2044
Ali estão o primeiro
e o segundo princípios.
08:46
So that's the first and second
principles right there.
169
514314
3010
08:49
"So I should let the human switch me off."
170
517348
3359
"Então, deveria deixar
o homem me desligar".
08:53
And in fact you can calculate
the incentive that the robot has
171
521721
3956
De fato, você pode calcular o estímulo
que o robô tem para deixar
o homem desligá-lo,
08:57
to allow the human to switch it off,
172
525701
2493
09:00
and it's directly tied to the degree
173
528218
1914
e está diretamente ligado ao grau
de incerteza sobre o objetivo fundamental.
09:02
of uncertainty about
the underlying objective.
174
530156
2746
09:05
And then when the machine is switched off,
175
533977
2949
Então, quando o computador é desligado,
o terceiro princípio entra em campo.
09:08
that third principle comes into play.
176
536950
1805
Ele aprende algo sobre os objetivos
aos quais deveria se dedicar
09:10
It learns something about the objectives
it should be pursuing,
177
538779
3062
porque aprende que não fez o certo.
09:13
because it learns that
what it did wasn't right.
178
541865
2533
09:16
In fact, we can, with suitable use
of Greek symbols,
179
544422
3570
De fato, com uso adequado
de símbolos gregos,
09:20
as mathematicians usually do,
180
548016
2131
como costumavam fazer os matemáticos,
09:22
we can actually prove a theorem
181
550171
1984
podemos até provar um teorema
09:24
that says that such a robot
is provably beneficial to the human.
182
552179
3553
segundo o qual tal robô
é provavelmente benéfico ao homem.
09:27
You are provably better off
with a machine that's designed in this way
183
555756
3803
Talvez você esteja melhor
com um computador projetado desta forma
09:31
than without it.
184
559583
1246
do que sem ele.
09:33
So this is a very simple example,
but this is the first step
185
561237
2906
Este é um exemplo muito simples,
mas é o primeiro passo
09:36
in what we're trying to do
with human-compatible AI.
186
564167
3903
para o que estamos tentando fazer
com IA compatível com o homem.
09:42
Now, this third principle,
187
570657
3257
Há este terceiro princípio,
09:45
I think is the one that you're probably
scratching your head over.
188
573938
3112
pelo qual você deve estar
coçando a cabeça.
Você deve estar pensando:
"Bem, sabe, eu me comportei mal.
09:49
You're probably thinking, "Well,
you know, I behave badly.
189
577074
3239
09:52
I don't want my robot to behave like me.
190
580337
2929
Não quero que meu robô
se comporte como eu.
09:55
I sneak down in the middle of the night
and take stuff from the fridge.
191
583290
3434
Ando às escondidas, no meio da noite,
e pego coisas da geladeira.
09:58
I do this and that."
192
586748
1168
Faço isso e aquilo".
Há muitas coisas que você
não quer que o robô faça.
09:59
There's all kinds of things
you don't want the robot doing.
193
587940
2797
10:02
But in fact, it doesn't
quite work that way.
194
590761
2071
Mas, na verdade, não funciona bem assim.
Só porque você se comporta mal
10:04
Just because you behave badly
195
592856
2155
10:07
doesn't mean the robot
is going to copy your behavior.
196
595035
2623
não quer dizer que o robô
irá copiar seu comportamento.
Ele irá entender suas motivações
e talvez ajudá-lo a resistir a elas,
10:09
It's going to understand your motivations
and maybe help you resist them,
197
597682
3910
10:13
if appropriate.
198
601616
1320
se for adequado.
10:16
But it's still difficult.
199
604206
1464
Mas ainda é difícil.
10:18
What we're trying to do, in fact,
200
606302
2545
O que estamos tentando fazer,
10:20
is to allow machines to predict
for any person and for any possible life
201
608871
5796
é permitir que computadores
prevejam para qualquer pessoa
e para qualquer vida que ela poderia ter,
e a vida de todos os demais:
10:26
that they could live,
202
614691
1161
10:27
and the lives of everybody else:
203
615876
1597
10:29
Which would they prefer?
204
617497
2517
qual vida eles iriam preferir?
10:34
And there are many, many
difficulties involved in doing this;
205
622061
2954
Há muitas dificuldades
envolvidas para fazer isso.
Não espero que isso seja
resolvido muito rapidamente.
10:37
I don't expect that this
is going to get solved very quickly.
206
625039
2932
10:39
The real difficulties, in fact, are us.
207
627995
2643
As dificuldades reais,
na verdade, somos nós.
10:44
As I have already mentioned,
we behave badly.
208
632149
3117
Como já havia mencionado,
nós nos comportamos mal.
10:47
In fact, some of us are downright nasty.
209
635290
2321
Alguns de nós somos muito maus.
10:50
Now the robot, as I said,
doesn't have to copy the behavior.
210
638431
3052
Já o robô, como eu disse,
não tem que copiar o comportamento.
10:53
The robot does not have
any objective of its own.
211
641507
2791
O robô não tem nenhum objetivo próprio.
10:56
It's purely altruistic.
212
644322
1737
Ele é meramente altruísta.
10:59
And it's not designed just to satisfy
the desires of one person, the user,
213
647293
5221
Não é projetado apenas para satisfazer
os desejos de uma pessoa, o consumidor,
11:04
but in fact it has to respect
the preferences of everybody.
214
652538
3138
mas ele tem que respeitar
as preferências de todos.
11:09
So it can deal with a certain
amount of nastiness,
215
657263
2570
Ele pode lidar com um pouco de maldade,
11:11
and it can even understand
that your nastiness, for example,
216
659857
3701
e pode até entender essa sua maldade.
Por exemplo, você pode aceitar
suborno como funcionário público
11:15
you may take bribes as a passport official
217
663582
2671
11:18
because you need to feed your family
and send your kids to school.
218
666277
3812
porque precisa alimentar sua família
e pagar a escola dos seus filhos.
11:22
It can understand that;
it doesn't mean it's going to steal.
219
670113
2906
O robô pode entender isso.
Não significa que ele irá roubar.
11:25
In fact, it'll just help you
send your kids to school.
220
673043
2679
Ele só o ajudará a pagar
a escola de seus filhos.
11:28
We are also computationally limited.
221
676976
3012
Também somos computacionalmente limitados.
11:32
Lee Sedol is a brilliant Go player,
222
680012
2505
Lee Sedol é um jogador de Go genial,
mas ele ainda perde.
11:34
but he still lost.
223
682541
1325
11:35
So if we look at his actions,
he took an action that lost the game.
224
683890
4239
Se examinarmos suas ações,
vemos que uma delas o fez perder o jogo.
11:40
That doesn't mean he wanted to lose.
225
688153
2161
Isso não significa que ele queria perder.
11:43
So to understand his behavior,
226
691340
2040
Para entender o comportamento dele,
11:45
we actually have to invert
through a model of human cognition
227
693404
3644
temos realmente que inverter
pelo modelo de conhecimento humano
11:49
that includes our computational
limitations -- a very complicated model.
228
697072
4977
que inclui limitações computacionais,
um modelo muito complexo.
11:54
But it's still something
that we can work on understanding.
229
702073
2993
Mas ainda é algo que podemos
trabalhar para compreender.
11:57
Probably the most difficult part,
from my point of view as an AI researcher,
230
705876
4320
Talvez, o mais difícil, do meu ponto
de vista como pesquisador de IA,
12:02
is the fact that there are lots of us,
231
710220
2575
seja o fato de que há muitos de nós,
12:06
and so the machine has to somehow
trade off, weigh up the preferences
232
714294
3581
e o computador precisa, de algum modo,
trocar, considerar as preferências
12:09
of many different people,
233
717899
2225
de muitas pessoas diferentes,
12:12
and there are different ways to do that.
234
720148
1906
e há modos diferentes para fazer isso.
12:14
Economists, sociologists,
moral philosophers have understood that,
235
722078
3689
Economistas, sociólogos,
filósofos morais entenderam isso,
12:17
and we are actively
looking for collaboration.
236
725791
2455
e estamos procurando
ativamente por colaboração.
12:20
Let's have a look and see what happens
when you get that wrong.
237
728270
3251
Vamos ver o que acontece
quando você interpreta isso mal.
12:23
So you can have
a conversation, for example,
238
731545
2133
Você pode ter uma conversa, por exemplo,
com seu assistente pessoal inteligente
12:25
with your intelligent personal assistant
239
733702
1944
que pode estar disponível
daqui a alguns anos.
12:27
that might be available
in a few years' time.
240
735670
2285
12:29
Think of a Siri on steroids.
241
737979
2524
Pense em um assistente virtual.
12:33
So Siri says, "Your wife called
to remind you about dinner tonight."
242
741627
4322
O assistente lhe diz: "Sua esposa ligou
para lembrá-lo do jantar de hoje à noite",
12:38
And of course, you've forgotten.
"What? What dinner?
243
746616
2508
mas você havia esquecido: "O quê?
Que jantar? Do que você está falando?"
12:41
What are you talking about?"
244
749148
1425
12:42
"Uh, your 20th anniversary at 7pm."
245
750597
3746
"Seu aniversário de 20 anos, às 19h."
12:48
"I can't do that. I'm meeting
with the secretary-general at 7:30.
246
756915
3719
"Não vai dar. Tenho um encontro
com o secretário geral às 19h30.
12:52
How could this have happened?"
247
760658
1692
Como foi que isso aconteceu?"
12:54
"Well, I did warn you, but you overrode
my recommendation."
248
762374
4660
"Bem, eu o avisei, mas você ignorou
minha recomendação."
13:00
"Well, what am I going to do?
I can't just tell him I'm too busy."
249
768146
3328
"O que vou fazer? Não posso falar
que estou muito ocupado."
13:04
"Don't worry. I arranged
for his plane to be delayed."
250
772490
3281
"Não se preocupe. Dei um jeito
para o avião dele atrasar."
13:07
(Laughter)
251
775795
1682
(Risos)
13:10
"Some kind of computer malfunction."
252
778249
2101
"Algum tipo de defeito no computador".
13:12
(Laughter)
253
780374
1212
(Risos)
13:13
"Really? You can do that?"
254
781610
1617
"Sério? Consegue fazer isso?"
13:16
"He sends his profound apologies
255
784400
2179
"Ele manda suas profundas desculpas
13:18
and looks forward to meeting you
for lunch tomorrow."
256
786603
2555
e não vê a hora de encontrá-lo
amanhã para o almoço".
13:21
(Laughter)
257
789182
1299
(Risos)
13:22
So the values here --
there's a slight mistake going on.
258
790505
4403
Está acontecendo um pequeno erro,
13:26
This is clearly following my wife's values
259
794932
3009
que é, obviamente, seguir
os valores de minha esposa:
13:29
which is "Happy wife, happy life."
260
797965
2069
"Esposa feliz, vida feliz".
13:32
(Laughter)
261
800058
1583
(Risos)
13:33
It could go the other way.
262
801665
1444
Poderia seguir outro rumo.
13:35
You could come home
after a hard day's work,
263
803821
2201
Você chega depois de um dia de trabalho,
e o computador diz: "Foi um longo dia?"
13:38
and the computer says, "Long day?"
264
806046
2195
13:40
"Yes, I didn't even have time for lunch."
265
808265
2288
"Sim, nem consegui almoçar."
13:42
"You must be very hungry."
266
810577
1282
"Você deve estar faminto."
13:43
"Starving, yeah.
Could you make some dinner?"
267
811883
2646
"Sim, faminto. Pode fazer o jantar?"
13:48
"There's something I need to tell you."
268
816070
2090
"Precisamos conversar."
13:50
(Laughter)
269
818184
1155
(Risos)
13:52
"There are humans in South Sudan
who are in more urgent need than you."
270
820193
4905
"Tem gente no Sudão com necessidades
mais urgentes do que as suas."
13:57
(Laughter)
271
825122
1104
(Risos)
13:58
"So I'm leaving. Make your own dinner."
272
826250
2075
"Vou sair. Faça você mesmo o seu jantar."
14:00
(Laughter)
273
828349
2000
(Risos)
14:02
So we have to solve these problems,
274
830823
1739
Temos que resolver esses problemas,
14:04
and I'm looking forward
to working on them.
275
832586
2515
e estou esperando ansiosamente
para trabalhar neles.
14:07
There are reasons for optimism.
276
835125
1843
Há razões para o otimismo.
14:08
One reason is,
277
836992
1159
Uma delas é que há
uma enorme quantidade de dados.
14:10
there is a massive amount of data.
278
838175
1868
Lembrem-se: eu disse que eles irão ler
tudo que o homem tiver escrito.
14:12
Because remember -- I said
they're going to read everything
279
840067
2794
14:14
the human race has ever written.
280
842885
1546
A maioria do que escrevemos
é sobre pessoas fazendo coisas
14:16
Most of what we write about
is human beings doing things
281
844455
2724
14:19
and other people getting upset about it.
282
847203
1914
e outras ficando aborrecidas com isso.
Temos uma enorme quantidade
de dados para aprender.
14:21
So there's a massive amount
of data to learn from.
283
849141
2398
14:23
There's also a very
strong economic incentive
284
851563
2236
Há também um incentivo
econômico muito forte
14:27
to get this right.
285
855331
1186
para resolver isso.
14:28
So imagine your domestic robot's at home.
286
856541
2001
Imagine então seu robô doméstico em casa.
14:30
You're late from work again
and the robot has to feed the kids,
287
858566
3067
Você chega tarde em casa
e o robô precisa alimentar as crianças,
14:33
and the kids are hungry
and there's nothing in the fridge.
288
861657
2823
elas estão com fome
e não tem nada na geladeira.
14:36
And the robot sees the cat.
289
864504
2605
E o robô vê o gato.
14:39
(Laughter)
290
867133
1692
(Risos)
14:40
And the robot hasn't quite learned
the human value function properly,
291
868849
4190
O robô não aprendeu bem
a função do valor humano.
14:45
so it doesn't understand
292
873063
1251
Então, ele não compreende
14:46
the sentimental value of the cat outweighs
the nutritional value of the cat.
293
874338
4844
que o valor sentimental pelo gato
pesa mais do que seu valor nutritivo.
14:51
(Laughter)
294
879206
1095
(Risos)
14:52
So then what happens?
295
880325
1748
O que acontece então?
14:54
Well, it happens like this:
296
882097
3297
Bem, acontece o seguinte:
14:57
"Deranged robot cooks kitty
for family dinner."
297
885418
2964
"Robô louco cozinha gatinho
para o jantar".
15:00
That one incident would be the end
of the domestic robot industry.
298
888406
4523
Esse único incidente seria o fim
da indústria de robôs domésticos.
15:04
So there's a huge incentive
to get this right
299
892953
3372
Há um enorme incentivo para resolver isso
15:08
long before we reach
superintelligent machines.
300
896349
2715
antes de chegarmos
aos computadores superinteligentes.
15:12
So to summarize:
301
900128
1535
Em resumo:
15:13
I'm actually trying to change
the definition of AI
302
901687
2881
estou tentando realmente
mudar a definição de IA
15:16
so that we have provably
beneficial machines.
303
904592
2993
para que tenhamos computadores úteis.
15:19
And the principles are:
304
907609
1222
Os princípios são:
15:20
machines that are altruistic,
305
908855
1398
computadores altruístas,
15:22
that want to achieve only our objectives,
306
910277
2804
que querem alcançar
apenas nossos objetivos,
15:25
but that are uncertain
about what those objectives are,
307
913105
3116
mas estão incertos sobre quais são eles,
15:28
and will watch all of us
308
916245
1998
e irão observar todos nós
15:30
to learn more about what it is
that we really want.
309
918267
3203
para aprender mais
sobre o que realmente queremos.
15:34
And hopefully in the process,
we will learn to be better people.
310
922373
3559
E tomara que no processo,
aprendamos a ser pessoas melhores.
15:37
Thank you very much.
311
925956
1191
Muito obrigado.
15:39
(Applause)
312
927171
3709
(Aplausos)
15:42
Chris Anderson: So interesting, Stuart.
313
930904
1868
Chris Anderson: Interessante, Stuart.
15:44
We're going to stand here a bit
because I think they're setting up
314
932796
3170
Ficaremos aqui um pouco
porque acho que estão preparando
para o próximo palestrante.
15:47
for our next speaker.
315
935990
1151
Algumas questões.
15:49
A couple of questions.
316
937165
1538
15:50
So the idea of programming in ignorance
seems intuitively really powerful.
317
938727
5453
A ideia de programar na ignorância
parece realmente convincente.
15:56
As you get to superintelligence,
318
944204
1594
Ao chegar à superinteligência,
15:57
what's going to stop a robot
319
945822
2258
o que irá impedir um robô
de ler literatura
16:00
reading literature and discovering
this idea that knowledge
320
948104
2852
e descobrir que o conhecimento
é melhor que a ignorância
16:02
is actually better than ignorance
321
950980
1572
16:04
and still just shifting its own goals
and rewriting that programming?
322
952576
4218
e ainda mudar seus próprios objetivos
e reescrever essa programação?
16:09
Stuart Russell: Yes, so we want
it to learn more, as I said,
323
957692
6356
Stuart Russell: Sim, queremos...
Queremos que ele aprenda mais,
como eu disse, sobre nossos objetivos.
16:16
about our objectives.
324
964072
1287
16:17
It'll only become more certain
as it becomes more correct,
325
965383
5521
Ele só se tornará mais seguro
quando se tornar mais correto.
16:22
so the evidence is there
326
970928
1945
A evidência está lá, e ele será projetado
para interpretá-la corretamente.
16:24
and it's going to be designed
to interpret it correctly.
327
972897
2724
16:27
It will understand, for example,
that books are very biased
328
975645
3956
Ele entenderá, por exemplo,
que os livros são muito tendenciosos
16:31
in the evidence they contain.
329
979625
1483
na evidência que contêm.
16:33
They only talk about kings and princes
330
981132
2397
Eles só falam sobre reis e príncipes
e a elite do homem branco fazendo coisas.
16:35
and elite white male people doing stuff.
331
983553
2800
16:38
So it's a complicated problem,
332
986377
2096
É um problema complicado,
16:40
but as it learns more about our objectives
333
988497
3872
mas, à medida que aprende
mais sobre nossos objetivos,
16:44
it will become more and more useful to us.
334
992393
2063
ele será cada vez mais útil para nós.
16:46
CA: And you couldn't
just boil it down to one law,
335
994480
2526
CA: E você não poderia apenas
reduzir a uma regra, integrada em:
16:49
you know, hardwired in:
336
997030
1650
16:50
"if any human ever tries to switch me off,
337
998704
3293
"Se qualquer pessoa tentar me desligar,
eu concordo. Eu concordo"?
16:54
I comply. I comply."
338
1002021
1935
16:55
SR: Absolutely not.
339
1003980
1182
SR: De jeito nenhum.
Seria uma ideia terrível.
16:57
That would be a terrible idea.
340
1005186
1499
Imagine que você tem
um carro que dirige sozinho
16:58
So imagine that you have
a self-driving car
341
1006709
2689
17:01
and you want to send your five-year-old
342
1009422
2433
e você quer mandar seu filho
de cinco anos para a escola.
17:03
off to preschool.
343
1011879
1174
17:05
Do you want your five-year-old
to be able to switch off the car
344
1013077
3101
Quer que seu filho de cinco anos
consiga desligar o carro em movimento?
17:08
while it's driving along?
345
1016202
1213
Provavelmente não.
17:09
Probably not.
346
1017439
1159
Ele tem que compreender a racionalidade
e a sensibilidade da pessoa.
17:10
So it needs to understand how rational
and sensible the person is.
347
1018622
4703
17:15
The more rational the person,
348
1023349
1676
Quanto mais racional for a pessoa,
mais disposto estará para ser desligado.
17:17
the more willing you are
to be switched off.
349
1025049
2103
Se a pessoa for sem noção
ou mal-intencionada,
17:19
If the person is completely
random or even malicious,
350
1027176
2543
17:21
then you're less willing
to be switched off.
351
1029743
2512
menos disposto você estará
para ser desligado.
17:24
CA: All right. Stuart, can I just say,
352
1032279
1866
CA: Tudo bem. Stuart, espero realmente
que você resolva isso para nós.
17:26
I really, really hope you
figure this out for us.
353
1034169
2314
Muito obrigado por esta palestra.
Foi incrível. Obrigado.
17:28
Thank you so much for that talk.
That was amazing.
354
1036507
2375
(Aplausos)
17:30
SR: Thank you.
355
1038906
1167
17:32
(Applause)
356
1040097
1837
Translated by Maurício Tanaka
Reviewed by Maricene Crus

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com