TED2015
Nick Bostrom: What happens when our computers get smarter than we are?
Nick Bostrom: O que acontece quando os nossos computadores se tornam melhores que nós?
Filmed:
Readability: 4.4
4,632,705 views
A inteligência artificial (I.A.) está a ficar cada vez mais esperta, a uma velocidade espantosa — a investigação sugere que, dentro de um século, um computador I.A. poderá ser tão "esperto" como um ser humano. E assim, vai ultrapassar-nos: " A invenção mecânica é a última invenção que a humanidade alguma vez necessitará." Filósofo e tecnólogo, Bostrom pede-nos para pensar acerca do mundo que estamos a construir neste momento, liderado por máquinas pensantes. Será que as nossas máquinas espertas vão ajudar-nos a preservar a humanidade e os nossos valores — ou terão elas valores próprios?
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio
Double-click the English transcript below to play the video.
00:12
I work with a bunch of mathematicians,
philosophers and computer scientists,
philosophers and computer scientists,
0
570
4207
Eu trabalho com um grupo de matemáticos,
filósofos e informáticos,
filósofos e informáticos,
00:16
and we sit around and think about
the future of machine intelligence,
the future of machine intelligence,
1
4777
5209
e pensamos acerca do futuro
da inteligência mecânica,
da inteligência mecânica,
00:21
among other things.
2
9986
2044
entre outras coisas.
00:24
Some people think that some of these
things are sort of science fiction-y,
things are sort of science fiction-y,
3
12030
4725
Algumas pessoas pensam que algumas
destas coisas são como ciência ficção,
destas coisas são como ciência ficção,
00:28
far out there, crazy.
4
16755
3101
muito longe da realidade.
00:31
But I like to say,
5
19856
1470
Mas eu gosto de dizer,
00:33
okay, let's look at the modern
human condition.
human condition.
6
21326
3604
olhemos para as condições
humanas modernas.
humanas modernas.
00:36
(Laughter)
7
24930
1692
(Risos)
00:38
This is the normal way for things to be.
8
26622
2402
Essa é a forma normal de as coisas serem.
00:41
But if we think about it,
9
29024
2285
Mas se pensarmos nisso,
00:43
we are actually recently arrived
guests on this planet,
guests on this planet,
10
31309
3293
somos na verdade visitantes
recentes neste planeta,
recentes neste planeta,
00:46
the human species.
11
34602
2082
a espécie humana.
00:48
Think about if Earth
was created one year ago,
was created one year ago,
12
36684
4746
Imaginem, se a Terra tivesse sido
criada há um ano,
criada há um ano,
00:53
the human species, then,
would be 10 minutes old.
would be 10 minutes old.
13
41430
3548
a espécie humana, então,
teria 10 minutos de vida.
teria 10 minutos de vida.
00:56
The industrial era started
two seconds ago.
two seconds ago.
14
44978
3168
A era da indústria teria começado
há 2 segundos.
há 2 segundos.
01:01
Another way to look at this is to think of
world GDP over the last 10,000 years,
world GDP over the last 10,000 years,
15
49276
5225
Outra forma de olhar para isto
é calcular o PIB mundial
dos últimos 10 000 anos,
dos últimos 10 000 anos,
01:06
I've actually taken the trouble
to plot this for you in a graph.
to plot this for you in a graph.
16
54501
3029
Tive a preocupação de inserir
isto num gráfico para vocês verem.
isto num gráfico para vocês verem.
01:09
It looks like this.
17
57530
1774
Parece-se com isto.
01:11
(Laughter)
18
59304
1363
(Risos)
01:12
It's a curious shape
for a normal condition.
for a normal condition.
19
60667
2151
É uma forma curiosa
para uma situação normal.
para uma situação normal.
01:14
I sure wouldn't want to sit on it.
20
62818
1698
Eu não ficaria muito descansado.
01:16
(Laughter)
21
64516
2551
(Risos)
01:19
Let's ask ourselves, what is the cause
of this current anomaly?
of this current anomaly?
22
67067
4774
Perguntemos a nós próprios,
qual é a causa dessa anomalia?
qual é a causa dessa anomalia?
01:23
Some people would say it's technology.
23
71841
2552
Algumas pessoas diriam que é a tecnologia.
01:26
Now it's true, technology has accumulated
through human history,
through human history,
24
74393
4668
É verdade, a tecnologia acumulou-se
durante a história da humanidade
durante a história da humanidade
01:31
and right now, technology
advances extremely rapidly --
advances extremely rapidly --
25
79061
4652
e, neste momento, a tecnologia evolui
extremamente depressa
extremamente depressa
01:35
that is the proximate cause,
26
83713
1565
— essa é a causa imediata —
01:37
that's why we are currently
so very productive.
so very productive.
27
85278
2565
é por isso que estamos tão produtivos.
01:40
But I like to think back further
to the ultimate cause.
to the ultimate cause.
28
88473
3661
Mas eu gosto de pensar mais além,
para a causa fundamental.
para a causa fundamental.
01:45
Look at these two highly
distinguished gentlemen:
distinguished gentlemen:
29
93114
3766
Olhem para estes dois senhores
muito distintos:
muito distintos:
01:48
We have Kanzi --
30
96880
1600
Temos o Kanzi,
01:50
he's mastered 200 lexical
tokens, an incredible feat.
tokens, an incredible feat.
31
98480
4643
ele dominava 200 símbolos lexicais,
uma incrível proeza.
uma incrível proeza.
01:55
And Ed Witten unleashed the second
superstring revolution.
superstring revolution.
32
103123
3694
E Ed Witten desencadeou a segunda
revolução das supercordas.
revolução das supercordas.
01:58
If we look under the hood,
this is what we find:
this is what we find:
33
106817
2324
Se examinarmos é isto que encontramos:
02:01
basically the same thing.
34
109141
1570
basicamente a mesma coisa.
02:02
One is a little larger,
35
110711
1813
Uma é um pouco maior,
02:04
it maybe also has a few tricks
in the exact way it's wired.
in the exact way it's wired.
36
112524
2758
talvez tenha alguns truques na maneira
como está ligado.
como está ligado.
02:07
These invisible differences cannot
be too complicated, however,
be too complicated, however,
37
115282
3812
Contudo, essas diferenças invisíveis
não podem ser muito complicadas,
não podem ser muito complicadas,
02:11
because there have only
been 250,000 generations
been 250,000 generations
38
119094
4285
porque apenas houve 250 000 gerações
02:15
since our last common ancestor.
39
123379
1732
desde o nosso último antepassado comum.
02:17
We know that complicated mechanisms
take a long time to evolve.
take a long time to evolve.
40
125111
3849
Sabemos que os mecanismos complicados
levam muito tempo a evoluir.
levam muito tempo a evoluir.
02:22
So a bunch of relatively minor changes
41
130000
2499
Portanto algumas mudanças mínimas
02:24
take us from Kanzi to Witten,
42
132499
3067
levam-nos de Kanzi para Witten,
02:27
from broken-off tree branches
to intercontinental ballistic missiles.
to intercontinental ballistic missiles.
43
135566
4543
desde ramos de árvores quebrados até
mísseis balísticos intercontinentais.
mísseis balísticos intercontinentais.
02:32
So this then seems pretty obvious
that everything we've achieved,
that everything we've achieved,
44
140839
3935
Assim, parece óbvio que tudo aquilo
que tenhamos realizado,
que tenhamos realizado,
02:36
and everything we care about,
45
144774
1378
e tudo aquilo que nos preocupa,
02:38
depends crucially on some relatively minor
changes that made the human mind.
changes that made the human mind.
46
146152
5228
dependa crucialmente de algumas mudanças
mínimas que construíram a mente humana.
mínimas que construíram a mente humana.
02:44
And the corollary, of course,
is that any further changes
is that any further changes
47
152650
3662
E o corolário, claro, é que
quaisquer mudanças adicionais
quaisquer mudanças adicionais
02:48
that could significantly change
the substrate of thinking
the substrate of thinking
48
156312
3477
que poderiam mudar significativamente
o substrato de pensar
o substrato de pensar
02:51
could have potentially
enormous consequences.
enormous consequences.
49
159789
3202
poderiam ter enormes consequências.
02:56
Some of my colleagues
think we're on the verge
think we're on the verge
50
164321
2905
Alguns dos meus colegas pensam
que estamos à beira
que estamos à beira
02:59
of something that could cause
a profound change in that substrate,
a profound change in that substrate,
51
167226
3908
de algo que poderá causar uma mudança
drástica nesse substrato,
drástica nesse substrato,
03:03
and that is machine superintelligence.
52
171134
3213
e isso é a super inteligência mecânica.
03:06
Artificial intelligence used to be
about putting commands in a box.
about putting commands in a box.
53
174347
4739
A inteligência artificial costumava
cingir-se a ordens numa caixa.
cingir-se a ordens numa caixa.
03:11
You would have human programmers
54
179086
1665
Tínhamos programadores humanos
03:12
that would painstakingly
handcraft knowledge items.
handcraft knowledge items.
55
180751
3135
que construíam objectos inteligentes
cuidadosamente.
cuidadosamente.
03:15
You build up these expert systems,
56
183886
2086
Construíamos esses sistemas
especializados,
especializados,
03:17
and they were kind of useful
for some purposes,
for some purposes,
57
185972
2324
e eram úteis para alguns fins,
03:20
but they were very brittle,
you couldn't scale them.
you couldn't scale them.
58
188296
2681
mas eram muito frágeis,
não podíamos aumentá-los.
não podíamos aumentá-los.
03:22
Basically, you got out only
what you put in.
what you put in.
59
190977
3433
Basicamente, apenas obtínhamos
aquilo que lá colocávamos inicialmente.
aquilo que lá colocávamos inicialmente.
03:26
But since then,
60
194410
997
Mas a partir daí,
03:27
a paradigm shift has taken place
in the field of artificial intelligence.
in the field of artificial intelligence.
61
195407
3467
ocorreu uma mudança de paradigma
no campo da inteligência artificial.
no campo da inteligência artificial.
03:30
Today, the action is really
around machine learning.
around machine learning.
62
198874
2770
Hoje, a acção anda à volta da
aprendizagem da máquina.
aprendizagem da máquina.
03:34
So rather than handcrafting knowledge
representations and features,
representations and features,
63
202394
5387
Portanto em vez de construir
representações e elementos do conhecimento
representações e elementos do conhecimento
03:40
we create algorithms that learn,
often from raw perceptual data.
often from raw perceptual data.
64
208511
5554
criamos algoritmos que aprendem,
muitas vezes a partir de dados em bruto.
muitas vezes a partir de dados em bruto.
03:46
Basically the same thing
that the human infant does.
that the human infant does.
65
214065
4998
Basicamente a mesma coisa
que a criança faz.
que a criança faz.
03:51
The result is A.I. that is not
limited to one domain --
limited to one domain --
66
219063
4207
O resultado é uma inteligência artificial
que não se limita a um domínio
que não se limita a um domínio
03:55
the same system can learn to translate
between any pairs of languages,
between any pairs of languages,
67
223270
4631
— o mesmo sistema que pode aprender a
traduzir várias línguas,
traduzir várias línguas,
03:59
or learn to play any computer game
on the Atari console.
on the Atari console.
68
227901
5437
ou aprender a jogar qualquer tipo
de jogo de computador na consola Atari.
de jogo de computador na consola Atari.
04:05
Now of course,
69
233338
1779
Agora, é claro,
04:07
A.I. is still nowhere near having
the same powerful, cross-domain
the same powerful, cross-domain
70
235117
3999
a inteligência artificial ainda está muito
longe de ter a mesma capacidade poderosa
longe de ter a mesma capacidade poderosa
04:11
ability to learn and plan
as a human being has.
as a human being has.
71
239116
3219
e transversal para aprender
e planificar tal como um ser humano.
e planificar tal como um ser humano.
O córtex ainda tem alguns
truques algorítmicos
truques algorítmicos
04:14
The cortex still has some
algorithmic tricks
algorithmic tricks
72
242335
2126
04:16
that we don't yet know
how to match in machines.
how to match in machines.
73
244461
2355
que ainda não sabemos
como ligar nas máquinas.
como ligar nas máquinas.
04:19
So the question is,
74
247886
1899
Portanto a questão é,
04:21
how far are we from being able
to match those tricks?
to match those tricks?
75
249785
3500
a que distância estamos
de poder ligar esses truques?
de poder ligar esses truques?
04:26
A couple of years ago,
76
254245
1083
Há alguns anos,
04:27
we did a survey of some of the world's
leading A.I. experts,
leading A.I. experts,
77
255328
2888
fizemos um inquérito a alguns dos
especialistas em I.A.,
especialistas em I.A.,
04:30
to see what they think,
and one of the questions we asked was,
and one of the questions we asked was,
78
258216
3224
para ver o que eles pensam, e uma das
questões que colocámos foi:
questões que colocámos foi:
04:33
"By which year do you think
there is a 50 percent probability
there is a 50 percent probability
79
261440
3353
"Por volta de que ano é que pensa que
atingiremos a I.A.
atingiremos a I.A.
04:36
that we will have achieved
human-level machine intelligence?"
human-level machine intelligence?"
80
264793
3482
ao nível humano,
com 50% de probabilidade?"
com 50% de probabilidade?"
04:40
We defined human-level here
as the ability to perform
as the ability to perform
81
268785
4183
Definimos o nível humano
como a capacidade de realizar
como a capacidade de realizar
04:44
almost any job at least as well
as an adult human,
as an adult human,
82
272968
2871
praticamente qualquer trabalho.
pelo menos como adulto,
pelo menos como adulto,
04:47
so real human-level, not just
within some limited domain.
within some limited domain.
83
275839
4005
a nível humano real, não apenas
dentro de um domínio limitado.
dentro de um domínio limitado.
04:51
And the median answer was 2040 or 2050,
84
279844
3650
A resposta média foi 2040 ou 2050,
04:55
depending on precisely which
group of experts we asked.
group of experts we asked.
85
283494
2806
consoante o grupo de especialistas
a que perguntámos.
a que perguntámos.
04:58
Now, it could happen much,
much later, or sooner,
much later, or sooner,
86
286300
4039
Poderá acontecer muito mais tarde,
ou mais cedo,
ou mais cedo,
05:02
the truth is nobody really knows.
87
290339
1940
a verdade é que ninguém sabe.
05:05
What we do know is that the ultimate
limit to information processing
limit to information processing
88
293259
4412
O que nós sabemos
é que o limite fundamental
é que o limite fundamental
para processar informação
no substrato duma máquina,
no substrato duma máquina,
05:09
in a machine substrate lies far outside
the limits in biological tissue.
the limits in biological tissue.
89
297671
4871
é muito superior ao limite
dos tecidos biológicos.
dos tecidos biológicos.
05:15
This comes down to physics.
90
303241
2378
Isto leva-nos à física.
05:17
A biological neuron fires, maybe,
at 200 hertz, 200 times a second.
at 200 hertz, 200 times a second.
91
305619
4718
Um neurónio biológico dispara, talvez,
a 200 hertz, 200 vezes por segundo.
a 200 hertz, 200 vezes por segundo.
05:22
But even a present-day transistor
operates at the Gigahertz.
operates at the Gigahertz.
92
310337
3594
Mas até um transístor moderno
opera em gigahertz.
opera em gigahertz.
05:25
Neurons propagate slowly in axons,
100 meters per second, tops.
100 meters per second, tops.
93
313931
5297
Os neurónios propagam lentamente
em axónios, a 100 metros por segundo.
em axónios, a 100 metros por segundo.
Mas em computadores, os sinais podem
deslocar-se à velocidade da luz.
deslocar-se à velocidade da luz.
05:31
But in computers, signals can travel
at the speed of light.
at the speed of light.
94
319228
3111
05:35
There are also size limitations,
95
323079
1869
Também há limitações de tamanho.
05:36
like a human brain has
to fit inside a cranium,
to fit inside a cranium,
96
324948
3027
O cérebro humano tem que
caber dentro do crânio,
caber dentro do crânio,
05:39
but a computer can be the size
of a warehouse or larger.
of a warehouse or larger.
97
327975
4761
mas um computador pode ser do tamanho
de um armazém ou ainda maior.
de um armazém ou ainda maior.
05:44
So the potential for superintelligence
lies dormant in matter,
lies dormant in matter,
98
332736
5599
Por isso o potencial para a super
inteligência permanece latente na matéria,
inteligência permanece latente na matéria,
05:50
much like the power of the atom
lay dormant throughout human history,
lay dormant throughout human history,
99
338335
5712
tal como a potência do átomo permaneceu
latente na história da humanidade,
latente na história da humanidade,
05:56
patiently waiting there until 1945.
100
344047
4405
pacientemente à espera até 1945.
06:00
In this century,
101
348452
1248
Neste século,
06:01
scientists may learn to awaken
the power of artificial intelligence.
the power of artificial intelligence.
102
349700
4118
os cientistas talvez aprendam a despertar
o poder da inteligência artificial.
o poder da inteligência artificial.
06:05
And I think we might then see
an intelligence explosion.
an intelligence explosion.
103
353818
4008
E penso que poderemos então assistir
a uma explosão intelectual.
a uma explosão intelectual.
06:10
Now most people, when they think
about what is smart and what is dumb,
about what is smart and what is dumb,
104
358406
3957
A maioria das pessoas, quando pensam
acerca do que é a esperteza e a estupidez,
acerca do que é a esperteza e a estupidez,
06:14
I think have in mind a picture
roughly like this.
roughly like this.
105
362363
3023
têm em mente uma imagem
como esta, penso eu.
como esta, penso eu.
06:17
So at one end we have the village idiot,
106
365386
2598
Numa ponta temos o idiota da aldeia,
06:19
and then far over at the other side
107
367984
2483
e noutra ponta muito distante
06:22
we have Ed Witten, or Albert Einstein,
or whoever your favorite guru is.
or whoever your favorite guru is.
108
370467
4756
temos Ed Witten, ou Albert Einstein,
ou qualquer um dos vossos gurus favoritos.
ou qualquer um dos vossos gurus favoritos.
06:27
But I think that from the point of view
of artificial intelligence,
of artificial intelligence,
109
375223
3834
Mas penso que, do ponto de vista
da inteligência artificial,
da inteligência artificial,
06:31
the true picture is actually
probably more like this:
probably more like this:
110
379057
3681
a imagem verdadeira é provavelmente
mais parecida com isto.
mais parecida com isto.
06:35
AI starts out at this point here,
at zero intelligence,
at zero intelligence,
111
383258
3378
Começa tudo neste ponto aqui,
na inteligência zero,
na inteligência zero,
06:38
and then, after many, many
years of really hard work,
years of really hard work,
112
386636
3011
e depois, após muitos anos
de trabalho árduo,
de trabalho árduo,
06:41
maybe eventually we get to
mouse-level artificial intelligence,
mouse-level artificial intelligence,
113
389647
3844
talvez cheguemos à inteligência
artificial ao nível de um rato,
artificial ao nível de um rato,
06:45
something that can navigate
cluttered environments
cluttered environments
114
393491
2430
uma coisa que possa navegar
em ambientes obstruídos
em ambientes obstruídos
06:47
as well as a mouse can.
115
395921
1987
tal como um rato pode.
06:49
And then, after many, many more years
of really hard work, lots of investment,
of really hard work, lots of investment,
116
397908
4313
E depois, após muitos mais anos
de trabalho árduo, muitos investimentos,
de trabalho árduo, muitos investimentos,
06:54
maybe eventually we get to
chimpanzee-level artificial intelligence.
chimpanzee-level artificial intelligence.
117
402221
4639
talvez cheguemos à inteligência
artificial a nível de um chimpanzé.
artificial a nível de um chimpanzé.
06:58
And then, after even more years
of really, really hard work,
of really, really hard work,
118
406860
3210
E depois, após ainda mais anos
de trabalho ainda mais duro,
de trabalho ainda mais duro,
07:02
we get to village idiot
artificial intelligence.
artificial intelligence.
119
410070
2913
chegamos à inteligência artificial
a nível do idiota da aldeia.
a nível do idiota da aldeia.
07:04
And a few moments later,
we are beyond Ed Witten.
we are beyond Ed Witten.
120
412983
3272
E alguns momentos depois,
ultrapassamos Ed Witten.
ultrapassamos Ed Witten.
07:08
The train doesn't stop
at Humanville Station.
at Humanville Station.
121
416255
2970
O comboio não pára na estação Humanville.
07:11
It's likely, rather, to swoosh right by.
122
419225
3022
É mais provável que a ultrapasse.
07:14
Now this has profound implications,
123
422247
1984
Isto tem profundas implicações,
07:16
particularly when it comes
to questions of power.
to questions of power.
124
424231
3862
particularmente no que toca
à questão do poder.
à questão do poder.
07:20
For example, chimpanzees are strong --
125
428093
1899
Por exemplo, os chimpanzés são fortes
07:21
pound for pound, a chimpanzee is about
twice as strong as a fit human male.
twice as strong as a fit human male.
126
429992
5222
— em proporção ao peso, um chimpanzé
é duas vezes mais forte que um ser humano.
é duas vezes mais forte que um ser humano.
07:27
And yet, the fate of Kanzi
and his pals depends a lot more
and his pals depends a lot more
127
435214
4614
No entanto, o destino de Kanzi e dos seus
camaradas depende mais
camaradas depende mais
07:31
on what we humans do than on
what the chimpanzees do themselves.
what the chimpanzees do themselves.
128
439828
4140
daquilo que nós humanos fazemos
do que o que os chimpanzés fazem.
do que o que os chimpanzés fazem.
07:37
Once there is superintelligence,
129
445228
2314
Uma vez atingida a super inteligência,
07:39
the fate of humanity may depend
on what the superintelligence does.
on what the superintelligence does.
130
447542
3839
o destino da humanidade pode depender
daquilo que a super inteligência faz.
daquilo que a super inteligência faz.
07:44
Think about it:
131
452451
1057
Pensem nisto:
07:45
Machine intelligence is the last invention
that humanity will ever need to make.
that humanity will ever need to make.
132
453508
5044
A inteligência mecânica é a última invenção
que a humanidade precisa de fazer.
que a humanidade precisa de fazer.
07:50
Machines will then be better
at inventing than we are,
at inventing than we are,
133
458552
2973
As máquinas tornar-se-ão melhores
a inventar do que nós,
a inventar do que nós,
07:53
and they'll be doing so
on digital timescales.
on digital timescales.
134
461525
2540
e farão isso em tempos digitais.
07:56
What this means is basically
a telescoping of the future.
a telescoping of the future.
135
464065
4901
O que isto significa é basicamente uma
previsão do futuro distante.
previsão do futuro distante.
08:00
Think of all the crazy technologies
that you could have imagined
that you could have imagined
136
468966
3558
Pensem em todas as tecnologias absurdas
que alguma vez podem ter imaginado
que alguma vez podem ter imaginado
08:04
maybe humans could have developed
in the fullness of time:
in the fullness of time:
137
472524
2798
que os humanos pudessem ter
desenvolvido com o tempo:
desenvolvido com o tempo:
08:07
cures for aging, space colonization,
138
475322
3258
curas para o envelhecimento,
colonização do espaço,
colonização do espaço,
08:10
self-replicating nanobots or uploading
of minds into computers,
of minds into computers,
139
478580
3731
nanorobôs auto-replicadores ou transferir
as nossas mentes para computadores,
as nossas mentes para computadores,
08:14
all kinds of science fiction-y stuff
140
482311
2159
todos os tipos de objectos
da ciência ficção
da ciência ficção
08:16
that's nevertheless consistent
with the laws of physics.
with the laws of physics.
141
484470
2737
que, no entanto, são consistentes
com as leis da física.
com as leis da física.
08:19
All of this superintelligence could
develop, and possibly quite rapidly.
develop, and possibly quite rapidly.
142
487207
4212
Toda esta super inteligência poderia
ser desenvolvida, e rapidamente.
ser desenvolvida, e rapidamente.
08:24
Now, a superintelligence with such
technological maturity
technological maturity
143
492449
3558
Uma super inteligência com tanta
maturidade tecnológica
maturidade tecnológica
08:28
would be extremely powerful,
144
496007
2179
poderia ser extremamente poderosa
08:30
and at least in some scenarios,
it would be able to get what it wants.
it would be able to get what it wants.
145
498186
4546
e, pelo menos nalguns cenários,
poderia conseguir aquilo que quer.
poderia conseguir aquilo que quer.
08:34
We would then have a future that would
be shaped by the preferences of this A.I.
be shaped by the preferences of this A.I.
146
502732
5661
Teríamos então um futuro construído
segundo as preferências
dessa inteligência artificial.
dessa inteligência artificial.
08:41
Now a good question is,
what are those preferences?
what are those preferences?
147
509855
3749
Agora uma boa pergunta é,
quais são essas preferências?
quais são essas preferências?
08:46
Here it gets trickier.
148
514244
1769
Aqui torna-se mais complicado.
Para fazer qualquer progresso com isto,
08:48
To make any headway with this,
149
516013
1435
08:49
we must first of all
avoid anthropomorphizing.
avoid anthropomorphizing.
150
517448
3276
temos de, primeiramente,
evitar antropomorfizar.
evitar antropomorfizar.
08:53
And this is ironic because
every newspaper article
every newspaper article
151
521934
3301
E isto é irónico porque
todos os artigos de jornais
todos os artigos de jornais
08:57
about the future of A.I.
has a picture of this:
has a picture of this:
152
525235
3855
acerca do futuro da inteligência
artificial têm uma imagem como esta.
artificial têm uma imagem como esta.
09:02
So I think what we need to do is
to conceive of the issue more abstractly,
to conceive of the issue more abstractly,
153
530280
4134
Então penso que aquilo que temos de fazer
é imaginar a questão mais abstractamente,
é imaginar a questão mais abstractamente,
09:06
not in terms of vivid Hollywood scenarios.
154
534414
2790
não em termos de cenários
brilhantes de Hollywood.
brilhantes de Hollywood.
09:09
We need to think of intelligence
as an optimization process,
as an optimization process,
155
537204
3617
Temos de pensar na inteligência como
um processo de optimização,
um processo de optimização,
09:12
a process that steers the future
into a particular set of configurations.
into a particular set of configurations.
156
540821
5649
um processo que guia o futuro para
um conjunto particular de configurações.
um conjunto particular de configurações.
09:18
A superintelligence is
a really strong optimization process.
a really strong optimization process.
157
546470
3511
A super inteligência é um processo de
optimização muito forte.
optimização muito forte.
09:21
It's extremely good at using
available means to achieve a state
available means to achieve a state
158
549981
4117
É extremamente bom a utilizar os meios
disponíveis para atingir um estado
disponíveis para atingir um estado
09:26
in which its goal is realized.
159
554098
1909
no qual o seu objetivo seja atingido.
09:28
This means that there is no necessary
conenction between
conenction between
160
556447
2672
Isto significa que não há
ligação necessária
ligação necessária
09:31
being highly intelligent in this sense,
161
559119
2734
entre ser muito inteligente neste sentido,
09:33
and having an objective that we humans
would find worthwhile or meaningful.
would find worthwhile or meaningful.
162
561853
4662
e ter um objectivo que nós humanos
acharíamos útil ou proveitoso.
acharíamos útil ou proveitoso.
Suponham que damos o objectivo de criar
sorrisos humanos à inteligência artificial.
sorrisos humanos à inteligência artificial.
09:39
Suppose we give an A.I. the goal
to make humans smile.
to make humans smile.
163
567321
3794
09:43
When the A.I. is weak, it performs useful
or amusing actions
or amusing actions
164
571115
2982
Quando a I.A. é fraca,
realiza acções cómicas ou úteis
realiza acções cómicas ou úteis
09:46
that cause its user to smile.
165
574097
2517
que levam o utilizador a sorrir.
Quando a inteligência artificial
se torna super inteligente,
se torna super inteligente,
09:48
When the A.I. becomes superintelligent,
166
576614
2417
09:51
it realizes that there is a more
effective way to achieve this goal:
effective way to achieve this goal:
167
579031
3523
apercebe-se que existe uma melhor forma
de atingir esse objectivo:
de atingir esse objectivo:
09:54
take control of the world
168
582554
1922
controlar o mundo
09:56
and stick electrodes into the facial
muscles of humans
muscles of humans
169
584476
3162
e inserir eléctrodos
nos músculos faciais dos humanos
nos músculos faciais dos humanos
09:59
to cause constant, beaming grins.
170
587638
2941
para causar sorrisos
constantes e radiantes.
constantes e radiantes.
Outro exemplo:
10:02
Another example,
171
590579
1035
10:03
suppose we give A.I. the goal to solve
a difficult mathematical problem.
a difficult mathematical problem.
172
591614
3383
suponham que desafiamos a I.A.
a resolver um problema matemático difícil.
a resolver um problema matemático difícil.
10:06
When the A.I. becomes superintelligent,
173
594997
1937
Quando a I.A. se torna
super inteligente,
super inteligente,
10:08
it realizes that the most effective way
to get the solution to this problem
to get the solution to this problem
174
596934
4171
percebe que a forma mais eficiente de
obter a solução para este problema
obter a solução para este problema
10:13
is by transforming the planet
into a giant computer,
into a giant computer,
175
601105
2930
é através da transformação do planeta
num computador gigante,
num computador gigante,
10:16
so as to increase its thinking capacity.
176
604035
2246
para aumentar a sua capacidade de pensar.
10:18
And notice that this gives the A.I.s
an instrumental reason
an instrumental reason
177
606281
2764
E reparem que isto dá uma razão
instrumental à I.A.
instrumental à I.A.
10:21
to do things to us that we
might not approve of.
might not approve of.
178
609045
2516
para nos fazer coisas
que possamos não aprovar.
que possamos não aprovar.
Neste modelo, os seres humanos
são uma ameaça,
são uma ameaça,
10:23
Human beings in this model are threats,
179
611561
1935
10:25
we could prevent the mathematical
problem from being solved.
problem from being solved.
180
613496
2921
poderíamos impedir a resolução
deste problema matemático.
deste problema matemático.
Claro, as coisas não vão dar erradas
nessas formas particulares;
nessas formas particulares;
10:29
Of course, perceivably things won't
go wrong in these particular ways;
go wrong in these particular ways;
181
617207
3494
10:32
these are cartoon examples.
182
620701
1753
estes são exemplos caricaturados.
10:34
But the general point here is important:
183
622454
1939
Mas este ponto geral é importante:
10:36
if you create a really powerful
optimization process
optimization process
184
624393
2873
se criarem um processo de optimização
muito potente
muito potente
10:39
to maximize for objective x,
185
627266
2234
para maximizar o objectivo x,
10:41
you better make sure
that your definition of x
that your definition of x
186
629500
2276
é melhor assegurarem-se
que a definição de x
que a definição de x
10:43
incorporates everything you care about.
187
631776
2469
incorpora tudo aquilo que vos interessa.
10:46
This is a lesson that's also taught
in many a myth.
in many a myth.
188
634835
4384
Esta é uma lição que também
é ensinada em muitos mitos.
é ensinada em muitos mitos.
10:51
King Midas wishes that everything
he touches be turned into gold.
he touches be turned into gold.
189
639219
5298
O Rei Midas deseja que tudo aquilo
em que ele toca se torne ouro.
em que ele toca se torne ouro.
10:56
He touches his daughter,
she turns into gold.
she turns into gold.
190
644517
2861
Toca na filha dele, transforma-a em ouro.
10:59
He touches his food, it turns into gold.
191
647378
2553
Toca na comida dele, esta torna-se ouro.
11:01
This could become practically relevant,
192
649931
2589
Isto poderia tornar-se
particularmente relevante,
particularmente relevante,
11:04
not just as a metaphor for greed,
193
652520
2070
não apenas como metáfora para a ganância,
11:06
but as an illustration of what happens
194
654590
1895
mas como uma ilustração
daquilo que acontece
daquilo que acontece
11:08
if you create a powerful
optimization process
optimization process
195
656485
2837
se criarem um processo
de optimização poderoso
de optimização poderoso
11:11
and give it misconceived
or poorly specified goals.
or poorly specified goals.
196
659322
4789
e lhe derem objectivos pouco específicos.
11:16
Now you might say, if a computer starts
sticking electrodes into people's faces,
sticking electrodes into people's faces,
197
664111
5189
Podem dizer, se um computador começar a
prender eléctrodos nas caras das pessoas,
prender eléctrodos nas caras das pessoas,
11:21
we'd just shut it off.
198
669300
2265
basta desligá-los.
11:24
A, this is not necessarily so easy to do
if we've grown dependent on the system --
if we've grown dependent on the system --
199
672555
5340
A) isso não é assim tão fácil de fazer
se nos tornarmos dependentes do sistema
se nos tornarmos dependentes do sistema
11:29
like, where is the off switch
to the Internet?
to the Internet?
200
677895
2732
— por exemplo, onde está
o interruptor da Internet?
o interruptor da Internet?
11:32
B, why haven't the chimpanzees
flicked the off switch to humanity,
flicked the off switch to humanity,
201
680627
5120
B) porque é que os chimpanzés
ou os neandertais
ou os neandertais
não desligaram
o interruptor para a humanidade?
o interruptor para a humanidade?
11:37
or the Neanderthals?
202
685747
1551
11:39
They certainly had reasons.
203
687298
2666
Eles de certeza que tinham motivos.
11:41
We have an off switch,
for example, right here.
for example, right here.
204
689964
2795
Temos um interruptor aqui, por exemplo.
11:44
(Choking)
205
692759
1554
(Sufocação)
11:46
The reason is that we are
an intelligent adversary;
an intelligent adversary;
206
694313
2925
A razão é que somos
um adversário inteligente;
um adversário inteligente;
11:49
we can anticipate threats
and plan around them.
and plan around them.
207
697238
2728
podemos prever ameaças
e fazer planos para evitá-las.
e fazer planos para evitá-las.
11:51
But so could a superintelligent agent,
208
699966
2504
Mas isso também consegue
um agente super inteligente,
um agente super inteligente,
11:54
and it would be much better
at that than we are.
at that than we are.
209
702470
3254
e seria muito melhor nisso do que nós.
11:57
The point is, we should not be confident
that we have this under control here.
that we have this under control here.
210
705724
7187
A questão é, não devemos ser confiantes
e pensar que temos tudo sob controlo.
e pensar que temos tudo sob controlo.
12:04
And we could try to make our job
a little bit easier by, say,
a little bit easier by, say,
211
712911
3447
Podíamos tentar fazer o nosso trabalho
um pouco mais fácil,
um pouco mais fácil,
pondo a inteligência artificial numa caixa,
12:08
putting the A.I. in a box,
212
716358
1590
12:09
like a secure software environment,
213
717948
1796
como um "software" de ambiente seguro,
12:11
a virtual reality simulation
from which it cannot escape.
from which it cannot escape.
214
719744
3022
uma simulação da realidade virtual
da qual não possa escapar.
da qual não possa escapar.
12:14
But how confident can we be that
the A.I. couldn't find a bug.
the A.I. couldn't find a bug.
215
722766
4146
Mas quanta certeza podemos ter
que a I.A. não encontraria um buraco.
que a I.A. não encontraria um buraco.
12:18
Given that merely human hackers
find bugs all the time,
find bugs all the time,
216
726912
3169
Dado que os "hackers" humanos
estão sempre a encontrar buracos,
estão sempre a encontrar buracos,
12:22
I'd say, probably not very confident.
217
730081
3036
eu diria, provavelmente
não muito confiantes.
não muito confiantes.
12:26
So we disconnect the ethernet cable
to create an air gap,
to create an air gap,
218
734237
4548
Então desligamos o cabo da Ethernet
para criar uma caixa de ar,
para criar uma caixa de ar,
12:30
but again, like merely human hackers
219
738785
2668
mas mais uma vez, como meros "hackers"
12:33
routinely transgress air gaps
using social engineering.
using social engineering.
220
741453
3381
que transgridem caixas de ar
utilizando engenharia social.
utilizando engenharia social.
12:36
Right now, as I speak,
221
744834
1259
Neste momento em que falo,
12:38
I'm sure there is some employee
out there somewhere
out there somewhere
222
746093
2389
tenho a certeza que há
um empregado, algures.
um empregado, algures.
12:40
who has been talked into handing out
her account details
her account details
223
748482
3346
a quem alguém que diz
ser do departamento de informática
ser do departamento de informática
12:43
by somebody claiming to be
from the I.T. department.
from the I.T. department.
224
751828
2746
está a pedir os dados
de identificação e "password".
de identificação e "password".
12:46
More creative scenarios are also possible,
225
754574
2127
Também são possíveis
cenários mais criativos.
cenários mais criativos.
12:48
like if you're the A.I.,
226
756701
1315
Por exemplo, uma I.A. pode imaginar
12:50
you can imagine wiggling electrodes
around in your internal circuitry
around in your internal circuitry
227
758016
3532
agitar eléctrodos nos circuitos internos
12:53
to create radio waves that you
can use to communicate.
can use to communicate.
228
761548
3462
para criar ondas de rádio
que pode utilizar para comunicar.
que pode utilizar para comunicar.
12:57
Or maybe you could pretend to malfunction,
229
765010
2424
Ou talvez pudesse fingir uma avaria
e depois, quando os programadores a abrirem
para ver o que se passou de errado,
para ver o que se passou de errado,
12:59
and then when the programmers open
you up to see what went wrong with you,
you up to see what went wrong with you,
230
767434
3497
13:02
they look at the source code -- Bam! --
231
770931
1936
olham para o código fonte — Bam! —
13:04
the manipulation can take place.
232
772867
2447
a manipulação toma lugar.
13:07
Or it could output the blueprint
to a really nifty technology,
to a really nifty technology,
233
775314
3430
Ou poderia emitir um rascunho
para uma tecnologia genial
para uma tecnologia genial
13:10
and when we implement it,
234
778744
1398
e, quando a implementamos,
13:12
it has some surreptitious side effect
that the A.I. had planned.
that the A.I. had planned.
235
780142
4397
tem alguns efeitos secundários
que a inteligência artificial planeou.
que a inteligência artificial planeou.
13:16
The point here is that we should
not be confident in our ability
not be confident in our ability
236
784539
3463
A questão aqui é que não deveríamos
confiar na nossa capacidade
confiar na nossa capacidade
13:20
to keep a superintelligent genie
locked up in its bottle forever.
locked up in its bottle forever.
237
788002
3808
em manter um génio super inteligente
fechado na sua garrafa para sempre.
fechado na sua garrafa para sempre.
13:23
Sooner or later, it will out.
238
791810
2254
Mais cedo ou mais tarde ele vai sair.
13:27
I believe that the answer here
is to figure out
is to figure out
239
795034
3103
Acredito que a resposta seja encontrar
13:30
how to create superintelligent A.I.
such that even if -- when -- it escapes,
such that even if -- when -- it escapes,
240
798137
5024
uma forma de criar uma inteligência
artificial que, mesmo que escape,
artificial que, mesmo que escape,
13:35
it is still safe because it is
fundamentally on our side
fundamentally on our side
241
803161
3277
ainda se mantenha segura porque está
fundamentalmente do nosso lado
fundamentalmente do nosso lado
13:38
because it shares our values.
242
806438
1899
porque partilha os nossos valores.
13:40
I see no way around
this difficult problem.
this difficult problem.
243
808337
3210
Não vejo outra forma
para este problema complexo.
para este problema complexo.
13:44
Now, I'm actually fairly optimistic
that this problem can be solved.
that this problem can be solved.
244
812557
3834
Eu sinto-me optimista
quanto à resolução deste problema.
quanto à resolução deste problema.
13:48
We wouldn't have to write down
a long list of everything we care about,
a long list of everything we care about,
245
816391
3903
Não teríamos de escrever uma longa lista
com tudo aquilo que nos é importante,
com tudo aquilo que nos é importante,
13:52
or worse yet, spell it out
in some computer language
in some computer language
246
820294
3643
ou ainda pior, enunciá-la numa
linguagem de computador
linguagem de computador
13:55
like C++ or Python,
247
823937
1454
como C++ ou Python,
13:57
that would be a task beyond hopeless.
248
825391
2767
o que seria uma tarefa sem esperança.
14:00
Instead, we would create an A.I.
that uses its intelligence
that uses its intelligence
249
828158
4297
Em vez disso, criaríamos uma inteligência
artificial que utiliza a sua inteligência
artificial que utiliza a sua inteligência
14:04
to learn what we value,
250
832455
2771
para aprender o que nós valorizamos.
14:07
and its motivation system is constructed
in such a way that it is motivated
in such a way that it is motivated
251
835226
5280
O seu sistema de motivação seria construído
de tal forma que fosse motivado
de tal forma que fosse motivado
14:12
to pursue our values or to perform actions
that it predicts we would approve of.
that it predicts we would approve of.
252
840506
5232
pela busca de valores ou de acções,
prevendo que iríamos aprová-las.
prevendo que iríamos aprová-las.
14:17
We would thus leverage
its intelligence as much as possible
its intelligence as much as possible
253
845738
3414
Iríamos então elevar a sua inteligência
o mais possível
o mais possível
14:21
to solve the problem of value-loading.
254
849152
2745
para resolver o problema de
carregamento de valores.
carregamento de valores.
14:24
This can happen,
255
852727
1512
Isto pode acontecer,
14:26
and the outcome could be
very good for humanity.
very good for humanity.
256
854239
3596
e o resultado poderia ser muito
bom para a Humanidade.
bom para a Humanidade.
14:29
But it doesn't happen automatically.
257
857835
3957
Mas não acontece sozinho.
14:33
The initial conditions
for the intelligence explosion
for the intelligence explosion
258
861792
2998
As condições iniciais para a
explosão da inteligência
explosão da inteligência
14:36
might need to be set up
in just the right way
in just the right way
259
864790
2863
podem precisar de ser definidas
da forma correta
da forma correta
14:39
if we are to have a controlled detonation.
260
867653
3530
se queremos ter uma detonação controlada.
14:43
The values that the A.I. has
need to match ours,
need to match ours,
261
871183
2618
Os valores da I.A.
têm de corresponder aos nossos,
têm de corresponder aos nossos,
14:45
not just in the familiar context,
262
873801
1760
não apenas num contexto familiar,
14:47
like where we can easily check
how the A.I. behaves,
how the A.I. behaves,
263
875561
2438
onde podemos ver com facilidade
como a I.A. se comporta,
como a I.A. se comporta,
14:49
but also in all novel contexts
that the A.I. might encounter
that the A.I. might encounter
264
877999
3234
mas também em todos os contextos
que a I.A. possa encontrar
que a I.A. possa encontrar
14:53
in the indefinite future.
265
881233
1557
no futuro indefinido.
14:54
And there are also some esoteric issues
that would need to be solved, sorted out:
that would need to be solved, sorted out:
266
882790
4737
E há também algumas questões esotéricas
que teriam de ser resolvidas, que são:
que teriam de ser resolvidas, que são:
14:59
the exact details of its decision theory,
267
887527
2089
os detalhes exactos da sua
teoria decisiva,
teoria decisiva,
15:01
how to deal with logical
uncertainty and so forth.
uncertainty and so forth.
268
889616
2864
como lidar com a incerteza lógica
e assim por diante.
e assim por diante.
15:05
So the technical problems that need
to be solved to make this work
to be solved to make this work
269
893330
3102
Os problemas que têm de ser
resolvidos tornam este trabalho
resolvidos tornam este trabalho
um pouco difícil
15:08
look quite difficult --
270
896432
1113
15:09
not as difficult as making
a superintelligent A.I.,
a superintelligent A.I.,
271
897545
3380
— não tão difícil como fazer uma
inteligência artificial super inteligente
inteligência artificial super inteligente
15:12
but fairly difficult.
272
900925
2868
mas bastante difícil.
15:15
Here is the worry:
273
903793
1695
A preocupação é esta:
15:17
Making superintelligent A.I.
is a really hard challenge.
is a really hard challenge.
274
905488
4684
Criar uma inteligência artificial super
inteligente é um grande desafio.
inteligente é um grande desafio.
15:22
Making superintelligent A.I. that is safe
275
910172
2548
Fazer uma inteligência artificial
que seja segura
que seja segura
15:24
involves some additional
challenge on top of that.
challenge on top of that.
276
912720
2416
envolve desafios adicionais
para além deste.
para além deste.
15:28
The risk is that if somebody figures out
how to crack the first challenge
how to crack the first challenge
277
916216
3487
O risco é que, se alguém descobre uma
forma de piratear o primeiro desafio
forma de piratear o primeiro desafio
15:31
without also having cracked
the additional challenge
the additional challenge
278
919703
3001
sem ter pirateado o desafio adicional
15:34
of ensuring perfect safety.
279
922704
1901
de assegurar a segurança perfeita.
15:37
So I think that we should
work out a solution
work out a solution
280
925375
3331
Por isso eu penso que deveríamos
trabalhar numa solução
trabalhar numa solução
15:40
to the control problem in advance,
281
928706
2822
para controlar os problemas
com antecedência,
com antecedência,
15:43
so that we have it available
by the time it is needed.
by the time it is needed.
282
931528
2660
para que o tenhamos disponível
para quando for preciso.
para quando for preciso.
15:46
Now it might be that we cannot solve
the entire control problem in advance
the entire control problem in advance
283
934768
3507
Pode ser que não consigamos resolver
o problema de controlo por inteiro
o problema de controlo por inteiro
15:50
because maybe some elements
can only be put in place
can only be put in place
284
938275
3024
porque talvez apenas se possam
colocar alguns elementos
colocar alguns elementos
15:53
once you know the details of the
architecture where it will be implemented.
architecture where it will be implemented.
285
941299
3997
uma vez que saibamos os detalhes da
arquitectura onde vai ser implementado.
arquitectura onde vai ser implementado.
15:57
But the more of the control problem
that we solve in advance,
that we solve in advance,
286
945296
3380
Mas quanto mais resolvermos
o problema de controlo,
o problema de controlo,
16:00
the better the odds that the transition
to the machine intelligence era
to the machine intelligence era
287
948676
4090
maior será a probabilidade que a transição
para a era da inteligência mecânica
para a era da inteligência mecânica
16:04
will go well.
288
952766
1540
corra bem.
16:06
This to me looks like a thing
that is well worth doing
that is well worth doing
289
954306
4644
Isto parece-me algo
que vale a pena ser feito
que vale a pena ser feito
16:10
and I can imagine that if
things turn out okay,
things turn out okay,
290
958950
3332
e posso imaginar que,
se as coisas correrem bem,
se as coisas correrem bem,
16:14
that people a million years from now
look back at this century
look back at this century
291
962282
4658
as pessoas daqui um milhão de anos
vão olhar para este século
vão olhar para este século
16:18
and it might well be that they say that
the one thing we did that really mattered
the one thing we did that really mattered
292
966940
4002
e é muito provável que digam que uma das
coisas que fizemos e que teve impacto
coisas que fizemos e que teve impacto
16:22
was to get this thing right.
293
970942
1567
foi pôr isto a funcionar.
16:24
Thank you.
294
972509
1689
Obrigado.
16:26
(Applause)
295
974198
2813
(Aplausos)
ABOUT THE SPEAKER
Nick Bostrom - PhilosopherNick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?
Why you should listen
Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.
Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.
Nick was honored as one of Foreign Policy's 2015 Global Thinkers .
His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”
Nick Bostrom | Speaker | TED.com