ABOUT THE SPEAKER
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com
TED2018

Max Tegmark: How to get empowered, not overpowered, by AI

Max Tegmark: Como ser fortalecido, e não dominado, pela IA

Filmed:
1,409,007 views

Muitos pesquisadores de inteligência artificial esperam que ela supere os humanos em todas as tarefas e empregos em décadas, possibilitando um futuro onde estaremos restritos apenas às leis da física, não aos limites de nossa inteligência. O físico do MIT e pesquisador de IA, Max Tegmark, separa as oportunidades e ameaças reais dos mitos, descrevendo as medidas concretas que devemos tomar hoje para garantir que a IA seja a melhor - e não a pior - coisa que acontecerá à humanidade.
- Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder. Full bio

Double-click the English transcript below to play the video.

00:12
After 13.8 billion years
of cosmic history,
0
760
4416
Depois de 13,8 bilhões de anos
de história cósmica,
00:17
our universe has woken up
1
5200
2096
nosso universo acordou
00:19
and become aware of itself.
2
7320
1520
e tornou-se consciente de si mesmo.
00:21
From a small blue planet,
3
9480
1936
De um pequeno planeta azul,
00:23
tiny, conscious parts of our universe
have begun gazing out into the cosmos
4
11440
4136
partes minúsculas e conscientes do nosso
universo começaram a olhar para o cosmos
00:27
with telescopes,
5
15600
1376
com telescópios,
00:29
discovering something humbling.
6
17000
1480
descobrindo algo humildemente.
00:31
We've discovered that our universe
is vastly grander
7
19320
2896
Descobrimos que nosso universo
é muito mais grandioso
do que nossos ancestrais pensavam
00:34
than our ancestors imagined
8
22240
1336
00:35
and that life seems to be an almost
imperceptibly small perturbation
9
23600
4256
e que a vida parece ser uma perturbação
quase imperceptivelmente pequena
00:39
on an otherwise dead universe.
10
27880
1720
em um universo morto.
00:42
But we've also discovered
something inspiring,
11
30320
3016
Mas também descobrimos algo inspirador:
00:45
which is that the technology
we're developing has the potential
12
33360
2976
a tecnologia que estamos
desenvolvendo tem o potencial
de ajudar a vida a florescer como nunca,
00:48
to help life flourish like never before,
13
36360
2856
00:51
not just for centuries
but for billions of years,
14
39240
3096
não apenas por séculos,
mas por bilhões de anos,
00:54
and not just on earth but throughout
much of this amazing cosmos.
15
42360
4120
e não apenas na Terra,
mas em grande parte desse incrível cosmos.
00:59
I think of the earliest life as "Life 1.0"
16
47680
3336
Eu penso na vida inicial como "Vida 1.0"
01:03
because it was really dumb,
17
51040
1376
porque era muito burra,
01:04
like bacteria, unable to learn
anything during its lifetime.
18
52440
4296
como bactérias, incapazes de aprender
qualquer coisa durante a vida.
01:08
I think of us humans as "Life 2.0"
because we can learn,
19
56760
3376
Eu penso em nós seres humanos
como "Vida 2.0" porque podemos aprender,
01:12
which we in nerdy, geek speak,
20
60160
1496
que nós, em linguagem "geek",
01:13
might think of as installing
new software into our brains,
21
61680
3216
podemos pensar em como instalar
novos softwares em nossos cérebros,
01:16
like languages and job skills.
22
64920
2120
como idiomas e habilidades profissionais.
01:19
"Life 3.0," which can design not only
its software but also its hardware
23
67680
4296
A "Vida 3.0", que pode projetar não apenas
seu software, mas também seu hardware,
01:24
of course doesn't exist yet.
24
72000
1656
claro que não existe ainda.
01:25
But perhaps our technology
has already made us "Life 2.1,"
25
73680
3776
Mas talvez nossa tecnologia
já nos tenha feito "Vida 2.1",
01:29
with our artificial knees,
pacemakers and cochlear implants.
26
77480
4336
com nossos joelhos artificiais,
marca-passos e implantes cocleares.
01:33
So let's take a closer look
at our relationship with technology, OK?
27
81840
3880
Vamos dar uma olhada mais de perto
no nosso relacionamento com a tecnologia.
01:38
As an example,
28
86800
1216
Como um exemplo,
01:40
the Apollo 11 moon mission
was both successful and inspiring,
29
88040
5296
a missão "Apollo 11" à Lua
foi bem-sucedida e inspiradora,
01:45
showing that when we humans
use technology wisely,
30
93360
3016
mostrando que quando os humanos
usam a tecnologia com sabedoria,
01:48
we can accomplish things
that our ancestors could only dream of.
31
96400
3936
podemos realizar coisas
que nossos ancestrais só podiam sonhar.
01:52
But there's an even more inspiring journey
32
100360
2976
Mas há uma jornada ainda mais inspiradora,
01:55
propelled by something
more powerful than rocket engines,
33
103360
2680
impulsionada por algo mais poderoso
que motores de foguete,
01:59
where the passengers
aren't just three astronauts
34
107200
2336
em que os passageiros
não são só três astronautas,
02:01
but all of humanity.
35
109560
1776
mas toda a humanidade.
02:03
Let's talk about our collective
journey into the future
36
111360
2936
Vamos falar sobre nossa
jornada coletiva para o futuro
02:06
with artificial intelligence.
37
114320
2000
com a inteligência artificial.
02:08
My friend Jaan Tallinn likes to point out
that just as with rocketry,
38
116960
4536
Meu amigo Jaan Tallinn gosta de dizer
que, assim como construção de foguetes,
02:13
it's not enough to make
our technology powerful.
39
121520
3160
isso não é suficiente tornar
nossa tecnologia poderosa.
02:17
We also have to figure out,
if we're going to be really ambitious,
40
125560
3175
Se formos ser realmente ambiciosos,
nós também temos que descobrir
02:20
how to steer it
41
128759
1416
como conduzi-la e aonde
queremos ir com isso.
02:22
and where we want to go with it.
42
130199
1681
02:24
So let's talk about all three
for artificial intelligence:
43
132880
2840
Para a inteligência artificial,
vamos falar sobre os três:
02:28
the power, the steering
and the destination.
44
136440
3056
o poder, a condução e o destino.
02:31
Let's start with the power.
45
139520
1286
Vamos começar com o poder.
02:33
I define intelligence very inclusively --
46
141600
3096
Defino inteligência muito inclusivamente,
02:36
simply as our ability
to accomplish complex goals,
47
144720
4336
simplesmente como nossa capacidade
de realizar objetivos complexos,
02:41
because I want to include both
biological and artificial intelligence.
48
149080
3816
porque quero incluir
inteligência biológica e artificial.
02:44
And I want to avoid
the silly carbon-chauvinism idea
49
152920
4016
E quero evitar a ideia boba
do chauvinismo do carbono
02:48
that you can only be smart
if you're made of meat.
50
156960
2360
de que só se é inteligente
se você for feito de carne.
02:52
It's really amazing how the power
of AI has grown recently.
51
160880
4176
É realmente incrível como o poder
da IA cresceu recentemente.
02:57
Just think about it.
52
165080
1256
Apenas pensem nisso.
02:58
Not long ago, robots couldn't walk.
53
166360
3200
Não muito tempo atrás,
os robôs não podiam andar.
03:03
Now, they can do backflips.
54
171040
1720
Agora, dão cambalhota para trás.
03:06
Not long ago,
55
174080
1816
Não muito tempo atrás,
nós não tínhamos carros autônomos.
03:07
we didn't have self-driving cars.
56
175920
1760
03:10
Now, we have self-flying rockets.
57
178920
2480
Agora, foguetes se autopilotam.
03:15
Not long ago,
58
183960
1416
Não muito tempo atrás,
03:17
AI couldn't do face recognition.
59
185400
2616
a IA não fazia reconhecimento facial.
03:20
Now, AI can generate fake faces
60
188040
2976
Agora, a IA produz rostos artificiais
03:23
and simulate your face
saying stuff that you never said.
61
191040
4160
e simula seu rosto dizendo coisas
que você nunca disse.
03:28
Not long ago,
62
196400
1576
Não muito tempo atrás,
03:30
AI couldn't beat us at the game of Go.
63
198000
1880
a IA não nos vencia no jogo "Go".
03:32
Then, Google DeepMind's AlphaZero AI
took 3,000 years of human Go games
64
200400
5096
A Alpha Zero, IA da "DeepMind" da Google,
pegou 3 mil anos de jogos humanos Go
03:37
and Go wisdom,
65
205520
1256
e de sabedoria Go,
03:38
ignored it all and became the world's best
player by just playing against itself.
66
206800
4976
ignorou tudo e se tornou a melhor jogadora
do mundo apenas jogando contra si mesma.
03:43
And the most impressive feat here
wasn't that it crushed human gamers,
67
211800
3696
E o feito mais impressionante aqui não foi
arrasar com os jogadores humanos,
03:47
but that it crushed human AI researchers
68
215520
2576
mas arrasar com os
pesquisadores humanos de IA
03:50
who had spent decades
handcrafting game-playing software.
69
218120
3680
que passaram décadas
criando o software de jogos.
03:54
And AlphaZero crushed human AI researchers
not just in Go but even at chess,
70
222200
4656
E a AlphaZero arrasou com os pesquisadores
de IA não apenas no Go, mas até no xadrez,
03:58
which we have been working on since 1950.
71
226880
2480
no qual temos trabalhado desde 1950.
04:02
So all this amazing recent progress in AI
really begs the question:
72
230000
4240
Então, todo esse incrível progresso
recente na IA realmente levanta a questão:
04:07
How far will it go?
73
235280
1560
quão longe isso vai?
04:09
I like to think about this question
74
237800
1696
Gosto de pensar nesta questão
04:11
in terms of this abstract
landscape of tasks,
75
239520
2976
em termos dessa paisagem
abstrata de tarefas,
04:14
where the elevation represents
how hard it is for AI to do each task
76
242520
3456
em que a elevação representa o quão
difícil é para a IA fazer cada tarefa
04:18
at human level,
77
246000
1216
a nível humano,
04:19
and the sea level represents
what AI can do today.
78
247240
2760
e o nível do mar representa
o que a IA pode fazer hoje.
04:23
The sea level is rising
as AI improves,
79
251120
2056
O nível do mar sobe conforme a IA melhora,
04:25
so there's a kind of global warming
going on here in the task landscape.
80
253200
3440
há um tipo de aquecimento global
acontecendo na paisagem de tarefas.
04:30
And the obvious takeaway
is to avoid careers at the waterfront --
81
258040
3335
E o óbvio é evitar carreiras
na orla marítima,
04:33
(Laughter)
82
261399
1257
(Risos)
04:34
which will soon be
automated and disrupted.
83
262680
2856
que em breve serão
automatizadas e interrompidas.
04:37
But there's a much
bigger question as well.
84
265560
2976
Mas há uma questão muito maior também.
04:40
How high will the water end up rising?
85
268560
1810
Quanto a água vai subir?
04:43
Will it eventually rise
to flood everything,
86
271440
3200
Acabará subindo para inundar tudo,
se igualando à inteligência humana
em todas as tarefas?
04:47
matching human intelligence at all tasks.
87
275840
2496
04:50
This is the definition
of artificial general intelligence --
88
278360
3736
Esta é a definição
de inteligência artificial geral,
04:54
AGI,
89
282120
1296
IAG,
04:55
which has been the holy grail
of AI research since its inception.
90
283440
3080
que tem sido o Santo Graal
da pesquisa em IA desde o início.
Por essa definição, as pessoas que dizem:
04:59
By this definition, people who say,
91
287000
1776
05:00
"Ah, there will always be jobs
that humans can do better than machines,"
92
288800
3416
"Sempre haverá empregos que humanos
podem fazer melhor que máquinas",
05:04
are simply saying
that we'll never get AGI.
93
292240
2920
estão simplesmente dizendo
que nunca obteremos IAG.
05:07
Sure, we might still choose
to have some human jobs
94
295680
3576
Claro, podemos ainda optar
por ter alguns empregos humanos
05:11
or to give humans income
and purpose with our jobs,
95
299280
3096
ou dar aos humanos renda
e propósito com o trabalho,
05:14
but AGI will in any case
transform life as we know it
96
302400
3736
mas a IAG irá, de qualquer forma,
transformar a vida como a conhecemos,
05:18
with humans no longer being
the most intelligent.
97
306160
2736
com os humanos não sendo
os mais inteligentes.
05:20
Now, if the water level does reach AGI,
98
308920
3696
Agora, se o nível da água atingir a IAG,
05:24
then further AI progress will be driven
mainly not by humans but by AI,
99
312640
5296
mais progresso da IA será impulsionado
principalmente pela IA, e não por humanos,
05:29
which means that there's a possibility
100
317960
1856
o que significa que há uma possibilidade
05:31
that further AI progress
could be way faster
101
319840
2336
do progresso da IA ser mais rápido
05:34
than the typical human research
and development timescale of years,
102
322200
3376
do que a escala em anos, típica
da pesquisa e desenvolvimento humano,
05:37
raising the controversial possibility
of an intelligence explosion
103
325600
4016
levantando a possibilidade controversa
de uma explosão de inteligência
05:41
where recursively self-improving AI
104
329640
2296
em que a IA repetidamente autoaperfeiçoada
05:43
rapidly leaves human
intelligence far behind,
105
331960
3416
deixa a inteligência humana
rapidamente para trás,
05:47
creating what's known
as superintelligence.
106
335400
2440
criando o que é conhecido
como superinteligência.
05:51
Alright, reality check:
107
339800
2280
Tudo bem, a realidade:
05:55
Are we going to get AGI any time soon?
108
343120
2440
nós vamos obter IAG em breve?
05:58
Some famous AI researchers,
like Rodney Brooks,
109
346360
2696
Alguns famosos pesquisadores de IA,
como Rodney Brooks,
06:01
think it won't happen
for hundreds of years.
110
349080
2496
acham que não acontecerá
por centenas de anos.
06:03
But others, like Google DeepMind
founder Demis Hassabis,
111
351600
3896
Mas outros, como o fundador
do Google DeepMind, Demis Hassabis,
06:07
are more optimistic
112
355520
1256
são mais otimistas
06:08
and are working to try to make
it happen much sooner.
113
356800
2576
e estão tentando fazer
isso acontecer muito antes.
06:11
And recent surveys have shown
that most AI researchers
114
359400
3296
E pesquisas recentes mostraram
que a maioria dos pesquisadores de IA
06:14
actually share Demis's optimism,
115
362720
2856
de fato compartilham o otimismo de Demis,
06:17
expecting that we will
get AGI within decades,
116
365600
3080
esperando que tenhamos
a IAG dentro de décadas,
06:21
so within the lifetime of many of us,
117
369640
2256
assim, durante a vida de muitos de nós,
06:23
which begs the question -- and then what?
118
371920
1960
o que levanta a questão: e depois?
06:27
What do we want the role of humans to be
119
375040
2216
Qual queremos que seja o papel dos humanos
06:29
if machines can do everything better
and cheaper than us?
120
377280
2680
se as máquinas puderem fazer
tudo melhor e mais barato?
06:35
The way I see it, we face a choice.
121
383000
2000
A meu ver, nos deparamos com uma escolha.
06:38
One option is to be complacent.
122
386000
1576
Uma opção é ser complacente.
06:39
We can say, "Oh, let's just build machines
that can do everything we can do
123
387600
3776
Podemos dizer: "Vamos construir máquinas
que possam fazer tudo que podemos fazer
06:43
and not worry about the consequences.
124
391400
1816
e não nos preocuparmos com consequências.
06:45
Come on, if we build technology
that makes all humans obsolete,
125
393240
3256
Se criarmos uma tecnologia
que torne os seres humanos obsoletos,
06:48
what could possibly go wrong?"
126
396520
2096
o que poderia dar errado?"
06:50
(Laughter)
127
398640
1656
(Risos)
06:52
But I think that would be
embarrassingly lame.
128
400320
2760
Mas eu acho que seria
embaraçosamente estúpido.
06:56
I think we should be more ambitious --
in the spirit of TED.
129
404080
3496
Acho que devemos ser mais ambiciosos,
no espírito do TED.
06:59
Let's envision a truly inspiring
high-tech future
130
407600
3496
Vamos imaginar um futuro de alta
tecnologia verdadeiramente inspirador
07:03
and try to steer towards it.
131
411120
1400
e tentar seguir em frente.
07:05
This brings us to the second part
of our rocket metaphor: the steering.
132
413720
3536
O que nos leva à segunda parte
da nossa metáfora de foguetes: a direção.
07:09
We're making AI more powerful,
133
417280
1896
Estamos tornando a IA mais poderosa,
07:11
but how can we steer towards a future
134
419200
3816
mas como podemos nos guiar para um futuro
07:15
where AI helps humanity flourish
rather than flounder?
135
423040
3080
em que a IA ajuda a humanidade
a florescer em vez de tropeçar?
07:18
To help with this,
136
426760
1256
Para ajudar com isso, eu cofundei
o Future of Life Institute,
07:20
I cofounded the Future of Life Institute.
137
428040
1976
uma organização não lucrativa
que apoia o bom uso da tecnologia,
07:22
It's a small nonprofit promoting
beneficial technology use,
138
430040
2776
07:24
and our goal is simply
for the future of life to exist
139
432840
2736
e nossa meta é simplesmente
que o futuro da vida exista
07:27
and to be as inspiring as possible.
140
435600
2056
e que seja o mais inspirador possível.
07:29
You know, I love technology.
141
437680
3176
Vocês sabem, eu amo tecnologia.
07:32
Technology is why today
is better than the Stone Age.
142
440880
2920
A tecnologia é a razão de hoje
ser melhor que a Idade da Pedra.
07:36
And I'm optimistic that we can create
a really inspiring high-tech future ...
143
444600
4080
E estou otimista de que podemos criar
um futuro inspirador de alta tecnologia.
07:41
if -- and this is a big if --
144
449680
1456
Se, e é um grande "se",
07:43
if we win the wisdom race --
145
451160
2456
vencermos a corrida da sabedoria,
07:45
the race between the growing
power of our technology
146
453640
2856
a corrida entre o poder crescente
da nossa tecnologia
07:48
and the growing wisdom
with which we manage it.
147
456520
2200
e a crescente sabedoria
com que a administramos.
07:51
But this is going to require
a change of strategy
148
459240
2296
Mas isso exige uma mudança de estratégia
07:53
because our old strategy
has been learning from mistakes.
149
461560
3040
porque nossa antiga estratégia
era aprender com os erros.
07:57
We invented fire,
150
465280
1536
Nós inventamos o fogo,
erramos um monte de vezes;
07:58
screwed up a bunch of times --
151
466840
1536
08:00
invented the fire extinguisher.
152
468400
1816
inventamos o extintor de incêndio.
08:02
(Laughter)
153
470240
1336
(Risos)
08:03
We invented the car,
screwed up a bunch of times --
154
471600
2416
Nós inventamos o carro,
erramos um monte de vezes;
inventamos o semáforo,
o cinto de segurança e o Airbag,
08:06
invented the traffic light,
the seat belt and the airbag,
155
474040
2667
mas com tecnologia mais poderosa,
como armas nucleares e IAG,
08:08
but with more powerful technology
like nuclear weapons and AGI,
156
476731
3845
08:12
learning from mistakes
is a lousy strategy,
157
480600
3376
aprender com os erros é uma
péssima estratégia, não acham?
08:16
don't you think?
158
484000
1216
(Risos)
08:17
(Laughter)
159
485240
1016
É muito melhor ser proativo
ao invés de reativo;
08:18
It's much better to be proactive
rather than reactive;
160
486280
2576
planejar com antecedência
e acertar na primeira vez
08:20
plan ahead and get things
right the first time
161
488880
2296
08:23
because that might be
the only time we'll get.
162
491200
2496
porque essa pode ser
a única vez que vamos conseguir.
08:25
But it is funny because
sometimes people tell me,
163
493720
2336
É engraçado porque as pessoas me dizem:
"Max, não fale assim.
08:28
"Max, shhh, don't talk like that.
164
496080
2736
08:30
That's Luddite scaremongering."
165
498840
1720
Isso é alarmismo ludita".
08:34
But it's not scaremongering.
166
502040
1536
Mas não é alarmismo.
08:35
It's what we at MIT
call safety engineering.
167
503600
2880
É o que nós do MIT chamamos
de engenharia de segurança.
08:39
Think about it:
168
507200
1216
Pensem nisso:
08:40
before NASA launched
the Apollo 11 mission,
169
508440
2216
antes de a NASA lançar a missão Apollo 11,
08:42
they systematically thought through
everything that could go wrong
170
510680
3136
eles sistematicamente pensaram
em tudo que poderia dar errado
08:45
when you put people
on top of explosive fuel tanks
171
513840
2376
ao por pessoas em tanques
de combustível explosivos
08:48
and launch them somewhere
where no one could help them.
172
516240
2616
e as lançar aonde ninguém
poderia ajudá-las.
E havia muita coisa que podia dar errado.
08:50
And there was a lot that could go wrong.
173
518880
1936
08:52
Was that scaremongering?
174
520840
1480
Foi alarmista?
08:55
No.
175
523159
1217
Não.
Foi precisamente a engenharia de segurança
que garantiu o sucesso da missão,
08:56
That's was precisely
the safety engineering
176
524400
2016
08:58
that ensured the success of the mission,
177
526440
1936
e essa é precisamente a estratégia
que acho que devemos adotar com a IAG.
09:00
and that is precisely the strategy
I think we should take with AGI.
178
528400
4176
09:04
Think through what can go wrong
to make sure it goes right.
179
532600
4056
Pensar no que pode dar errado
para garantir que tudo corra bem.
09:08
So in this spirit,
we've organized conferences,
180
536680
2536
Nesse espírito, organizamos conferências,
reunindo os principais pesquisadores
de IA e outros pensadores
09:11
bringing together leading
AI researchers and other thinkers
181
539240
2816
09:14
to discuss how to grow this wisdom
we need to keep AI beneficial.
182
542080
3736
para discutir como aumentar esta sabedoria
para manter a IA benéfica.
09:17
Our last conference
was in Asilomar, California last year
183
545840
3296
Nossa última conferência foi em Asilomar,
Califórnia, no ano passado,
09:21
and produced this list of 23 principles
184
549160
3056
resultando numa lista de 23 princípios
09:24
which have since been signed
by over 1,000 AI researchers
185
552240
2896
que já foram assinados por mais
de mil pesquisadores de IA
09:27
and key industry leaders,
186
555160
1296
e líderes da indústria,
09:28
and I want to tell you
about three of these principles.
187
556480
3176
e eu falarei sobre três desses princípios.
09:31
One is that we should avoid an arms race
and lethal autonomous weapons.
188
559680
4960
Um é que devemos evitar uma corrida
armamentista e armas autônomas letais.
09:37
The idea here is that any science
can be used for new ways of helping people
189
565480
3616
A ideia é que qualquer ciência pode
ser usada para ajudar as pessoas
09:41
or new ways of harming people.
190
569120
1536
ou para prejudicá-las.
09:42
For example, biology and chemistry
are much more likely to be used
191
570680
3936
Por exemplo, a biologia e a química
são muito mais prováveis de serem usadas
09:46
for new medicines or new cures
than for new ways of killing people,
192
574640
4856
para novos medicamentos ou novas curas
do que para novas formas de matar pessoas,
09:51
because biologists
and chemists pushed hard --
193
579520
2176
porque biólogos e químicos pressionaram,
09:53
and successfully --
194
581720
1256
com sucesso,
09:55
for bans on biological
and chemical weapons.
195
583000
2176
proibições de armas biológicas e químicas.
09:57
And in the same spirit,
196
585200
1256
E no mesmo espírito,
09:58
most AI researchers want to stigmatize
and ban lethal autonomous weapons.
197
586480
4440
muitos pesquisadores de IA querem banir
e estigmatizar as armas autônomas letais.
10:03
Another Asilomar AI principle
198
591600
1816
Outro princípio da IA de Asilomar
10:05
is that we should mitigate
AI-fueled income inequality.
199
593440
3696
é que devemos mitigar a desigualdade
de renda alimentada pela IA.
10:09
I think that if we can grow
the economic pie dramatically with AI
200
597160
4456
Acho que se podemos crescer dramaticamente
a "torta econômica" com a IA
10:13
and we still can't figure out
how to divide this pie
201
601640
2456
e ainda não descobrimos
como dividir a torta
pra todos terem uma melhor situação,
então, isso é vergonhoso.
10:16
so that everyone is better off,
202
604120
1576
10:17
then shame on us.
203
605720
1256
10:19
(Applause)
204
607000
4096
(Aplausos)
10:23
Alright, now raise your hand
if your computer has ever crashed.
205
611120
3600
Agora levantem a mão
se o seu computador já quebrou.
10:27
(Laughter)
206
615480
1256
(Risos)
10:28
Wow, that's a lot of hands.
207
616760
1656
Uau, são muitas mãos.
10:30
Well, then you'll appreciate
this principle
208
618440
2176
Então, vocês vão apreciar este princípio
10:32
that we should invest much more
in AI safety research,
209
620640
3136
de que devemos investir muito mais
em pesquisa de segurança em IA,
10:35
because as we put AI in charge
of even more decisions and infrastructure,
210
623800
3656
porque, como colocamos a IA no comando
de mais decisões e infraestrutura,
10:39
we need to figure out how to transform
today's buggy and hackable computers
211
627480
3616
temos que descobrir como transformar
os computadores defeituosos e hackeáveis
10:43
into robust AI systems
that we can really trust,
212
631120
2416
em sistemas de IA robustos
em que possamos confiar,
10:45
because otherwise,
213
633560
1216
porque senão, toda essa nova tecnologia
incrível pode falhar e nos prejudicar,
10:46
all this awesome new technology
can malfunction and harm us,
214
634800
2816
ou ser hackeada e se virar contra nós.
10:49
or get hacked and be turned against us.
215
637640
1976
10:51
And this AI safety work
has to include work on AI value alignment,
216
639640
5696
E o trabalho de segurança tem que incluir
o alinhamento de valores da IA,
10:57
because the real threat
from AGI isn't malice,
217
645360
2816
porque a ameaça real da IAG não é malícia,
11:00
like in silly Hollywood movies,
218
648200
1656
como em filmes bobos de Hollywood,
11:01
but competence --
219
649880
1736
mas competência;
11:03
AGI accomplishing goals
that just aren't aligned with ours.
220
651640
3416
a IAG cumprindo metas que simplesmente
não estão alinhadas com as nossas.
11:07
For example, when we humans drove
the West African black rhino extinct,
221
655080
4736
Por exemplo, quando extinguimos
o rinoceronte-negro da África Ocidental,
11:11
we didn't do it because we were a bunch
of evil rhinoceros haters, did we?
222
659840
3896
não fizemos porque éramos um bando
de inimigos do rinoceronte, não é?
11:15
We did it because
we were smarter than them
223
663760
2056
Fizemos porque éramos mais espertos
e nossos objetivos não estavam
alinhados com os deles.
11:17
and our goals weren't aligned with theirs.
224
665840
2576
11:20
But AGI is by definition smarter than us,
225
668440
2656
Mas a IAG é por definição
mais inteligente que nós,
11:23
so to make sure that we don't put
ourselves in the position of those rhinos
226
671120
3576
então para garantir que não nos coloquemos
na mesma posição dos rinocerontes
11:26
if we create AGI,
227
674720
1976
se criarmos a IAG,
11:28
we need to figure out how
to make machines understand our goals,
228
676720
4176
precisamos descobrir como fazer
as máquinas entenderem,
11:32
adopt our goals and retain our goals.
229
680920
3160
adotarem e manterem nossos objetivos.
11:37
And whose goals should these be, anyway?
230
685320
2856
E quais objetivos deveriam ser, afinal?
11:40
Which goals should they be?
231
688200
1896
Quais devem ser as metas?
11:42
This brings us to the third part
of our rocket metaphor: the destination.
232
690120
3560
O que nos leva à terceira parte
da nossa metáfora do foguete: o destino.
11:47
We're making AI more powerful,
233
695160
1856
Estamos tornando a IA mais poderosa,
11:49
trying to figure out how to steer it,
234
697040
1816
tentando descobrir como orientá-la,
mas aonde queremos ir com isso?
11:50
but where do we want to go with it?
235
698880
1680
11:53
This is the elephant in the room
that almost nobody talks about --
236
701760
3656
Este é o elefante na sala
do qual quase ninguém fala;
11:57
not even here at TED --
237
705440
1856
nem aqui no TED,
11:59
because we're so fixated
on short-term AI challenges.
238
707320
4080
porque estamos muito fixados
em desafios de IA de curto prazo.
12:04
Look, our species is trying to build AGI,
239
712080
4656
Nossa espécie está tentando criar a IAG,
12:08
motivated by curiosity and economics,
240
716760
3496
motivada pela curiosidade e economia,
12:12
but what sort of future society
are we hoping for if we succeed?
241
720280
3680
mas que tipo de sociedade futura
esperamos ter se conseguirmos?
Fizemos uma pesquisa recentemente
e fiquei impressionado ao ver
12:16
We did an opinion poll on this recently,
242
724680
1936
12:18
and I was struck to see
243
726640
1216
que a maioria das pessoas quer
que criemos a superinteligência,
12:19
that most people actually
want us to build superintelligence:
244
727880
2896
uma IA que é muito mais inteligente
do que nós em todos os sentidos.
12:22
AI that's vastly smarter
than us in all ways.
245
730800
3160
12:27
What there was the greatest agreement on
was that we should be ambitious
246
735120
3416
O maior consenso foi
de que devemos ser ambiciosos
12:30
and help life spread into the cosmos,
247
738560
2016
e ajudar a vida a se espalhar no cosmos,
12:32
but there was much less agreement
about who or what should be in charge.
248
740600
4496
mas houve muito menos consenso sobre
quem ou o que deveria estar no comando.
12:37
And I was actually quite amused
249
745120
1736
E eu realmente me diverti
12:38
to see that there's some some people
who want it to be just machines.
250
746880
3456
ao ver que há algumas pessoas
que querem que sejam apenas as máquinas.
12:42
(Laughter)
251
750360
1696
(Risos)
12:44
And there was total disagreement
about what the role of humans should be,
252
752080
3856
E houve discordância total sobre qual
deveria ser o papel dos humanos,
12:47
even at the most basic level,
253
755960
1976
mesmo no nível mais básico,
12:49
so let's take a closer look
at possible futures
254
757960
2816
então vamos dar uma olhada
em possíveis futuros
12:52
that we might choose
to steer toward, alright?
255
760800
2736
para que possamos escolher
para qual nos direcionar.
12:55
So don't get be wrong here.
256
763560
1336
Não me entendam mal, não estou
falando de viagens espaciais,
12:56
I'm not talking about space travel,
257
764920
2056
12:59
merely about humanity's
metaphorical journey into the future.
258
767000
3200
apenas da jornada metafórica
da humanidade para o futuro.
13:02
So one option that some
of my AI colleagues like
259
770920
3496
Uma opção que alguns
dos meus colegas de IA gostam
13:06
is to build superintelligence
and keep it under human control,
260
774440
3616
é criar a superinteligência
e mantê-la sob controle humano,
13:10
like an enslaved god,
261
778080
1736
como um deus escravo,
desconectado da internet,
13:11
disconnected from the internet
262
779840
1576
13:13
and used to create unimaginable
technology and wealth
263
781440
3256
e usado para criar tecnologia
e riqueza inimagináveis
13:16
for whoever controls it.
264
784720
1240
para quem o controlar.
13:18
But Lord Acton warned us
265
786800
1456
Mas o Lord Acton nos advertiu
13:20
that power corrupts,
and absolute power corrupts absolutely,
266
788280
3616
que esse poder corrompe,
e o poder absoluto corrompe totalmente,
13:23
so you might worry that maybe
we humans just aren't smart enough,
267
791920
4056
então podemos nos preocupar
que talvez não sejamos inteligentes,
13:28
or wise enough rather,
268
796000
1536
ou melhor, sábios o suficiente,
para lidar com tal poder.
13:29
to handle this much power.
269
797560
1240
13:31
Also, aside from any
moral qualms you might have
270
799640
2536
Também, além de qualquer
escrúpulo moral que tenhamos
13:34
about enslaving superior minds,
271
802200
2296
em escravizar mentes superiores,
13:36
you might worry that maybe
the superintelligence could outsmart us,
272
804520
3976
podemos nos preocupar que talvez
a superinteligência possa nos enganar,
13:40
break out and take over.
273
808520
2240
se libertar e assumir o controle.
Mas eu também tenho colegas
que estão bem com a IA assumindo
13:43
But I also have colleagues
who are fine with AI taking over
274
811560
3416
13:47
and even causing human extinction,
275
815000
2296
e até mesmo causando a extinção humana,
13:49
as long as we feel the the AIs
are our worthy descendants,
276
817320
3576
desde que sintamos que as IAs
são nossas dignas descendentes,
13:52
like our children.
277
820920
1736
como nossos filhos.
13:54
But how would we know that the AIs
have adopted our best values
278
822680
5616
Mas como saberíamos que as IAs
adotaram nossos melhores valores
14:00
and aren't just unconscious zombies
tricking us into anthropomorphizing them?
279
828320
4376
e não são apenas zumbis inconscientes
que nos enganam para antropomorfizá-las?
14:04
Also, shouldn't those people
who don't want human extinction
280
832720
2856
E as pessoas que não querem
a extinção humana não deveriam
14:07
have a say in the matter, too?
281
835600
1440
dar uma opinião, também?
14:10
Now, if you didn't like either
of those two high-tech options,
282
838200
3376
Se não gostaram de nenhuma
dessas duas opções de alta tecnologia,
14:13
it's important to remember
that low-tech is suicide
283
841600
3176
é importante lembrar
que a baixa tecnologia é suicídio
14:16
from a cosmic perspective,
284
844800
1256
de uma perspectiva cósmica, porque,
se não superarmos a tecnologia atual,
14:18
because if we don't go far
beyond today's technology,
285
846080
2496
a questão não é se
a humanidade vai ser extinta,
14:20
the question isn't whether humanity
is going to go extinct,
286
848600
2816
apenas se vamos ser levados
14:23
merely whether
we're going to get taken out
287
851440
2016
pelo próximo asteroide
assassino, supervulcão
14:25
by the next killer asteroid, supervolcano
288
853480
2136
14:27
or some other problem
that better technology could have solved.
289
855640
3096
ou outro problema que uma tecnologia
melhor poderia ter resolvido.
14:30
So, how about having
our cake and eating it ...
290
858760
3576
Então, que tal ter o nosso bolo e comê-lo
14:34
with AGI that's not enslaved
291
862360
1840
com a IAG que não é escravizada,
14:37
but treats us well because its values
are aligned with ours?
292
865120
3176
mas nos trata bem porque seus valores
estão alinhados com os nossos?
14:40
This is the gist of what Eliezer Yudkowsky
has called "friendly AI,"
293
868320
4176
Esta é a essência do que Eliezer Yudkowsky
chamou de "IA amigável",
14:44
and if we can do this,
it could be awesome.
294
872520
2680
e se pudermos fazer isso,
pode ser incrível.
14:47
It could not only eliminate negative
experiences like disease, poverty,
295
875840
4816
Não só poderia eliminar experiências
negativas como doenças, pobreza,
14:52
crime and other suffering,
296
880680
1456
crime e outros sofrimentos,
14:54
but it could also give us
the freedom to choose
297
882160
2816
mas também poderia nos dar
a liberdade de escolher
14:57
from a fantastic new diversity
of positive experiences --
298
885000
4056
numa fantástica nova diversidade
de experiências positivas;
15:01
basically making us
the masters of our own destiny.
299
889080
3160
basicamente nos tornando
os mestres do nosso próprio destino.
15:06
So in summary,
300
894280
1376
Então, em resumo,
15:07
our situation with technology
is complicated,
301
895680
3096
a situação com a tecnologia é complicada,
15:10
but the big picture is rather simple.
302
898800
2416
mas o panorama geral é bastante simples.
15:13
Most AI researchers
expect AGI within decades,
303
901240
3456
A maioria dos pesquisadores de IA
espera a IAG dentro de décadas,
15:16
and if we just bumble
into this unprepared,
304
904720
3136
e se nós estivermos despreparados,
15:19
it will probably be
the biggest mistake in human history --
305
907880
3336
provavelmente será o maior erro
da história humana; vamos encarar.
15:23
let's face it.
306
911240
1416
15:24
It could enable brutal,
global dictatorship
307
912680
2576
Poderia permitir
uma ditadura global e brutal
15:27
with unprecedented inequality,
surveillance and suffering,
308
915280
3536
com desigualdade sem precedentes,
vigilância e sofrimento,
15:30
and maybe even human extinction.
309
918840
1976
e talvez até a extinção humana.
15:32
But if we steer carefully,
310
920840
2320
Mas se nos orientarmos com cuidado,
15:36
we could end up in a fantastic future
where everybody's better off:
311
924040
3896
podemos acabar num futuro fantástico
em que todos estão em melhor situação;
15:39
the poor are richer, the rich are richer,
312
927960
2376
os pobres são mais ricos,
os ricos são mais ricos,
15:42
everybody is healthy
and free to live out their dreams.
313
930360
3960
todo mundo é saudável e livre
para viver os próprios sonhos.
15:47
Now, hang on.
314
935000
1536
Agora, esperem.
15:48
Do you folks want the future
that's politically right or left?
315
936560
4576
Vocês querem o futuro politicamente
de direita ou de esquerda?
15:53
Do you want the pious society
with strict moral rules,
316
941160
2856
Vocês querem a sociedade devota
com regras morais rígidas,
15:56
or do you an hedonistic free-for-all,
317
944040
1816
ou um "vale tudo" hedonístico,
como um "Burning Man" o tempo todo?
15:57
more like Burning Man 24/7?
318
945880
2216
16:00
Do you want beautiful beaches,
forests and lakes,
319
948120
2416
Querem belas praias, florestas e lagos,
16:02
or would you prefer to rearrange
some of those atoms with the computers,
320
950560
3416
ou prefeririam reorganizar
uns átomos com computadores,
permitindo experiências virtuais?
16:06
enabling virtual experiences?
321
954000
1715
Com a IA amigável, poderíamos simplesmente
construir todas essas sociedades
16:07
With friendly AI, we could simply
build all of these societies
322
955739
3157
16:10
and give people the freedom
to choose which one they want to live in
323
958920
3216
e dar às pessoas a liberdade
de escolher onde querem morar
porque não seríamos mais limitados
pela nossa inteligência,
16:14
because we would no longer
be limited by our intelligence,
324
962160
3096
16:17
merely by the laws of physics.
325
965280
1456
apenas pelas leis da física.
16:18
So the resources and space
for this would be astronomical --
326
966760
4616
Os recursos e espaço seriam
astronômicos, literalmente.
16:23
literally.
327
971400
1320
16:25
So here's our choice.
328
973320
1200
Aqui está a nossa escolha.
16:27
We can either be complacent
about our future,
329
975880
2320
Podemos ser complacentes
com o nosso futuro,
16:31
taking as an article of blind faith
330
979440
2656
acreditando cegamente
16:34
that any new technology
is guaranteed to be beneficial,
331
982120
4016
que qualquer nova tecnologia
tem a garantia de ser benéfica,
16:38
and just repeat that to ourselves
as a mantra over and over and over again
332
986160
4136
e repetindo para nós mesmos
como um mantra várias vezes
16:42
as we drift like a rudderless ship
towards our own obsolescence.
333
990320
3680
enquanto vamos como um navio sem rumo
em direção à nossa própria obsolescência.
16:46
Or we can be ambitious --
334
994920
1880
Ou podemos ser ambiciosos,
16:49
thinking hard about how
to steer our technology
335
997840
2456
pensando seriamente
em como orientar nossa tecnologia
16:52
and where we want to go with it
336
1000320
1936
e aonde queremos ir com isso
para criar uma era surpreendente.
16:54
to create the age of amazement.
337
1002280
1760
16:57
We're all here to celebrate
the age of amazement,
338
1005000
2856
Estamos todos aqui para celebrar
uma era surpreendente,
16:59
and I feel that its essence should lie
in becoming not overpowered
339
1007880
4440
e eu sinto que a essência dela
deve estar em não sermos dominados
17:05
but empowered by our technology.
340
1013240
2616
mas fortalecidos pela nossa tecnologia.
17:07
Thank you.
341
1015880
1376
Obrigado.
17:09
(Applause)
342
1017280
3080
(Aplausos)
Translated by Carolina Aguirre
Reviewed by Maricene Crus

▲Back to top

ABOUT THE SPEAKER
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com