ABOUT THE SPEAKER
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com
TED2018

Max Tegmark: How to get empowered, not overpowered, by AI

ماكس تيگمارك: چۆن ببينه‌ خاوه‌نى هێز نه‌ك هێز به‌سه‌رماندا زاڵ بێت له‌لايه‌ن زيره‌كى ده‌ستكرده‌وه‌

Filmed:
1,409,007 views

زۆربه‌ى توێژه‌رانى زيره‌كى ده‌ستكرد پێشبينى ئه‌وه‌ ده‌كه‌ن كه‌ زيره‌كى ده‌ستكرد، له‌ چه‌ند ده‌يه‌ى داهاتوودا، پێش زيره‌كى مرۆڤ ده‌كه‌وێ له‌ ئه‌رك و ئيشه‌كاندا. كه‌ ڕێگه‌ خۆش ده‌كات بۆ ده‌ستكه‌وتنى دواڕۆژێك كه‌ ئێمه‌ ته‌نيا به‌ هۆى ياساكانى فيزياوه‌ تووشى ڕێگرى ده‌بين نه‌ك سنوردارى زيره‌كيمان. فيزيكزان و توێژه‌رى زيره‌كى ده‌ستكرد ماكس تيگمارك. له‌ په‌يمانگاى ماسوچوستس بۆ ته‌كنۆلۆژيا، فرسه‌ته‌ ڕاسته‌قينه‌ و هه‌ڕه‌شه‌كان له‌ ئه‌فسانه‌كان جيا ده‌كاته‌وه‌، هه‌نگاوه‌ كۆنكرێتيه‌كان كه‌ پێويسته‌ له‌مڕۆدا بينێين وه‌سف ده‌كات، تا دڵنيا بين له‌وه‌ى كه‌ زيره‌كى ده‌ستكرد له‌ كۆتاييدا ده‌بێته‌ باشترين -له‌جياتى خراپترين -شت كه‌ به‌سه‌ر مرۆڤايتيدا هاتبێت.
- Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder. Full bio

Double-click the English transcript below to play the video.

00:12
After 13.8 billion years
of cosmic history,
0
760
4416
له‌ دواى13.8 ملیار ساڵ له‌ مێژووى گه‌ردوون
00:17
our universe has woken up
1
5200
2096
يونيڤێرسەکەی ئێمه‌ بێدار بۆوه‌
00:19
and become aware of itself.
2
7320
1520
به‌ خۆى ئاشنا بوو
00:21
From a small blue planet,
3
9480
1936
‌ له‌ هه‌ساره‌يه‌كى بچووكى شينه‌وه‌
00:23
tiny, conscious parts of our universe
have begun gazing out into the cosmos
4
11440
4136
زۆر گچكه‌، به‌شه‌ به‌ئاگاييه‌كانى يونيڤێرس
ده‌ستيان كرد به‌ وردبوونه‌وه‌ له‌ گه‌ردوون
00:27
with telescopes,
5
15600
1376
له‌ڕێى تێليسكۆبه‌وه‌
00:29
discovering something humbling.
6
17000
1480
هه‌ندێ شتى سه‌رپێى دۆزرايه‌وه‌
00:31
We've discovered that our universe
is vastly grander
7
19320
2896
ئه‌وه‌مان دۆزييه‌وه‌ كه‌
يونيڤێرسه‌كه‌مان زۆر مه‌زنتره‌
00:34
than our ancestors imagined
8
22240
1336
له‌وه‌ى باوباپيرانمان
وێنەيان كردبوو
00:35
and that life seems to be an almost
imperceptibly small perturbation
9
23600
4256
هه‌روه‌ها ژيان به‌ نزيكى وه‌ك
پشێوييه‌كى بچووكى هه‌ستپێنه‌كراو ده‌ركه‌وت
00:39
on an otherwise dead universe.
10
27880
1720
له‌سه‌ر ديوه‌كه‌ى ديكه‌
يونيڤێرسه‌ مردووه‌كه‌
00:42
But we've also discovered
something inspiring,
11
30320
3016
هەروەها شتێکی
ئيلهام به‌خشيشمان دۆزييه‌وه‌
00:45
which is that the technology
we're developing has the potential
12
33360
2976
ئه‌ويش ئه‌وه‌يه‌ ئه‌و تێكنۆلۆژيايه‌ى كه‌
به‌روه‌ پێشخستنى ده‌به‌ين له‌ توانايدايه‌
00:48
to help life flourish like never before,
13
36360
2856
ژيان گه‌شه‌ پێ بدات
به‌شێوه‌يه‌ك هه‌رگيز پێشتر وا نه‌بووبێت
00:51
not just for centuries
but for billions of years,
14
39240
3096
نه‌ك ته‌نيا بۆ چه‌ند سه‌ده‌يه‌ك
به‌ڵكو بۆ بليۆنان ساڵ
00:54
and not just on earth but throughout
much of this amazing cosmos.
15
42360
4120
هه‌روه‌ها نه‌ك ته‌نيا عه‌رد، به‌ڵكو
زۆر شوێنى ئه‌م گه‌ردوونه‌ سه‌رسوڕهێنه‌ره‌
00:59
I think of the earliest life as "Life 1.0"
16
47680
3336
من بير له‌سه‌ره‌تاييترين ژيان
وه‌ك "ژيانى 1.0" ده‌كه‌مه‌وه‌
01:03
because it was really dumb,
17
51040
1376
چونكه‌ به‌ڕاستى بێده‌نگ بوو
01:04
like bacteria, unable to learn
anything during its lifetime.
18
52440
4296
وه‌ك به‌كتريا به‌درێژايى
ژيانى تواناى فێربوونى نييه‌
01:08
I think of us humans as "Life 2.0"
because we can learn,
19
56760
3376
بير له‌ ئێمه‌ مرۆڤ وه‌ك ژيانى 2.0
ده‌كه‌مه‌وه چونكه‌ ده‌توانين فێربين‌،
01:12
which we in nerdy, geek speak,
20
60160
1496
زۆر هه‌ڵوه‌داى زانينين و
له‌بله‌بانين له‌ قسه‌دا
01:13
might think of as installing
new software into our brains,
21
61680
3216
له‌وانه‌يه‌ بيرله‌داخڵكردنى پڕۆگرامێكى نوێ
بۆناو مێشكمان بكرێته‌وه‌
01:16
like languages and job skills.
22
64920
2120
وه‌ك زمان و لێهاتوويه‌كانى ئيش.
01:19
"Life 3.0," which can design not only
its software but also its hardware
23
67680
4296
ژيانى 3.0 كه‌ له‌ توانايدايه
نه‌ك ته‌نيا‌ پڕۆگرامه‌كانى
به‌ڵكو ئامێره‌كانيشى ديزانیان بكات
01:24
of course doesn't exist yet.
24
72000
1656
بێگومان ئه‌مه‌ هێشتا له‌ئارادا نييه‌
01:25
But perhaps our technology
has already made us "Life 2.1,"
25
73680
3776
وه‌لێ ده‌شێ ته‌كنۆلۆژياكه‌مان
هه‌نووكه‌ ئێمه‌ى كرد بێت به‌ ژيانى 2.1"
01:29
with our artificial knees,
pacemakers and cochlear implants.
26
77480
4336
‌به‌ ئه‌ژنۆ ده‌ستكرد، ڕێكخه‌رى ترپه‌كانى
دڵ و چاندنى لوولپێچه‌كانى گوێچكه‌مانه‌وه‌
01:33
So let's take a closer look
at our relationship with technology, OK?
27
81840
3880
كه‌واته‌ با سه‌رنجێكى نزيكتر له په‌يوه‌نديمان
به ته‌كنۆلۆژايه‌وه‌ بده‌ين، باشه‌؟
01:38
As an example,
28
86800
1216
بۆ نموونه‌
01:40
the Apollo 11 moon mission
was both successful and inspiring,
29
88040
5296
11ئه‌ركى هه‌يڤى ئه‌پۆلۆ
هه‌ردووك سه‌ركه‌وتوو و ئيلهام به‌خش بووç
01:45
showing that when we humans
use technology wisely,
30
93360
3016
ئه‌وه‌ى نيشان دا چۆن بنياده‌م حه‌كيمانه‌
ته‌كنۆلۆژيا به‌كارده‌هێنێ
01:48
we can accomplish things
that our ancestors could only dream of.
31
96400
3936
ده‌توانين شتگه‌لێك ئه‌نجام بده‌ين كه‌
باوباپيرانمان ته‌نيا خه‌ونيان پێوه‌ ديوه‌.
01:52
But there's an even more inspiring journey
32
100360
2976
وه‌لێ گه‌شتێكى زياتر ئيلهامبه‌خش هه‌يه‌
01:55
propelled by something
more powerful than rocket engines,
33
103360
2680
له‌ لايه‌ن شتێكى به‌قوه‌تتر له‌
مه‌كينه‌ى مووشه‌ك هه‌ڵده‌درێ،
01:59
where the passengers
aren't just three astronauts
34
107200
2336
له‌وێ سه‌رنشينه‌كان ته‌نيا سێ
كه‌شتيوانى ئاسمانى نين
02:01
but all of humanity.
35
109560
1776
به‌ڵكو هه‌موو مرۆڤايه‌تييه‌.
02:03
Let's talk about our collective
journey into the future
36
111360
2936
با ده‌رباره‌ى گه‌شته‌ هاوبه‌شه‌كه‌مان
له‌ دواڕۆژدا قسه‌ بكه‌ين
02:06
with artificial intelligence.
37
114320
2000
به‌ زيره‌كى ده‌ستكرده‌وه (زد)‌.
02:08
My friend Jaan Tallinn likes to point out
that just as with rocketry,
38
116960
4536
هاوڕێكه‌م جين تالين حه‌ز ده‌كات
ئاماژه‌ به‌مه بدات وه‌ك مووشه‌ك‌
02:13
it's not enough to make
our technology powerful.
39
121520
3160
ئه‌وه‌ ته‌نيا به‌س نييه‌ بۆ ئه‌وه‌ى
كه‌ ته‌كنۆلۆژياكه‌مان به‌توانا بێت،
02:17
We also have to figure out,
if we're going to be really ambitious,
40
125560
3175
به‌ڵكو پێويسته ئه‌وه‌ش بدۆزينه‌وه‌
كه‌ ئايا به‌ڕاستى ئێمه‌ به‌په‌رۆشين‌،
02:20
how to steer it
41
128759
1416
چۆن پێشه‌نگى ئه‌مه‌ ده‌كه‌ين،
02:22
and where we want to go with it.
42
130199
1681
هه‌روه‌ها ده‌مانه‌وێ
بۆ كوێ بڕۆين پێى.
02:24
So let's talk about all three
for artificial intelligence:
43
132880
2840
كه‌واته‌ با باسى هه‌ر سێ جۆره‌
زيره‌كى ده‌ستكرده‌وه‌(ز.د) بكه‌ين
02:28
the power, the steering
and the destination.
44
136440
3056
هێز، ئاڕاسته‌كردن و شوێنى مه‌به‌ست
02:31
Let's start with the power.
45
139520
1286
با له‌ هێزه‌وه‌
ده‌ست پێ بكه‌ين.
02:33
I define intelligence very inclusively --
46
141600
3096
من زيره‌كى به‌شيوه‌يه‌كى زۆر
گشتگير باس ده‌كه‌م،
02:36
simply as our ability
to accomplish complex goals,
47
144720
4336
به‌ساده‌يى وه‌ك تواناكانمان بۆ
به‌ده‌ستهێنانى ئامانجه‌ ئاڵۆزه‌كان
02:41
because I want to include both
biological and artificial intelligence.
48
149080
3816
چونكه‌ من ده‌مه‌وێ هه‌ردووك
زيره‌كى بايۆلۆژى و ده‌ستكرد له‌خۆ بگرێ
02:44
And I want to avoid
the silly carbon-chauvinism idea
49
152920
4016
هه‌روه‌ها ده‌مه‌وێ له‌بيرۆكه‌ى پووچى
كاربۆن-شۆفينيزم به‌دوور بم
02:48
that you can only be smart
if you're made of meat.
50
156960
2360
ئه‌وه‌ى كه‌ ته‌نيا له‌وباره‌دا زيره‌ك
ده‌بى ئه‌گه‌ر له‌ گۆشت دروست كرا بي.
02:52
It's really amazing how the power
of AI has grown recently.
51
160880
4176
ئه‌مه‌ به‌ڕاستى سه‌رسوڕهێنه‌ره‌ كه‌
چۆن به‌م دواييه‌ هێزى
زیرەکی دەستکردەوە گه‌شه‌ى سه‌ند
02:57
Just think about it.
52
165080
1256
ته‌نيا بير له‌مه‌ بكه‌نه‌وه‌
02:58
Not long ago, robots couldn't walk.
53
166360
3200
تا ماوه‌يه‌ك زۆر نا له‌مه‌وبه‌ر
ڕۆبۆته‌كان نه‌يانده‌توانى كه‌ بڕۆن.
03:03
Now, they can do backflips.
54
171040
1720
ئێستاكه‌ ، ده‌توانن
بۆ دواوه‌ ته‌قله‌ لێ بده‌ن
03:06
Not long ago,
55
174080
1816
ماوه‌يه‌ك زۆر نا له‌مه‌وبه‌ر
03:07
we didn't have self-driving cars.
56
175920
1760
ئۆتۆمبێلمان نه‌بوو كه‌ خۆى
خۆى لێ بخوڕێت
03:10
Now, we have self-flying rockets.
57
178920
2480
ئێستاكه‌، مووشه‌كمان هه‌يه‌
خۆى ده‌فڕێت
03:15
Not long ago,
58
183960
1416
ماوه‌يه‌كى زۆر نا له‌مه‌وبه‌ر
03:17
AI couldn't do face recognition.
59
185400
2616
زیرەکی دەستکرد،
نه‌يده‌توانى ڕووخسار بناسێته‌وه
03:20
Now, AI can generate fake faces
60
188040
2976
ئێستاكه‌، زیرەکی دەستکرد ده‌توانێ ڕووخسارى
ساخته‌ دروست بكات
03:23
and simulate your face
saying stuff that you never said.
61
191040
4160
لاسايى ڕووخسارت بكاته‌وه‌ ئه‌و شتانه‌ بڵێ
كه‌ هه‌رگيز تۆ نه‌تگوتوون.
03:28
Not long ago,
62
196400
1576
ماوه‌يه‌كى زۆر نا له‌مه‌وبه‌ر
03:30
AI couldn't beat us at the game of Go.
63
198000
1880
زیرەکی دەستکرد نه‌يده‌توانى له‌ يارى
بڕۆ-دا لێمان به‌رێته‌وه
03:32
Then, Google DeepMind's AlphaZero AI
took 3,000 years of human Go games
64
200400
5096
پاشان، زیرەکی دەستکردی
ديپ مايند ئه‌لفا زیڕوی گۆگڵ
سێ هه‌زار ساڵى مرۆڤى
له‌ يارى بڕۆ-دا برد بۆ خۆى
03:37
and Go wisdom,
65
205520
1256
هه‌روه‌ها داناييه‌كه‌شى
له‌ يارى بڕۆ- دا
03:38
ignored it all and became the world's best
player by just playing against itself.
66
206800
4976
ئه‌مانه‌ى فه‌رامۆش كرد و بوو به باشترين ‌
ياريزان له‌ڕێى ياريكردن له‌ دژى خۆى.
03:43
And the most impressive feat here
wasn't that it crushed human gamers,
67
211800
3696
سه‌راسيمه‌ترين كاريشى ئه‌وه‌ نه‌بوو
ياريزانه‌ مرۆييه‌كانى پانوپليش كرده‌وه‌‌
03:47
but that it crushed human AI researchers
68
215520
2576
به‌ڵكو ئه‌وه‌بوو توێژه‌ره‌وانى
زیرەکی دەستکردیشى پانوپليش كرده‌وه‌
03:50
who had spent decades
handcrafting game-playing software.
69
218120
3680
كه‌ چه‌ند ده‌يه‌يه‌كيان به‌سه‌ر برد
له‌ دروستكردنى پڕۆگرامى ياريدا
03:54
And AlphaZero crushed human AI researchers
not just in Go but even at chess,
70
222200
4656
ئه‌لفازيڕۆ توێژه‌ره‌وانى زیرەکی دەستکرد
ته‌نيا له‌ يارى بڕۆدا ‌پانوپليش نه‌كرده‌وه
به‌ڵكو له‌ شه‌تره‌نجيشدا
03:58
which we have been working on since 1950.
71
226880
2480
كه‌ ئێمه‌ له‌ساڵى 1950 ه‌وه‌
كارى له‌سه‌ر ده‌كه‌ين
04:02
So all this amazing recent progress in AI
really begs the question:
72
230000
4240
له‌به‌ر ئه‌وه‌، هه‌موو ئه‌م به‌ره‌وپێشچوونه‌
سه‌رسوڕهێنه‌ره‌ى ئه‌م دواييه‌،
،له‌ زیرەکی دەستکرد
به‌ڕاستى پرسيارێ ده‌وروژێنن
04:07
How far will it go?
73
235280
1560
تا چ ئاستێك ده‌ڕوات؟
04:09
I like to think about this question
74
237800
1696
حه‌ز ده‌كه‌م بير له‌م
پرسياره‌ بكه‌مه‌وه‌
04:11
in terms of this abstract
landscape of tasks,
75
239520
2976
له شێوه‌ى ديمه‌نى
ئه‌بستراكتى ئه‌ركه‌كاندا‌
04:14
where the elevation represents
how hard it is for AI to do each task
76
242520
3456
به‌رزايى له‌ئاستى ڕووى ده‌رياوه‌،
ئه‌وه‌ ده‌نوێنێ
كه‌ چه‌ند سه‌خته‌ زیرەکی دەستکرد
هه‌ر يه‌كێ له‌ ئه‌ركه‌كان
04:18
at human level,
77
246000
1216
04:19
and the sea level represents
what AI can do today.
78
247240
2760
جێبه‌جێ بكا له‌ ئاستى مرۆڤدا
هه‌روه‌ها ئاستى ده‌ريا ئه‌وه‌ ده‌نوێنێ
كه‌ زیرەکی دەستکرد له‌مڕۆدا ده‌توانێ چى بكات
04:23
The sea level is rising
as AI improves,
79
251120
2056
ئاستى ده‌ريا له‌به‌رزبوونه‌وه‌دايه‌
هه‌روه‌ك چۆن ز.د له‌به‌روپێشچووندايه‌
04:25
so there's a kind of global warming
going on here in the task landscape.
80
253200
3440
كه‌واته‌ جۆرێك له‌ گه‌رمبوونى جيهانى
لێره‌ هه‌يه‌ له‌ ديمه‌نى ئه‌ركه‌كاندا
04:30
And the obvious takeaway
is to avoid careers at the waterfront --
81
258040
3335
هه‌روه‌ها په‌يامه‌كه‌
لێره‌دا ڕوونه‌، ئه‌ويش
دووركه‌وتنه‌وه‌يه‌ له‌
كاركردن له‌ به‌رده‌م ده‌ريا
04:33
(Laughter)
82
261399
1257
(پێكه‌نين)
04:34
which will soon be
automated and disrupted.
83
262680
2856
كه‌ به‌م زووانه‌ ده‌كرێ
به‌ ئۆتۆماتيكى و به‌رده‌ست نابێت
04:37
But there's a much
bigger question as well.
84
265560
2976
وه‌لێ پرسيارێكى له‌وه‌ گه‌وره‌تريش هه‌يه‌
04:40
How high will the water end up rising?
85
268560
1810
به‌رزبوونه‌وه‌ى ئاو
له‌ كۆتاييدا ده‌گاته‌ چه‌ند؟
04:43
Will it eventually rise
to flood everything,
86
271440
3200
دواجار هێنده‌ به‌رز ده‌بێته‌وه‌
كه‌ هه‌موو شتێ ڕاده‌ماڵێ
04:47
matching human intelligence at all tasks.
87
275840
2496
له‌ هه‌موو ئه‌ركه‌كاندا له‌گه‌ڵ
زيره‌كى مرۆڤدا هاوجێ ده‌بێت
04:50
This is the definition
of artificial general intelligence --
88
278360
3736
ئه‌مه‌ پێناسه‌ى زيره‌كى ده‌ستكردى گشتييه‌‌
04:54
AGI,
89
282120
1296
ئانکو
ز.د.گ
04:55
which has been the holy grail
of AI research since its inception.
90
283440
3080
كه‌ جامى پيرۆزى توێژينه‌وه‌كانى زد
بوو هه‌ر له‌ سه‌ره‌تاى سه‌رهه‌ڵدانييه‌وه‌
04:59
By this definition, people who say,
91
287000
1776
له‌ڕێى ئه‌م پێناسه‌يه‌وه‌
ئه‌و كه‌سانه‌ى كه‌ ده‌ڵێن‌
05:00
"Ah, there will always be jobs
that humans can do better than machines,"
92
288800
3416
ئا، هه‌ميشه‌ ئه‌و ئيششانه‌ ده‌مێننه‌وه‌
كه‌ مرۆڤ له‌ ئامێره‌كان باشتر ده‌يكه‌ن
05:04
are simply saying
that we'll never get AGI.
93
292240
2920
به‌ساده‌يى ده‌ڵێن هه‌رگيز ز.د
گشتيمان ده‌ستناكه‌وێ
05:07
Sure, we might still choose
to have some human jobs
94
295680
3576
به‌دڵنيايى، ده‌شێ هێشتا ئه‌و هه‌ڵبژێرين
كه‌ هه‌نێ ئيشى مرۆڤ بمێننه‌وه‌
05:11
or to give humans income
and purpose with our jobs,
95
299280
3096
بۆئه‌وه‌ى مرۆڤ مووچه‌ى هه‌بێت
له‌گه‌ڵ ماناى ئه‌و ئيشه‌ى كه‌ ده‌يكه‌ين
05:14
but AGI will in any case
transform life as we know it
96
302400
3736
وه‌لێ ز.د.گ له‌ هه‌موو دۆخه‌كاندا
ژيان به‌و شێوه‌يه‌ ده‌گۆڕێ كه‌ ئێمه‌ ناسيومانه‌
05:18
with humans no longer being
the most intelligent.
97
306160
2736
كه‌ چى ديكه‌ مرۆڤ زيره‌كترين نييه‌‌.
05:20
Now, if the water level does reach AGI,
98
308920
3696
ئێستاكه‌، ئه‌گه‌ر ئاستى ئاو
بگاته‌ ز.د.گ
05:24
then further AI progress will be driven
mainly not by humans but by AI,
99
312640
5296
ئه‌وكاته‌ پيشكه‌وتنى زياتر
به‌ڕێوه‌ده‌چێ به‌شێوه‌يه‌كى
سه‌ره‌كى له‌لايه‌ن مرۆڤه‌وه‌ نا،
به‌ڵكو له‌لايه‌ن ز.د وه‌‌
05:29
which means that there's a possibility
100
317960
1856
ئه‌مه‌ش ئه‌وه‌ ده‌گه‌يه‌نێ
كه‌ ئه‌و ئه‌گه‌ره‌ هه‌يه‌
05:31
that further AI progress
could be way faster
101
319840
2336
كه‌ دواڕۆژى ز.د زۆر خێراتر بێت
05:34
than the typical human research
and development timescale of years,
102
322200
3376
له‌ توێژينه‌وه‌ى نموونه‌يى مرۆڤ و
خشته‌ى كاتى په‌ره‌سه‌ندن به‌پێى ساڵه‌كان
05:37
raising the controversial possibility
of an intelligence explosion
103
325600
4016
ئه‌گه‌رى كێشمه‌دارى ته‌قينه‌وه‌ى
ز.د به‌رز ده‌بێته‌وه‌‌‌
05:41
where recursively self-improving AI
104
329640
2296
كاتێك ز.د خۆى به‌ره‌و پێش ده‌بات
05:43
rapidly leaves human
intelligence far behind,
105
331960
3416
به‌ خێرايى، زيره‌كى مرۆڤ
زۆر له‌ دواوه‌ به‌جێدێڵێ
05:47
creating what's known
as superintelligence.
106
335400
2440
ئه‌وه‌ ده‌خوڵقێنێ كه‌ پێى ده‌وترێ
سوپه‌ر زيره‌كى.
05:51
Alright, reality check:
107
339800
2280
باشه‌، با له‌ واقيع بكۆڵينه‌وه‌
05:55
Are we going to get AGI any time soon?
108
343120
2440
ئايا به‌م زووانه‌ ز.د.گ
ده‌ست ده‌كه‌وێ؟
05:58
Some famous AI researchers,
like Rodney Brooks,
109
346360
2696
هه‌ندێ له‌ توێژه‌رانى به‌ناوبانگى ز.د
وه‌ك ڕۆدنى بروكس
06:01
think it won't happen
for hundreds of years.
110
349080
2496
له‌و بڕوايه‌دايه‌ تا سه‌د ساڵى
ديكه‌ ڕوو نه‌دات
06:03
But others, like Google DeepMind
founder Demis Hassabis,
111
351600
3896
وه‌لێ كه‌سانى ديكه‌، وه‌ك دۆزه‌ره‌وه‌ى
"گۆگڵ ديپمايند"، ديميس هاسابيس
06:07
are more optimistic
112
355520
1256
زۆر گه‌شبينترن،
06:08
and are working to try to make
it happen much sooner.
113
356800
2576
هه‌روه‌ها كارده‌كه‌ن بۆئه‌وه‌ى
ئه‌وه‌ زووتر ڕوو بدات
06:11
And recent surveys have shown
that most AI researchers
114
359400
3296
هه‌روه‌ها ئامارێك به‌م دوواييانه‌ ئاماژه‌
ده‌دا كه‌ زۆربه‌ى توێژه‌ره‌وانى ز.د
06:14
actually share Demis's optimism,
115
362720
2856
له‌ڕاستيدا هاوبه‌شى گه‌شبينيه‌كه‌ى
ديميس ده‌كه‌ن
06:17
expecting that we will
get AGI within decades,
116
365600
3080
پێشبينى ئه‌وه‌ ده‌كه‌ن له‌ ماوه‌ى
ده‌يه‌يه‌كدا ز.د.گ به‌ده‌ست بێنين،
06:21
so within the lifetime of many of us,
117
369640
2256
واته‌ له‌ ماوه‌ى ژيانى زۆرێك له‌ ئێمه‌دا
06:23
which begs the question -- and then what?
118
371920
1960
كه‌ ئه‌و پرسياره‌ ده‌وروژێنێ
ئێ ئه‌ى دواى ئه‌وه‌ چى؟
06:27
What do we want the role of humans to be
119
375040
2216
ده‌مانه‌وێ ڕۆڵى بنياده‌م چى بێ؟
06:29
if machines can do everything better
and cheaper than us?
120
377280
2680
ئه‌گه‌ر ئامێره‌كان بتوانن هه‌موو شتێ
به‌باشتر و هه‌رزانتر له‌ ئێمه‌ بكه‌ن؟
06:35
The way I see it, we face a choice.
121
383000
2000
پێموايه ڕووبه‌ڕووى
هه‌ڵبژاردن ده‌بينه‌وه‌،
06:38
One option is to be complacent.
122
386000
1576
هه‌ڵبژاردنێكيان ئه‌وه‌يه‌
ڕه‌زامه‌ند ده‌بين
06:39
We can say, "Oh, let's just build machines
that can do everything we can do
123
387600
3776
ده‌توانين بڵێين:
"ئۆو ده‌ى با ئه‌و ئامێرانه‌ دروست بكه‌ين
كه‌ ده‌توانن هه‌موو ئه‌و شتانه‌ بكه‌ن
كه‌ ئێمه‌ ده‌توانين بيانكه‌ين
06:43
and not worry about the consequences.
124
391400
1816
هه‌روه‌ها نائارام نه‌بين
به‌رامبه‌ر ده‌رئه‌نجامه‌كان
06:45
Come on, if we build technology
that makes all humans obsolete,
125
393240
3256
ده‌ى، ئه‌گه‌ر ئه‌و ته‌كنۆلۆژيايه‌ دروست بكه‌ين
كه‌ وا بكا هه‌موو بنياده‌م فه‌رامۆش بكا
06:48
what could possibly go wrong?"
126
396520
2096
كه‌واته‌ ده‌بێت ئه‌گه‌رى
ڕوودانى چ هه‌ڵه‌يه‌ك هه‌بێ؟
06:50
(Laughter)
127
398640
1656
(پێكه‌نين)
06:52
But I think that would be
embarrassingly lame.
128
400320
2760
وه‌لێ پێم وايه‌ ئه‌مه‌ به‌شێوه‌يه‌كى
شه‌رمنده‌ شه‌ل ده‌بێ،
06:56
I think we should be more ambitious --
in the spirit of TED.
129
404080
3496
پێم وايه‌ پێويسته‌ زياتر به‌په‌رۆش بين
له‌ چالاكى تێد-دا
06:59
Let's envision a truly inspiring
high-tech future
130
407600
3496
با به‌ڕاستى وێناى كاريگه‌رى ئه‌فرێنه‌رى
ته‌كنۆلۆژياى باڵاى دواڕۆژ بكه‌ين
07:03
and try to steer towards it.
131
411120
1400
هه‌روه‌ها هه‌وڵ بده‌ين ڕووه‌و
ئه‌وه‌ ئاڕاسته‌ى بكه‌ين
07:05
This brings us to the second part
of our rocket metaphor: the steering.
132
413720
3536
ئه‌مه‌ ده‌مانبات بۆ به‌شى دووه‌مى
ميتافۆرى ڕۆكێته‌كه‌: ئاڕاسته‌كردن
07:09
We're making AI more powerful,
133
417280
1896
وا له‌ ز.د ده‌كه‌ين هێزى زياتر بێت
07:11
but how can we steer towards a future
134
419200
3816
وه‌لێ چۆن ئاڕاسته‌ى بكه‌ين ڕووه‌و دواڕۆژ؟
07:15
where AI helps humanity flourish
rather than flounder?
135
423040
3080
كه‌ ز.د يارمه‌تى مرۆڤايه‌تى بدا
زياتر پێشى بخا، نه‌ك نابووتى بكا.
07:18
To help with this,
136
426760
1256
بۆ يارمه‌تيدانى بۆ ئه‌مه‌
07:20
I cofounded the Future of Life Institute.
137
428040
1976
به‌شداريم كرد له‌ ده‌مه‌زراندنى
په‌يمانگه‌ى دواڕۆژى ژيان
07:22
It's a small nonprofit promoting
beneficial technology use,
138
430040
2776
بچووكه‌ له‌دووى قازانج ناگه‌ڕێ،
هانى به‌كارهێنه‌رانى ته‌كنۆلۆژيا ده‌دا
07:24
and our goal is simply
for the future of life to exist
139
432840
2736
بۆ سوودوه‌رگرتن‌
ئامانجى ئيمه‌ به‌ساده‌يى بۆئه‌وه‌يه‌
كه‌ دۆڕۆژى ژيان بوونى هه‌بێت
07:27
and to be as inspiring as possible.
140
435600
2056
هه‌روه‌ها چه‌نده‌ بكرێ ئيلهامبه‌خشيش بێت.
07:29
You know, I love technology.
141
437680
3176
ئێوه‌ ده‌زانن، من ته‌كنۆلۆژيام خۆش ده‌وێ
07:32
Technology is why today
is better than the Stone Age.
142
440880
2920
به‌هۆى ته‌كنۆلۆژياوه‌يه‌ كه‌ ئه‌مڕۆ
باشتره‌ له‌سه‌رده‌مى به‌رد
07:36
And I'm optimistic that we can create
a really inspiring high-tech future ...
143
444600
4080
هه‌روه‌ها من گه‌شبينم
كه‌ ده‌توانين له‌ دواڕۆژدا
ته‌كنۆلۆژيايه‌كى باڵاى
ڕاسته‌قينه‌ى ئيلهامبه‌خش بخوڵقێنين
07:41
if -- and this is a big if --
144
449680
1456
ئه‌گه‌ر- هه‌روه‌ها ئه‌مه‌
ئه‌گه‌رێكى گه‌وره‌يه‌
07:43
if we win the wisdom race --
145
451160
2456
ئه‌گه‌ر له‌ پێشبڕكێى داناييدا بردمانه‌وه‌
07:45
the race between the growing
power of our technology
146
453640
2856
پێشبڕكێى نێوان گه‌شه‌كردنى
هێزى ته‌كنۆلۆژياكه‌مان
07:48
and the growing wisdom
with which we manage it.
147
456520
2200
له‌گه‌ڵ گه‌شه‌كردنى دانايى
له‌ڕێى چييه‌وه‌ ئه‌مه‌ به‌ڕێوه‌ ده‌به‌ين
07:51
But this is going to require
a change of strategy
148
459240
2296
وه‌لێ ئه‌مه‌ پێويستى به‌
گۆڕينى ستراتيژى ده‌بێت
07:53
because our old strategy
has been learning from mistakes.
149
461560
3040
چونكه‌ ستراتيژى پيشوومان
له‌ڕێى هه‌ڵه‌كانه‌وه‌ فێر بووين.
07:57
We invented fire,
150
465280
1536
ئێمه‌ ئاگرمان دۆزييه‌وه‌،
07:58
screwed up a bunch of times --
151
466840
1536
يه‌ك دنيا جار دڵته‌نگ و
نائارام بووين
08:00
invented the fire extinguisher.
152
468400
1816
تا ئاگركوژێنه‌ره‌وه‌مان داهێنا
08:02
(Laughter)
153
470240
1336
(پێكه‌نين)
08:03
We invented the car,
screwed up a bunch of times --
154
471600
2416
ئێمه‌ ئۆتۆمبێلمان داهێنا، يه‌ك دنيا جار
دڵته‌نگ و نائارم بووين
08:06
invented the traffic light,
the seat belt and the airbag,
155
474040
2667
تا ترافيك لايت و پشتوێنى خۆبه‌ستنه‌وه‌ و
كيسى هه‌وامان داهێنا
08:08
but with more powerful technology
like nuclear weapons and AGI,
156
476731
3845
وه‌لێ له‌گه‌ڵ به‌هێزترين ته‌كنۆژيا
وه‌ك چه‌كى ناوكى و ز،د ى گشتى
08:12
learning from mistakes
is a lousy strategy,
157
480600
3376
فێربوون له‌ هه‌ڵه‌كانه‌وه‌
ستراتيژێكى خراپه‌
08:16
don't you think?
158
484000
1216
ئێوه‌ له‌و باوه‌ڕه‌دا نين؟
08:17
(Laughter)
159
485240
1016
(پێكه‌نين)
08:18
It's much better to be proactive
rather than reactive;
160
486280
2576
زۆر باشتره‌ بكه‌ربيت وه‌ك له‌وه‌ى
كاريگه‌ريت له‌سه‌ر بێت
08:20
plan ahead and get things
right the first time
161
488880
2296
پلان دابنێ و شته‌كان يه‌كسه‌ر
هه‌ر له‌يه‌كه‌م جاره‌وه‌ ته‌واو بكه‌
08:23
because that might be
the only time we'll get.
162
491200
2496
چونكه‌ له‌وانه‌يه‌ ئه‌وه‌ ته‌نيا جار
بێت كه‌ بتوانين بيكه‌ين
08:25
But it is funny because
sometimes people tell me,
163
493720
2336
وه‌لێ، شته‌كه‌ پێكه‌نيناويه، چونكه‌‌
هه‌ندێ جار خه‌ڵك پێم ده‌ڵێن
08:28
"Max, shhh, don't talk like that.
164
496080
2736
ماكس، ششش، به‌و شێوه‌يه‌ قسه‌ مه‌كه‌
08:30
That's Luddite scaremongering."
165
498840
1720
ئه‌مه‌ ترساندنه‌ له‌لايه‌ن
شكێنه‌رى ئامێره‌كانه‌وه‌.
08:34
But it's not scaremongering.
166
502040
1536
وه‌لێ ئه‌مه‌ ترساندن نييه‌
08:35
It's what we at MIT
call safety engineering.
167
503600
2880
ئه‌مه‌ ئه‌وه‌يه‌ كه‌ له ئيم ئاى تى
پێىده‌ڵێن سه‌لامه‌تى ئامێره‌كان‌.
08:39
Think about it:
168
507200
1216
بير له‌وه‌ بكه‌نه‌وه‌
08:40
before NASA launched
the Apollo 11 mission,
169
508440
2216
به‌رله‌وه‌ى ناسا ئه‌پۆلۆى 11
به‌ مهمه‌يه‌ك هه‌ڵبدا
08:42
they systematically thought through
everything that could go wrong
170
510680
3136
به‌ شێوه‌يه‌كى سيستيماتيكى
بيريان له‌ هه‌موو ئه‌و شتانه‌وه‌ كرده‌وه‌
كه‌ ده‌شێ به‌ هه‌ڵه‌ ڕوو بده‌ن
08:45
when you put people
on top of explosive fuel tanks
171
513840
2376
كاتێك كه‌ خه‌ڵكى ده‌خه‌يته‌ سه‌ر ئه‌و
تانكانه‌ى سووته‌مه‌نى كه‌ ده‌ته‌قێنه‌وه‌
08:48
and launch them somewhere
where no one could help them.
172
516240
2616
هه‌روه‌ها بۆ شوێنێ هه‌ڵيان ده‌ده‌ى كه‌
هيچ كه‌سێ ناتوانێ يارمه‌تييان بدا
08:50
And there was a lot that could go wrong.
173
518880
1936
هه‌روه‌ها ده‌شێ زۆر شت هه‌بن
كه‌ هه‌ڵه‌ دروست بكه‌ن
08:52
Was that scaremongering?
174
520840
1480
ئايا ئه‌م خه‌ڵك تۆقاندنه‌؟
08:55
No.
175
523159
1217
نه‌خێر
08:56
That's was precisely
the safety engineering
176
524400
2016
ئه‌مه‌ به‌ وردى سه‌لامه‌تى ئامێره‌كانه‌
08:58
that ensured the success of the mission,
177
526440
1936
كه‌ سه‌ركه‌وتنى مهمه‌كه‌ دڵنيا ده‌كات
09:00
and that is precisely the strategy
I think we should take with AGI.
178
528400
4176
هه‌روه‌ها به‌ وردى ئه‌وه‌ ئه‌و ستراتيژه‌يه‌ كه‌
پێموايه‌ پێويسته‌ له‌گه‌ڵ ز.د.گ دا بگيرێته‌به‌ر
09:04
Think through what can go wrong
to make sure it goes right.
179
532600
4056
بيركردنه‌وه‌ له‌وه‌ى
ده‌شێ چ هه‌ڵه‌يه‌ك ڕوو بدا
بۆئه‌وه‌ى دڵنيا بيت له‌وه‌ى
كه‌ شته‌كان به‌ڕاستى به‌ڕێوه‌ده‌چن
09:08
So in this spirit,
we've organized conferences,
180
536680
2536
له‌به‌ر ئه‌وه‌ به‌م ڕۆحه‌وه‌
كۆنگره‌كانمان ڕێكخست
09:11
bringing together leading
AI researchers and other thinkers
181
539240
2816
هه‌ردووكيانمان پێكه‌وه‌ هێنا پێشه‌نگى
توێژه‌رانى ز.د و مفكره‌كانى ديكه‌
09:14
to discuss how to grow this wisdom
we need to keep AI beneficial.
182
542080
3736
بۆ قسه‌كردن له‌سه‌ر ئه‌وه‌ى چۆن ئه‌م داناييه‌
گه‌شه‌ پێ بده‌ين تا ز د سووتمه‌ند بێ
09:17
Our last conference
was in Asilomar, California last year
183
545840
3296
دوا كۆنگره‌مان له‌ ئه‌سيلۆمار
كاليفۆرنيا بوو ساڵى ڕابردوو
09:21
and produced this list of 23 principles
184
549160
3056
هه‌روه‌ها ئه‌م ليسته‌مان به 23‌
بنه‌ماوه‌ دروست كرد
09:24
which have since been signed
by over 1,000 AI researchers
185
552240
2896
كه‌ له‌و كاته‌وه‌ له‌لايه‌ن هه‌زار
توێژه‌رى ز.د ه‌وه‌ ئيمزا كراوه‌
09:27
and key industry leaders,
186
555160
1296
هه‌روه‌ها له‌لايه‌ن كۆمه‌ڵێك له‌
سه‌رۆكى پيشه‌سازييه‌كانيشه‌وه‌
09:28
and I want to tell you
about three of these principles.
187
556480
3176
هه‌روه‌ها ده‌مه‌وێ ده‌رباره‌ى
ئه‌م سێ بنه‌مايه‌ قسه‌تان بۆ بكه‌م
09:31
One is that we should avoid an arms race
and lethal autonomous weapons.
188
559680
4960
يه‌كێك له‌وانه‌ پێويسته‌ له‌ پێشبڕكێى چه‌كدارى
و چه‌كى سه‌ربه‌خۆى فه‌وتێنه‌ر
خۆمان به‌دوور بگرين
09:37
The idea here is that any science
can be used for new ways of helping people
189
565480
3616
بيرۆكه‌كه‌ لێره‌دا له‌وه‌دايه‌
هه‌ر زانستێك ده‌شێ بۆ
ڕێگاى تازه‌ى يارمه‌تيدانى خه‌ڵك به‌كار بێت
09:41
or new ways of harming people.
190
569120
1536
يان بۆ ڕێگه‌ى تازه‌ى ئازاردانى خه‌ڵك
09:42
For example, biology and chemistry
are much more likely to be used
191
570680
3936
بۆ نموونه‌، بايۆلۆژى و كيميا
زياتربه‌كارهاتوون
09:46
for new medicines or new cures
than for new ways of killing people,
192
574640
4856
بۆ ده‌رمانى نوێ، يان چاره‌سه‌رى نوێ،
زياتر له‌ ڕێگاى تازه بۆ كوشتنى خه‌ڵك
09:51
because biologists
and chemists pushed hard --
193
579520
2176
چونكه‌ بايۆلۆژيزان و كيميازانه‌كان
سه‌رسه‌ختانه‌ كاريان كرد‌
09:53
and successfully --
194
581720
1256
هه‌روه‌ها به‌شێوه‌يه‌كى سه‌ركه‌وتووانه‌ش
09:55
for bans on biological
and chemical weapons.
195
583000
2176
بۆ قه‌ده‌غه‌كردنى چه‌كى بايۆلۆژى و كيميايى
09:57
And in the same spirit,
196
585200
1256
به‌ هه‌مان ڕۆحه‌وه‌
09:58
most AI researchers want to stigmatize
and ban lethal autonomous weapons.
197
586480
4440
زۆربه‌ى توێژه‌رانى ز.د يش ده‌يانه‌وێ ئيدانه‌ و
قه‌ده‌غه‌ى چه‌كه‌ كوژه‌ره‌ سه‌ربه‌خۆكان بكه‌ن
10:03
Another Asilomar AI principle
198
591600
1816
يه‌كێكى ديكه‌ له‌ پره‌نسيپه‌كانى
ئه‌سيلۆماربۆ ز.د
10:05
is that we should mitigate
AI-fueled income inequality.
199
593440
3696
ئه‌وه‌يه‌ پێويسته‌ ئه‌و نايه‌كسانييه‌ ‌
كه‌م بكه‌ينه‌وهكه‌ تايبه‌ته‌ به‌ بودجه‌ى ز.د
10:09
I think that if we can grow
the economic pie dramatically with AI
200
597160
4456
له‌و باوه‌ڕه‌دام ده‌توانين به‌شێوه‌يه‌كى دراماتيكى،
ئابووريى پاى له‌گه‌ڵ ز.د دا گه‌شه‌ پێ بده‌ين
10:13
and we still can't figure out
how to divide this pie
201
601640
2456
هه‌روه‌ها هيشتا ناتوانين ئه‌وه‌ بزانين
كه‌ چۆن ئه‌م پايه‌ دابه‌ش بكه‌ين
10:16
so that everyone is better off,
202
604120
1576
به‌و شێوه‌يه‌ى كه‌ هه‌مووان
له‌ دۆخێكى باشتردا بن
10:17
then shame on us.
203
605720
1256
10:19
(Applause)
204
607000
4096
كه‌واته‌ ئه‌وه‌ نه‌نگييه‌ بۆ ئێمه‌
(چه‌پڵه‌لێدان)
10:23
Alright, now raise your hand
if your computer has ever crashed.
205
611120
3600
باشه‌،ئێستا ده‌ست به‌رز بكه‌ره‌وه‌، ئه‌گه‌ر
جارێ له‌ جاران كۆمپيوته‌ره‌كه‌ت شكا بێ
10:27
(Laughter)
206
615480
1256
(پێكه‌نين)
10:28
Wow, that's a lot of hands.
207
616760
1656
واو، ئه‌وه‌ ژماره‌يه‌كى زۆره‌ له‌ ده‌ست
10:30
Well, then you'll appreciate
this principle
208
618440
2176
كه‌واته‌ تۆ پێزانينت
ده‌بێت بۆ ئه‌م پره‌نسيپه‌
10:32
that we should invest much more
in AI safety research,
209
620640
3136
ئه‌ويش ئه‌وه‌يه‌ پێويسته‌ سه‌رمايه‌ى زياتر
له‌ توێژينه‌وه‌كانى
سه‌لامه‌تى ز.د دا بخه‌ينه‌گه‌ڕ
10:35
because as we put AI in charge
of even more decisions and infrastructure,
210
623800
3656
چونكه‌ ئه‌گه‌ر زيره‌كى ده‌ستكرد
بكه‌ينه‌ به‌رپرسيارى
10:39
we need to figure out how to transform
today's buggy and hackable computers
211
627480
3616
ته‌نانه‌ت بڕيارى زياتر و ژێرخانى ئابوورى‌
پێويستمان به‌وه‌يه‌ چۆن ئه‌م كۆمپيوته‌ره‌ شێت و
قابيلى هاككردنانه‌ى ئه‌مڕۆ بگوازينه‌وه‌
10:43
into robust AI systems
that we can really trust,
212
631120
2416
بۆ سيستمى به‌هێزى ز.د كه‌ به‌ڕاستى
بتوانين متمانه‌يان پێ بكه‌ين
10:45
because otherwise,
213
633560
1216
چونكه‌ ئه‌گه‌ر وانه‌بێ
10:46
all this awesome new technology
can malfunction and harm us,
214
634800
2816
هه‌موو ئه‌م ته‌كنۆلۆژيا باشانه‌ ده‌شێ
شكست بێنن و زيانمان پێ بگه‌يه‌نن
10:49
or get hacked and be turned against us.
215
637640
1976
يان هاك بكرێن و له‌ دژى
خۆمان هه‌ڵبگه‌ڕێنه‌وه‌
10:51
And this AI safety work
has to include work on AI value alignment,
216
639640
5696
هه‌روه‌ها هه‌موو ئه‌م كارى سه‌لامه‌تيه‌ش
پێويسته‌ به‌هاى بێلايه‌نى ز.د له‌خۆ بگرێ
10:57
because the real threat
from AGI isn't malice,
217
645360
2816
چونكه‌ هه‌ڕه‌شه‌ى ڕاسته‌قينه‌ له‌لايه‌ن
ز.د.گ-ه‌وه ڕقوكينه‌ نييه‌‌
11:00
like in silly Hollywood movies,
218
648200
1656
وه‌ك فيلمه‌ بێماناكانى هۆليۆد
11:01
but competence --
219
649880
1736
وه‌لێ توانسته‌
11:03
AGI accomplishing goals
that just aren't aligned with ours.
220
651640
3416
به‌ديهێنانى ئامانجه‌كانى ز.د.گ
له‌گه‌ڵ ئێمه‌دا ناچێ به‌ڕێوه‌
11:07
For example, when we humans drove
the West African black rhino extinct,
221
655080
4736
بۆنموونه‌ كاتێك ئێمه‌ى بنياده‌م ئاژه‌ڵى
تاك شاخمان له‌خۆرئاواى ئه‌فه‌ريقا قڕ تێخست
11:11
we didn't do it because we were a bunch
of evil rhinoceros haters, did we?
222
659840
3896
ئێمه‌ وامان نه‌كرد له‌به‌ر ئه‌وه‌ى
ئێمه كۆمه‌ڵێك شه‌يتان بووين و
ڕقمان له‌ تاك شاخ بوو، وا بووين؟‌
11:15
We did it because
we were smarter than them
223
663760
2056
وامان كرد، چونكه‌ ئێمه‌
له‌وان زيره‌كتر بووين
11:17
and our goals weren't aligned with theirs.
224
665840
2576
ئامانجه‌كانى ئێمه‌ش
له‌گه‌ڵ ئه‌واندا نه‌ده‌گونجان
11:20
But AGI is by definition smarter than us,
225
668440
2656
وه‌لێ ز.د.گ له‌ پێناسه‌كه‌يه‌وه‌
له‌ ئێمه‌ زيره‌كتره‌
11:23
so to make sure that we don't put
ourselves in the position of those rhinos
226
671120
3576
كه‌واته‌ بۆ ئه‌وه‌ى دڵنيا بين
له‌وه‌ى كه‌ خۆمان
نه‌خه‌ينه‌ بارودۆخێكى
وه‌ك ئه‌و تاك شاخانه‌وه‌
11:26
if we create AGI,
227
674720
1976
ئه‌گه‌ر ئێمه‌ ز.د.گ بخوڵقێنين
11:28
we need to figure out how
to make machines understand our goals,
228
676720
4176
پێويستمان به‌وه‌يه‌ بزانين چۆن وا له‌م
ئامێرانه‌ بكه‌ين له‌ ئامانجه‌كانى ئێمه‌ تێبگا
11:32
adopt our goals and retain our goals.
229
680920
3160
ئامانجه‌كانمان له‌خۆبگرێ و
پارێزگارييان لێ بكات
11:37
And whose goals should these be, anyway?
230
685320
2856
هه‌روه‌ها ئه‌م ئامانجانه‌ پيويسته‌
ئامانجى كێ بن، هه‌ر چۆنێ بێت؟
11:40
Which goals should they be?
231
688200
1896
پێوسته‌ ئامانجه‌كان چى بن؟
11:42
This brings us to the third part
of our rocket metaphor: the destination.
232
690120
3560
ئه‌مه‌ به‌ره‌و به‌شى سێيه‌ممان ده‌بات
له‌ ڕۆكێته‌ مه‌جازيه‌كه‌: شوێنى مه‌به‌ست
11:47
We're making AI more powerful,
233
695160
1856
وا له‌ ز.د ده‌كه‌ين كه‌ زياتر به‌هێز بێت
11:49
trying to figure out how to steer it,
234
697040
1816
هه‌وڵ ده‌ده‌ين ئه‌وه‌ بزانين
كه‌ چۆن ئاڕاسته‌ى بكه‌ين
11:50
but where do we want to go with it?
235
698880
1680
وه‌لێ ده‌مانه‌وێ بۆ كوێ
ئاڕاسته‌ى بكه‌ين؟
11:53
This is the elephant in the room
that almost nobody talks about --
236
701760
3656
ئه‌مه‌ "فيله‌كه‌يه‌ له‌ناو ژووره‌كه‌دا" كه‌
كه‌س نايه‌وێ له‌باره‌يه‌وه‌ قسه‌ بكات
11:57
not even here at TED --
237
705440
1856
ته‌نانه‌ت لێره‌ش له‌ تێد
11:59
because we're so fixated
on short-term AI challenges.
238
707320
4080
چونكه‌ ته‌ركيزمان چڕكرۆدته‌وه‌ له‌سه‌ر
ڕووبه‌ڕووبوونه‌وه‌ى كورتخايه‌نى ز.د
12:04
Look, our species is trying to build AGI,
239
712080
4656
ته‌ماشاكه‌، توخمى ئێمه‌ ده‌يه‌وێ
ز.د دروست بكات
12:08
motivated by curiosity and economics,
240
716760
3496
كه‌ كونجكوڵى و ئابوورى هانده‌رى بوون
12:12
but what sort of future society
are we hoping for if we succeed?
241
720280
3680
وه‌لێ چ جۆره‌ كۆمه‌ڵگه‌يه‌كى دواڕۆژ
ده‌خوازين ئه‌گه‌ر سه‌ركه‌وتين؟
12:16
We did an opinion poll on this recently,
242
724680
1936
به‌م دواييانه‌ ڕاپرسيه‌كمان كرد
12:18
and I was struck to see
243
726640
1216
هه‌روه‌ها تووشى شۆك
بووم كه‌ بينيم
12:19
that most people actually
want us to build superintelligence:
244
727880
2896
زۆربه‌ى خه‌ڵك له‌ڕاستيدا ده‌يانه‌وێ
ئێمه‌ سوپه‌ر زيره‌كى دروست بكه‌ين
12:22
AI that's vastly smarter
than us in all ways.
245
730800
3160
ئه‌و ز.د كه‌ له‌ هه‌موو
ڕوويه‌كه‌وه‌ له‌ ئێمه‌ زيره‌كتر بێت
12:27
What there was the greatest agreement on
was that we should be ambitious
246
735120
3416
گه‌وره‌ترين ڕێكه‌وتن هه‌بووكه‌ ئێمه‌
پێويسته‌ خواستمان هه‌بێت
12:30
and help life spread into the cosmos,
247
738560
2016
هه‌وڵ بده‌ين ژيان له‌ناو
گه‌ردووندا بڵاو بكه‌ينه‌وه‌
12:32
but there was much less agreement
about who or what should be in charge.
248
740600
4496
وه‌لێ ڕێكه‌وتنى كه‌متر هه‌بوو
له‌سه‌ر ئه‌وه‌ى كێ ده‌بێت به‌رپرسيار بێت،
12:37
And I was actually quite amused
249
745120
1736
له‌ڕاستيدا ته‌واو چێژم بينى
12:38
to see that there's some some people
who want it to be just machines.
250
746880
3456
له‌ بينينى ئه‌وه‌ى كه‌ هه‌ندێ خه‌ڵك
ده‌يانه‌وێ ته‌نيا ئامێره‌كان بن
12:42
(Laughter)
251
750360
1696
(پێكه‌نين)
12:44
And there was total disagreement
about what the role of humans should be,
252
752080
3856
هه‌روه‌ها ڕێنه‌كه‌وتنى ته‌واو هه‌بوو
ده‌رباره‌ى ڕۆڵى مرۆڤ ده‌بێت چى بێت
12:47
even at the most basic level,
253
755960
1976
ته‌نانه‌ت له‌ ئاسته
هه‌ره‌ سه‌ره‌كييه‌كاندا‌
12:49
so let's take a closer look
at possible futures
254
757960
2816
كه‌واته‌ با سه‌رنجێكى نزيكتر بده‌ين
له‌ دواڕۆژى ڕێتێچوو
12:52
that we might choose
to steer toward, alright?
255
760800
2736
له‌وانه‌يه‌ ئه‌وه‌ هه‌ڵبژێرين كه‌
به‌ره‌و ڕووى بڕۆين ، باشه‌؟
12:55
So don't get be wrong here.
256
763560
1336
كه‌واته‌ به‌ هه‌ڵه‌ لێم تێمه‌گه‌ن
12:56
I'm not talking about space travel,
257
764920
2056
من باسى گه‌شتى فه‌زايى ناكه‌م
12:59
merely about humanity's
metaphorical journey into the future.
258
767000
3200
ته‌نيا باسى گه‌شتى مه‌جازى
مرۆڤايه‌تى ده‌كه‌م به‌ره‌و دواڕۆژ‌.
13:02
So one option that some
of my AI colleagues like
259
770920
3496
يه‌كێك له‌ هه‌ڵبژارده‌كان كه‌ ژماره‌يه‌ك
له‌ هاوكارانم له‌ ز.د حه‌زيان لێيه‌تى
13:06
is to build superintelligence
and keep it under human control,
260
774440
3616
ئه‌وه‌يه‌ سوپه‌ر زيره‌كى دروست بكه‌ين و
له‌ژێر كۆنترۆڵى مرۆڤدا بيهێڵينه‌وه‌
13:10
like an enslaved god,
261
778080
1736
وه‌ك كۆيله‌ى خودا
13:11
disconnected from the internet
262
779840
1576
له‌ ئينته‌رنێت دايببڕين
13:13
and used to create unimaginable
technology and wealth
263
781440
3256
هه‌روه‌ها به‌كارى بێنين بۆ دروستكردنى
ته‌كنۆلۆژيا و سه‌روه‌تى وێنەنه‌كراو
13:16
for whoever controls it.
264
784720
1240
بۆ به‌رژه‌وه‌نىدى هه‌ركه‌سێ
كه‌ كۆنترۆڵى ئه‌مه‌ ده‌كات
13:18
But Lord Acton warned us
265
786800
1456
وه‌لێ ئاكتۆن خوداوه‌ند
ئاگادارمان ده‌كاته‌وه‌
13:20
that power corrupts,
and absolute power corrupts absolutely,
266
788280
3616
كه‌ هێز گه‌نده‌ڵ ده‌بێت، هه‌روه‌ها
هێزى ڕه‌ها به‌ ڕه‌هايى گه‌نده‌ڵ ده‌بێت‌
13:23
so you might worry that maybe
we humans just aren't smart enough,
267
791920
4056
كه‌واته‌ ده‌شێ نائارام بيت كه‌ له‌وانه‌يه‌
بنياده‌م به‌شى پێويست زيره‌ك نه‌بێ
13:28
or wise enough rather,
268
796000
1536
يان حه‌كيم نه‌بێت وه‌ك پێويست
13:29
to handle this much power.
269
797560
1240
تا هێزێكى وا گه‌وره‌
كۆنترۆڵ بكات.
13:31
Also, aside from any
moral qualms you might have
270
799640
2536
هه‌روه‌ها به‌چاوپۆشين له‌ مۆراڵى
هه‌ستكردن به‌ ئازارى ويژدانيش
13:34
about enslaving superior minds,
271
802200
2296
ده‌رباره‌ى كۆنترۆڵكردنى سوپه‌ر مێشك
13:36
you might worry that maybe
the superintelligence could outsmart us,
272
804520
3976
ده‌شێ نائارام بيت له‌وه‌ى كه‌ له‌وانه‌يه‌
سوپه‌ر زيره‌كى زيره‌كتر بێت له‌ ئێمه‌
13:40
break out and take over.
273
808520
2240
فێڵمان لێ بكات و كۆنترۆڵمان بكات
13:43
But I also have colleagues
who are fine with AI taking over
274
811560
3416
وه‌لێ ئه‌و هاوكارانه‌شم هه‌ن به‌لايانه‌وه‌
ئاساييه‌ كه‌ ز.د جێگره‌وه‌ بێ
13:47
and even causing human extinction,
275
815000
2296
هه‌روه‌ها ته‌نانه‌ت ببێته‌
هۆى قڕكردنى مرۆڤيش
13:49
as long as we feel the the AIs
are our worthy descendants,
276
817320
3576
مادام ئێمه‌ وا هه‌ست ده‌كه‌ين كه‌
ز.د ه‌كان نه‌وه‌ى شايسته‌ى ئێمه‌ن
13:52
like our children.
277
820920
1736
وه‌ك منداڵه‌كانمان
13:54
But how would we know that the AIs
have adopted our best values
278
822680
5616
وه‌لێ چۆن ئه‌وه‌ بزانين كه‌ ز.د ه‌كان
باشترين به‌هاكانى ئێمه‌يان هه‌ڵگرتۆته‌وه‌
14:00
and aren't just unconscious zombies
tricking us into anthropomorphizing them?
279
828320
4376
ته‌نيا زومبى بێئاگا نين فێڵمان لێ بكه‌ن
كه‌ وه‌ك مرۆڤ مامه‌ڵه‌مان له‌گه‌ڵ كردوون
14:04
Also, shouldn't those people
who don't want human extinction
280
832720
2856
هه‌روه‌ها ئه‌و خه‌ڵكه‌ش كه‌
نايانه‌وێ مرۆڤ قڕببێت
14:07
have a say in the matter, too?
281
835600
1440
ئايا نابێت له‌ كێشه‌كه‌دا
قسه‌يه‌كيان هه‌بێت؟
14:10
Now, if you didn't like either
of those two high-tech options,
282
838200
3376
ئيستا گه‌ر حه‌زمان له‌ هيچ كام نه‌بێ له‌م
دوو هه‌ڵبژارده‌ ته‌كنۆلۆژيه‌ باڵايه‌‌‌
14:13
it's important to remember
that low-tech is suicide
283
841600
3176
ئه‌وه‌ گرنگه‌ له‌ بيرمان بێت كه‌
ته‌كنۆلۆژياى نزميش خۆكوژييه‌
14:16
from a cosmic perspective,
284
844800
1256
له‌ ڕوانگه‌ى گه‌ردوونه‌وه‌
14:18
because if we don't go far
beyond today's technology,
285
846080
2496
چونكه‌ ئه‌گه‌ر ئێمه‌ دوورتر نه‌ڕۆين
بۆ ئه‌وديوى ته‌كنۆلۆژياى ئه‌مڕۆ
14:20
the question isn't whether humanity
is going to go extinct,
286
848600
2816
ئه‌وا پرسياره‌كه‌ ئه‌وه‌ نييه‌
ئايا مرۆڤايه‌تى به‌ره‌و قڕبوون ده‌چێ؟
14:23
merely whether
we're going to get taken out
287
851440
2016
ئيدى ته‌نيا به‌ره‌و ئه‌وه‌
ده‌چين كه‌ كۆنترۆڵ بكرێين
14:25
by the next killer asteroid, supervolcano
288
853480
2136
له‌لايه‌ن بكوژى داهاتووه‌وه‌
ئه‌ستێره‌، بوركانه‌ زه‌به‌لاحه‌كان
14:27
or some other problem
that better technology could have solved.
289
855640
3096
يا هه‌ندێ كێشه‌ى دى كه‌ ته‌كنۆلۆژيايه‌كى
باشتر له‌ توانايدا ده‌بوو چاره‌سه‌ريان بكا
14:30
So, how about having
our cake and eating it ...
290
858760
3576
كه‌واته‌ ئه‌ڵێن چى كێكه‌كه‌ى خۆمان
هه‌بێت و ده‌ست به‌ خواردنى بكه‌ين
14:34
with AGI that's not enslaved
291
862360
1840
له‌گه‌ڵ ز.د دا كه‌ كۆنترۆڵكه‌ر نه‌بێت
14:37
but treats us well because its values
are aligned with ours?
292
865120
3176
به‌ڵكو به‌باشى مامه‌ڵه‌مان بكا، چونكه‌
به‌هاكانى له‌گه‌ڵ ئێمه‌دا له‌سه‌ر يه‌ك هێڵن؟
14:40
This is the gist of what Eliezer Yudkowsky
has called "friendly AI,"
293
868320
4176
ئه‌مه‌ جه‌وهه‌رى ئه‌وه‌يه‌ كه‌
ئليژه‌ر يۆدۆسكى به‌ زد ى هاوڕێيانه‌ ناوى ناوه‌
14:44
and if we can do this,
it could be awesome.
294
872520
2680
هه‌روه‌ها ئه‌گه‌ر بتوانين ئه‌وه‌
بكه‌ين ئه‌وه‌ شتێكى نايابه‌
14:47
It could not only eliminate negative
experiences like disease, poverty,
295
875840
4816
نه‌ك ته‌نيا ئه‌زموونه‌ نێگه‌تيڤه‌كان
له‌ناوبه‌رێ وه‌ك نه‌خۆشى، هه‌ژارى
14:52
crime and other suffering,
296
880680
1456
تاوان و كۆژانه‌كانى ديكه‌،
14:54
but it could also give us
the freedom to choose
297
882160
2816
به‌ڵكو له‌وانه‌يه‌ ئازاديمان
بداتێ بۆ هه‌ڵبژاردن
14:57
from a fantastic new diversity
of positive experiences --
298
885000
4056
له فرجۆرييه‌كى نوێى نايابى
ئه‌زموونه‌ پۆزه‌تيڤه‌كان‌
15:01
basically making us
the masters of our own destiny.
299
889080
3160
به‌ شێوه‌يه‌كى سه‌ره‌كى وامان لێ ده‌كا
كۆنترۆڵى چاره‌نووسى خۆمان بكه‌ين.
15:06
So in summary,
300
894280
1376
كه‌واته‌ به‌ كورتى
15:07
our situation with technology
is complicated,
301
895680
3096
دۆخى ئێمه‌ له‌گه‌ڵ ته‌كنۆلۆژيادا ئاڵۆزه‌
15:10
but the big picture is rather simple.
302
898800
2416
وه‌لێ وێنه‌ گه‌وره‌كه‌ زياتر ساده‌يه‌
15:13
Most AI researchers
expect AGI within decades,
303
901240
3456
زۆربه‌ى توێژه‌رانى ز.د پێبشينى ز.د ى
گشتى ده‌كه‌ن له‌ چه‌ند ده‌يه‌ى داهاتوودا
15:16
and if we just bumble
into this unprepared,
304
904720
3136
هه‌روه‌ها ئه‌گه‌ر ته‌نيا به‌ شڵه‌ژاوى
هه‌ڵسوكه‌وت بكه‌ين، خۆئاماده‌نه‌كه‌ين
15:19
it will probably be
the biggest mistake in human history --
305
907880
3336
ئه‌وه‌ له‌وانه‌يه‌ گه‌وره‌ترين هه‌ڵه‌ بێت
له‌ مێژووى بنياده‌مدا
15:23
let's face it.
306
911240
1416
با ڕووبه‌ڕووى ببينه‌وه‌
15:24
It could enable brutal,
global dictatorship
307
912680
2576
ده‌شێ واى لێ بكه‌ين كه‌ ديكتاتۆرێكى
جيهانى وه‌حشى بێت
15:27
with unprecedented inequality,
surveillance and suffering,
308
915280
3536
له‌گه‌ڵ نادادوه‌رێكى بێوێنه‌‌
چاودێريكردن و مه‌عاناتدا
15:30
and maybe even human extinction.
309
918840
1976
هه‌روه‌ها ته‌نانه‌ت ده‌شێ قڕبوونى مرۆڤيش
15:32
But if we steer carefully,
310
920840
2320
وه‌لێ ئه‌گه‌ر به‌ورياييه‌وه‌
ئاڕاسته‌مان كرد
15:36
we could end up in a fantastic future
where everybody's better off:
311
924040
3896
ده‌توانين دۆخه‌كه‌
به‌ ئايينده‌يه‌كى سه‌رسامكه‌ره‌وه‌
كۆتايى پێ بێنين كه‌
هه‌موو كه‌س حاڵى باشتر بێت
15:39
the poor are richer, the rich are richer,
312
927960
2376
هه‌ژار ده‌وڵه‌مه‌ند ببێ، ده‌وڵه‌مه‌ند
ده‌وڵه‌مه‌ندتر ببێت
15:42
everybody is healthy
and free to live out their dreams.
313
930360
3960
هه‌موو كه‌س ته‌ندروست ده‌بێ و
ئازاد بێت له‌ خه‌ونه‌كانيدا بژى
15:47
Now, hang on.
314
935000
1536
ئێستاكه‌ش، چاوه‌ڕێكه‌ن
15:48
Do you folks want the future
that's politically right or left?
315
936560
4576
ئێوه‌ خه‌ڵكينه‌ دواڕۆژێكتان ده‌وێ له‌ڕووى
سياسييه‌وه‌ ڕاست بێت، يان چه‌پ؟
15:53
Do you want the pious society
with strict moral rules,
316
941160
2856
كۆمه‌ڵگه‌يه‌كى پوختتان ده‌وێ
له‌گه‌ڵ ڕێساى مۆڕالى توونتدتردا
15:56
or do you an hedonistic free-for-all,
317
944040
1816
يان كۆمه‌ڵگه‌يه‌كى هيندۆنيزمى
ئازاد له‌ هه‌موو شتێك؟
15:57
more like Burning Man 24/7?
318
945880
2216
زياتر حه‌زتان له‌ ڕه‌تانه‌وه‌ى
مرۆڤه‌ 24 سه‌عات حه‌فته‌ى حه‌وت ڕۆژ؟
16:00
Do you want beautiful beaches,
forests and lakes,
319
948120
2416
كه‌نارى جوان،
دارستان و ده‌رياچه‌تان ده‌وێ؟
16:02
or would you prefer to rearrange
some of those atoms with the computers,
320
950560
3416
يان به‌لاتانه‌وه‌ دڵخوازتره‌ سه‌رله‌نوێ هه‌ندێ
له‌ ئه‌تۆمه‌كان به‌ كۆمپيوته‌روه‌ ڕێكبخرێنه‌وه‌
16:06
enabling virtual experiences?
321
954000
1715
وه‌ك ئه‌زموونى واقيعى
بينراو له‌ توانادا بن؟
16:07
With friendly AI, we could simply
build all of these societies
322
955739
3157
له‌گه‌ڵ ز.د دا ده‌توانين به‌ئاسانى هه‌موو
ئه‌م كۆمه‌ڵگايانه‌ دروست بكه‌ين
16:10
and give people the freedom
to choose which one they want to live in
323
958920
3216
هه‌روه‌ها ئازادى به‌ خه‌ڵك بده‌ين
ئه‌وه‌ هه‌ڵبژێرێ كه‌ ده‌يه‌وێ تيادا بژى
16:14
because we would no longer
be limited by our intelligence,
324
962160
3096
چونكه‌ چى دى ئێمه‌
به‌ زيركييه‌كه‌مانه‌وه‌ سنووردار نابين
16:17
merely by the laws of physics.
325
965280
1456
ته‌نيا به‌ هۆى ياساكانى ‌
فيزياوه سنووردار ده‌بين
16:18
So the resources and space
for this would be astronomical --
326
966760
4616
كه‌واته‌ سه‌رچاوه‌ و فه‌زا
بۆ ئه‌مه‌ ئه‌ستێره‌كان ده‌بن
16:23
literally.
327
971400
1320
به‌ ته‌واوه‌تى
16:25
So here's our choice.
328
973320
1200
كه‌واته‌ ئه‌مه‌
هه‌ڵبژاردنه‌كه‌ى ئێمه‌يه‌
16:27
We can either be complacent
about our future,
329
975880
2320
ده‌توانين له‌ دواڕۆژمان ڕازى بين
16:31
taking as an article of blind faith
330
979440
2656
وه‌ك بابه‌تێك له‌ ئيمانێكى
كوێره‌وه‌ وه‌رى بگرين
16:34
that any new technology
is guaranteed to be beneficial,
331
982120
4016
كه‌ هه‌موو ته‌كنۆلۆژيايه‌كى نوێ
گره‌نتييه‌ كه‌ سوودمه‌ند بێت
16:38
and just repeat that to ourselves
as a mantra over and over and over again
332
986160
4136
هه‌روه‌ها ئه‌وه‌ بۆ خۆمان وه‌ك مانترا-يه‌ك
دوباره‌ بكه‌ينه‌وه‌، جار له‌ دواى جار
16:42
as we drift like a rudderless ship
towards our own obsolescence.
333
990320
3680
هه‌روه‌ك كه‌شتييه‌كى بێ سووكان
به‌رو فه‌وتانى خۆمان ده‌خليسكێين
16:46
Or we can be ambitious --
334
994920
1880
يان ده‌توانين خواستمان هه‌بێت
16:49
thinking hard about how
to steer our technology
335
997840
2456
به‌ چاكى بيربكه‌ينه‌وه‌ ده‌رباره‌ى
چۆن ته‌كنۆلۆژياكه‌مان ئاڕاسته‌ بكه‌ين
16:52
and where we want to go with it
336
1000320
1936
هه‌روه‌ها ده‌مانه‌وێ بۆ كوێ بڕۆين پێى
16:54
to create the age of amazement.
337
1002280
1760
بۆ ئه‌وه‌ى سه‌رده‌مێكى
سه‌رسامكه‌ر بخوڵقێنين‌
16:57
We're all here to celebrate
the age of amazement,
338
1005000
2856
ئێمه‌ هه‌موومان لێره‌ين بۆ ئاهه‌نگگێڕان
بۆ سه‌رده‌مێكى سه‌رسامكه‌ر
16:59
and I feel that its essence should lie
in becoming not overpowered
339
1007880
4440
هه‌روه‌ها هه‌ست ده‌كه‌م
ده‌بێ جه‌وهه‌ره‌كه‌ى
به‌ جۆرێ درێژ بكرێته‌وه‌
كه ده‌سه‌ڵاتدار نه‌بێ‌ ‌
17:05
but empowered by our technology.
340
1013240
2616
به‌ڵكو به‌هێز بكرێ له‌لايه‌ن
ته‌كنۆلۆياكه‌ى خۆمانه‌وه‌.
17:07
Thank you.
341
1015880
1376
سوپاس
17:09
(Applause)
342
1017280
3080
(چه‌پڵه‌لێدان)
Translated by Suzan Jamal

▲Back to top

ABOUT THE SPEAKER
Max Tegmark - Scientist, author
Max Tegmark is driven by curiosity, both about how our universe works and about how we can use the science and technology we discover to help humanity flourish rather than flounder.

Why you should listen

Max Tegmark is an MIT professor who loves thinking about life's big questions. He's written two popular books, Our Mathematical Universe: My Quest for the Ultimate Nature of Reality and the recently published Life 3.0: Being Human in the Age of Artificial Intelligenceas well as more than 200 nerdy technical papers on topics from cosmology to AI.

He writes: "In my spare time, I'm president of the Future of Life Institute, which aims to ensure that we develop not only technology but also the wisdom required to use it beneficially."

More profile about the speaker
Max Tegmark | Speaker | TED.com