ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com
TED2015

Nick Bostrom: What happens when our computers get smarter than we are?

ניק בוסטרום: מה קורה כשהמחשבים שלנו נעשים יותר חכמים מאיתנו?

Filmed:
4,632,705 views

בינה מלאכותית נהיית חכמה בקפיצות ענק -- במאה הזו, המחקר מציע, שבינה מלאכותית תוכל להיות "חכמה" כמו אדם. ואז, אומר ניק בוסטרום, היא תעקוף אותנו: "בינת מכונות היא ההמצאה האחרונה שאי פעם נצטרך לעשות." הפילוסוף והטכנולוג, בוסטרום מבקש מאיתנו לחשוב טוב על העולם שאנחנו בונים עכשיו, שמונע על ידי מכונות חושבות. האם המכונות החכמות שלנו יעזרו לנו לשמור על ערכי האנושות -- או האם יהיו להן ערכים משלהן?
- Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us? Full bio

Double-click the English transcript below to play the video.

00:12
I work with a bunchצְרוֹר of mathematiciansמתמטיקאים,
philosophersפילוסופים and computerמַחשֵׁב scientistsמדענים,
0
570
4207
אני עובד עם חבורה
של מתמטיקאים, פילוסופים ומדעני מחשב.
00:16
and we sitלָשֶׁבֶת around and think about
the futureעתיד of machineמְכוֹנָה intelligenceאינטליגנציה,
1
4777
5209
ואנחנו יושבים וחושבים
על העתיד של אינטיליגנצית מכונות,
00:21
amongבין other things.
2
9986
2044
בין דברים אחרים.
00:24
Some people think that some of these
things are sortסוג of scienceמַדָע fiction-yבדיוני-י,
3
12030
4725
כמה אנשים חושבים שכמה מהדברים האלה
הם סוג של מדע בדיוני,
00:28
farרָחוֹק out there, crazyמְטוּרָף.
4
16755
3101
רחוקים מאוד, משוגעים.
00:31
But I like to say,
5
19856
1470
אבל אני אוהב לומר,
00:33
okay, let's look at the modernמוֹדֶרנִי
humanבן אנוש conditionמַצָב.
6
21326
3604
אוקיי, בואו נביט במצב האנושי המודרני.
00:36
(Laughterצחוק)
7
24930
1692
(צחוק)
00:38
This is the normalנוֹרמָלִי way for things to be.
8
26622
2402
זאת הדרך הנורמלית של הדברים.
00:41
But if we think about it,
9
29024
2285
אבל אם נחשוב על זה,
00:43
we are actuallyלמעשה recentlyלאחרונה arrivedהגיע
guestsאורחים on this planetכוכב לכת,
10
31309
3293
אנחנו למעשה אורחים
שהגיעו לאחרונה לפלנטה הזו,
00:46
the humanבן אנוש speciesמִין.
11
34602
2082
המין האנושי.
00:48
Think about if Earthכדור הארץ
was createdשנוצר one yearשָׁנָה agoלִפנֵי,
12
36684
4746
חשבו על אם כדור הארץ היה נוצר לפני שנה,
00:53
the humanבן אנוש speciesמִין, then,
would be 10 minutesדקות oldישן.
13
41430
3548
המין האנושי, אז, היה בן 10 דקות.
00:56
The industrialתַעֲשִׂיָתִי eraתְקוּפָה startedהתחיל
two secondsשניות agoלִפנֵי.
14
44978
3168
המהפכה התעשייתית התחילה לפני שתי שניות.
01:01
Anotherאַחֵר way to look at this is to think of
worldעוֹלָם GDPתמ"ג over the last 10,000 yearsשנים,
15
49276
5225
דרך נוספת להביט בזה היא לחשוב על התוצר
הלאומי הגולמי ב 10,000 השנים האחרונות,
01:06
I've actuallyלמעשה takenנלקח the troubleצרות
to plotעלילה this for you in a graphגרָף.
16
54501
3029
אני למעשה טרחתי לצייר את זה
על גרף בשבילכם.
01:09
It looksנראה like this.
17
57530
1774
זה נראה כך.
01:11
(Laughterצחוק)
18
59304
1363
(צחוק)
01:12
It's a curiousסקרן shapeצוּרָה
for a normalנוֹרמָלִי conditionמַצָב.
19
60667
2151
זו צורה מוזרה למצב נורמלי.
01:14
I sure wouldn'tלא want to sitלָשֶׁבֶת on it.
20
62818
1698
אני מאוד לא הייתי רוצה לשבת על זה.
01:16
(Laughterצחוק)
21
64516
2551
(צחוק)
01:19
Let's askלִשְׁאוֹל ourselvesבְּעָצמֵנוּ, what is the causeגורם
of this currentנוֹכְחִי anomalyאֲנוֹמַלִיָה?
22
67067
4774
בואו נשאל את עצמנו,
מהי הסיבה לאנומליה הנוכחית?
01:23
Some people would say it's technologyטֶכנוֹלוֹגִיָה.
23
71841
2552
כמה אנשים היו אומרים שזו טכנולוגיה.
01:26
Now it's trueנָכוֹן, technologyטֶכנוֹלוֹגִיָה has accumulatedצָבוּר
throughדרך humanבן אנוש historyהִיסטוֹרִיָה,
24
74393
4668
עכשיו זה נכון, הטכנולוגיה הצטברה
במהלך ההסטוריה האנושית,
01:31
and right now, technologyטֶכנוֹלוֹגִיָה
advancesההתקדמות extremelyמְאוֹד rapidlyמַהֵר --
25
79061
4652
וממש עכשיו, ההתקדמות הטכנולוגית
היא ממש מהירה --
01:35
that is the proximateסָמוּך causeגורם,
26
83713
1565
זו הסיבה המשוערת,
01:37
that's why we are currentlyכַּיוֹם
so very productiveפּרוּדוּקטִיבִי.
27
85278
2565
לכן אנחנו כל כך פרודוקטיביים עכשיו.
01:40
But I like to think back furtherנוסף
to the ultimateסופי causeגורם.
28
88473
3661
אבל אני רוצה לחשוב אחורה יותר
לסיבה האולטימטיבית.
01:45
Look at these two highlyמְאוֹד
distinguishedנִכבָּד gentlemenרבותי:
29
93114
3766
הביטו בשני האדונים המאוד נבדלים האלה:
01:48
We have Kanziקאנזי --
30
96880
1600
יש לנו את קנזי --
01:50
he's masteredשולט 200 lexicalלֵקסִיקָלִי
tokensאסימונים, an incredibleמדהים featמַעֲלָל.
31
98480
4643
הוא שולט ב 200 מונחים לשוניים,
מטלה מדהימה.
01:55
And Edאד WittenWitten unleashedשוחרר the secondשְׁנִיָה
superstringסופרסטרינג revolutionמַהְפֵּכָה.
32
103123
3694
ואד וויטן שיחרר את מהפכת מיתרי העל השניה.
01:58
If we look underתַחַת the hoodבַּרדָס,
this is what we find:
33
106817
2324
אם נביט מתחת למכסה המנוע, זה מה שנמצא:
02:01
basicallyבעיקרון the sameאותו thing.
34
109141
1570
בעיקרון אותו הדבר.
02:02
One is a little largerיותר גדול,
35
110711
1813
אחד גדול מעט יותר,
02:04
it maybe alsoגַם has a fewמְעַטִים tricksטריקים
in the exactמְדוּיָק way it's wiredקווית.
36
112524
2758
אולי יש לו גם כמה טריקים
בצורה בה הוא מחווט.
02:07
These invisibleבלתי נראה differencesהבדלים cannotלא יכול
be too complicatedמסובך, howeverלמרות זאת,
37
115282
3812
ההבדלים הבלתי נראים לא יכולים
להיות כל כך מסובכים, עם זאת,
02:11
because there have only
been 250,000 generationsדורות
38
119094
4285
מפני שיש הבדל של 250,000 דורות בלבד
02:15
sinceמאז our last commonמשותף ancestorאָב קַדמוֹן.
39
123379
1732
מאז האב המשותף שלנו.
02:17
We know that complicatedמסובך mechanismsמנגנונים
take a long time to evolveלְהִתְפַּתֵחַ.
40
125111
3849
אנחנו יודעים שלמנגנונים מורכבים
לוקח זמן רב להתפתח.
02:22
So a bunchצְרוֹר of relativelyיחסית minorקַטִין changesשינויים
41
130000
2499
אז כמה שינויים יחסית קטנים
02:24
take us from Kanziקאנזי to WittenWitten,
42
132499
3067
לוקחים אותנו מקנזי לוויטן,
02:27
from broken-offשבור- off treeעֵץ branchesענפים
to intercontinentalבֵּין יְבָּשְׁתִי ballisticבַּלִיסְטִי missilesטילים.
43
135566
4543
מענפים שבורים לטילים בין יבשתיים.
02:32
So this then seemsנראה prettyיפה obviousברור
that everything we'veיש לנו achievedהושג,
44
140839
3935
אז זה נראה די ברור שכל מה שהשגנו,
02:36
and everything we careלְטַפֵּל about,
45
144774
1378
וכל מה שחשוב לנו,
02:38
dependsתלוי cruciallyבאופן מכריע on some relativelyיחסית minorקַטִין
changesשינויים that madeעָשׂוּי the humanבן אנוש mindאכפת.
46
146152
5228
תלוי קריטית בשינויים יחסית מינוריים
שיצרו את המוח האנושי.
02:44
And the corollaryתוֹצָאָה יָשִׁירָה, of courseקוּרס,
is that any furtherנוסף changesשינויים
47
152650
3662
והמקביל לזה, כמובן, זה שכל שינוים עתידיים
02:48
that could significantlyבאופן משמעותי changeשינוי
the substrateהמצע of thinkingחושב
48
156312
3477
שיכולים להשפיע משמעותית
על התשתית של החשיבה
02:51
could have potentiallyפוטנציאל
enormousעֲנָקִי consequencesהשלכות.
49
159789
3202
יכולים פוטנציאלית להיות
בעלי תוצאות עצומות.
02:56
Some of my colleaguesעמיתים
think we're on the vergeלִגבּוֹל
50
164321
2905
כמה מעמיתי חושבים שאנחנו על סף
02:59
of something that could causeגורם
a profoundעָמוֹק changeשינוי in that substrateהמצע,
51
167226
3908
משהו שיוכל לגרום לשינוי משמעותי בתשתית,
03:03
and that is machineמְכוֹנָה superintelligenceאינטליגנציה.
52
171134
3213
ושהדבר זה הוא בינת על של מכונות.
03:06
Artificialמְלָאכוּתִי intelligenceאינטליגנציה used to be
about puttingלשים commandsפקודות in a boxקופסא.
53
174347
4739
בינה מלאכותית היתה לשים פקודות במכונה.
03:11
You would have humanבן אנוש programmersמתכנתים
54
179086
1665
הייתם צריכים מתכנתים אנושיים
03:12
that would painstakinglyבדקדקנות
handcraftעבודת יד knowledgeיֶדַע itemsפריטים.
55
180751
3135
שיבנו בעבודה קשה את פריטי הידע.
03:15
You buildלִבנוֹת up these expertמוּמחֶה systemsמערכות,
56
183886
2086
אתם בונים את המערכות המתמחות האלו,
03:17
and they were kindסוג of usefulמוֹעִיל
for some purposesמטרות,
57
185972
2324
והן סוג של יעילות למטרות מסויימות,
03:20
but they were very brittleשָׁבִיר,
you couldn'tלא יכול scaleסוּלָם them.
58
188296
2681
אבל הן היו מאוד שבירות,
לא יכולתם להגדיל אותן.
03:22
Basicallyבעיקרון, you got out only
what you put in.
59
190977
3433
בעיקרון, קיבלתם רק מה שהכנסתם.
03:26
But sinceמאז then,
60
194410
997
אבל מאז,
03:27
a paradigmפרדיגמה shiftמִשׁמֶרֶת has takenנלקח placeמקום
in the fieldשדה of artificialמְלָאכוּתִי intelligenceאינטליגנציה.
61
195407
3467
היה שינוי פרדיגמה שהתרחש
בשדה של בינה מלאכותית.
03:30
Todayהיום, the actionפעולה is really
around machineמְכוֹנָה learningלְמִידָה.
62
198874
2770
היום, הפעילות סובבת סביב לימוד מכונה.
03:34
So ratherבמקום than handcraftingעבודות יד knowledgeיֶדַע
representations- ייצוגים and featuresמאפיינים,
63
202394
5387
אז במקום לייצר יצוג ותכונות של ידע,
03:40
we createלִיצוֹר algorithmsאלגוריתמים that learnלִלמוֹד,
oftenלעתים קרובות from rawגלם perceptualתְפִיסָתִי dataנתונים.
64
208511
5554
יצרנו אלגוריתמים שלומדים,
הרבה פעמים ממידע תפישתי גולמי.
03:46
Basicallyבעיקרון the sameאותו thing
that the humanבן אנוש infantתִינוֹק does.
65
214065
4998
בעיקרון אותו הדבר שתינוקות אנושיים עושים.
03:51
The resultתוֹצָאָה is A.I. that is not
limitedמוגבל to one domainתְחוּם --
66
219063
4207
התוצאה היא ב"מ שלא מוגבלת לתחום אחד --
03:55
the sameאותו systemמערכת can learnלִלמוֹד to translateלתרגם
betweenבֵּין any pairsזוגות of languagesשפות,
67
223270
4631
אותה מערכת יכולה ללמוד
לתרגם בין כל זוג שפות,
03:59
or learnלִלמוֹד to playלְשַׂחֵק any computerמַחשֵׁב gameמִשְׂחָק
on the Atariעטרי consoleלְנַחֵם.
68
227901
5437
או ללמוד לשחק כל משחק מחשב
על קונסולת האטארי.
04:05
Now of courseקוּרס,
69
233338
1779
עכשיו כמובן,
04:07
A.I. is still nowhereלְשׁוּם מָקוֹם nearליד havingשיש
the sameאותו powerfulחָזָק, cross-domainדומיינים
70
235117
3999
ב"מ עדיין לא קרובה ליכולות
חוצות התחומים והעוצמה
04:11
abilityיְכוֹלֶת to learnלִלמוֹד and planלְתַכְנֵן
as a humanבן אנוש beingלהיות has.
71
239116
3219
והיכולת ללמוד ולתכנן כמו בני אדם.
04:14
The cortexקליפת המוח still has some
algorithmicאלגוריתמי tricksטריקים
72
242335
2126
לקורטקס עדיין יש כמה טריקים אלגוריתמיים
04:16
that we don't yetעדיין know
how to matchהתאמה in machinesמכונה.
73
244461
2355
שאנחנו עדיין לא יודעים איך לדמות במכונות.
04:19
So the questionשְׁאֵלָה is,
74
247886
1899
אז השאלה היא,
04:21
how farרָחוֹק are we from beingלהיות ableיכול
to matchהתאמה those tricksטריקים?
75
249785
3500
כמה רחקו אנחנו מלהיות מסוגלים
להשתוות לטריקים האלה?
04:26
A coupleזוּג of yearsשנים agoלִפנֵי,
76
254245
1083
לפני כמה שנים,
04:27
we did a surveyסֶקֶר of some of the world'sשל העולם
leadingמוֹבִיל A.I. expertsמומחים,
77
255328
2888
עשינו סקר של כמה ממומחי
הב"מ המובילים בעולם,
04:30
to see what they think,
and one of the questionsשאלות we askedשאל was,
78
258216
3224
כדי לראות מה הם חושבים,
ואחת השאלות ששאלנו היתה,
04:33
"By whichאיזה yearשָׁנָה do you think
there is a 50 percentאָחוּז probabilityהִסתַבְּרוּת
79
261440
3353
"באיזו שנה אתם חושבים
שיש הסתברות של 50 אחוז
04:36
that we will have achievedהושג
human-levelברמה האנושית machineמְכוֹנָה intelligenceאינטליגנציה?"
80
264793
3482
שנגיע לרמת בינה אנושית במכונות?"
04:40
We definedמוּגדָר human-levelברמה האנושית here
as the abilityיְכוֹלֶת to performלְבַצֵעַ
81
268785
4183
הגדרנו רמת בינה אנושית פה כיכולת לבצע
04:44
almostכִּמעַט any jobעבודה at leastהכי פחות as well
as an adultמְבוּגָר humanבן אנוש,
82
272968
2871
כמעט כל עבודה בצורה טובה
לפחות כמו אדם בוגר,
04:47
so realאמיתי human-levelברמה האנושית, not just
withinבְּתוֹך some limitedמוגבל domainתְחוּם.
83
275839
4005
אז רמה אנושית אמיתית,
לא רק בתוך תחום מסויים.
04:51
And the medianחֲצִיוֹן answerתשובה was 2040 or 2050,
84
279844
3650
והתוצאה החציונית היתה בין 2040 ל 2050,
04:55
dependingתלוי on preciselyבְּדִיוּק whichאיזה
groupקְבוּצָה of expertsמומחים we askedשאל.
85
283494
2806
תלוי בדיוק באיזו קבוצת מומחים שאלנו.
04:58
Now, it could happenלִקְרוֹת much,
much laterיותר מאוחר, or soonerמוקדם יותר,
86
286300
4039
עכשיו, זה יכול לקרות
הרבה הרבה יותר מאוחר, או מוקדם,
05:02
the truthאֶמֶת is nobodyאף אחד really knowsיודע.
87
290339
1940
האמת היא שאף אחד לא באמת יודע.
05:05
What we do know is that the ultimateסופי
limitלְהַגבִּיל to informationמֵידָע processingמעבד
88
293259
4412
מה שאנחנו כן יודעים זה
שהסף האולטימטיבי לעיבוד מידע
05:09
in a machineמְכוֹנָה substrateהמצע liesשקרים farרָחוֹק outsideבחוץ
the limitsגבולות in biologicalבִּיוֹלוֹגִי tissueרִקמָה.
89
297671
4871
בתשתית המכונה נמצא
מחוץ למגבלות ברקמה ביולוגית.
05:15
This comesבא down to physicsפיזיקה.
90
303241
2378
זה בסופו של דבר עניין של פיזיקה.
05:17
A biologicalבִּיוֹלוֹגִי neuronעֲצָבוֹן firesשריפות, maybe,
at 200 hertzהרץ, 200 timesפִּי a secondשְׁנִיָה.
91
305619
4718
ניורון ביולוגי יורה, אולי,
ב 200 הרץ, 200 פעמים בשניה.
05:22
But even a present-dayבהווה transistorטרָנזִיסטוֹר
operatesפועלת at the Gigahertzגיגהרץ.
92
310337
3594
אבל אפילו טרנזיסטור היום פועל בגיגה הרצים.
05:25
Neuronsנוירונים propagateלְהָפִיץ slowlyלאט in axonsאקסונים,
100 metersמטר perלְכָל secondשְׁנִיָה, topsצמרות.
93
313931
5297
הניורונים מתפשטים לאט באקסונים
100 מטר בשניה מקסימום.
05:31
But in computersמחשבים, signalsאותות can travelלִנְסוֹעַ
at the speedמְהִירוּת of lightאוֹר.
94
319228
3111
אבל במחשבים, האות יכול לנוע במהירות האור.
05:35
There are alsoגַם sizeגודל limitationsמגבלות,
95
323079
1869
יש גם מגבלות גודל,
05:36
like a humanבן אנוש brainמוֹחַ has
to fitלְהַתְאִים insideבְּתוֹך a craniumגוּלגוֹלֶת,
96
324948
3027
כמו שמוח אנושי חייב להתאים לתוך הגולגולת,
05:39
but a computerמַחשֵׁב can be the sizeגודל
of a warehouseמַחסָן or largerיותר גדול.
97
327975
4761
אבל מחשב יכול להיות
בגודל של מחסן או גדול יותר.
05:44
So the potentialפוטנציאל for superintelligenceאינטליגנציה
liesשקרים dormantרָדוּם in matterחוֹמֶר,
98
332736
5599
אז הפוטנציאל לבינת על
נמצא רדום בתוך החומר,
05:50
much like the powerכּוֹחַ of the atomאָטוֹם
layלְהַנִיחַ dormantרָדוּם throughoutבְּמֶשֶך humanבן אנוש historyהִיסטוֹרִיָה,
99
338335
5712
בדומה לכוח האטום שנמצא
רדום במהלך ההסטוריה האנושית,
05:56
patientlyבסבלנות waitingהַמתָנָה there untilעד 1945.
100
344047
4405
בסבלנות עד 1945,
06:00
In this centuryמֵאָה,
101
348452
1248
במאה הזו,
06:01
scientistsמדענים mayמאי learnלִלמוֹד to awakenלְהָעִיר
the powerכּוֹחַ of artificialמְלָאכוּתִי intelligenceאינטליגנציה.
102
349700
4118
מדענים אולי ילמדו להעיר
את הכוח של בינה מלאכותית.
06:05
And I think we mightאולי then see
an intelligenceאינטליגנציה explosionהִתְפּוֹצְצוּת.
103
353818
4008
ואני חושב שאולי נראה התפוצצות בינה.
06:10
Now mostרוב people, when they think
about what is smartלִכאוֹב and what is dumbמְטוּמטָם,
104
358406
3957
עכשיו רוב האנשים,
כשהם חושבים על מה זה חכם ומה טיפש,
06:14
I think have in mindאכפת a pictureתְמוּנָה
roughlyבְּעֵרֶך like this.
105
362363
3023
אני חושב שיש בראשם תמונה בערך כזו.
06:17
So at one endסוֹף we have the villageכְּפָר idiotאִידיוֹט,
106
365386
2598
אז בצד אחד יש לנו את טיפש הכפר,
06:19
and then farרָחוֹק over at the other sideצַד
107
367984
2483
ואז הרחק בצד השני
06:22
we have Edאד WittenWitten, or Albertאלברט Einsteinאיינשטיין,
or whoeverמִי your favoriteהכי אהוב guruגורו is.
108
370467
4756
יש לנו את אד וויטן, או אלברט איינשטיין,
או מי שהגורו החביב עליכם.
06:27
But I think that from the pointנְקוּדָה of viewנוף
of artificialמְלָאכוּתִי intelligenceאינטליגנציה,
109
375223
3834
אבל אני חושב שמנקודת המבט
של בינה מלאכותית,
06:31
the trueנָכוֹן pictureתְמוּנָה is actuallyלמעשה
probablyכנראה more like this:
110
379057
3681
התמונה האמיתית היא למעשה יותר דומה לזה:
06:35
AIAI startsמתחיל out at this pointנְקוּדָה here,
at zeroאֶפֶס intelligenceאינטליגנציה,
111
383258
3378
ב"מ מתחילה בנקודה הזו פה, באפס בינה,
06:38
and then, after manyרב, manyרב
yearsשנים of really hardקָשֶׁה work,
112
386636
3011
ואז, אחרי הרבה, הרבה, שנים של עבודה קשה,
06:41
maybe eventuallyבסופו של דבר we get to
mouse-levelרמת העכבר artificialמְלָאכוּתִי intelligenceאינטליגנציה,
113
389647
3844
אולי לבסוף נגיע לרמת בינה של עכבר,
06:45
something that can navigateנווט
clutteredמבולבל environmentsסביבות
114
393491
2430
משהו שיכול לנווט בסביבות מורכבות
06:47
as well as a mouseעכבר can.
115
395921
1987
כמו שעכבר יכול.
06:49
And then, after manyרב, manyרב more yearsשנים
of really hardקָשֶׁה work, lots of investmentהַשׁקָעָה,
116
397908
4313
ואז, אחרי עוד הרבה הרבה שנים
של עבודה ממש קשה, הרבה השקעות,
06:54
maybe eventuallyבסופו של דבר we get to
chimpanzee-levelשימפנזה ברמה artificialמְלָאכוּתִי intelligenceאינטליגנציה.
117
402221
4639
אולי לבסוף נגיע לרמת בינה של שימפנזה.
06:58
And then, after even more yearsשנים
of really, really hardקָשֶׁה work,
118
406860
3210
ואז, אחרי אפילו יותר שנים
של עבודה ממש ממש קשה,
07:02
we get to villageכְּפָר idiotאִידיוֹט
artificialמְלָאכוּתִי intelligenceאינטליגנציה.
119
410070
2913
נגיע לרמה של אידיוט הכפר.
07:04
And a fewמְעַטִים momentsרגעים laterיותר מאוחר,
we are beyondמעבר Edאד WittenWitten.
120
412983
3272
וכמה רגעים אחר כך, אנחנו מעבר לאד וויטן.
07:08
The trainרכבת doesn't stop
at HumanvilleHumanville Stationתַחֲנָה.
121
416255
2970
הרכבת לא עוצרת בעיר בני האדם,
07:11
It's likelyסָבִיר, ratherבמקום, to swooshסווש right by.
122
419225
3022
רוב הסיכוים שהיא תחלוף ביעף.
07:14
Now this has profoundעָמוֹק implicationsהשלכות,
123
422247
1984
עכשיו יש לזה השלכות עמוקות,
07:16
particularlyבִּמְיוּחָד when it comesבא
to questionsשאלות of powerכּוֹחַ.
124
424231
3862
בעיקר כשזה מגיע לשאלות של כוח.
07:20
For exampleדוגמא, chimpanzeesשימפנזות are strongחָזָק --
125
428093
1899
לדוגמה, שימפנזים חזקים --
07:21
poundלִירָה for poundלִירָה, a chimpanzeeשִׁימפַּנזָה is about
twiceפעמיים as strongחָזָק as a fitלְהַתְאִים humanבן אנוש maleזָכָר.
126
429992
5222
קילו לקילו, שימפנזה חזקה
בערך פי שתיים מגבר אנושי.
07:27
And yetעדיין, the fateגוֹרָל of Kanziקאנזי
and his palsחברים dependsתלוי a lot more
127
435214
4614
ועדיין, הגורל של קנזי וחבריו
תלוי הרבה יותר
07:31
on what we humansבני אנוש do than on
what the chimpanzeesשימפנזות do themselvesעצמם.
128
439828
4140
במה שאנשים יעשו מאשר במה
שהשימפנזות יעשו בעצמן.
07:37
Onceפַּעַם there is superintelligenceאינטליגנציה,
129
445228
2314
ברגע שתהייה בינת על,
07:39
the fateגוֹרָל of humanityאֶנוֹשִׁיוּת mayמאי dependלִסְמוֹך
on what the superintelligenceאינטליגנציה does.
130
447542
3839
גורל האנושות אולי יהיה תלוי
במה שבינת העל תעשה.
07:44
Think about it:
131
452451
1057
חשבו על זה:
07:45
Machineמְכוֹנָה intelligenceאינטליגנציה is the last inventionהַמצָאָה
that humanityאֶנוֹשִׁיוּת will ever need to make.
132
453508
5044
בינת מכונות היא ההמצאה האחרונה
שהמין האנושי יצטרך אי פעם לעשות.
07:50
Machinesמכונות will then be better
at inventingממציא than we are,
133
458552
2973
מכונות יהיו אז טובות יותר בהמצאה מאיתנו,
07:53
and they'llהם יהיו be doing so
on digitalדִיגִיטָלי timescalesלוחות זמנים.
134
461525
2540
והן יעשו את זה בטווחי זמן דיגיטליים.
07:56
What this meansאומר is basicallyבעיקרון
a telescopingטלסקופינג of the futureעתיד.
135
464065
4901
מה שזה אומר זה בעיקרון טלסקופ של העתיד.
08:00
Think of all the crazyמְטוּרָף technologiesטכנולוגיות
that you could have imaginedדמיוני
136
468966
3558
חשבו על כל הטכנולוגיות
המשוגעות שתוכלו לדמיין
08:04
maybe humansבני אנוש could have developedמפותח
in the fullnessמְלוֹא of time:
137
472524
2798
שאולי אנשים היו יכולים לפתח במשך הזמן:
08:07
curesמרפא for agingהְזדַקְנוּת, spaceמֶרחָב colonizationקולוניזציה,
138
475322
3258
תרופות להזדקנות, ישוב החלל,
08:10
self-replicatingשכפול עצמי nanobotsnanobots or uploadingמעלה
of mindsמוחות into computersמחשבים,
139
478580
3731
ננו רובוטים שמשכפלים את עצמם
או העלאת התודעה שלנו למחשבים,
08:14
all kindsמיני of scienceמַדָע fiction-yבדיוני-י stuffדברים
140
482311
2159
כל מיני סוגים של מדע בדיוני
08:16
that's neverthelessעל כל פנים consistentעִקבִי
with the lawsחוקי of physicsפיזיקה.
141
484470
2737
שעדיין מתאים לחוקי הפיזיקה.
08:19
All of this superintelligenceאינטליגנציה could
developלְפַתֵחַ, and possiblyיִתָכֵן quiteדַי rapidlyמַהֵר.
142
487207
4212
את כל זה בינת העל הזו
יכולה לפתח, ויכול להיות שדי מהר.
08:24
Now, a superintelligenceאינטליגנציה with suchכגון
technologicalטֶכנוֹלוֹגִי maturityבַּגרוּת
143
492449
3558
עכשיו בינת על עם כזו בגרות טכנולוגית
08:28
would be extremelyמְאוֹד powerfulחָזָק,
144
496007
2179
תהיה חזקה מאוד,
08:30
and at leastהכי פחות in some scenariosתרחישים,
it would be ableיכול to get what it wants.
145
498186
4546
ולפחות בכמה מקרים,
היא תהיה מסוגלת להשיג מה שהיא רוצה.
08:34
We would then have a futureעתיד that would
be shapedמְעוּצָב by the preferencesהעדפות of this A.I.
146
502732
5661
אז יהיו לנו עתיד שיהיה מעוצב
על ידי ההעדפות של ב"מ זו.
08:41
Now a good questionשְׁאֵלָה is,
what are those preferencesהעדפות?
147
509855
3749
עכשיו שאלה טובה היא, מהן ההעדפות האלו?
08:46
Here it getsמקבל trickierמסובך יותר.
148
514244
1769
פה זה נעשה מסובך.
08:48
To make any headwayהִתקַדְמוּת with this,
149
516013
1435
כדי להתקדם בכלל עם זה,
08:49
we mustצריך first of all
avoidלְהִמָנַע anthropomorphizingאנתרופומורפיזציה.
150
517448
3276
אנחנו חייבים ראשית להמנע מאנתרופומורפזינג.
08:53
And this is ironicאִירוֹנִי because
everyכֹּל newspaperעיתון articleמאמר
151
521934
3301
וזה אירוני מפני שבכל מאמר בעיתון
08:57
about the futureעתיד of A.I.
has a pictureתְמוּנָה of this:
152
525235
3855
על העתיד של ב"מ
יש את התמונה הזו:
09:02
So I think what we need to do is
to conceiveלַהֲרוֹת of the issueנושא more abstractlyמופשט,
153
530280
4134
אז אני חושב שמה שאנחנו צריכים לעשות זה
לחשוב על הבעיה הזו בצורה יותר מופשטת,
09:06
not in termsמונחים of vividבָּהִיר Hollywoodהוליווד scenariosתרחישים.
154
534414
2790
לא במונחים של תסריטים הוליוודיים.
09:09
We need to think of intelligenceאינטליגנציה
as an optimizationאופטימיזציה processתהליך,
155
537204
3617
אנחנו צריכים לחשוב על בינה כתהליך מיטוב,
09:12
a processתהליך that steersמנועים the futureעתיד
into a particularמיוחד setמַעֲרֶכֶת of configurationsתצורות.
156
540821
5649
תהליך שמנתב את העתיד
לסט מסויים של קונפיגורציות.
09:18
A superintelligenceאינטליגנציה is
a really strongחָזָק optimizationאופטימיזציה processתהליך.
157
546470
3511
בינת על היא באמת תהליך מיטוב מאוד חזק.
09:21
It's extremelyמְאוֹד good at usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני
availableזמין meansאומר to achieveלְהַשִׂיג a stateמדינה
158
549981
4117
היא ממש טובה בשימוש
באמצעים זמינים כדי להשיג מצב
09:26
in whichאיזה its goalמטרה is realizedהבין.
159
554098
1909
בו המטרה שלה מושגת.
09:28
This meansאומר that there is no necessaryנחוץ
conenctionהקונקציה betweenבֵּין
160
556447
2672
זה אומר שאין חיבור הכרחי בין
09:31
beingלהיות highlyמְאוֹד intelligentאִינְטֶלִיגֶנְטִי in this senseלָחוּשׁ,
161
559119
2734
להיות מאוד נבון במובן הזה,
09:33
and havingשיש an objectiveמַטָרָה that we humansבני אנוש
would find worthwhileכְּדַאי or meaningfulבעל משמעות.
162
561853
4662
ושתהיה לה מטרה שאנחנו האנשים
נמצא כדאית או משמעותית.
09:39
Supposeלְהַנִיחַ we give an A.I. the goalמטרה
to make humansבני אנוש smileחיוך.
163
567321
3794
נניח שניתן לב"מ את המטרה
לגרום לאנשים לחייך.
09:43
When the A.I. is weakחלש, it performsמבצע usefulמוֹעִיל
or amusingמשעשע actionsפעולות
164
571115
2982
כשהב"מ חלשה,
היא מבצעת פעולות מועילות או משעשעות
09:46
that causeגורם its userמִשׁתַמֵשׁ to smileחיוך.
165
574097
2517
שגורמות למשתמשים שלה לחייך.
09:48
When the A.I. becomesהופך superintelligentsuperintelligent,
166
576614
2417
כשהב"מ הופכת לבינת על,
09:51
it realizesמממש that there is a more
effectiveיָעִיל way to achieveלְהַשִׂיג this goalמטרה:
167
579031
3523
היא מבינה שיש דרך יותר יעילה
כדי להשיג את המטרה:
09:54
take controlלִשְׁלוֹט of the worldעוֹלָם
168
582554
1922
להשתלט על העולם
09:56
and stickמקל electrodesאלקטרודות into the facialפַּרצוּפִי
musclesשרירים of humansבני אנוש
169
584476
3162
ולתקוע אלקטרודות בשרירי הפנים של אנשים
09:59
to causeגורם constantקָבוּעַ, beamingקורן grinsמחייך.
170
587638
2941
כדי לגרום לפרצופים מחייכים בקביעות.
10:02
Anotherאַחֵר exampleדוגמא,
171
590579
1035
דוגמה נוספת,
10:03
supposeלְהַנִיחַ we give A.I. the goalמטרה to solveלִפְתוֹר
a difficultקָשֶׁה mathematicalמָתֵימָטִי problemבְּעָיָה.
172
591614
3383
נניח שניתן לב"מ את המטרה
לפתור בעיה מתמטית מסובכת.
10:06
When the A.I. becomesהופך superintelligentsuperintelligent,
173
594997
1937
כשהב"מ הופכת לבינת על,
10:08
it realizesמממש that the mostרוב effectiveיָעִיל way
to get the solutionפִּתָרוֹן to this problemבְּעָיָה
174
596934
4171
היא מבינה שהדרך הכי אפקטיבית
לפתור את הבעיה הזו
10:13
is by transformingשינוי the planetכוכב לכת
into a giantעֲנָק computerמַחשֵׁב,
175
601105
2930
היא להפוך את הפלנטה למחשב עצום,
10:16
so as to increaseלהגביר its thinkingחושב capacityקיבולת.
176
604035
2246
כדי להגביר את יכולת החשיבה.
10:18
And noticeהודעה that this givesנותן the A.I.s
an instrumentalמוֹעִיל reasonסיבה
177
606281
2764
ושימו לב שזה נותן לב"מ סיבה משמעותית
10:21
to do things to us that we
mightאולי not approveלְאַשֵׁר of.
178
609045
2516
לעשות דברים לנו שאולי לא נסכים להם.
10:23
Humanבן אנוש beingsישויות in this modelדֶגֶם are threatsאיומים,
179
611561
1935
אנשים במודל הזה הם איומים,
10:25
we could preventלִמְנוֹעַ the mathematicalמָתֵימָטִי
problemבְּעָיָה from beingלהיות solvedנפתרה.
180
613496
2921
נוכל למנוע מהבעיה המתמטית מלהפתר.
10:29
Of courseקוּרס, perceivablyבאופן תפיסתי things won'tרָגִיל
go wrongלא בסדר in these particularמיוחד waysדרכים;
181
617207
3494
כמובן, יכול להיות שהדברים לא ילכו
לכיוונים לא טובים בדרכים האלה;
10:32
these are cartoonקָרִיקָטוּרָה examplesדוגמאות.
182
620701
1753
אלה דוגמאות הנפשה.
10:34
But the generalכללי pointנְקוּדָה here is importantחָשׁוּב:
183
622454
1939
אבל הנקודה העיקרית פה היא חשובה:
10:36
if you createלִיצוֹר a really powerfulחָזָק
optimizationאופטימיזציה processתהליך
184
624393
2873
אם אתם יוצרים תהליך מיטוב ממש חזק
10:39
to maximizeלְהַגדִיל for objectiveמַטָרָה x,
185
627266
2234
כדי למקסם את מטרה X,
10:41
you better make sure
that your definitionהַגדָרָה of x
186
629500
2276
כדאי שתדאגו שההגדרה שלכם ל X
10:43
incorporatesמשלבת everything you careלְטַפֵּל about.
187
631776
2469
כוללת כל מה שחשוב לכם.
10:46
This is a lessonשיעור that's alsoגַם taughtלימד
in manyרב a mythמִיתוֹס.
188
634835
4384
זה שיעור שגם מסופר בהרבה מיתוסים.
10:51
Kingמלך Midasמידאס wishesמשאלות that everything
he touchesנוגע be turnedפנה into goldזהב.
189
639219
5298
המלך מידאס רצה שכל מה שיגע בו יהפוך לזהב.
10:56
He touchesנוגע his daughterבַּת,
she turnsפונה into goldזהב.
190
644517
2861
הוא נוגע בביתו, והיא הופכת לזהב.
10:59
He touchesנוגע his foodמזון, it turnsפונה into goldזהב.
191
647378
2553
הוא נוגע באוכל, והוא הופך לזהב.
11:01
This could becomeהפכו practicallyלְמַעֲשֶׂה relevantרלוונטי,
192
649931
2589
זה יכול להפוך לרלוונטי במיוחד,
11:04
not just as a metaphorמֵטָפוֹרָה for greedחמדנות,
193
652520
2070
לא רק כמטאפורה לתאוות בצע,
11:06
but as an illustrationאִיוּר of what happensקורה
194
654590
1895
אלא כהדגמה למה שקורה
11:08
if you createלִיצוֹר a powerfulחָזָק
optimizationאופטימיזציה processתהליך
195
656485
2837
אם אתם יוצרים תהליך מיטוב חזק
11:11
and give it misconceivedטועה
or poorlyגרוע specifiedנָקוּב goalsמטרות.
196
659322
4789
ונותנים לו מטרות לא מובנות
או לא מוגדרות היטב.
11:16
Now you mightאולי say, if a computerמַחשֵׁב startsמתחיל
stickingדִבּוּק electrodesאלקטרודות into people'sשל אנשים facesפרצופים,
197
664111
5189
עכשיו אתם אולי תגידו, אם מחשב יתחיל לתקוע
אלקטרודות לתוך פנים של אנשים,
11:21
we'dלהתחתן just shutלִסְגוֹר it off.
198
669300
2265
פשוט נכבה אותו.
11:24
A, this is not necessarilyבהכרח so easyקַל to do
if we'veיש לנו grownמְגוּדָל dependentתלוי on the systemמערכת --
199
672555
5340
ראשית, זה לא בהכרח יהיה פשוט
לעשות אם הפכנו לתלויים במערכת --
11:29
like, where is the off switchהחלף
to the Internetאינטרנט?
200
677895
2732
כמו, איפה מתג הכיבוי לאינטרנט?
11:32
B, why haven'tלא the chimpanzeesשימפנזות
flickedסובב the off switchהחלף to humanityאֶנוֹשִׁיוּת,
201
680627
5120
שנית, למה השימפנזים
לא כיבו את המתג של האנושות,
11:37
or the Neanderthalsניאנדרטלים?
202
685747
1551
או הנאנדרטלים?
11:39
They certainlyבְּהֶחלֵט had reasonsסיבות.
203
687298
2666
בהחלט היו להם סיבות.
11:41
We have an off switchהחלף,
for exampleדוגמא, right here.
204
689964
2795
יש לנו מתג כיבוי, לדוגמה, ממש פה.
11:44
(Chokingמַחֲנָק)
205
692759
1554
(חנק)
11:46
The reasonסיבה is that we are
an intelligentאִינְטֶלִיגֶנְטִי adversaryיָרִיב;
206
694313
2925
הסיבה היא שאנחנו יריב נבון;
11:49
we can anticipateלְצַפּוֹת threatsאיומים
and planלְתַכְנֵן around them.
207
697238
2728
אנחנו יכולים לצפות איומים ולתכנן סביבם.
11:51
But so could a superintelligentsuperintelligent agentסוֹכֵן,
208
699966
2504
אבל כך גם תוכל בינת העל,
11:54
and it would be much better
at that than we are.
209
702470
3254
והיא תהיה טובה בזה מאיתנו.
11:57
The pointנְקוּדָה is, we should not be confidentבטוח
that we have this underתַחַת controlלִשְׁלוֹט here.
210
705724
7187
הנקודה היא, אנחנו לא צריכים להיות בטוחים
שנוכל לשלוט במצב הזה.
12:04
And we could try to make our jobעבודה
a little bitbit easierקל יותר by, say,
211
712911
3447
ונוכל לנסות לעשות את העבודה שלנו
מעט קלה יותר על ידי, נגיד,
12:08
puttingלשים the A.I. in a boxקופסא,
212
716358
1590
לשים את הב"מ בקופסה,
12:09
like a secureלבטח softwareתוֹכנָה environmentסביבה,
213
717948
1796
כמו סביבת תוכנה מאובטחת,
12:11
a virtualוירטואלי realityמְצִיאוּת simulationסימולציה
from whichאיזה it cannotלא יכול escapeבריחה.
214
719744
3022
הדמיית מציאות מדומה
ממנה היא לא יכולה לברוח.
12:14
But how confidentבטוח can we be that
the A.I. couldn'tלא יכול find a bugחרק.
215
722766
4146
אבל כמה בטוחים אנחנו יכולים להיות
שהב"מ לא תוכל למצוא באג.
12:18
Givenנָתוּן that merelyרק humanבן אנוש hackersהאקרים
find bugsבאגים all the time,
216
726912
3169
בהתחשב בזה שהאקרים אנושיים
מוצאים באגים כל הזמן,
12:22
I'd say, probablyכנראה not very confidentבטוח.
217
730081
3036
היתי אומר, שכנראה לא כל כך בטוחים.
12:26
So we disconnectלְנַתֵק the ethernetאתרנט cableכֶּבֶל
to createלִיצוֹר an airאוויר gapפער,
218
734237
4548
אז ננתק את כבל הרשת כדי ליצור מרווח אויר,
12:30
but again, like merelyרק humanבן אנוש hackersהאקרים
219
738785
2668
אבל שוב, כמו האקרים אנושיים רגילים
12:33
routinelyבאופן שגרתי transgressלַחֲטוֹא airאוויר gapsפערים
usingמבנה יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוניפים יוני socialחֶברָתִי engineeringהַנדָסָה.
220
741453
3381
שעוברים פערי אויר באופן
שוטף בעזרת הנדסה חברתית.
12:36
Right now, as I speakלְדַבֵּר,
221
744834
1259
ממש עכשיו, כשאני מדבר,
12:38
I'm sure there is some employeeעוֹבֵד
out there somewhereאי שם
222
746093
2389
אני בטוח שיש איזשהו עובדת אי שם
12:40
who has been talkedדיבר into handingמְסִירָה out
her accountחֶשְׁבּוֹן detailsפרטים
223
748482
3346
ששכנעו אותה לתת את פרטי החשבון שלה
12:43
by somebodyמִישֶׁהוּ claimingבטענה to be
from the I.T. departmentמַחלָקָה.
224
751828
2746
על ידי מישהו שטוען
שהוא ממחלקת מערכות המידע.
12:46
More creativeיְצִירָתִי scenariosתרחישים are alsoגַם possibleאפשרי,
225
754574
2127
תרחישים יותר יצירתיים הם גם אפשריים,
12:48
like if you're the A.I.,
226
756701
1315
כמו אם אתם הב"מ,
12:50
you can imagineלדמיין wigglingמתפתל electrodesאלקטרודות
around in your internalפְּנִימִי circuitryמעגלים
227
758016
3532
אתם יכולים לדמיין שינוי
אלקטרודות בחיווט הפנימי שלכם
12:53
to createלִיצוֹר radioרָדִיוֹ wavesגלים that you
can use to communicateלתקשר.
228
761548
3462
כדי ליצור גלי רדיו בהם אתם יכולים
להשתמש כדי לתקשר.
12:57
Or maybe you could pretendלהעמיד פנים to malfunctionתקלה,
229
765010
2424
או אולי תוכלו להעמיד פנים שאתם מקולקלים,
12:59
and then when the programmersמתכנתים openלִפְתוֹחַ
you up to see what wentהלך wrongלא בסדר with you,
230
767434
3497
ואז כשהמתכנת יפתח אתכם
לראות מה לא תקין איתכם,
13:02
they look at the sourceמָקוֹר codeקוד -- Bamבם! --
231
770931
1936
הם יביטי בקוד המקור -- באם! --
13:04
the manipulationמָנִיפּוּלָצִיָה can take placeמקום.
232
772867
2447
המניפולציה יכולה להתרחש.
13:07
Or it could outputתְפוּקָה the blueprintתכנית
to a really niftyניפטי technologyטֶכנוֹלוֹגִיָה,
233
775314
3430
או אולי היא תוכל להוציא את התוכנית שלה
לטכנולוגיה ממש מגניבה,
13:10
and when we implementליישם it,
234
778744
1398
וכשתיישמו אותה,
13:12
it has some surreptitiousחֲשָׁאִי sideצַד effectהשפעה
that the A.I. had plannedמתוכנן.
235
780142
4397
יהיה לה אפקט משנה חשאי שהב"מ תכננה.
13:16
The pointנְקוּדָה here is that we should
not be confidentבטוח in our abilityיְכוֹלֶת
236
784539
3463
הנקודה פה היא שאנחנו לא צריכים
להיות בטוחים ביכולת שלנו
13:20
to keep a superintelligentsuperintelligent genieג 'יני
lockedנָעוּל up in its bottleבקבוק foreverלָנֶצַח.
237
788002
3808
לשמור על שד בינת העל
נעול בבקבוק שלו לעד.
13:23
Soonerבמוקדם or laterיותר מאוחר, it will out.
238
791810
2254
במוקדם או במאוחר, הוא יצא.
13:27
I believe that the answerתשובה here
is to figureדמות out
239
795034
3103
אני מאמין שהתשובה פה היא להבין
13:30
how to createלִיצוֹר superintelligentsuperintelligent A.I.
suchכגון that even if -- when -- it escapesנמלט,
240
798137
5024
איך ליצור בינת על כך
שאפילו אם -- מתי - שהיא תברח,
13:35
it is still safeבטוח because it is
fundamentallyבִּיסוֹדוֹ on our sideצַד
241
803161
3277
זה עדיין בטוח מפני שהיא באופן בסיסי לצידנו
13:38
because it sharesמניות our valuesערכים.
242
806438
1899
מפני שהיא חולקת את הערכים שלנו.
13:40
I see no way around
this difficultקָשֶׁה problemבְּעָיָה.
243
808337
3210
אני לא רואה דרך לעקוף
את הבעיה המסובכת הזו.
13:44
Now, I'm actuallyלמעשה fairlyלְמַדַי optimisticאוֹפּטִימִי
that this problemבְּעָיָה can be solvedנפתרה.
244
812557
3834
עכשיו, אני למעשה די אופטימי
שהבעיה הזו יכולה להפתר.
13:48
We wouldn'tלא have to writeלִכתוֹב down
a long listרשימה of everything we careלְטַפֵּל about,
245
816391
3903
לא נהיה צריכים לכתוב רשימה ארוכה
של כל מה שאכפת לנו ממנו,
13:52
or worseרע יותר yetעדיין, spellלַחַשׁ it out
in some computerמַחשֵׁב languageשפה
246
820294
3643
או גרוע יותר, לאיית את זה בשפת מחשב כלשהיא
13:55
like C++ or Pythonפִּיתוֹן,
247
823937
1454
כמו C++ או פייתון,
13:57
that would be a taskמְשִׁימָה beyondמעבר hopelessאָבוּד.
248
825391
2767
זו תהיה משימה מעבר לחסרת תקווה.
14:00
Insteadבמקום זאת, we would createלִיצוֹר an A.I.
that usesשימו its intelligenceאינטליגנציה
249
828158
4297
במקום, אנחנו צריכים ליצור ב"מ
שמשמשת בבינה שלה
14:04
to learnלִלמוֹד what we valueערך,
250
832455
2771
כדי ללמוד מה אנחנו מעריכים,
14:07
and its motivationמוֹטִיבָצִיָה systemמערכת is constructedבנוי
in suchכגון a way that it is motivatedמוטיבציה
251
835226
5280
ומערכת המוטיבציה שלה מורכבת
בדרך כזו שיש לה מוטיבציה
14:12
to pursueלרדוף our valuesערכים or to performלְבַצֵעַ actionsפעולות
that it predictsצופה we would approveלְאַשֵׁר of.
252
840506
5232
לרדוף אחרי הערכים שלנו כדי לבצע
פעולות שהיא צופה שנסכים להן.
14:17
We would thusכָּך leverageתְנוּפָה
its intelligenceאינטליגנציה as much as possibleאפשרי
253
845738
3414
לכן ננצל את הבינה שלה ככל האפשר
14:21
to solveלִפְתוֹר the problemבְּעָיָה of value-loadingערך הטעינה.
254
849152
2745
כדי לפתור בעיות של הטענת ערכים.
14:24
This can happenלִקְרוֹת,
255
852727
1512
זה יכול לקרות,
14:26
and the outcomeתוֹצָאָה could be
very good for humanityאֶנוֹשִׁיוּת.
256
854239
3596
והתוצאה תוכל להיות מאוד טובה לאנושות.
14:29
But it doesn't happenלִקְרוֹת automaticallyבאופן אוטומטי.
257
857835
3957
אבל זה לא קורה אוטומטית.
14:33
The initialהתחלתי conditionsתנאים
for the intelligenceאינטליגנציה explosionהִתְפּוֹצְצוּת
258
861792
2998
התנאים ההתחלתיים להתפוצצות הבינה
14:36
mightאולי need to be setמַעֲרֶכֶת up
in just the right way
259
864790
2863
אולי צריכים להבנות בדיוק בדרך הנכונה
14:39
if we are to have a controlledמְבוּקָר detonationהִתְפּוֹצְצוּת.
260
867653
3530
אם אנחנו רוצים שיהיה לנו פיצוץ מבוקר.
14:43
The valuesערכים that the A.I. has
need to matchהתאמה oursשֶׁלָנוּ,
261
871183
2618
הערכים שיש לב"מ צריכים להתאים לשלנו,
14:45
not just in the familiarמוּכָּר contextהֶקשֵׁר,
262
873801
1760
לא רק בהקשר המוכר,
14:47
like where we can easilyבְּקַלוּת checkלבדוק
how the A.I. behavesמתנהג,
263
875561
2438
כמו איפה אנחנו יכולים לבדוק בקלות
איך הב"מ מתנהגת,
14:49
but alsoגַם in all novelרוֹמָן contextsהקשרים
that the A.I. mightאולי encounterפְּגִישָׁה
264
877999
3234
אלא גם בהקשרים הכי חדשים
שהב"מ אולי תיתקל בהם
14:53
in the indefiniteסְתָמִי futureעתיד.
265
881233
1557
בעתיד הלא בטוח.
14:54
And there are alsoגַם some esotericאֵזוֹטֶרִי issuesנושאים
that would need to be solvedנפתרה, sortedמְמוּיָן out:
266
882790
4737
ויש גם כמה נושאים איזוטריים
שנצטרך לפתור, לארגן:
14:59
the exactמְדוּיָק detailsפרטים of its decisionהַחְלָטָה theoryתֵאוֹרִיָה,
267
887527
2089
הפרטים המדוייקים של תאוריית ההחלטות שלה,
15:01
how to dealעִסקָה with logicalהגיוני
uncertaintyחוסר ודאות and so forthהָלְאָה.
268
889616
2864
איך היא מתמודדת עם
חוסר ודאות לוגי וכך האלה.
15:05
So the technicalטֶכנִי problemsבעיות that need
to be solvedנפתרה to make this work
269
893330
3102
אז הבעיות הטכניות שצריכות להפתר
כדי לגרום לזה לעבוד
15:08
look quiteדַי difficultקָשֶׁה --
270
896432
1113
נראים די קשים --
15:09
not as difficultקָשֶׁה as makingהֲכָנָה
a superintelligentsuperintelligent A.I.,
271
897545
3380
לא קשים כמו לעשות ב"מ סופר אינטיליגנטית,
15:12
but fairlyלְמַדַי difficultקָשֶׁה.
272
900925
2868
אבל די קשים.
15:15
Here is the worryדאגה:
273
903793
1695
הנה הדאגה:
15:17
Makingהֲכָנָה superintelligentsuperintelligent A.I.
is a really hardקָשֶׁה challengeאתגר.
274
905488
4684
ליצור ב"מ סופר אינטיליגנטית
זה אתגר מאוד קשה.
15:22
Makingהֲכָנָה superintelligentsuperintelligent A.I. that is safeבטוח
275
910172
2548
ליצור ב"מ סופר אינטיליגנטית שהיא בטוחה
15:24
involvesכרוך some additionalנוֹסָף
challengeאתגר on topחלק עליון of that.
276
912720
2416
כולל כמה אתגרים נוספים מעבר לזה.
15:28
The riskלְהִסְתָכֵּן is that if somebodyמִישֶׁהוּ figuresדמויות out
how to crackסדק the first challengeאתגר
277
916216
3487
הסיכון הוא שמישהו יבין
איך לפצח את האתגר הראשון
15:31
withoutלְלֹא alsoגַם havingשיש crackedסדוק
the additionalנוֹסָף challengeאתגר
278
919703
3001
בלי לפתור את האתגר הנוסף
15:34
of ensuringלהבטיח perfectמושלם safetyבְּטִיחוּת.
279
922704
1901
של להבטיח בטיחות מושלמת.
15:37
So I think that we should
work out a solutionפִּתָרוֹן
280
925375
3331
אז אני חושב שאנחנו צריכים למצוא פיתרון
15:40
to the controlלִשְׁלוֹט problemבְּעָיָה in advanceלְקַדֵם,
281
928706
2822
לבעית השליטה מראש,
15:43
so that we have it availableזמין
by the time it is neededנָחוּץ.
282
931528
2660
כך שהיא תהיה זמינה בזמן שמצטרך אותה.
15:46
Now it mightאולי be that we cannotלא יכול solveלִפְתוֹר
the entireשלם controlלִשְׁלוֹט problemבְּעָיָה in advanceלְקַדֵם
283
934768
3507
עכשיו אולי לא נוכל לפתור
את כל בעיית השליטה מראש
15:50
because maybe some elementsאלמנטים
can only be put in placeמקום
284
938275
3024
מפני שאולי כמה אלמנטים יכולים להיות במקום
15:53
onceפַּעַם you know the detailsפרטים of the
architectureארכיטקטורה where it will be implementedמיושם.
285
941299
3997
רק ברגע שאנחנו יודעים את הפרטים
של הארכיטקטורה בה היא תיושם.
15:57
But the more of the controlלִשְׁלוֹט problemבְּעָיָה
that we solveלִפְתוֹר in advanceלְקַדֵם,
286
945296
3380
אבל ככל שנפתור יותר מבעית השליטה מראש,
16:00
the better the oddsקְטָטָה that the transitionמַעֲבָר
to the machineמְכוֹנָה intelligenceאינטליגנציה eraתְקוּפָה
287
948676
4090
הסיכויים יהיו טובים יותר
שהמעבר לעידן בינת המכונה
16:04
will go well.
288
952766
1540
יעבור טוב.
16:06
This to me looksנראה like a thing
that is well worthשִׁוּוּי doing
289
954306
4644
זה בשבילי נראה כמו משהו ששווה לעשות
16:10
and I can imagineלדמיין that if
things turnלפנות out okay,
290
958950
3332
ואני יכול לדמיין שאם דברים ילכו טוב,
16:14
that people a millionמִילִיוֹן yearsשנים from now
look back at this centuryמֵאָה
291
962282
4658
שאנשים בעוד מליון שנה יביטו אחורה במאה הזו
16:18
and it mightאולי well be that they say that
the one thing we did that really matteredהיה חשוב
292
966940
4002
ואולי יסתבר שהדבר היחידי שעשינו ובאמת שינה
16:22
was to get this thing right.
293
970942
1567
היה לעשות את זה נכון.
16:24
Thank you.
294
972509
1689
תודה לכם.
16:26
(Applauseתְשׁוּאוֹת)
295
974198
2813
(מחיאות כפיים)
Translated by Ido Dekkers
Reviewed by Tal Dekkers

▲Back to top

ABOUT THE SPEAKER
Nick Bostrom - Philosopher
Nick Bostrom asks big questions: What should we do, as individuals and as a species, to optimize our long-term prospects? Will humanity’s technological advancements ultimately destroy us?

Why you should listen

Philosopher Nick Bostrom envisioned a future full of human enhancement, nanotechnology and machine intelligence long before they became mainstream concerns. From his famous simulation argument -- which identified some striking implications of rejecting the Matrix-like idea that humans are living in a computer simulation -- to his work on existential risk, Bostrom approaches both the inevitable and the speculative using the tools of philosophy, probability theory, and scientific analysis.

Since 2005, Bostrom has led the Future of Humanity Institute, a research group of mathematicians, philosophers and scientists at Oxford University tasked with investigating the big picture for the human condition and its future. He has been referred to as one of the most important thinkers of our age.

Nick was honored as one of Foreign Policy's 2015 Global Thinkers .

His recent book Superintelligence advances the ominous idea that “the first ultraintelligent machine is the last invention that man need ever make.”

More profile about the speaker
Nick Bostrom | Speaker | TED.com