ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
TED2017

Stuart Russell: 3 principles for creating safer AI

ستيوارت راسل: كيفَ يُمكنُ للذّكاءِ الاصطناعي أن يجعلنا أُناسًا أفضل

Filmed:
1,465,832 views

هل سيكون بإمكاننا تسخيرُ الذّكاءِ الخارقِ الذي ستُزوّد تقنيّات الذكاء الاصطناعي الآلاتَ بِه لخدمتنا؟ وهل سنتمكّن من منعُ كارثةِ السيطرة الروبوتيّة على العالم؟ في الوقتِ الذي نظنُّ بِهِ أنفسنا نقتربُ من الوصولِ إلى آلاتٍ خارقةِ الذّكاء، يرى الباحثُ الرّائد في مجالِ الذكاءِ الاصطناعي ستيوارت راسل بأنَّ تركيزَنا يجبُ أن ينصبَّ على شيءٍ آخر: روبوتاتٌ محدودةُ الثقةِ بمعلوماتها. استمعوا إلى نظرتهِ حولَ الذّكاءِ الاصطناعي التي تؤكّدُ ضرورةَ تسخيرِ الآلاتِ لخدمة البشر، من خلالِ برمجتها وفقاً لقيمٍ بشريّةٍ كإيثارِ مصلحةِ الآخرين.
- AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too. Full bio

Double-click the English transcript below to play the video.

أمامَكُم لي سيدول.
00:12
This is Leeلي Sedolسيدول.
0
712
1552
00:14
Leeلي Sedolسيدول is one of the world'sالعالم
greatestأعظم Go playersلاعبين,
1
2288
3997
لي سيدول هو واحدٌ من أفضلِ لاعبي
لُعبةِ "غو" على مستوى العالم
00:18
and he's havingوجود what my friendsاصحاب
in Siliconالسيليكون Valleyالوادي call
2
6309
2885
وهو يمرّ بما يدعوه أصدقائي
في سيليكون فالي
00:21
a "Holyمقدس Cowبقرة" momentلحظة --
3
9218
1510
بلحظةِ "يا للهول!"
00:22
(Laughterضحك)
4
10752
1073
(ضحك)
00:23
a momentلحظة where we realizeأدرك
5
11849
2188
هيَ لحظةٌ نُدرِكُ عندها
00:26
that AIAI is actuallyفعلا progressingتتقدم
a lot fasterبسرعة than we expectedمتوقع.
6
14061
3296
بأنّ تقنيّات الذكاء الاصطناعي
تتطوّر بسرعة أكبرَ بكثيرٍ ممّا توقعنا.
إذاً فقد خسرَ البشرُ في لعبةِ "غو"
لكِنْ ماذا عنِ العالمِ الواقعيّ؟
00:30
So humansالبشر have lostضائع on the Go boardمجلس.
What about the realحقيقة worldالعالمية?
7
18154
3047
00:33
Well, the realحقيقة worldالعالمية is much biggerأكبر,
8
21225
2100
العالمُ الواقعيّ حقيقةً، أكبرُ بكثيرٍ
00:35
much more complicatedمعقد than the Go boardمجلس.
9
23349
2249
و أشدُّ تعقيداً مِنْ لُعبةِ "غو".
صحيحٌ بأنّهُ أقلُّ وضوحاً
00:37
It's a lot lessأقل visibleمرئي,
10
25622
1819
00:39
but it's still a decisionقرار problemمشكلة.
11
27465
2038
لكنّه يُصنّفُ أيضاً كقضيّةِ اتخاذِ قرارات.
00:42
And if we think about some
of the technologiesالتقنيات
12
30948
2321
ولو نظرنا إلى بعضِ التّقنياتِ
00:45
that are comingآت down the pikeرمح ...
13
33293
1749
التي ظهرتْ على السّاحةِ مؤخّراً
فإنَّ نوريكو أراي قالت أن الآلات
لا تستطيع القراءة بعد
00:47
Norikoنوريكو [Araiأراي] mentionedالمذكورة that readingقراءة
is not yetبعد happeningحدث in machinesآلات,
14
35738
4335
على الأقل على مستوى الفهم.
00:52
at leastالأقل with understandingفهم.
15
40097
1500
لكن هذا سيحصل،
00:53
But that will happenيحدث,
16
41621
1536
و حينما يحصلُ ذلك،
00:55
and when that happensيحدث,
17
43181
1771
لَنْ تستغرِقَ طويلاً،
00:56
very soonهكذا afterwardsبعدئذ,
18
44976
1187
00:58
machinesآلات will have readاقرأ everything
that the humanبشري raceسباق has ever writtenمكتوب.
19
46187
4572
قبلَ أَنْ تقرأَ وتفهمَ
كلَّ ما توصّل إليهِ البشرُ مِن عِلم.
و هذا ما سيُمكِّنها،
01:03
And that will enableمكن machinesآلات,
20
51850
2030
باستخدامِ قُدُراتِها الهائلةِ
في حسابِ الاحتمالاتِ المستقبليّة،
01:05
alongعلى طول with the abilityالقدرة to look
furtherبالإضافة إلى ذلك aheadالمكانية than humansالبشر can,
21
53904
2920
01:08
as we'veقمنا alreadyسابقا seenرأيت in Go,
22
56848
1680
كما رأينا لتوّنا في لعبةِ "غو"،
إنْ تمكّنت
من الوصولِ إلى المزيدِ من المعلومات،
01:10
if they alsoأيضا have accessالتمكن من
to more informationمعلومات,
23
58552
2164
01:12
they'llأنها سوف be ableقادر to make better decisionsقرارات
in the realحقيقة worldالعالمية than we can.
24
60740
4268
من اتّخاذِ قراراتٍ أكثرَ منطقيّةً
من قراراتنا في العالمِ الواقعيّ.
01:18
So is that a good thing?
25
66792
1606
إذاً، هل هذا شيءٌ جيّد؟
01:21
Well, I hopeأمل so.
26
69898
2232
أتمنّى ذلكَ حقيقةً.
الحضارةُ البشريّةُ بأكملها
و كلّ شيءٍ ذو قيمةٍ لدينا
01:26
Our entireكامل civilizationحضارة,
everything that we valueالقيمة,
27
74694
3255
01:29
is basedعلى أساس on our intelligenceالمخابرات.
28
77973
2068
تمَّ بفضلِ ذكائنا نحن.
01:32
And if we had accessالتمكن من
to a lot more intelligenceالمخابرات,
29
80065
3694
وإنْ تمكنّا من الحصولِ
على ذكاءٍ أكثر،
01:35
then there's really no limitحد
to what the humanبشري raceسباق can do.
30
83783
3302
لن يكونَ حينها هناكَ شيءٌ
لن يستطيعَ البشرُ القيامَ به.
وأعتقدُ بأنّ إنجازاً كَهذا منَ الممكنِ
أن يُصنّف كما وصفهُ البعضُ
01:40
And I think this could be,
as some people have describedوصف it,
31
88665
3325
01:44
the biggestأكبر eventهدف in humanبشري historyالتاريخ.
32
92014
2016
كأعظمِ إنجازٍ في تاريخِ البشريّة.
01:48
So why are people sayingقول things like this,
33
96665
2829
لماذا يقولُ بعضُ الأشخاصِ إذاً
أشياءَ كهذه:
01:51
that AIAI mightربما spellتهجئه the endالنهاية
of the humanبشري raceسباق?
34
99518
2876
بأنّ الذكاءَ الاصطناعيَّ سيقضي
على الجنسِ البشريّ؟
01:55
Is this a newالجديد thing?
35
103438
1659
هل ظهرت هذهِ الفكرةُ من جديد؟
01:57
Is it just Elonايلون Muskعبير المسك and Billمشروع قانون Gatesغيتس
and Stephenستيفن Hawkingهوكينغ?
36
105121
4110
هل هي مجرّد فكرةٍ يؤمنُ بها كلٌّ من
إيلون ماسك، بيل غيتس، وستيفن هوكنغ؟
02:01
Actuallyفعلا, no. This ideaفكرة
has been around for a while.
37
109953
3262
حقيقةً لا،
هذه الفكرةُ موجودةٌ منذ زمنٍ بعيد.
02:05
Here'sمن هنا a quotationاقتباس:
38
113239
1962
وسأعرِضُ لَكُم مقولةً شهيرة:
02:07
"Even if we could keep the machinesآلات
in a subservientمتذلل positionموضع,
39
115225
4350
"حتى ولوّ تمكّنا
من إبقاءِ الآلاتِ تحتَ سيطرتنا"
02:11
for instanceحتة, by turningدوران off the powerقوة
at strategicإستراتيجي momentsلحظات" --
40
119599
2984
"عبرَ إطفاءِها مثلاً حينما يلزمُ الأمر"
02:14
and I'll come back to that
"turningدوران off the powerقوة" ideaفكرة laterفي وقت لاحق on --
41
122607
3237
وسأعودُ لاحقاً لهذهِ الفكرة
-قطع مصدر الطاقة عن الآلة-
02:17
"we should, as a speciesمحيط,
feel greatlyجدا humbledخاشع."
42
125868
2804
"علينا كبشر أن نشعر بالتواضع."
مقولةُ من هذه إذاً؟
إنّها مقولةُ آلان تورينغ، عامَ 1951
02:22
So who said this?
This is Alanآلان Turingتورينج in 1951.
43
130177
3448
آلان تورينغ كما نعلمُ جميعاً
هو مؤسّسُ علومِ الحاسب
02:26
Alanآلان Turingتورينج, as you know,
is the fatherالآب of computerالحاسوب scienceعلم
44
134300
2763
02:29
and in manyكثير waysطرق,
the fatherالآب of AIAI as well.
45
137087
3048
والأبُ الروحيّ للذكاءِ الاصطناعيِّ كذلك.
إنْ فكّرنا إذاً في هذهِ القضيّة،
02:33
So if we think about this problemمشكلة,
46
141239
1882
02:35
the problemمشكلة of creatingخلق something
more intelligentذكي than your ownخاصة speciesمحيط,
47
143145
3787
قضيّةُ صُنعِ شيءٍ أكثرَ ذكاءً
ممّا أنتَ عليه
02:38
we mightربما call this "the gorillaغوريلا problemمشكلة,"
48
146956
2622
قد نجد "قضيّة الغوريلا"
اسماً مناسباً لها،
02:42
because gorillas'الغوريلا " ancestorsأسلاف did this
a fewقليل millionمليون yearsسنوات agoمنذ,
49
150345
3750
لأنَّ أجدادَ الغوريلا قاموا بهذا
منذُ عدّةِ ملايينِ سنة،
02:46
and now we can askيطلب the gorillasالغوريلا:
50
154119
1745
لِمَ لا نستشيرُ الغوريلّا إذاً:
هَل كانتْ هذهِ فكرةً جيّدة؟
02:48
Was this a good ideaفكرة?
51
156752
1160
02:49
So here they are havingوجود a meetingلقاء
to discussمناقشة whetherسواء it was a good ideaفكرة,
52
157936
3530
وها هُم يتباحثون فيما بينهم
ليُقدّموا لّنا الإجابة،
02:53
and after a little while,
they concludeنستنتج, no,
53
161490
3346
ويبدو أنّ إجابتهم بالإجماعِ هيَ:
02:56
this was a terribleرهيب ideaفكرة.
54
164860
1345
"لا! لقد كانت فكرةً فظيعة!"
02:58
Our speciesمحيط is in direرهيب straitsضيق.
55
166229
1782
"نحنُ في حالةٍ يُرثى لها."
03:00
In factحقيقة, you can see the existentialوجودي
sadnessحزن in theirهم eyesعيون.
56
168538
4263
يمكننا حقيقةً رؤيةُ التعاسةِ جيّداً
في أعينهم.
(ضحك)
03:04
(Laughterضحك)
57
172825
1640
03:06
So this queasyمغثي feelingشعور that makingصناعة
something smarterأكثر ذكاء than your ownخاصة speciesمحيط
58
174489
4840
ويبدو بأنّه قد حانَ دورنا
لِنُحسَّ بأنَّ صُنعَ شيءٍ أذكى مِنّا
03:11
is maybe not a good ideaفكرة --
59
179353
2365
قد لا يكونُ فكرةً سديدة --
لكن ما الحلّ حيالَ هذا؟
03:14
what can we do about that?
60
182488
1491
حسنًا، لا شيء، ماعدا التوقفُ
عن تطويرِ تقنيّات الذكاءِ الاصطناعي،
03:16
Well, really nothing,
exceptإلا stop doing AIAI,
61
184003
4767
ولكنْ نظراً للفوائدِ التي ذكرتُها
03:20
and because of all
the benefitsفوائد that I mentionedالمذكورة
62
188794
2510
03:23
and because I'm an AIAI researcherالباحث,
63
191328
1716
ولأنني باحث في هذا المجال
03:25
I'm not havingوجود that.
64
193068
1791
فأنا لن أقبل بحلٍّ كهذا.
03:27
I actuallyفعلا want to be ableقادر
to keep doing AIAI.
65
195283
2468
أودّ حقيقةً الاستمرارَ
في تطويرِ هذهِ التقنيّات.
لذا أرى بأنّه علينا
أنْ نكونَ أكثرَ وضوحاً.
03:30
So we actuallyفعلا need to nailمسمار down
the problemمشكلة a bitقليلا more.
66
198615
2678
03:33
What exactlyبالضبط is the problemمشكلة?
67
201317
1371
ونجدَ المشكلةَ الحقيقيّة.
03:34
Why is better AIAI possiblyربما a catastropheكارثة?
68
202712
3246
لمَ قد يؤدّي تحسينُ هذه التقنياتِ
إلى نتائجَ كارثيّة؟
سأعرضُ لكم مقولةً أخرى:
03:39
So here'sمن هنا anotherآخر quotationاقتباس:
69
207398
1498
"كانَ علينا أن نتأكد
من أن المغزى من تصميم آلة
03:41
"We had better be quiteالى حد كبير sure
that the purposeغرض put into the machineآلة
70
209935
3335
03:45
is the purposeغرض whichالتي we really desireرغبة."
71
213294
2298
هو المغزى الذي نرجوه حقيقة"
03:48
This was said by Norbertنوربرت Wienerنقانق فرانكفورت in 1960,
72
216282
3498
هذا ما قالهُ نوربرت ويينر
عامَ 1960،
03:51
shortlyقريبا after he watchedشاهدت
one of the very earlyمبكرا learningتعلم systemsأنظمة
73
219804
4002
بعدَ مُشاهدتهِ أحدَ أوّل الآلاتِ الذكيّةِ
تتغلّبُ على مُخترعها في لعبةِ "تشيكرز".
03:55
learnتعلم to playلعب checkersلعبة الداما
better than its creatorالمنشئ.
74
223830
2583
04:00
But this could equallyبالتساوي have been said
75
228602
2683
و لكنَّ الشيءَ ذاتهُ ينطبقُ على ماحصلَ
04:03
by Kingملك Midasميداس.
76
231309
1167
للمَلِكِ مايدس.
04:05
Kingملك Midasميداس said, "I want everything
I touchلمس. اتصال. صلة to turnمنعطف أو دور to goldذهب,"
77
233083
3134
إذ قال الملكُ مايدس،" أريد أن يتحول
كل ما ألمسه ذهبًا"
04:08
and he got exactlyبالضبط what he askedطلبت for.
78
236241
2473
وقد تحقَّقَت أمنيتهُ بحذافيرها.
04:10
That was the purposeغرض
that he put into the machineآلة,
79
238738
2751
هذا هوَ ما صمّم آلتُه لتقومَ بهِ
04:13
so to speakتحدث,
80
241513
1450
إن صحّ التعبير،
04:14
and then his foodطعام and his drinkيشرب
and his relativesأقارب turnedتحول to goldذهب
81
242987
3444
و هكذا تحوّل طعامُه و شرابه
و حتى أقرباؤه، جميعهم إلى ذهب.
04:18
and he diedمات in miseryبؤس and starvationجوع.
82
246455
2281
وماتَ في النهاية تعيساً جائعاً.
سنُسمّي هذه القضيّة إذاً
بقضيّة الملك مايدس
04:22
So we'llحسنا call this
"the Kingملك Midasميداس problemمشكلة"
83
250444
2341
04:24
of statingتفيد an objectiveموضوعي
whichالتي is not, in factحقيقة,
84
252809
3305
قضيّةُ تحديد هدفٍ
04:28
trulyحقا alignedالانحياز with what we want.
85
256138
2413
لا يتماشى فعلًا مع ما نريده حقًا.
04:30
In modernحديث termsشروط, we call this
"the valueالقيمة alignmentانتقام problemمشكلة."
86
258575
3253
و هي قضيّة نسمّيها أكاديميّاً
بقضيّة توافقِ الأهداف.
ولكن وضع أهداف خاطئة
ليس الجزء الوحيد في المشكلة.
04:37
Puttingوضع in the wrongخطأ objectiveموضوعي
is not the only partجزء of the problemمشكلة.
87
265047
3485
04:40
There's anotherآخر partجزء.
88
268556
1152
هنالِكَ جُزءٌ آخر.
04:42
If you put an objectiveموضوعي into a machineآلة,
89
270160
1943
إن وضعت هدفًا لآلة ما،
لتقومَ بشيءٍ
ولوّ كانَ ببساطةِ جلبِ القهوة،
04:44
even something as simpleبسيط as,
"Fetchجلب the coffeeقهوة,"
90
272127
2448
04:47
the machineآلة saysيقول to itselfبحد ذاتها,
91
275908
1841
الآلةُ ستقولُ لنفسها،
"ما الذي قد يُعيقني عن جلب القهوة؟"
04:50
"Well, how mightربما I failفشل
to fetchجلب the coffeeقهوة?
92
278733
2623
04:53
Someoneشخصا ما mightربما switchمفتاح كهربائي me off.
93
281380
1580
"قد يقوم شخصٌ ما بإطفائي!"
04:55
OK, I have to take stepsخطوات to preventيحول دون that.
94
283645
2387
"حسناً!"
"سوف أمنع حصول هذا."
04:58
I will disableتعطيل my 'off''إيقاف' switchمفتاح كهربائي.
95
286056
1906
"سوف أعطّل مفتاح إيقاف تشغيلي!"
05:00
I will do anything to defendالدفاع myselfنفسي
againstضد interferenceالتشوش
96
288534
2959
"سأفعل أيّ شيءٍ يحفظُ لي مهمّتي"
"لن أسمحَ لأحدٍ بِأنْ يمنعني من أدائها."
05:03
with this objectiveموضوعي
that I have been givenمعطى."
97
291517
2629
05:06
So this single-mindedعازم pursuitالسعي وراء
98
294170
2012
هذا التفكيرِ الذاتي الذي قامت به الآلة،
05:09
in a very defensiveدفاعي modeالوضع
of an objectiveموضوعي that is, in factحقيقة,
99
297213
2945
بطريقة دفاعية محضة للدفاع عن هدف،
05:12
not alignedالانحياز with the trueصحيح objectivesالأهداف
of the humanبشري raceسباق --
100
300182
2814
لا يتوافقُ مع الأهداف الحقيقية
للجنس البشري --
هذه هي مشكلتنا التي نواجهها.
05:16
that's the problemمشكلة that we faceوجه.
101
304122
1862
05:19
And in factحقيقة, that's the high-valueقيمة عالية
takeawayيبعد from this talk.
102
307007
4767
في الواقع، هذهِ أهمّ فكرةٍ أودُّ مِنكم
تذكُّرَها مِن هذه المحادثة.
إن أردتم تذكّر شيءٍ وحيدٍ من حديثي،
تذكروا التالي:
05:23
If you want to rememberتذكر one thing,
103
311798
2055
05:25
it's that you can't fetchجلب
the coffeeقهوة if you're deadميت.
104
313877
2675
"لنْ تستطيعَ جلبَ القهوةِ لأحدٍ
وأنتَ ميتْ."
05:28
(Laughterضحك)
105
316576
1061
(ضحك)
05:29
It's very simpleبسيط. Just rememberتذكر that.
Repeatكرر it to yourselfنفسك threeثلاثة timesمرات a day.
106
317661
3829
قاعدةٌ بمنتهى البساطة، صحيح؟
ردّدوها ثلاثَ مرّاتٍ يوميّاً.
05:33
(Laughterضحك)
107
321514
1821
(ضحك)
05:35
And in factحقيقة, this is exactlyبالضبط the plotقطعة
108
323359
2754
في الواقع، هذا هوَ تماماً ماحصلَ
05:38
of "2001: [A Spaceالفراغ Odysseyملحمة]"
109
326137
2648
في الفلمِ الشّهيرِ (2001: رحلةُ الفضاء)
05:41
HALHAL has an objectiveموضوعي, a missionمهمة,
110
329226
2090
الحاسوبُ (هال) أرادَ قيادةَ المهمّةِ
لكنّ هذا ليسَ تماماً ما أرادهُ
البشرُ مِنه كحاسوب
05:43
whichالتي is not alignedالانحياز
with the objectivesالأهداف of the humansالبشر,
111
331340
3732
وأدّى هذا لِمُعارضةِ (هال)
أوامرَ الطّاقَمْ.
05:47
and that leadsيؤدي to this conflictنزاع.
112
335096
1810
05:49
Now fortunatelyلحسن الحظ, HALHAL
is not superintelligentsuperintelligent.
113
337494
2969
لِحُسن الحظِّ
لم يَكُنْ (هال) خارقَ الذّكاء.
05:52
He's prettyجميلة smartذكي,
but eventuallyفي النهاية Daveديف outwitsفي خداع him
114
340487
3587
كانَ ذكيّاً فعلاً،
ولكِنّ (ديف) كانَ أذكى مِنه
05:56
and managesيدير to switchمفتاح كهربائي him off.
115
344098
1849
وتمكّن من إيقافهِ عن العمل.
لكنّنا
قد لا نكونُ مَحظوظينَ على الدّوام.
06:01
But we mightربما not be so luckyسعيد الحظ.
116
349828
1619
06:08
So what are we going to do?
117
356193
1592
ما الذي سنفعلهُ إذاً؟
أحاولُ حقيقةً أنْ أقومَ
بإعادةِ تعريفِ الذّكاءِ الاصطناعي
06:12
I'm tryingمحاولة to redefineإعادة تعريف AIAI
118
360371
2601
06:14
to get away from this classicalكلاسيكي notionخيالى
119
362996
2061
بطريقةٍ تُنهي جميعَ الشكوكِ
06:17
of machinesآلات that intelligentlyبذكاء
pursueلاحق objectivesالأهداف.
120
365081
4567
حولَ إمكانيّةِ تمرُّدِ الآلاتِ
ومحاولتها تحقيقَ أهدافِها الشخصيّة.
سأعتمدُ إذاً على ثلاثِ مبادئَ أساسيّة
06:22
There are threeثلاثة principlesمبادئ involvedمتورط.
121
370712
1798
06:24
The first one is a principleالمبدأ
of altruismإيثار, if you like,
122
372534
3289
وأوّل مبدأٍ هوَ مبدأُ الإيثار
06:27
that the robot'sالروبوت only objectiveموضوعي
123
375847
3262
بأنْ يكونَ الهدفُ الوحيدُ للرّوبوتِ هوَ
06:31
is to maximizeتحقيق أقصى قدر the realizationتحقيق
of humanبشري objectivesالأهداف,
124
379133
4246
أنْ يُحاولَ تحقيقَ أكبرِ قدرٍ ممكنٍ
من أهدافِ البشر
06:35
of humanبشري valuesالقيم.
125
383403
1390
و مِنْ قيم البشريّة.
06:36
And by valuesالقيم here I don't mean
touchy-feelyحساس، يثير مشكلة, goody-goodyجودي-جودي valuesالقيم.
126
384817
3330
وبقيم البشريّةِ لستُ أعني
تلكَ المثاليّاتِ البعيدةَ عن الواقع.
06:40
I just mean whateverايا كان it is
that the humanبشري would preferتفضل
127
388171
3787
بل أعني بها أيّ شيءٍ
قد يفضل الإنسان
06:43
theirهم life to be like.
128
391982
1343
أن تكون عليه حياته.
وهوَ ما ينتهكُ (قانونَ أزيموف)
06:47
And so this actuallyفعلا violatesينتهك Asimov'sاسيموف lawالقانون
129
395364
2309
06:49
that the robotإنسان آلي has to protectيحمي
its ownخاصة existenceوجود.
130
397697
2329
بأنّه على الروبوتِ
حمايةُ حياتهِ الشخصيّة.
06:52
It has no interestفائدة in preservingالحفاظ على
its existenceوجود whatsoeverأيا كان.
131
400050
3723
لايجبُ أنْ يهتمَّ الروبوتُ
بهكذا أمورٍ مطلقاً.
أمّا المبدأ الثاني فَهوَ
مبدأُ التذلّلِ إنْ صحَّ التّعبير.
06:57
The secondثانيا lawالقانون is a lawالقانون
of humilityتواضع, if you like.
132
405420
3768
07:01
And this turnsيتحول out to be really
importantمهم to make robotsالروبوتات safeآمنة.
133
409974
3743
وهوَ مهمٌّ للغايةِ لإبقاءِ
الروبوتاتِ آمنة.
07:05
It saysيقول that the robotإنسان آلي does not know
134
413741
3142
و ينُصُّ على أنَّ الروبوتَ
لا يعلمَ
07:08
what those humanبشري valuesالقيم are,
135
416907
2028
بحقيقةِ المنافعِ التي سيحقّقها للبشريّةِ
07:10
so it has to maximizeتحقيق أقصى قدر them,
but it doesn't know what they are.
136
418959
3178
ولكنّهُ سيعملُ على تحقيقِ أكبرِ قدرٍ منها
لكنه لا يعلم ماهيتها.
وهوَ ماسيوقفهُ عن اتّخاذِ قراراتهِ الخاصةِ
07:15
And that avoidsيتجنب this problemمشكلة
of single-mindedعازم pursuitالسعي وراء
137
423254
2626
حولَ الهدفِ الموكلِ إليه.
07:17
of an objectiveموضوعي.
138
425904
1212
07:19
This uncertaintyشك turnsيتحول out to be crucialمهم.
139
427140
2172
إذ أن عدم اليقين يبدو أمرًا بالغ الأهمية.
لكنْ لكيّ يكونَ الروبوتُ مفيداً لنا
07:21
Now, in orderطلب to be usefulمفيد to us,
140
429726
1639
07:23
it has to have some ideaفكرة of what we want.
141
431389
2731
لابدّ مِنْ أنْ يمتلكَ فكرةً
عمّا نريده.
07:27
It obtainsتحصل عليها that informationمعلومات primarilyبالدرجة الأولى
by observationالملاحظة of humanبشري choicesاختيارات,
142
435223
5427
ستسكتشِفُ الروبوتاتُ مانريدهُ مِنها
عبرَ مراقبةِ سلوكِنا
07:32
so our ownخاصة choicesاختيارات revealكشف informationمعلومات
143
440674
2801
فاختياراتنا الشخصية ستعطي معلومات
07:35
about what it is that we preferتفضل
our livesالأرواح to be like.
144
443499
3300
عما نفضّلُ أن تكون حياتنا عليه.
07:40
So those are the threeثلاثة principlesمبادئ.
145
448632
1683
هذه هيَ إذاً المبادئُ الثلاثة.
07:42
Let's see how that appliesينطبق
to this questionسؤال of:
146
450339
2318
لنرى سويّةً كيفَ يمكنُ تطبيقُ هذه المبادئ
على فكرة "قطع الطاقة عن الروبوت"
التي اقترحها (تيورنغ).
07:44
"Can you switchمفتاح كهربائي the machineآلة off?"
as Turingتورينج suggestedاقترحت.
147
452681
2789
07:49
So here'sمن هنا a PRPR2 robotإنسان آلي.
148
457073
2120
إذاً، سأقدّم إليكُم الرّوبوت (PR2)
07:51
This is one that we have in our labمختبر,
149
459217
1821
الذي نمتلكهُ في مختبرنا للأبحاث.
ولديه كما ترونَ زرُّ إطفاءِ تشغيلٍ
أحمرُ كبيرٌ على ظهره.
07:53
and it has a bigكبير redأحمر "off" switchمفتاح كهربائي
right on the back.
150
461062
2903
والسّؤال هوَ:
هل سيسمحُ الروبوتُ لكَ بضغطِ هذا الزرّ؟
07:56
The questionسؤال is: Is it
going to let you switchمفتاح كهربائي it off?
151
464541
2615
إنْ تخيّلنا الموضوعَ كالمُعتاد
07:59
If we do it the classicalكلاسيكي way,
152
467180
1465
08:00
we give it the objectiveموضوعي of, "Fetchجلب
the coffeeقهوة, I mustيجب fetchجلب the coffeeقهوة,
153
468669
3482
أنْ نخبرهُ بأنْ يجلبَ القهوةَ
ويفكّر: "يجب أن أجلب القهوة بأيّ ثمن"
08:04
I can't fetchجلب the coffeeقهوة if I'm deadميت,"
154
472175
2580
"لكنني لن أستطيعَ جلبَ القهوةِ لأحدٍ
وأنا ميت"
08:06
so obviouslyبوضوح the PRPR2
has been listeningاستماع to my talk,
155
474779
3341
من الواضح أنَّ الروبوتَ كانَ يُشاهدُ
هذه المحادثة،
08:10
and so it saysيقول, thereforeوبالتالي,
"I mustيجب disableتعطيل my 'off''إيقاف' switchمفتاح كهربائي,
156
478144
3753
وبالتّالي سيقرّرُ الروبوت:
"سأعطّلُ زرَّ إطفاءِ تشغيلي إذاً!"
"سأصعقُ أيضاً الجميعَ في (ستارباكس)
08:14
and probablyالمحتمل taserبالنبال all the other
people in Starbucksستاربكس
157
482976
2694
08:17
who mightربما interfereتدخل with me."
158
485694
1560
"لأنّهم قد يقفونَ في طريقي لجلبِ القهوة!"
08:19
(Laughterضحك)
159
487278
2062
(ضحك)
08:21
So this seemsيبدو to be inevitableالمحتوم, right?
160
489364
2153
لايبدو بأنهُ هناكَ مفرٌّ من هذا، صحيح؟
08:23
This kindطيب القلب of failureبالفشل modeالوضع
seemsيبدو to be inevitableالمحتوم,
161
491541
2398
لايبدو بأنّ تجنّبَ أخطاءٍ كهذهِ أمرٌ ممكن
08:25
and it followsيتبع from havingوجود
a concreteالخرسانة, definiteواضح objectiveموضوعي.
162
493963
3543
وهذا لأنّ الروبوتَ لديه هدفٌ صريحٌ.
لكنْ ماذا لَوْ جعلنا الروبوتَ
أقلَّ ثقةً بصحّةِ فهمهِ للهدف؟
08:30
So what happensيحدث if the machineآلة
is uncertainغير مؤكد about the objectiveموضوعي?
163
498812
3144
08:33
Well, it reasonsأسباب in a differentمختلف way.
164
501980
2127
سيفكّرُ حتماً عندها بطريقةٍ مختلفة.
08:36
It saysيقول, "OK, the humanبشري
mightربما switchمفتاح كهربائي me off,
165
504131
2424
سيقول لنفسه:
"قد يقومُ البشرُ بإيقافِ تشغيلي"
"لكنّ ذلك سيحصلُ فقط
إنْ فعلتُ شيئاً خاطئاً."
08:39
but only if I'm doing something wrongخطأ.
166
507144
1866
"لكنّني لا أعلمُ ما الشيءُ الخاطئُ
الذي قد أفعله"
08:41
Well, I don't really know what wrongخطأ is,
167
509747
2475
"أنا أعلمُ فقط بأنّني لاأريدُ فِعلَ
شيءٍ خاطئ"
08:44
but I know that I don't want to do it."
168
512246
2044
08:46
So that's the first and secondثانيا
principlesمبادئ right there.
169
514314
3010
وهذا تطبيقٌ للمبدأين الأوّل والثاني.
"لذا منَ الأفضلِ أنْ أتركَهُ يُطفئني"
08:49
"So I should let the humanبشري switchمفتاح كهربائي me off."
170
517348
3359
08:53
And in factحقيقة you can calculateحساب
the incentiveحافز that the robotإنسان آلي has
171
521721
3956
ويمكننا رياضيّاً حسابُ مدى التقبّلِ
الذي سيمتلكهُ الروبوت
08:57
to allowالسماح the humanبشري to switchمفتاح كهربائي it off,
172
525701
2493
لأنْ يقومَ البشرُ بإطفاءه.
09:00
and it's directlyمباشرة tiedربط to the degreeالدرجة العلمية
173
528218
1914
وهذا مرتبط بشكل مباشر
09:02
of uncertaintyشك about
the underlyingالأساسية objectiveموضوعي.
174
530156
2746
بمدى تأكّدِ الرّوبوتِ
من فهمهِ للهدفِ من إطفاءه.
09:05
And then when the machineآلة is switchedتحول off,
175
533977
2949
وهكذا تماماً
من خلالِ إطفاءِ الرّوبوت،
09:08
that thirdالثالث principleالمبدأ comesيأتي into playلعب.
176
536950
1805
يكونُ المبدأُ الثالثُ قد تحقق.
09:10
It learnsيتعلم something about the objectivesالأهداف
it should be pursuingمتابعة,
177
538779
3062
لأنّ الروبوتَ سيكونُ قد تعلّمَ
مِن هذهِ التجربة
بأنّهُ قد فعلَ شيئاً خاطئاً.
09:13
because it learnsيتعلم that
what it did wasn'tلم يكن right.
178
541865
2533
09:16
In factحقيقة, we can, with suitableمتكافئ use
of Greekالإغريقي symbolsحرف,
179
544422
3570
و يمكننا حقيقةً
باستعمالِ بعضِ الرّموز
09:20
as mathematiciansعلماء الرياضيات usuallyعادة do,
180
548016
2131
كما يفعلُ علماءُ الرياضيّاتِ عادةً
09:22
we can actuallyفعلا proveإثبات a theoremنظرية
181
550171
1984
أنْ نُثبتَ النظريّةَ القائلةَ
09:24
that saysيقول that suchهذه a robotإنسان آلي
is provablyبصورة مبرهنة beneficialمفيد to the humanبشري.
182
552179
3553
بأنَّ روبوتاً كهذا
سيكونُ حتماً مفيداً للإنسان.
09:27
You are provablyبصورة مبرهنة better off
with a machineآلة that's designedتصميم in this way
183
555756
3803
وبأنَّ روبوتاً مصمّماً بهذهِ المعاييرِ
سيكونُ حتماً أكثرَ فائدةً
09:31
than withoutبدون it.
184
559583
1246
من روبوتٍ مصمّمٍ من دونها.
09:33
So this is a very simpleبسيط exampleمثال,
but this is the first stepخطوة
185
561237
2906
هذا مثالٌ بسيطٌ إذاً
وهوَ الخطوةُ الأولى فقط
09:36
in what we're tryingمحاولة to do
with human-compatibleالإنسان متوافق AIAI.
186
564167
3903
ممّا نحاولُ تحقيقهُ من خلالِ
الذّكاءِ الاصطناعي المطابق للإنسان.
09:42
Now, this thirdالثالث principleالمبدأ,
187
570657
3257
الآنَ إلى المبدأ الثالث،
09:45
I think is the one that you're probablyالمحتمل
scratchingالخدش your headرئيس over.
188
573938
3112
و الذي أظنّه يدفعكم للتفكير بحيرة.
تفكرون بالتالي:
"و لكنني، كإنسانٍ أتصرّف بشكلٍ سيّء!"
09:49
You're probablyالمحتمل thinkingتفكير, "Well,
you know, I behaveتصرف badlyبشكل سيئ.
189
577074
3239
"لا أريدُ للروبوتِ أنْ يقلّدني!"
09:52
I don't want my robotإنسان آلي to behaveتصرف like me.
190
580337
2929
"لا أريدهُ أنْ يتسللَ في اللّيلِ
إلى المطبخِ ويأخُذَ طعاماً منَ الثلّاجة"
09:55
I sneakتسلل down in the middleوسط of the night
and take stuffأمور from the fridgeثلاجة.
191
583290
3434
"أنا أفعل أشياءَ سيّئة!"
09:58
I do this and that."
192
586748
1168
بالطّبعِ هناكَ أشياءٌ عدّةٌ لانرغبُ
أنْ تقلّدنا الروبوتاتُ بها.
09:59
There's all kindsأنواع of things
you don't want the robotإنسان آلي doing.
193
587940
2797
10:02
But in factحقيقة, it doesn't
quiteالى حد كبير work that way.
194
590761
2071
لكنّي لم أعنِ هذا
بالتعلّمِ من مراقبتنا
10:04
Just because you behaveتصرف badlyبشكل سيئ
195
592856
2155
فقط لأنّك تتصرف بشكلٍ سيّءٍ
10:07
doesn't mean the robotإنسان آلي
is going to copyنسخ your behaviorسلوك.
196
595035
2623
لايعني بأنَّ الروبوتَ
سيقومُ بتقليدِ تصرّفاتك.
10:09
It's going to understandتفهم your motivationsالدوافع
and maybe help you resistيقاوم them,
197
597682
3910
بل سيتفهّم دوافعكَ
وربّما يساعدكَ في مقاومتها
10:13
if appropriateمناسب.
198
601616
1320
إنْ لزمَ الأمر.
10:16
But it's still difficultصعب.
199
604206
1464
و لكنّ الأمرَ لايزالُ صعباً.
10:18
What we're tryingمحاولة to do, in factحقيقة,
200
606302
2545
مانحاولُ الوصولَ إليهِ حقيقةً
10:20
is to allowالسماح machinesآلات to predictتنبؤ
for any personشخص and for any possibleممكن life
201
608871
5796
هو جعلُ الآلاتِ قادرةً على اكتشافِ
الحياةِ التي سيفضّلُ الشّخص أن يعيشها
10:26
that they could liveحي,
202
614691
1161
كائناً من كان
10:27
and the livesالأرواح of everybodyالجميع elseآخر:
203
615876
1597
أيّاً تكن الحياة التي يريدُها
10:29
Whichالتي would they preferتفضل?
204
617497
2517
مهما كانَ مايريده.
10:34
And there are manyكثير, manyكثير
difficultiesالصعوبات involvedمتورط in doing this;
205
622061
2954
لكنّ عدداً هائلاً من المشاكل تواجهنا
في تحقيق ذلك
10:37
I don't expectتوقع that this
is going to get solvedتم حلها very quicklyبسرعة.
206
625039
2932
ولا أتوقّع بأنّ نستطيع حلّها جميعها
في القريب العاجل.
10:39
The realحقيقة difficultiesالصعوبات, in factحقيقة, are us.
207
627995
2643
المشكلةُ الأصعبُ هي نحنُ للأسف.
فنحنُ نتصرّفُ بشكلٍ سيّءٍ
كما ذكرتُ قبل قليل.
10:44
As I have alreadyسابقا mentionedالمذكورة,
we behaveتصرف badlyبشكل سيئ.
208
632149
3117
10:47
In factحقيقة, some of us are downrightبصراحة nastyمقرف.
209
635290
2321
و بعضُنا مؤذٍ للآخرين.
10:50
Now the robotإنسان آلي, as I said,
doesn't have to copyنسخ the behaviorسلوك.
210
638431
3052
رغمَ هذا، لن يقومَ الروبوتُ
بتقليدِ تصرّفاتنا السيّئة.
10:53
The robotإنسان آلي does not have
any objectiveموضوعي of its ownخاصة.
211
641507
2791
إذ ليست له أهداف شخصية خاصة.
10:56
It's purelyبحت altruisticعنده إيثار.
212
644322
1737
فهو يؤثر الإيثار بطريقة صرفة.
10:59
And it's not designedتصميم just to satisfyرضا
the desiresالرغبات of one personشخص, the userالمستعمل,
213
647293
5221
وهو ليس مصممًا لإرضاء شخص واحد، المستعمل،
11:04
but in factحقيقة it has to respectاحترام
the preferencesالتفضيلات of everybodyالجميع.
214
652538
3138
لكن على الروبوتِ حقيقةً
أن يحترمَ ما يفضله الجميع.
11:09
So it can dealصفقة with a certainالمؤكد
amountكمية of nastinessوقاحة,
215
657263
2570
سيكون بإمكانهِ مثلاً تقبّلُ انحرافٍ
بسيطٍ عن الصواب
11:11
and it can even understandتفهم
that your nastinessوقاحة, for exampleمثال,
216
659857
3701
و سيتفهّم بأنّك لستَ سيّئاً جداً
11:15
you mayقد take bribesالرشوة as a passportجواز سفر officialالرسمية
217
663582
2671
فقط لأنّكَ تحصُلَ على بعضِ الرشاوى
كمسؤول جوازات سفر
11:18
because you need to feedتغذية your familyأسرة
and sendإرسال your kidsأطفال to schoolمدرسة.
218
666277
3812
وأنَّ السببَ هوَ حاجتكُ لإطعامِ عائلتكَ
ودفعِ أقساطِ المدرسةِ لأطفالك.
11:22
It can understandتفهم that;
it doesn't mean it's going to stealسرقة.
219
670113
2906
سيفهم الروبوتُ هذا
لكنّه لايعني بأنّه سيتعلّمُ السرقة.
11:25
In factحقيقة, it'llأنه سوف just help you
sendإرسال your kidsأطفال to schoolمدرسة.
220
673043
2679
سيساعدكَ الروبوتُ
على إرسال أطفالك للمدرسة.
11:28
We are alsoأيضا computationallyحسابيا limitedمحدود.
221
676976
3012
نحنُ البشرُ للأسفِ
محدودونَ في قدراتنا الحسابيّة.
11:32
Leeلي Sedolسيدول is a brilliantمتألق Go playerلاعب,
222
680012
2505
لي سيدول كان لاعبَ "غو" رائعاً،
11:34
but he still lostضائع.
223
682541
1325
لكنّه خسر أمامَ حاسوب.
11:35
So if we look at his actionsأفعال,
he tookأخذ an actionعمل that lostضائع the gameلعبه.
224
683890
4239
ولَو راجعنا تحركاتِه خلالَ المباراةِ
لوجدنا حركةً خسرَ بسببها.
11:40
That doesn't mean he wanted to loseتخسر.
225
688153
2161
لكنّ ذلك لا يعني بأنّه قد خسرَ متعمّداً.
11:43
So to understandتفهم his behaviorسلوك,
226
691340
2040
ولنفهمَ لمَ اختارَ هذهِ الحركةَ
11:45
we actuallyفعلا have to invertعكس
throughعبر a modelنموذج of humanبشري cognitionمعرفة
227
693404
3644
علينا أن نقوم بمحاكاةٍ لتحرّكاته
عبرَ نموذجٍ حاسوبيّ لعملِ الدّماغ البشريّ
11:49
that includesيشمل our computationalالحسابية
limitationsمحددات -- a very complicatedمعقد modelنموذج.
228
697072
4977
يلتزم بمحدّدات البشرِ الحسابيّة
وهذا شيءٌ معقّدٌ للغاية.
11:54
But it's still something
that we can work on understandingفهم.
229
702073
2993
ولكنّه شيءٌ بإمكاننا العملُ على فهمه.
و برأيي كباحثٍ في مجال الذكاء الاصطناعي،
إنَّ أصعبَ مشكلةٍ تواجهنا
11:57
Probablyالمحتمل the mostعظم difficultصعب partجزء,
from my pointنقطة of viewرأي as an AIAI researcherالباحث,
230
705876
4320
12:02
is the factحقيقة that there are lots of us,
231
710220
2575
هي بأنّه هناك عددًا هائلًا من البشر،
12:06
and so the machineآلة has to somehowبطريقة ما
tradeتجارة off, weighوزن up the preferencesالتفضيلات
232
714294
3581
و هو ما سيُرغمُ الآلاتِ على المفاضلةِ
بين الكثير من الخيارات
12:09
of manyكثير differentمختلف people,
233
717899
2225
التي يريدها العديدُ من الأشخاصِ
12:12
and there are differentمختلف waysطرق to do that.
234
720148
1906
بطرقٍ عديدةٍ لتنفيذِ كلّ خيارٍ منهم.
12:14
Economistsاقتصاديون, sociologistsعلماء الاجتماع,
moralأخلاقي philosophersالفلاسفة have understoodفهم that,
235
722078
3689
علماءُ الاقتصاد و باحثوا علم الإجتماع
جميعهم يفهمون هذا،
12:17
and we are activelyبنشاط
looking for collaborationتعاون.
236
725791
2455
ونحن نبحث جديًا عن التعاون في هذا الشأن.
12:20
Let's have a look and see what happensيحدث
when you get that wrongخطأ.
237
728270
3251
دعونا نلقي نظرةً على ما قد يحدثُ
حينما لا تسير الأمور على ما يرام.
12:23
So you can have
a conversationمحادثة, for exampleمثال,
238
731545
2133
قد تمرّ بمحادثةٍ كهذهِ مثلاً
12:25
with your intelligentذكي personalالشخصية assistantمساعد
239
733702
1944
مع مساعدكَ الشخصيّ الذكيّ
12:27
that mightربما be availableمتاح
in a fewقليل years'سنوات' time.
240
735670
2285
والذي قد يتوفّرُ في الأسواقِ
خلالَ بضعِ سنوات.
12:29
Think of a Siriسيري on steroidsمنشطات.
241
737979
2524
نسخةٌ محسّنةٌ عن (سيري) مثلاً.
12:33
So Siriسيري saysيقول, "Your wifeزوجة calledمسمي
to remindتذكير you about dinnerوجبة عشاء tonightهذه الليلة."
242
741627
4322
تخبركَ (سيري) إذاً في المحادثةِ بأنَّ
زوجتكَ قد اتصلت لتذكّركَ بعشائكما الليلة.
وبالتّأكيدِ أنتَ لا تذكرُ شيئاً كهذا:
"ماذا! أيُّ عشاء!"
12:38
And of courseدورة, you've forgottenنسي.
"What? What dinnerوجبة عشاء?
243
746616
2508
12:41
What are you talkingالحديث about?"
244
749148
1425
"عمَّ تتحدثين؟!"
12:42
"Uh, your 20thعشر anniversaryذكرى سنوية at 7pmمساء."
245
750597
3746
"عشاءُ السّابعةِ مساءً
في ذكرى زواجكما العشرين."
"لا يمكنني الحضور! سألتقي
بالأمينِ العامِّ عندَ السابعة والنصف!"
12:48
"I can't do that. I'm meetingلقاء
with the secretary-generalالسكرتير العام at 7:30.
246
756915
3719
12:52
How could this have happenedحدث?"
247
760658
1692
"كيفَ حصلَ كلّ هذا؟"
12:54
"Well, I did warnحذر you, but you overrodeتجاهلت
my recommendationتوصية."
248
762374
4660
"حذّرتكَ ولكِنْ،
هذا مايحصلُ حينما تتجاهلُ نصائحي."
"حسناً ماذا سأفعلُ الآن؟ لايمكنني إخبارُ
زوجتي بأنّي نسيتُ مناسبةً كهذه!"
13:00
"Well, what am I going to do?
I can't just tell him I'm too busyمشغول."
249
768146
3328
"لا تقلق."
"قمتُ بتأجيلِ موعدِ انطلاقِ طائرتها."
13:04
"Don't worryقلق. I arrangedترتيبها
for his planeطائرة to be delayedمؤجل."
250
772490
3281
(ضحك)
13:07
(Laughterضحك)
251
775795
1682
13:10
"Some kindطيب القلب of computerالحاسوب malfunctionعطل."
252
778249
2101
"افتعلتُ بعضَ الأعطالِ في حاسوبِ
شركةِ الطّيران"
13:12
(Laughterضحك)
253
780374
1212
(ضحك)
13:13
"Really? You can do that?"
254
781610
1617
"حقاً!"
"بإمكانكِ فِعلُ أشياءَ كهذه!"
13:16
"He sendsيرسل his profoundعميق apologiesاعتذار
255
784400
2179
"ترسلُ زوجتكُ اعتذارها العميق"
13:18
and looksتبدو forwardإلى الأمام to meetingلقاء you
for lunchغداء tomorrowغدا."
256
786603
2555
"وتتطلّع للقاءكَ غداً على الغداء"
(ضحك)
13:21
(Laughterضحك)
257
789182
1299
إذن فالقيم هنا --
يبدو إذاً بأنّهُ هناكَ خطأ طفيفًا
13:22
So the valuesالقيم here --
there's a slightطفيف mistakeخطأ going on.
258
790505
4403
13:26
This is clearlyبوضوح followingالتالية my wife'sالزوجة valuesالقيم
259
794932
3009
وعلى مايبدو، فإنّه يتّبع مبادئَ زوجتي
13:29
whichالتي is "Happyالسعيدة wifeزوجة, happyالسعيدة life."
260
797965
2069
و التي هي:
"أنت بخيرٍ مادامت زوجتك بخير."
13:32
(Laughterضحك)
261
800058
1583
(ضحك)
يمكنُ كذلكَ أنْ يحصُلَ العكس.
13:33
It could go the other way.
262
801665
1444
كأن تعودَ إلى المنزلِ
بعدَ يومٍ مُتعِبٍ في العمل
13:35
You could come home
after a hardالصعب day'sأيام work,
263
803821
2201
13:38
and the computerالحاسوب saysيقول, "Long day?"
264
806046
2195
ويرحّب بِك الروبوت:
"هل كانَ يوماً شاقاً؟"
13:40
"Yes, I didn't even have time for lunchغداء."
265
808265
2288
"جدّاً! لدرجة أنّي لم أجد وقتاً
لتناولِ الغداء."
13:42
"You mustيجب be very hungryجوعان."
266
810577
1282
"لابدّ من أنّك جائعٌ إذاً"
13:43
"Starvingيتضورون جوعاً, yeah.
Could you make some dinnerوجبة عشاء?"
267
811883
2646
"أتضور جوعًا.
هل بإمكانكِ تحضيرُ العشاء لي؟"
"هناكَ شيءٌ عليك معرفته."
13:48
"There's something I need to tell you."
268
816070
2090
13:50
(Laughterضحك)
269
818184
1155
(ضحك)
"هناكٌ أُناسٌ في جنوب السودانِ
في حاجةٍ ملحّةٍ للطعامِ أكثرَ منكَ بكثير!"
13:52
"There are humansالبشر in Southجنوب Sudanسودان
who are in more urgentالعاجلة need than you."
270
820193
4905
13:57
(Laughterضحك)
271
825122
1104
(ضحك)
13:58
"So I'm leavingمغادرة. Make your ownخاصة dinnerوجبة عشاء."
272
826250
2075
"أنا ذاهب إلى هناك!
اصنع طعامكَ بنفسك!"
14:00
(Laughterضحك)
273
828349
2000
(ضحك)
14:02
So we have to solveحل these problemsمشاكل,
274
830823
1739
لذا، يجبُ أن نَحُلّ هذهِ المشاكل،
14:04
and I'm looking forwardإلى الأمام
to workingعامل on them.
275
832586
2515
وأنا متحمّسٌ للعملِ عليهم.
14:07
There are reasonsأسباب for optimismالتفاؤل.
276
835125
1843
هناكَ أسبابٌ تدفعني للتفاؤل
14:08
One reasonالسبب is,
277
836992
1159
و أحدُ هذه الأسباب:
14:10
there is a massiveكبير amountكمية of dataالبيانات.
278
838175
1868
حجمُ البياناتِ الهائلُ الذي نمتلكهُ.
لأنَّ الروبوتاتِ كما أخبرتكم
ستقرأُ كلّ شيءٍ
14:12
Because rememberتذكر -- I said
they're going to readاقرأ everything
279
840067
2794
قامَ البشرُ بكتابته.
14:14
the humanبشري raceسباق has ever writtenمكتوب.
280
842885
1546
ومعظمُ ما نكتبُ عنهُ
هو قصصٌ عن أناسٍ يرتكبون أخطاءً
14:16
Mostعظم of what we writeاكتب about
is humanبشري beingsالكائنات doing things
281
844455
2724
وآخرين تزعجهم هذهِ الأخطاء.
14:19
and other people gettingالحصول على upsetمضطراب about it.
282
847203
1914
لذا ستتمكّن الروبوتاتُ
منْ تعلّمِ كلِّ هذا.
14:21
So there's a massiveكبير amountكمية
of dataالبيانات to learnتعلم from.
283
849141
2398
14:23
There's alsoأيضا a very
strongقوي economicاقتصادي incentiveحافز
284
851563
2236
ولدينا كذلكَ دافعٌ اقتصاديٌّ كبيرٌ
لإتمامِ الأمرِ دونَ أخطاء.
14:27
to get this right.
285
855331
1186
تخيّلو مثلاً روبوتَكم المنزليَّ
14:28
So imagineتخيل your domesticالمنزلي robot'sالروبوت at home.
286
856541
2001
14:30
You're lateمتأخر from work again
and the robotإنسان آلي has to feedتغذية the kidsأطفال,
287
858566
3067
وقد تأخرتم في عملكم مجدداً
لكنَّ على الروبوتَ أن يطعم أبناءكم،
14:33
and the kidsأطفال are hungryجوعان
and there's nothing in the fridgeثلاجة.
288
861657
2823
والأطفال جائعون لكنّ الثلّاجةَ فارغة.
14:36
And the robotإنسان آلي seesيرى the catقط.
289
864504
2605
سيبجثُ الروبوتُ عن أيِّ طعامٍ
وسيرى القطة.
14:39
(Laughterضحك)
290
867133
1692
(ضحك)
14:40
And the robotإنسان آلي hasn'tلم quiteالى حد كبير learnedتعلم
the humanبشري valueالقيمة functionوظيفة properlyبصورة صحيحة,
291
868849
4190
لكنّه لم يتعلّم بعدُ
قِيَمَكُم الإنسانيّة جيّداً
14:45
so it doesn't understandتفهم
292
873063
1251
لذا لن يفهم
14:46
the sentimentalعاطفي valueالقيمة of the catقط outweighsتفوق
the nutritionalالتغذية valueالقيمة of the catقط.
293
874338
4844
بأنَّ القيمة العاطفيّة للقطّةِ
تفوقُ قيمتها الغذائيّة.
(ضحك)
14:51
(Laughterضحك)
294
879206
1095
14:52
So then what happensيحدث?
295
880325
1748
ماذا سيحصل عندها؟
14:54
Well, it happensيحدث like this:
296
882097
3297
في الواقع، سينتهي الأمرُ هكذا:
14:57
"Derangedمختل robotإنسان آلي cooksطهاة kittyصندوق
for familyأسرة dinnerوجبة عشاء."
297
885418
2964
"روبوتٌ مختلٌّ قامَ بطبخِ
قطّة المنزلِ على العشاء"
15:00
That one incidentحادث would be the endالنهاية
of the domesticالمنزلي robotإنسان آلي industryصناعة.
298
888406
4523
حادثٌ واحدٌ كهذا كفيلٌ بإنهاء
صناعة الروبوتات المنزلية.
15:04
So there's a hugeضخم incentiveحافز
to get this right
299
892953
3372
لهذا لدينا دافعٌ حقيقيٌّ
لإتمام الأمرِ دون أخطاء
15:08
long before we reachتصل
superintelligentsuperintelligent machinesآلات.
300
896349
2715
حتّى قبلَ أن نتمكّن من اختراعِ
أيّ آلة خارقِة الذكاء.
15:12
So to summarizeلخص:
301
900128
1535
إذاً كخلاصةٍ لكلامي:
15:13
I'm actuallyفعلا tryingمحاولة to changeيتغيرون
the definitionفريف of AIAI
302
901687
2881
أنا أحاولُ بجديّةٍ
تغييرَ تعريفِ الذّكاءِ الاصطناعي
15:16
so that we have provablyبصورة مبرهنة
beneficialمفيد machinesآلات.
303
904592
2993
بحيثُ يمكننا اختراعُ آلاتٍ
ذاتَ فائدةٍ مثبتةٍ علميّاً.
15:19
And the principlesمبادئ are:
304
907609
1222
و ما أقترحهُ كتعريف:
آلاتٌ تؤثرُ دوماً مصلحةَ البشر،
15:20
machinesآلات that are altruisticعنده إيثار,
305
908855
1398
15:22
that want to achieveالتوصل only our objectivesالأهداف,
306
910277
2804
و تسعى لتحقيقِ أهدافنا فقط،
15:25
but that are uncertainغير مؤكد
about what those objectivesالأهداف are,
307
913105
3116
لكنّها ليست متأكّدةً
من صحّةِ فهمها لهذهِ الأهداف،
15:28
and will watch all of us
308
916245
1998
لذا ستقومُ بمراقبتنا على الدوام
15:30
to learnتعلم more about what it is
that we really want.
309
918267
3203
لكيّ تتعلّمَ أكثرَ عمّا نريدها
أنْ تساعدنا فيهِ حقّاً.
15:34
And hopefullyنأمل in the processمعالج,
we will learnتعلم to be better people.
310
922373
3559
وآمُلُ أنْ نتعلّم نحنُ أيضاً
مِنْ هذهِ التجاربِ كيفَ نصبحُ أناساً أفضل.
15:37
Thank you very much.
311
925956
1191
شكراً لكم.
15:39
(Applauseتصفيق)
312
927171
3709
(تصفيق)
كريس أندرسون: هذا مشوّق جدّاً، ستيوارت.
15:42
Chrisكريس Andersonأندرسون: So interestingمثير للإعجاب, Stuartستيوارت.
313
930904
1868
15:44
We're going to standيفهم here a bitقليلا
because I think they're settingضبط up
314
932796
3170
سنبقى على المنصّةِ قليلاً،
لأنهم بصدد الإعداد للمحادثة التالية.
15:47
for our nextالتالى speakerالمتحدث.
315
935990
1151
لديَّ بعضُ الأسئلة:
15:49
A coupleزوجان of questionsالأسئلة.
316
937165
1538
15:50
So the ideaفكرة of programmingبرمجة in ignoranceجهل
seemsيبدو intuitivelyحدسي really powerfulقوي.
317
938727
5453
إذن فكرة البرمجة عن جهل
تببدو للوهلة الأولى رهيبةً.
15:56
As you get to superintelligenceالخارق,
318
944204
1594
ونحن نتجه نحو الذكاء الخارق،
15:57
what's going to stop a robotإنسان آلي
319
945822
2258
ما الذي سيمنع الروبوت
16:00
readingقراءة literatureالأدب and discoveringاكتشاف
this ideaفكرة that knowledgeالمعرفه
320
948104
2852
من القراءةِ والتعلّمِ بأنّ المعرفةَ
16:02
is actuallyفعلا better than ignoranceجهل
321
950980
1572
أفضلُ من الجهلِ
16:04
and still just shiftingتحويل its ownخاصة goalsأهداف
and rewritingإعادة كتابة that programmingبرمجة?
322
952576
4218
وتظل في المقابل تحيد عن أهدافها الشخصية
وتعيد صياغة تلك البرمجة؟
16:09
Stuartستيوارت Russellراسيل: Yes, so we want
it to learnتعلم more, as I said,
323
957692
6356
ستيوارت راسل: نريدُ حقيقةً كما قلت،
أنْ تتعلّمَ هذهِ الآلاتُ أكثر،
16:16
about our objectivesالأهداف.
324
964072
1287
عن أهدافنا نحن.
وستكونُ أكثرَ ثقةً بصحّةِ معلوماتها فقط
حينما تصبحُ أكثرَ دقّةً
16:17
It'llأنه سوف only becomeيصبح more certainالمؤكد
as it becomesيصبح more correctصيح,
325
965383
5521
فالدليل واضح هناك
16:22
so the evidenceدليل is there
326
970928
1945
16:24
and it's going to be designedتصميم
to interpretتفسر it correctlyبشكل صحيح.
327
972897
2724
وستكون مصممة لتفسيره بشكل صحيح.
16:27
It will understandتفهم, for exampleمثال,
that booksالكتب are very biasedانحيازا
328
975645
3956
وسوفَ تفهمُ مثلاً بأنَّ
بعضَ الكُتُبِ متحيّزةٌ جدا
16:31
in the evidenceدليل they containيحتوي.
329
979625
1483
حيال المعلوماتِ التي تحتويها.
16:33
They only talk about kingsالملوك and princesالأمراء
330
981132
2397
حيث لاتروي قصصاً
سوى عن ملوكٍ أو أميراتٍ
16:35
and eliteنخبة whiteأبيض maleالذكر people doing stuffأمور.
331
983553
2800
أو عن أبطال ذكور ذوي بشرة بيضاء
يقومون بأشياء جميلة.
16:38
So it's a complicatedمعقد problemمشكلة,
332
986377
2096
لذا فهي مشكلةٌ معقّدةٌ،
16:40
but as it learnsيتعلم more about our objectivesالأهداف
333
988497
3872
لكنَّ الآلاتَ ستتعلّمُ أكثرَ
عن أهدافنا في النهاية
16:44
it will becomeيصبح more and more usefulمفيد to us.
334
992393
2063
وستصبحُ أكثرَ فائدةً لنا.
16:46
CACA: And you couldn'tلم أستطع
just boilدمل it down to one lawالقانون,
335
994480
2526
ك.أ : ألم يكن بإمكانك أن تختصر
هذا في قانون واحد،
كأنْ تزرعَ في دماغها مايلي:
16:49
you know, hardwiredماثلة in:
336
997030
1650
16:50
"if any humanبشري ever triesيحاول to switchمفتاح كهربائي me off,
337
998704
3293
"إنْ حاولَ أيُّ إنسانٍ
في أيّ وقتٍ أن يُطفِئني"
16:54
I complyالامتثال. I complyالامتثال."
338
1002021
1935
"سأمتثل، سأمتثل."
16:55
SRريال سعودى: Absolutelyإطلاقا not.
339
1003980
1182
س.ر: بالتأكيد لا.
16:57
That would be a terribleرهيب ideaفكرة.
340
1005186
1499
ستكون تلك فكرة سيئة جدًا.
16:58
So imagineتخيل that you have
a self-drivingالقيادة الذاتية carسيارة
341
1006709
2689
تخيّل مثلاً لو امتلكتَ
سيّارةً ذاتيّةَ القيادةِ
17:01
and you want to sendإرسال your five-year-oldعمره خمس سنوات
342
1009422
2433
وأردتَ أنْ تُرسلَ بها طفلكَ
ذي الخمسة أعوامٍ
17:03
off to preschoolمرحلة ما قبل المدرسة.
343
1011879
1174
إلى الروضة.
17:05
Do you want your five-year-oldعمره خمس سنوات
to be ableقادر to switchمفتاح كهربائي off the carسيارة
344
1013077
3101
هل تريدُ أن يُطفئَ طِفلُك السيّارةَ
في منتصفِ الطّريق؟
17:08
while it's drivingالقيادة alongعلى طول?
345
1016202
1213
بالتّأكيدِ لا.
17:09
Probablyالمحتمل not.
346
1017439
1159
لذا يجبُ أن تفهم الآلةُ دوافعَ
الإنسانِ لإطفائها ومدى عقلانيّتهِ
17:10
So it needsالاحتياجات to understandتفهم how rationalمعقول
and sensibleمعقول the personشخص is.
347
1018622
4703
17:15
The more rationalمعقول the personشخص,
348
1023349
1676
و كلّما كانَ الشخصُ منطقيّاً أكثر،
كلّما كانت الآلةُ أكثرَ
تقبّلاً لإيقافِ تشغيلها.
17:17
the more willingراغب you are
to be switchedتحول off.
349
1025049
2103
17:19
If the personشخص is completelyتماما
randomعشوائي or even maliciousخبيث,
350
1027176
2543
ولوّ كان الشخصُ غريباً
أو بدا مُؤذياً،
17:21
then you're lessأقل willingراغب
to be switchedتحول off.
351
1029743
2512
فلنْ تتقبّلَ الآلةُ أنْ يتمَّ إطفاؤها.
17:24
CACA: All right. Stuartستيوارت, can I just say,
352
1032279
1866
ك. أ: حسناً، أودُّ أنْ أقولَ بأنّني
أتمنّى حقّاً أنْ تخترعَ
هذهِ الأشياء لنا قريباً
17:26
I really, really hopeأمل you
figureالشكل this out for us.
353
1034169
2314
17:28
Thank you so much for that talk.
That was amazingرائعة حقا.
354
1036507
2375
شكراً جزيلاً لكَ على هذه المحادثة
لقد كانت مدهشة.
17:30
SRريال سعودى: Thank you.
355
1038906
1167
س. ر: شكراً لك.
17:32
(Applauseتصفيق)
356
1040097
1837
(تصفيق)
Translated by Muhammad Arafat

▲Back to top

ABOUT THE SPEAKER
Stuart Russell - AI expert
Stuart Russell wrote the standard text on AI; now he thinks deeply on AI's future -- and the future of us humans, too.

Why you should listen

Stuart Russell is a professor (and formerly chair) of Electrical Engineering and Computer Sciences at University of California at Berkeley. His book Artificial Intelligence: A Modern Approach (with Peter Norvig) is the standard text in AI; it has been translated into 13 languages and is used in more than 1,300 universities in 118 countries. His research covers a wide range of topics in artificial intelligence including machine learning, probabilistic reasoning, knowledge representation, planning, real-time decision making, multitarget tracking, computer vision, computational physiology, global seismic monitoring and philosophical foundations.

He also works for the United Nations, developing a new global seismic monitoring system for the nuclear-test-ban treaty. His current concerns include the threat of autonomous weapons and the long-term future of artificial intelligence and its relation to humanity.

More profile about the speaker
Stuart Russell | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM
ستيوارت راسل: كيفَ يُمكنُ للذّكاءِ الاصطناعي أن يجعلنا أُناسًا أفضل | TED Talk | TED.com