ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

زينب توفيكسي: الذكاء الاصطناعي يجعل الأخلاق الإنسانية أكثر أهمية

Filmed:
1,648,711 views

هنا الذكاء الإصطناعي، ونحن نستعمله لاتخاذ القرارات منذ فترة قصيرة. ولكن الطريقة المعقدة التي ينمو ويتطور بها تجعل من الصعب أن نفهمه وحتى بصعوبة أكبر أن نتحكم به. في هذه المحادثة التحذيرية، العالمة التقنية الاجتماعية زينب توفيكسي تشرح كيف أن الذكاء الصناعي يُمكن أن يفشل في الطرق التي لا تناسب نماذج الأخطاء الانسانية -- وفي الطرق التي سوف لن نتوقعها أو لا نكون متحضرين لها. "نحن لا نستطيع أن نتعهد بمسؤلياتنا للآلات،"كما تقول زينب."والذي يعني أنه يجب علينا ننتظر بشكل محكم أكثر من أي وقت مضى للقيم الانسانية والأخلاق الانسانية."
- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio

Double-click the English transcript below to play the video.

00:12
So, I startedبدأت my first jobوظيفة
as a computerالحاسوب programmerمبرمج
0
739
4122
لقد بدأت عملي الأول كمبرمجة كمبيوتر
00:16
in my very first yearعام of collegeكلية --
1
4885
1956
في أول سنة جامعة لي--
00:18
basicallyفي الأساس, as a teenagerمراهق.
2
6865
1507
بشكل أساسي، كمراهقة.
00:20
Soonهكذا after I startedبدأت workingعامل,
3
8889
1732
بعدما بدأت العمل بوقت قصير،
00:22
writingجاري الكتابة softwareالبرمجيات in a companyشركة,
4
10645
1610
بكتابة البرمجيات في الشركة،
00:24
a managerمدير who workedعمل at the companyشركة
cameأتى down to where I was,
5
12799
3635
آتى مدير في الشركة إلى حيث كنت أعمل،
00:28
and he whisperedهمس to me,
6
16458
1268
و همس لي،
00:30
"Can he tell if I'm lyingيكذب أو ملقاه?"
7
18229
2861
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"
00:33
There was nobodyلا أحد elseآخر in the roomمجال.
8
21806
2077
لم يكن هناك أحد آخر في الغرفة.
00:37
"Can who tell if you're lyingيكذب أو ملقاه?
And why are we whisperingهمس?"
9
25032
4389
"من الذي سيُخبرإذا كنتَ
تكذب؟ ولماذا نحن نهمس؟"
00:42
The managerمدير pointedيشير الى
at the computerالحاسوب in the roomمجال.
10
30266
3107
أشار المدير إلى الكمبيوترالموجود في الغرفة.
00:45
"Can he tell if I'm lyingيكذب أو ملقاه?"
11
33397
3096
"هل يستطيع أن يُخبر فيما إذا كنتُ أكذب؟"
00:49
Well, that managerمدير was havingوجود
an affairقضية with the receptionistموظف الإستقبال.
12
37613
4362
حسناً، المدير كان على علاقة
مع موظفة الاستقبال.
00:53
(Laughterضحك)
13
41999
1112
(ضحك)
00:55
And I was still a teenagerمراهق.
14
43135
1766
وكنت لا أزال مراهقة.
00:57
So I whisper-shoutedالهمس صاح back to him,
15
45447
2019
ولذالك همست له بصوت مرتفع،
00:59
"Yes, the computerالحاسوب can tell
if you're lyingيكذب أو ملقاه."
16
47490
3624
"نعم الكمبيوتر يستطيع أن
يُخبر فيما إذا كنتَ تكذب."
01:03
(Laughterضحك)
17
51138
1806
(ضحك)
01:04
Well, I laughedضحك, but actuallyفعلا,
the laugh'sوالضحك on me.
18
52968
2923
حسنا، لقد ضحكت،
ولكن في الحقيقة ضحكت على نفسي.
01:07
Nowadaysالوقت الحاضر, there are computationalالحسابية systemsأنظمة
19
55915
3268
هذه الأيام، يوجد هنالك أنظمة حسابية
01:11
that can sussسوس out
emotionalعاطفي statesتنص على and even lyingيكذب أو ملقاه
20
59207
3548
من الممكن أن نعمل عليها
على الحالات العاطفية وحتى الكذب
01:14
from processingمعالجة humanبشري facesوجوه.
21
62779
2044
من معالجة وجوه الناس.
01:17
Advertisersالمعلنين and even governmentsالحكومات
are very interestedيستفد.
22
65248
4153
العاملون في مجال الإعلان
وحتى الحكومات مهتمون جداً.
01:22
I had becomeيصبح a computerالحاسوب programmerمبرمج
23
70319
1862
لقد أصبحت مبرمجة كمبيوتر
01:24
because I was one of those kidsأطفال
crazyمجنون about mathالرياضيات and scienceعلم.
24
72205
3113
لأنني كنت واحدة من أولئك
الأطفال المحبين للرياضيات والعلوم.
01:27
But somewhereمكان ما alongعلى طول the lineخط
I'd learnedتعلم about nuclearنووي weaponsأسلحة,
25
75942
3108
ولكن في مكان ما من هذا
الطريق تعلمت عن الأسلحة النووية،
01:31
and I'd gottenحصلت really concernedالمعنية
with the ethicsأخلاق of scienceعلم.
26
79074
2952
وأنا حقاً قلقة حول أخلاقيات العلم.
01:34
I was troubledمضطرب.
27
82050
1204
كنت مضطربة.
01:35
Howeverومع ذلك, because of familyأسرة circumstancesظروف,
28
83278
2641
على أية حال، بسبب ظروف العائلة،
01:37
I alsoأيضا neededبحاجة to startبداية workingعامل
as soonهكذا as possibleممكن.
29
85943
3298
أنا أيضاً بحاجة أن أبدأ
العمل بأسرع ما يمكن.
01:41
So I thought to myselfنفسي, hey,
let me pickقطف او يقطف a technicalتقني fieldحقل
30
89265
3299
لذلك فكرت بنفسي، مهلاً،
أدخلي في المجال التقني
01:44
where I can get a jobوظيفة easilyبسهولة
31
92588
1796
حيث أستطيع أن أحصل على عمل بسهولة
01:46
and where I don't have to dealصفقة
with any troublesomeمزعج questionsالأسئلة of ethicsأخلاق.
32
94408
4018
وحيث ليس علي أن أتعامل
مع أسئلة أخلاقية مزعجة.
01:51
So I pickedالتقطت computersأجهزة الكمبيوتر.
33
99022
1529
لذلك اخترت الحواسيب.
01:52
(Laughterضحك)
34
100575
1104
(ضحك)
01:53
Well, haها, haها, haها!
All the laughsيضحك are on me.
35
101703
3410
حسناً، ها، ها، ها!
كل الضحك علي.
01:57
Nowadaysالوقت الحاضر, computerالحاسوب scientistsالعلماء
are buildingبناء platformsمنصات
36
105137
2754
هذه الأيام، علماء الحاسوب
يقومون بصياغة البرامج
01:59
that controlمراقبة what a billionمليار
people see everyكل day.
37
107915
4209
والتي تتحكم بما يستطيع أن
يشاهده مليار شخص كل يوم.
02:05
They're developingتطوير carsالسيارات
that could decideقرر who to runيركض over.
38
113052
3822
إنهم يطورون السيارات التي
ممكن أن تقرر مَن تجاوز السرعة.
02:09
They're even buildingبناء machinesآلات, weaponsأسلحة,
39
117707
3213
إنهم حتى يبنون الألات و الأسلحة،
02:12
that mightربما killقتل humanبشري beingsالكائنات in warحرب.
40
120944
2285
التي يُمكن أن تقتل الإنسان في الحرب.
02:15
It's ethicsأخلاق all the way down.
41
123253
2771
إنها الأخلاق دائماً في النطاق.
02:19
Machineآلة intelligenceالمخابرات is here.
42
127183
2058
ذكاء الألة يكون هنا.
نحن نستخدم الألة لنتخذ كل أنواع القرارات،
02:21
We're now usingاستخدام computationحساب
to make all sortفرز of decisionsقرارات,
43
129823
3474
02:25
but alsoأيضا newالجديد kindsأنواع of decisionsقرارات.
44
133321
1886
ولكن ايضاً الأنواع الجديدة من القرارات.
02:27
We're askingيسأل questionsالأسئلة to computationحساب
that have no singleغير مرتبطة right answersالأجوبة,
45
135231
5172
نحن نسأل الحاسب أسئلة
ليس له إجابات صحيحة منفردة
02:32
that are subjectiveشخصي
46
140427
1202
والتي تكون غير موضوعية
02:33
and open-endedقضية مفتوحة and value-ladenقيمة لادن.
47
141653
2325
مفتوحة وذات قيمة.
02:36
We're askingيسأل questionsالأسئلة like,
48
144002
1758
نحن نسأل أسئلة مثل،
02:37
"Who should the companyشركة hireتوظيف?"
49
145784
1650
"من الذي يجب على الشركة توظيفه؟"
02:40
"Whichالتي updateتحديث from whichالتي friendصديق
should you be shownأظهرت?"
50
148096
2759
"أي تحديث ومن أي صديق
يجب أن تُشاهد؟"
02:42
"Whichالتي convictالمحكوم is more
likelyالمحتمل أن to reoffendreoffend?"
51
150879
2266
"أي إنتهاك من المرجح أن يُعاد إدانته؟"
02:45
"Whichالتي newsأخبار itemبند or movieفيلم
should be recommendedموصى به to people?"
52
153514
3054
"أي الأخبار أو الأفلام يجب
أن يوصى بها إلى الناس؟"
02:48
Look, yes, we'veقمنا been usingاستخدام
computersأجهزة الكمبيوتر for a while,
53
156592
3372
انظر، نعم، نحن نستخدم الحاسوب منذ فترة،
02:51
but this is differentمختلف.
54
159988
1517
ولكن هذا مُختلف.
02:53
This is a historicalتاريخي twistإلتواء,
55
161529
2067
هذا تطور تاريخي،
02:55
because we cannotلا تستطيع anchorمذيع الأخبار computationحساب
for suchهذه subjectiveشخصي decisionsقرارات
56
163620
5337
لأننا لا نستطيع أن نُركّز الحساب
من أجل هكذا قرارات شخصية
03:00
the way we can anchorمذيع الأخبار computationحساب
for flyingطيران airplanesالطائرات, buildingبناء bridgesالجسور,
57
168981
5420
الطريقة التي نستطيع أن نُركّز الحساب
لأجل تحليق الطائرات، بناء الجسور،
03:06
going to the moonالقمر.
58
174425
1259
الذهاب إلى القمر
03:08
Are airplanesالطائرات saferأكثر أمانا?
Did the bridgeجسر swayتمايل and fallخريف?
59
176449
3259
هل الطائرات أكثر أماناً؟
هل الجسر تأرجح وانهار؟
03:11
There, we have agreed-uponمتفق عليه,
fairlyتماما clearواضح benchmarksالمعايير,
60
179732
4498
هناك، نحن اتفقنا عليه،
معيار واضح ألى حد ما،
03:16
and we have lawsقوانين of natureطبيعة to guideيرشد us.
61
184254
2239
ونحن لدينا قوانين طبيعية لتُرشِدنا.
03:18
We have no suchهذه anchorsالمراسي and benchmarksالمعايير
62
186517
3394
ليس لدينا هكذا مرتكز أو معيار
03:21
for decisionsقرارات in messyفوضوي humanبشري affairsأمور.
63
189935
3963
للقرارات في العلاقات الإنسانية الفوضوية.
03:25
To make things more complicatedمعقد,
our softwareالبرمجيات is gettingالحصول على more powerfulقوي,
64
193922
4237
لنجعل الأشياء أكثر تعقيداً،
برمجياتُنا أصبحت أكثر قوة،
03:30
but it's alsoأيضا gettingالحصول على lessأقل
transparentشفاف and more complexمركب.
65
198183
3773
ولكنها أصبحت أيضاً أقل
شفافية وأكثر تعقيداً.
03:34
Recentlyمؤخرا, in the pastالماضي decadeعقد,
66
202542
2040
مؤخراً، في العقد الماضي،
03:36
complexمركب algorithmsخوارزميات
have madeمصنوع great stridesخطوات.
67
204606
2729
الخوارزميات المعقدة
صنعت خطوات عظيمة.
03:39
They can recognizeتعرف humanبشري facesوجوه.
68
207359
1990
تستطيع أن تُميز الوجوه البشرية.
03:41
They can decipherحل الشفرة handwritingخط يد.
69
209985
2055
تستطيع أن تحل شيفرة خط اليد.
03:44
They can detectالكشف creditائتمان cardبطاقة fraudتزوير
70
212436
2066
تستطيع أن تكشف تزوير البطاقة الإتمانية
03:46
and blockمنع spamبريد مؤذي
71
214526
1189
وتمنع البريد المزعج
03:47
and they can translateترجمه betweenما بين languagesاللغات.
72
215739
2037
وتستطيع الترجمة بين اللغات.
03:49
They can detectالكشف tumorsالأورام in medicalطبي imagingالتصوير.
73
217800
2574
تستطيع أن تكشف الأمراض في التصوير الطبي.
03:52
They can beatتغلب humansالبشر in chessشطرنج and Go.
74
220398
2205
تستطيع أن تتغلب على الإنسان في الشطرنج.
03:55
Much of this progressتقدم comesيأتي
from a methodطريقة calledمسمي "machineآلة learningتعلم."
75
223264
4504
معظم هذا التقدم يأتي من اسلوب
يُدعى"تعلم الآلة."
04:00
Machineآلة learningتعلم is differentمختلف
than traditionalتقليدي programmingبرمجة,
76
228175
3187
تعلم الآلة يختلف عن البرمجة التقليدية،
04:03
where you give the computerالحاسوب
detailedمفصلة, exactدقيق, painstakingمثابر instructionsتعليمات.
77
231386
3585
حيث تُعطي الحاسوب تعليمات
دقيقة ومضبوطة ومُفصلة.
04:07
It's more like you take the systemالنظام
and you feedتغذية it lots of dataالبيانات,
78
235378
4182
إنه مثل أن تأخذ النظام
وتُلقمه الكثير من البيانات،
04:11
includingبما فيها unstructuredغير منظم dataالبيانات,
79
239584
1656
بما في ذلك البيانات الغير منظمة،
04:13
like the kindطيب القلب we generateتوفير
in our digitalرقمي livesالأرواح.
80
241264
2278
مثل النوع الذي أنتجناه في حياتنا الرقمية.
04:15
And the systemالنظام learnsيتعلم
by churningمتماوج throughعبر this dataالبيانات.
81
243566
2730
والنظام المتعلم من خلال
الخوض بهذه البيانات.
04:18
And alsoأيضا, cruciallyبشكل حاسم,
82
246669
1526
و أيضاً، بشكل حاسم،
04:20
these systemsأنظمة don't operateالعمل
underتحت a single-answerالجواب-واحدة logicمنطق.
83
248219
4380
هذه الأنظمة لا تعمل تحت
منطق الإجابة الفريدة.
04:24
They don't produceإنتاج a simpleبسيط answerإجابة;
it's more probabilisticاحتمالي:
84
252623
2959
إنها لا تُنتج إجابة بسيطة؛
إنها أكثر إحتمالية:
04:27
"This one is probablyالمحتمل more like
what you're looking for."
85
255606
3483
"من المحتمل أن يكون هذا
الشيء هو ما تبحث عنه."
04:32
Now, the upsideرأسا على عقل is:
this methodطريقة is really powerfulقوي.
86
260023
3070
الآن، الجزء الجيد هو:
هذه الطريقة حقاً قوية.
04:35
The headرئيس of Google'sغوغل AIAI systemsأنظمة calledمسمي it,
87
263117
2076
رئيس أنظمة غوغل دعاه،
04:37
"the unreasonableغير منطقى effectivenessفعالية of dataالبيانات."
88
265217
2197
"الفاعلية الغير منطقية للبيانات."
04:39
The downsideالجانب السلبي is,
89
267791
1353
الجانب السلبي هو،
04:41
we don't really understandتفهم
what the systemالنظام learnedتعلم.
90
269738
3071
لا نستطيع أن
نفهم ماذا يُعلم النظام تماماً.
04:44
In factحقيقة, that's its powerقوة.
91
272833
1587
في الحقيقة، تلك قوته.
04:46
This is lessأقل like givingإعطاء
instructionsتعليمات to a computerالحاسوب;
92
274946
3798
هذا بدرجة أقل مثل إعطاء
التعليمات للحاسوب؛
04:51
it's more like trainingتدريب
a puppy-machine-creatureجرو آلة مخلوق
93
279200
4064
إنه بالأكثر مثل تدريب
مخلوق آلي مغرور
04:55
we don't really understandتفهم or controlمراقبة.
94
283288
2371
لا نستطيع حقاً أن نفهمه أو نتحكم به.
04:58
So this is our problemمشكلة.
95
286362
1551
لذلك هذه هي مُشكلتنا.
05:00
It's a problemمشكلة when this artificialمصطنع
intelligenceالمخابرات systemالنظام getsيحصل على things wrongخطأ.
96
288427
4262
إنها مشكلة عندما يصنع نظام الذكاء
الإصطناعي هذا أشياء خاطئة.
05:04
It's alsoأيضا a problemمشكلة
when it getsيحصل على things right,
97
292713
3540
إنها أيضاً مُشكلة عندما نحصل
على الأشياء الصحيحة،
05:08
because we don't even know whichالتي is whichالتي
when it's a subjectiveشخصي problemمشكلة.
98
296277
3628
لأننا لا نعرف حتى متى
تكون مشكلة غير موضوعية.
05:11
We don't know what this thing is thinkingتفكير.
99
299929
2339
نحن لا نعلم ماذا يُفكر هذه الشيء.
05:15
So, considerيعتبر a hiringتوظيف algorithmخوارزمية --
100
303493
3683
لذلك، تأمل خوارزمية التوظيف--
05:20
a systemالنظام used to hireتوظيف people,
usingاستخدام machine-learningتعلم الآلة systemsأنظمة.
101
308123
4311
نظام يستعمل لتوظيف الناس،
باستعمال أنظمة تعلّم الآلة.
05:25
Suchهذه a systemالنظام would have been trainedمتدرب
on previousسابق employees'الموظفين' dataالبيانات
102
313052
3579
هكذا نظام قد تم تمرينه
على بيانات العاملين السابقة
05:28
and instructedتعليمات to find and hireتوظيف
103
316655
2591
وأَعطي تعليمات ليجد ويوظف
05:31
people like the existingموجود
highمتوسط performersالأداء in the companyشركة.
104
319270
3038
الناس مثل الموجودين في الشركة
من ذوي الكفاءات العالية.
05:34
Soundsاصوات good.
105
322814
1153
يبدو جيداً.
05:35
I onceذات مرة attendedحضرها a conferenceمؤتمر
106
323991
1999
حضرت إجتماعاً ذات مرة
05:38
that broughtجلبت togetherسويا
humanبشري resourcesموارد managersمدراء and executivesالمديرين,
107
326014
3125
مع مدراء الموارد البشرية
والمدراء التنفيذيين،
05:41
high-levelمستوى عال people,
108
329163
1206
أشخاص على مستوى عال،
05:42
usingاستخدام suchهذه systemsأنظمة in hiringتوظيف.
109
330393
1559
وباستخدام هكذا أنظمة في التوظيف.
05:43
They were superممتاز excitedفرح.
110
331976
1646
كانوا متحمسين بشكل كبير.
05:45
They thought that this would make hiringتوظيف
more objectiveموضوعي, lessأقل biasedانحيازا,
111
333646
4653
اعتقدوا أن هذا سيجعل التوظيف
أكثر موضوعية وأقل تحيز،
05:50
and give womenنساء
and minoritiesالأقليات a better shotاطلاق النار
112
338323
3000
وإعطاء النساء والأقليات محاولة أفضل
05:53
againstضد biasedانحيازا humanبشري managersمدراء.
113
341347
2188
ضد تحيز مدراء الموارد البشرية.
05:55
And look -- humanبشري hiringتوظيف is biasedانحيازا.
114
343559
2843
انظر-- التوظيف البشري متحيز.
05:59
I know.
115
347099
1185
أنا أعلم.
06:00
I mean, in one of my earlyمبكرا jobsوظائف
as a programmerمبرمج,
116
348308
3005
أعني، في أحد أعمالي المبكرة كمبرمجة،
06:03
my immediateفوري managerمدير would sometimesبعض الأحيان
come down to where I was
117
351337
3868
مديرتي المباشرة كانت تأتي أحياناً إلي
حيث كُنت أعمل
06:07
really earlyمبكرا in the morningصباح
or really lateمتأخر in the afternoonبعد الظهر,
118
355229
3753
باكراً في الصباح أو متأخرة بعد الظهر،
06:11
and she'dتسلط say, "Zeynepزينب,
let's go to lunchغداء!"
119
359006
3062
وكانت تقول، "زينب، دعينا نذهب ألى الغداء!"
06:14
I'd be puzzledمتحير by the weirdعجيب timingتوقيت.
120
362724
2167
وأكون في حيرة من التوقيت الغريب.
06:16
It's 4pmمساء. Lunchغداء?
121
364915
2129
إنه الساعة الرابعة بعد الظهر. الغداء؟
06:19
I was brokeحطم, so freeحر lunchغداء. I always wentذهب.
122
367068
3094
كُنت مُفلسة، وكذلك الغداء مجاني.
كنت دائماً أذهب.
06:22
I laterفي وقت لاحق realizedأدرك what was happeningحدث.
123
370618
2067
فيما بعد أدركت ماذا كان يحدث.
06:24
My immediateفوري managersمدراء
had not confessedاعترف to theirهم higher-upsارتفاع عمليات
124
372709
4546
مُدرائي المباشرين لم يخبروا
المدراء في المستوى الأعلى
06:29
that the programmerمبرمج they hiredالتعاقد
for a seriousجدي jobوظيفة was a teenفي سن المراهقة girlفتاة
125
377279
3113
إن المبرمج الذي وظفوه في
العمل المُهم كانت فتاة شابة
06:32
who woreلبس jeansجينز and sneakersأحذية رياضية to work.
126
380416
3930
والتي ترتدي الجنز والأحذية
الرياضية في العمل.
06:37
I was doing a good jobوظيفة,
I just lookedبدا wrongخطأ
127
385174
2202
كُنت أعمل عملاً جيداً،
فقط مظهري كان خاطئاً
06:39
and was the wrongخطأ ageعمر and genderجنس.
128
387400
1699
لقد كان العمر الخطأ والجنس الخطأ.
06:41
So hiringتوظيف in a gender-جنس- and race-blindسباق أعمى way
129
389123
3346
لذلك التوظيف بطريقة الجنس والعرق العمياء
06:44
certainlyمن المؤكد soundsاصوات good to me.
130
392493
1865
بالتأكيد تبدو جيدة بالنسبة لي.
06:47
But with these systemsأنظمة,
it is more complicatedمعقد, and here'sمن هنا why:
131
395031
3341
ولكن مع هذه الأنظمة،
إنه أكثر تعقيداً، والسبب:
06:50
Currentlyحاليا, computationalالحسابية systemsأنظمة
can inferالمخاطر all sortsأنواع of things about you
132
398968
5791
حالياً، الأنظمة الحسابية تستطيع أن
تستدل على كل الأشياء حولك
06:56
from your digitalرقمي crumbsفتات,
133
404783
1872
من أجزائك الرقمية الصغيرة،
06:58
even if you have not
disclosedكشف those things.
134
406679
2333
حتى لو أنك لم تكشف هذه الأشياء.
07:01
They can inferالمخاطر your sexualجنسي orientationاتجاه,
135
409506
2927
تستطيع أن تكشف توجهك الجنسي،
07:04
your personalityالشخصية traitsسمات,
136
412994
1306
ميزاتك الشخصية،
07:06
your politicalسياسي leaningsالميول.
137
414859
1373
ميولك السياسية.
07:08
They have predictiveتنبؤي powerقوة
with highمتوسط levelsمستويات of accuracyصحة.
138
416830
3685
لديها قوة تنبئية بمستوى عالي من الدقة.
07:13
Rememberتذكر -- for things
you haven'tلم even disclosedكشف.
139
421362
2578
تذّكر- حتى بالنسبة للأشياء التي لم تكشفها.
07:15
This is inferenceالإستنباط.
140
423964
1591
هذا هو الاستدلال.
07:17
I have a friendصديق who developedالمتقدمة
suchهذه computationalالحسابية systemsأنظمة
141
425579
3261
لدي صديق والذي طور هكذا أنظمة حسابية
07:20
to predictتنبؤ the likelihoodأرجحية
of clinicalمرضي or postpartumبعد الولادة depressionكآبة
142
428864
3641
ليتنبأ باحتمالية الإكتئاب المرضي أو
الإكتئاب ما بعد الولادة
07:24
from socialاجتماعي mediaوسائل الإعلام dataالبيانات.
143
432529
1416
من بيانات وسائل الإعلام.
07:26
The resultsالنتائج are impressiveمحرج.
144
434676
1427
النتائج كانت مؤثرة.
07:28
Her systemالنظام can predictتنبؤ
the likelihoodأرجحية of depressionكآبة
145
436492
3357
نظامها يستطيع التنبؤ باحتمالية الإكتئاب
07:31
monthsالشهور before the onsetبداية of any symptomsالأعراض --
146
439873
3903
أشهر قبل بداية أي أعراض --
07:35
monthsالشهور before.
147
443800
1373
أشهر قبل.
07:37
No symptomsالأعراض, there's predictionتنبؤ.
148
445197
2246
لا أعراض، يوجد هنا تنبؤ.
07:39
She hopesآمال it will be used
for earlyمبكرا interventionتدخل قضائي. Great!
149
447467
4812
تأمل أنه سيستعمل للتدخل المُبكر. عظيم!
07:44
But now put this in the contextسياق الكلام of hiringتوظيف.
150
452911
2040
لكن الآن ضع هذا في حالة التوظيف.
07:48
So at this humanبشري resourcesموارد
managersمدراء conferenceمؤتمر,
151
456027
3046
لذلك في مؤتمر مدراء الموارد البشرية هذا،
07:51
I approachedاقترب a high-levelمستوى عال managerمدير
in a very largeكبير companyشركة,
152
459097
4709
اقتربت من مدير في المستوى الأعلى
في شركة كبيرة جداً،
07:55
and I said to her, "Look,
what if, unbeknownstمجهول to you,
153
463830
4578
وقُلت لها،" انظري، ماذا لو، غير معروف لك،
08:00
your systemالنظام is weedingإزالة الأعشاب الضارة out people
with highمتوسط futureمستقبل likelihoodأرجحية of depressionكآبة?
154
468432
6549
أن نظامك يُزيل الأشخاص ذوي الاحتمالية
المستقبلية الكبيرة من الإكتئاب؟
08:07
They're not depressedمكتئب now,
just maybe in the futureمستقبل, more likelyالمحتمل أن.
155
475761
3376
إنهم غير مكتئبين الآن،
ربما فقط في المستقبل، أكثر احتمالية.
08:11
What if it's weedingإزالة الأعشاب الضارة out womenنساء
more likelyالمحتمل أن to be pregnantحامل
156
479923
3406
ماذا لو يُزل النساء الأكثر
احتمالية لأن يكونوا حوامل
08:15
in the nextالتالى yearعام or two
but aren'tلا pregnantحامل now?
157
483353
2586
في السنة المقبلة أوالسنتين
ولكن غير حوامل الآن؟
08:18
What if it's hiringتوظيف aggressiveالعدواني people
because that's your workplaceمكان العمل cultureحضاره?"
158
486844
5636
ماذا لو يوظف الناس العدائيين
لأن ذلك هو ثقافة مكان عملك؟"
08:25
You can't tell this by looking
at genderجنس breakdownsأعطال.
159
493173
2691
لا تستطيع أن تحكي هذا بالنظر
إلى التقسيم من حيث الجنس.
08:27
Those mayقد be balancedمتوازن.
160
495888
1502
هؤلاء ربما يكونوا متوازنيين.
08:29
And sinceمنذ this is machineآلة learningتعلم,
not traditionalتقليدي codingالترميز,
161
497414
3557
وبما أن هذا تعّلم الآلة،
وليس تدوين تقليدي،
08:32
there is no variableمتغير there
labeledالمسمى "higherأعلى riskخطر of depressionكآبة,"
162
500995
4907
لا يوجد هنا متغير يوجد
اسمه "خطر أعلى من الإكتئاب،"
08:37
"higherأعلى riskخطر of pregnancyحمل,"
163
505926
1833
"خطر أعلى من الحمل،"
08:39
"aggressiveالعدواني guy scaleمقياس."
164
507783
1734
"مقياس شخص عدواني."
08:41
Not only do you not know
what your systemالنظام is selectingاختيار on,
165
509995
3679
ليس فقط أنك لا تعلم ما يختار نظامك،
08:45
you don't even know
where to beginابدأ to look.
166
513698
2323
أنت لا تعلم أيضاً أين يجب أن تبدأ النظر.
08:48
It's a blackأسود boxصندوق.
167
516045
1246
إنه صندوق أسود.
08:49
It has predictiveتنبؤي powerقوة,
but you don't understandتفهم it.
168
517315
2807
إنه يملك قوة تنبؤية،
لكنك لا تفهمها.
08:52
"What safeguardsالضمانات," I askedطلبت, "do you have
169
520486
2369
سألتها "ما إجراءات الوقاية"، ستملكين
08:54
to make sure that your blackأسود boxصندوق
isn't doing something shadyظليلة?"
170
522879
3673
لتتأكد أن صندوقك الأسود
لا يعمل أي شيء مضلل؟"
09:00
She lookedبدا at me as if I had
just steppedصعدت on 10 puppyجرو tailsذيول.
171
528863
3878
نظرت ألي كما لو أنني
ضربتها بعشرة ذيول جِراء.
09:04
(Laughterضحك)
172
532765
1248
(ضحك)
09:06
She staredيحدق at me and she said,
173
534037
2041
حدقت إلي وقالت،
09:08
"I don't want to hearسمع
anotherآخر wordكلمة about this."
174
536556
4333
" أنا لا أريد أن أسمع كلمة أخرى حول هذا."
09:13
And she turnedتحول around and walkedمشى away.
175
541458
2034
و دارت نفسها وذهبت بعيداً.
09:16
Mindعقل you -- she wasn'tلم يكن rudeقلة الادب.
176
544064
1486
إنتبهوا-- لم تكن وقحة.
09:17
It was clearlyبوضوح: what I don't know
isn't my problemمشكلة, go away, deathالموت stareالتحديق.
177
545574
6308
إنه كان واضحاً: الذي لا أعرفه ليس مشكلتي،
اذهب بعيداً، الموت يُحدق.
09:23
(Laughterضحك)
178
551906
1246
(ضحك)
09:25
Look, suchهذه a systemالنظام
mayقد even be lessأقل biasedانحيازا
179
553862
3839
انظر، هكذا نظام ربما يكون أقل تحيزاً
09:29
than humanبشري managersمدراء in some waysطرق.
180
557725
2103
مِن المدراء البشر في بعض الطرق.
09:31
And it could make monetaryنقدي senseإحساس.
181
559852
2146
ويمكن أن يصنع إدراك عملي.
09:34
But it could alsoأيضا leadقيادة
182
562573
1650
ولكنه ممكن أن يقود أيضاً
09:36
to a steadyثابت but stealthyمسترق
shuttingإغلاق out of the jobوظيفة marketسوق
183
564247
4748
إلى الثبات ولكن إغلاق خفي لسوق العمل
09:41
of people with higherأعلى riskخطر of depressionكآبة.
184
569019
2293
للناس بمستوى عالي من الإكتئاب.
09:43
Is this the kindطيب القلب of societyالمجتمع
we want to buildبناء,
185
571753
2596
هل هذا هو النوع من المجتمع
الذي نريد أن نبنيه،
09:46
withoutبدون even knowingمعرفة we'veقمنا doneفعله this,
186
574373
2285
بدون حتى أن نعلم أننا فعلنا هذا،
09:48
because we turnedتحول decision-makingاتخاذ القرار
to machinesآلات we don't totallyتماما understandتفهم?
187
576682
3964
لأننا حولّنا اتخاذ القرارات
إلى ألات لا نفهمها تماماً؟
09:53
Anotherآخر problemمشكلة is this:
188
581265
1458
مشكلة أخرى وهي كالتالي:
09:55
these systemsأنظمة are oftenغالبا trainedمتدرب
on dataالبيانات generatedولدت by our actionsأفعال,
189
583314
4452
هذه الأنظمة غالباً ما تكون دُربت
على البيانات أُنتجت من أعمالنا،
09:59
humanبشري imprintsبصمات.
190
587790
1816
بصمات الإنسان.
10:02
Well, they could just be
reflectingيعكس our biasesالتحيزات,
191
590188
3808
حسناً، ربما هُن فقط يعكسن تحيزنا،
10:06
and these systemsأنظمة
could be pickingاختيار up on our biasesالتحيزات
192
594020
3593
وهذه الأنظمة ربما قد تختار تحيزنا
10:09
and amplifyingتضخيم them
193
597637
1313
وتبالغ فيه
10:10
and showingتظهر them back to us,
194
598974
1418
وتعود لترينا اياه
10:12
while we're tellingتقول ourselvesأنفسنا,
195
600416
1462
بينما نحن نُخبر أنفسنا،
10:13
"We're just doing objectiveموضوعي,
neutralمحايد computationحساب."
196
601902
3117
"نحن فقط نفعل الهدف، الحساب الحيادي."
10:18
Researchersالباحثين foundوجدت that on Googleجوجل,
197
606314
2677
الباحثون وجدوا ذلك على غوغل،
10:22
womenنساء are lessأقل likelyالمحتمل أن than menرجالي
to be shownأظهرت jobوظيفة adsإعلانات for high-payingذات رواتب عالية jobsوظائف.
198
610134
5313
النساء أقل احتمالية من الرجال لإعلانات
العمل بالنسبة للأعمال بالدخل العالي.
10:28
And searchingالبحث for African-Americanالافارقه الامريكان namesأسماء
199
616463
2530
والبحث في الأسماء الأميريكية الإفريقية
10:31
is more likelyالمحتمل أن to bringاحضر up adsإعلانات
suggestingمما يدل على criminalمجرم historyالتاريخ,
200
619017
4706
أكثراحتمالية ليجلب إعلانات
مُقترحة تاريخ جنائي،
10:35
even when there is noneلا شيء.
201
623747
1567
حتى عندما لا توجد.
10:38
Suchهذه hiddenمخفي biasesالتحيزات
and black-boxصندوق اسود algorithmsخوارزميات
202
626693
3549
هكذا تحيز مخفي
وخوارزميات الصندوق الأسود
10:42
that researchersالباحثين uncoverكشف sometimesبعض الأحيان
but sometimesبعض الأحيان we don't know,
203
630266
3973
والتي لا يُغطيها الباحثون أحياناً
ولكن أحياناً لا نعلم،
10:46
can have life-alteringتغيير الحياة consequencesالآثار.
204
634263
2661
يُمكن أن يكون لديها عواقب
تغيير مدى الحياة.
10:49
In Wisconsinولاية ويسكونسن, a defendantالمدعى عليه
was sentencedحكم to sixستة yearsسنوات in prisonالسجن
205
637958
4159
في ويسكونسن، حُكم على المدعى عليه
ست سنوات في السجن
10:54
for evadingالتهرب the policeشرطة.
206
642141
1355
لأجل تجاهل الشرطة.
10:56
You mayقد not know this,
207
644824
1186
ربما لا تعلم هذا،
10:58
but algorithmsخوارزميات are increasinglyعلى نحو متزايد used
in paroleإطلاق سراح مشروط and sentencingالحكم decisionsقرارات.
208
646034
3998
لكن الخوارزميات وبازدياد تُستعمل في
اطلاق السراح وقرارات اصدار الأحكام.
11:02
He wanted to know:
How is this scoreأحرز هدفاً calculatedمحسوب?
209
650056
2955
هو أراد أن يعرف:
كيف تُحسب هذه النتيجة؟
11:05
It's a commercialتجاري blackأسود boxصندوق.
210
653795
1665
إنه صندوق أسود تجاري.
11:07
The companyشركة refusedرفض to have its algorithmخوارزمية
be challengedتحدى in openفتح courtمحكمة.
211
655484
4205
رفضت الشركة لأن تكون خوارزميتها
مُعترض عليها في المحكمة المفتوحة.
11:12
But ProPublicaProPublica, an investigativeلجنة تحقيق
nonprofitغير ربحية, auditedدققنا that very algorithmخوارزمية
212
660396
5532
ولكن شركة التحقيق بروبابليكا الغير ربحية،
دققت الخوارزمية
11:17
with what publicعامة dataالبيانات they could find,
213
665952
2016
مع البيانات العامة التي استطاعوا إيجادها،
11:19
and foundوجدت that its outcomesالنتائج were biasedانحيازا
214
667992
2316
ووجدوا أن المُخرجات كانت مُتحيزة
11:22
and its predictiveتنبؤي powerقوة
was dismalكئيب, barelyبالكاد better than chanceفرصة,
215
670332
3629
وقوته التنبؤية كانت مُحزنة،
بالكاد أفضل من الفرصة،
11:25
and it was wronglyعلى خطأ labelingوضع العلامات
blackأسود defendantsالمتهمين as futureمستقبل criminalsالمجرمين
216
673985
4416
وكان من الخطأ تصنيف المُدعى عليهم
السود كمجرمي المستقبل
11:30
at twiceمرتين the rateمعدل of whiteأبيض defendantsالمتهمين.
217
678425
3895
كضِعف المُدعى عليهم البيض.
11:35
So, considerيعتبر this caseقضية:
218
683891
1564
لذا، تأمل هذه الحالة :
11:38
This womanالنساء was lateمتأخر
pickingاختيار up her godsistergodsister
219
686103
3852
هذه المرأة كانت مُتأخرة لتقل أختها
11:41
from a schoolمدرسة in Browardبروارد Countyمقاطعة, Floridaفلوريدا,
220
689979
2075
من المدرسة في بلدة بروارد، فلوريدا،
11:44
runningجري down the streetشارع
with a friendصديق of hersلها.
221
692757
2356
توقفت في الشارع
مع صديقتها.
11:47
They spottedمراقب an unlockedمفتوحة kid'sأطفال bikeدراجة هوائية
and a scooterسكوتر on a porchرواق
222
695137
4099
واكتشفوا دراجة طفل غير مُقفلة
ودراجة على الرواق
11:51
and foolishlyبحماقة jumpedقفز on it.
223
699260
1632
وبكل حماقة قفزوا عليها.
11:52
As they were speedingسريع off,
a womanالنساء cameأتى out and said,
224
700916
2599
بينما كانوا يستعجلون،
ظهرت امرأة وقالت،
11:55
"Hey! That's my kid'sأطفال bikeدراجة هوائية!"
225
703539
2205
"مرحبا! تلك دراجة طفلي!"
11:57
They droppedإسقاط it, they walkedمشى away,
but they were arrestedالقى القبض.
226
705768
3294
فقاموا بتركها ومشوا بعيداً،
ولكنهم كانوا قد أُعتقلوا.
12:01
She was wrongخطأ, she was foolishأحمق,
but she was alsoأيضا just 18.
227
709086
3637
كانت مُخطئة، كانت حمقى،
ولكنها كانت بعمر 18 سنة أيضاً.
12:04
She had a coupleزوجان of juvenileحدث misdemeanorsالجنح.
228
712747
2544
لديها العديد من المخالفات الصبيانية.
12:07
Meanwhileوفى الوقت نفسه, that man had been arrestedالقى القبض
for shopliftingسرقة in Home Depotمستودع --
229
715808
5185
في الوقت نفسه، ذلك الرجل كان
قد أُعتقل للسرقة مخزن المنزل --
12:13
85 dollars'الدولارات worthيستحق of stuffأمور,
a similarمماثل pettyتافه crimeجريمة.
230
721017
2924
ما قيمته 85 دولار من الأغراض،
جريمة سخيفة مُشابهة.
12:16
But he had two priorقبل
armedمسلح robberyسرقة convictionsقناعات.
231
724766
4559
ولكن كان لديه جُرمي سطو مُسلح سابقين.
12:21
But the algorithmخوارزمية scoredيحرز هدف her
as highمتوسط riskخطر, and not him.
232
729955
3482
ولكن الخوارزمية سجلت المرأة
كخطر كبير ولم تُسجله.
12:26
Two yearsسنوات laterفي وقت لاحق, ProPublicaProPublica foundوجدت
that she had not reoffendedreoffended.
233
734746
3874
بعد سنتين، وجدت شركة بروبابليكا
أن المرأة لم تكن قد ارتكبت مُخالفة.
12:30
It was just hardالصعب to get a jobوظيفة
for her with her recordسجل.
234
738644
2550
كان من الصعب عليها فقط أن
تحصل على عمل بسبب سجلها.
12:33
He, on the other handيد, did reoffendreoffend
235
741218
2076
هو، في الجهة المقابلة، ارتكب مخالفة
12:35
and is now servingخدمة an eight-yearثماني سنوات
prisonالسجن termمصطلح for a laterفي وقت لاحق crimeجريمة.
236
743318
3836
وهو يخدم الآن فترة ثماني
سنوات سجن بسبب جريمة لاحقة.
12:40
Clearlyبوضوح, we need to auditتدقيق our blackأسود boxesمربعات
237
748088
3369
بكل وضوح، نحن بحاجة
إلى تدقيق صناديقنا السود
12:43
and not have them have
this kindطيب القلب of uncheckedغير مفحوص powerقوة.
238
751481
2615
وأن لا يكون لديها هذا النوع
من القوة الغير مفحوصة.
12:46
(Applauseتصفيق)
239
754120
2879
(تصفيق)
12:50
Auditsالتدقيق are great and importantمهم,
but they don't solveحل all our problemsمشاكل.
240
758087
4242
تدقيق الحسابات عظيم وهام،
ولكنهن لا يحللن كل مشاكلنا.
12:54
Take Facebook'sفي الفيسبوك powerfulقوي
newsأخبار feedتغذية algorithmخوارزمية --
241
762353
2748
خذ قوة أخبار فيس بوك لُقمت بالخوارزمية --
12:57
you know, the one that ranksصفوف everything
and decidesيقرر what to showتبين you
242
765125
4843
أنت تعلم، الشخص الذي صنف كل شيء
ويقرر ما يُظهر لك
13:01
from all the friendsاصحاب and pagesصفحات you followإتبع.
243
769992
2284
من كل الأصدقاء والصفحات التي تُتابعها.
13:04
Should you be shownأظهرت anotherآخر babyطفل pictureصورة?
244
772898
2275
هل يجب أن ترى صورة طفل آخر؟
13:07
(Laughterضحك)
245
775197
1196
(ضحك)
13:08
A sullenمتجهم noteملحوظة from an acquaintanceمعرفة?
246
776417
2596
ملاحظة مُتجهمة من شخص معروف؟
13:11
An importantمهم but difficultصعب newsأخبار itemبند?
247
779449
1856
الأخبار المُهمة ولكنها عويصة؟
13:13
There's no right answerإجابة.
248
781329
1482
لا يوجد هنا أي اجابة صحيحة.
13:14
Facebookفيس بوك optimizesالمثلى
for engagementالارتباط on the siteموقع:
249
782835
2659
يبحث فيس بوك عن أفضل الحلول
للتشابك على الموقع:
13:17
likesالإعجابات, sharesتشارك, commentsتعليقات.
250
785518
1415
اعجابات، مشاركات، تعليقات.
13:20
In Augustأغسطس of 2014,
251
788168
2696
في شهرآب من 2014،
13:22
protestsالاحتجاجات brokeحطم out in Fergusonفيرغسون, Missouriميسوري,
252
790888
2662
اندلعت الاحتجاجات في فيرغوسن،
مُقاطعة ميسوري،
13:25
after the killingقتل of an African-Americanالافارقه الامريكان
teenagerمراهق by a whiteأبيض policeشرطة officerضابط,
253
793574
4417
بعد مقتل مراهق أميريكي-افريقي
من قبل ضابط شرطة أبيض،
13:30
underتحت murkyمظلم circumstancesظروف.
254
798015
1570
في ظروف غامضة.
13:31
The newsأخبار of the protestsالاحتجاجات was all over
255
799974
2007
الأخبار عن الاحتجاجات كانت قد انتهت
13:34
my algorithmicallyحسابيا
unfilteredفلتر Twitterتغريد feedتغذية,
256
802005
2685
خوارزميتي الحسابية لم تُصفي تلقيم تويتر،
13:36
but nowhereلا مكان on my Facebookفيس بوك.
257
804714
1950
ولكن هنا على الفيس بوك خاصتي.
13:39
Was it my Facebookفيس بوك friendsاصحاب?
258
807182
1734
هل كانوا أصدقاء حسابي الفيس بوك؟
13:40
I disabledمعاق Facebook'sفي الفيسبوك algorithmخوارزمية,
259
808940
2032
عَطلتُ خوارزمية فيس بوك الحسابية،
13:43
whichالتي is hardالصعب because Facebookفيس بوك
keepsتحافظ wantingيريد to make you
260
811472
2848
حيث إنه صعب، لأن فيس بوك
دائماً يُريد أن يجعلك
13:46
come underتحت the algorithm'sفي خوارزمية controlمراقبة,
261
814344
2036
تبقى تحت سيطرة الخوارزمية،
13:48
and saw that my friendsاصحاب
were talkingالحديث about it.
262
816404
2238
وشاهدت أصدقائي كانوا يتكلمون عنه.
13:50
It's just that the algorithmخوارزمية
wasn'tلم يكن showingتظهر it to me.
263
818666
2509
أنه فقط أن الخوارزمية
لم تكن تُظهره لي.
13:53
I researchedبحث this and foundوجدت
this was a widespreadواسع الانتشار problemمشكلة.
264
821199
3042
بحثت حول هذا ووجدت
أن هذا كان مُشكلة واسعة الانتشار.
13:56
The storyقصة of Fergusonفيرغسون
wasn'tلم يكن algorithm-friendlyصديقة للخوارزمية.
265
824265
3813
قصة فيرغوسن لم تكن
ضمن نظام الخوارزمية بشكل ودّي.
14:00
It's not "likableمحبوب."
266
828102
1171
إنه ليس"جدير بالمحبة."
14:01
Who'sالمتواجدون going to clickانقر on "like?"
267
829297
1552
مَن سيضغط على "اعجاب؟"
14:03
It's not even easyسهل to commentتعليق on.
268
831500
2206
إنه حتى ليس من السهل أن
تُعلق عليه.
14:05
Withoutبدون likesالإعجابات and commentsتعليقات,
269
833730
1371
من دون الاعجابات والتعليقات،
14:07
the algorithmخوارزمية was likelyالمحتمل أن showingتظهر it
to even fewerأقل people,
270
835125
3292
الخوارزمية كانت من المحتمل
أن تظهره لعدد أقل من الناس،
14:10
so we didn't get to see this.
271
838441
1542
لذلك نحن لا نُريد أن نرى هذا.
14:12
Insteadفي حين أن, that weekأسبوع,
272
840946
1228
بدلاً من، ذلك الاسبوع،
14:14
Facebook'sفي الفيسبوك algorithmخوارزمية highlightedسلط الضوء this,
273
842198
2298
خوارزمية فيس بوك ألقت الضوء على هذا،
14:16
whichالتي is the ALSALS Iceجليد Bucketدلو Challengeالتحدي.
274
844520
2226
حيث إنه تحدي الدلو الجليدي ALS.
14:18
Worthyذو قيمة causeسبب; dumpنفاية iceجليد waterماء,
donateتبرع to charityالاعمال الخيرية, fine.
275
846770
3742
سبب قيّم؛ الماء الجليدي المفرغ،
صُنع المعروف، جميل.
14:22
But it was superممتاز algorithm-friendlyصديقة للخوارزمية.
276
850536
1904
ولكنها كانت خوارزمية
صديقة بامتياز.
14:25
The machineآلة madeمصنوع this decisionقرار for us.
277
853219
2613
الآلة صنعت هذا القرار من أجلنا.
14:27
A very importantمهم
but difficultصعب conversationمحادثة
278
855856
3497
محادثة مهمة جداً ولكنها صعبة
14:31
mightربما have been smotheredمخنوق,
279
859377
1555
ربما تكون قد غُطت بكثافة،
14:32
had Facebookفيس بوك been the only channelقناة.
280
860956
2696
ربما كان فيس بوك القناة الوحيدة.
14:36
Now, finallyأخيرا, these systemsأنظمة
can alsoأيضا be wrongخطأ
281
864117
3797
الآن،وأخيراً، هذه الأنظمة
يمكن أيضاً أن تكون مخطئة
14:39
in waysطرق that don't resembleتشابه humanبشري systemsأنظمة.
282
867938
2736
في الطُرق التي لا تُماثل الأنظمة الانسانية.
14:42
Do you guys rememberتذكر Watsonواتسون,
IBM'sفي IBM machine-intelligenceآلة الاستخبارات systemالنظام
283
870698
2922
هل تتذكرون واتسون،
نظام الذكاء الآلي لشركة IBM
14:45
that wipedمسحت the floorأرضية
with humanبشري contestantsالمتسابقون on Jeopardyخطر?
284
873644
3128
والذي أزال الإرباك مع
المتنافسين البشر على لعبة Jeopardy؟
14:49
It was a great playerلاعب.
285
877131
1428
كان لاعب عظيم.
14:50
But then, for Finalنهائي Jeopardyخطر,
Watsonواتسون was askedطلبت this questionسؤال:
286
878583
3569
ولكن فيما بعد، بالنسبة للعبة الأخيرة،
سُأل واتسون هذا السؤال:
14:54
"Its largestأكبر airportمطار is namedاسمه
for a Worldالعالمية Warحرب IIII heroبطل,
287
882659
2932
"مطاره الأكبر سُمي لبطل
الحرب العالمية الثانية،
14:57
its second-largestثاني أكبر
for a Worldالعالمية Warحرب IIII battleمعركة."
288
885615
2252
ثاني أكبر مطار لمعركة
الحرب العالمية الثانية."
14:59
(Humsحمص Finalنهائي Jeopardyخطر musicموسيقى)
289
887891
1378
(دندنة لموسيقا اللعبة الأخيرة)
15:01
Chicagoشيكاغو.
290
889582
1182
شيكاغو.
15:02
The two humansالبشر got it right.
291
890788
1370
الشخصين أجابوا بشكل صحيح.
15:04
Watsonواتسون, on the other handيد,
answeredأجاب "Torontoتورونتو" --
292
892697
4348
واتسون، على الجهة المقابلة،
أجاب "تورونتو"--
15:09
for a US cityمدينة categoryالفئة!
293
897069
1818
عوضاً عن تصنيف مدينة أمريكية!
15:11
The impressiveمحرج systemالنظام alsoأيضا madeمصنوع an errorخطأ
294
899596
2901
النظام المُثير للاعجاب أيضاً يصنع أخطاء
15:14
that a humanبشري would never make,
a second-graderفي الصف الثاني الابتدائي wouldn'tلن make.
295
902521
3651
التي لا يُمكن أن يصنعها الإنسان،
الصنف الثاني سوف لن يصنعها.
15:18
Our machineآلة intelligenceالمخابرات can failفشل
296
906823
3109
ذكاء ألتُنا الصناعي يُمكن أن يفشل
15:21
in waysطرق that don't fitلائق بدنيا
errorخطأ patternsأنماط - رسم of humansالبشر,
297
909956
3100
في الطرق التي لا تناسب نماذج خطأ الانسان
15:25
in waysطرق we won'tمتعود expectتوقع
and be preparedأعدت for.
298
913080
2950
في الطرق التي لا نتوقعها
ونكون مُحضرين لها.
15:28
It'dانها تريد be lousyقذر not to get a jobوظيفة
one is qualifiedتأهلت for,
299
916054
3638
سيكون من الحقارة أن لا يحصل
الشخص على عمل يكون مؤهل له،
15:31
but it would tripleثلاثي suckمص
if it was because of stackكومة overflowفيض
300
919716
3727
لكن سيكون استيعاب ثلاثي
إذا كان بسبب فائض مُكدس
15:35
in some subroutineروتين.
301
923467
1432
في بعض الروتين الفعلي.
15:36
(Laughterضحك)
302
924923
1579
(ضحك)
15:38
In Mayقد of 2010,
303
926526
2786
في شهر شهر مايو/أيارعام 2010،
15:41
a flashفلاش crashيصطدم _ تصادم on Wallحائط Streetشارع
fueledزود بالوقود by a feedbackردود الفعل loopعقدة
304
929336
4044
الإنهيار السريع في وول ستريت
المُغذى بحلقة ردود الفعل
15:45
in Wallحائط Street'sفي الشارع "sellيبيع" algorithmخوارزمية
305
933404
3028
في خوارزمية "البيع" الحسابية
في وول ستريت
15:48
wipedمسحت a trillionتريليون dollarsدولار
of valueالقيمة in 36 minutesالدقائق.
306
936456
4184
أزال ما قيمته ترليليون دولار
في 36 دقيقة.
15:53
I don't even want to think
what "errorخطأ" meansيعني
307
941722
2187
أنا لا أريد حتى أن أعتقد
ما يعني"الخطأ"
15:55
in the contextسياق الكلام of lethalقاتل
autonomousواثق من نفسه weaponsأسلحة.
308
943933
3589
في سياق الأسلحة المستقلة المُهلكة.
16:01
So yes, humansالبشر have always madeمصنوع biasesالتحيزات.
309
949894
3790
لذا نعم، الناس دائماً يصنعون التحيز.
16:05
Decisionقرار makersصناع and gatekeepersحراس,
310
953708
2176
صانعوا القرارات و حارسوا البوابات،
16:07
in courtsالمحاكم, in newsأخبار, in warحرب ...
311
955908
3493
في المحاكم، في الأخبار، في الحرب...
16:11
they make mistakesالأخطاء;
but that's exactlyبالضبط my pointنقطة.
312
959425
3038
هم يصنعون الأخطاء؛
ولكن تلك فكرتي بالضبط.
16:14
We cannotلا تستطيع escapeهرب
these difficultصعب questionsالأسئلة.
313
962487
3521
نحن لا نستطيع الهرب من
هذه الأسئلة الصعبة.
16:18
We cannotلا تستطيع outsourceالاستعانة بمصادر خارجية
our responsibilitiesالمسؤوليات to machinesآلات.
314
966596
3516
نحن لا نستطيع التعهد
بمسؤلياتنا إلى الآلات.
16:22
(Applauseتصفيق)
315
970676
4208
(تصفيق)
16:29
Artificialمصطنع intelligenceالمخابرات does not give us
a "Get out of ethicsأخلاق freeحر" cardبطاقة.
316
977089
4447
الذكاء الاصطناعي لا يعطينا
بطاقة "الخروج من الأخلاق بحرية".
16:34
Dataالبيانات scientistامن Fredفريد Benensonبينينسون
callsالمكالمات this math-washingالرياضيات و الغسل.
317
982742
3381
عالم البيانات فريد بيننسون
يدعو هذا غسيل الرياضيات.
16:38
We need the oppositeمقابل.
318
986147
1389
نحن نحتاج العكس.
16:39
We need to cultivateزرع algorithmخوارزمية suspicionاشتباه,
scrutinyفحص دقيق and investigationتحقيق.
319
987560
5388
نريد أن نصقل التشكيك حول الخوارزمية،
الفحص الدقيق و الاستقصاء.
16:45
We need to make sure we have
algorithmicالخوارزمية accountabilityالمسائلة,
320
993380
3198
نريد أن نتأكد أنه لدينا مسؤلية
حول ما يتعلق بالخوارزمية.
16:48
auditingالتدقيق and meaningfulذو معنى transparencyشفافية.
321
996602
2445
التدقيق، الشفافية ذات المعنى.
16:51
We need to acceptقبول
that bringingجلب mathالرياضيات and computationحساب
322
999380
3234
نريد أن نقبل أن نجلب
الرياضيات والحساب
16:54
to messyفوضوي, value-ladenقيمة لادن humanبشري affairsأمور
323
1002638
2970
للأشياء الفوضوية،
العلاقات الانسانية المحملة بالقيمة
16:57
does not bringاحضر objectivityموضوعية;
324
1005632
2384
لا تجلب الموضوعية؛
17:00
ratherبدلا, the complexityتعقيد of humanبشري affairsأمور
invadesيغزو the algorithmsخوارزميات.
325
1008040
3633
بالأحرى، العلاقات الانسانية المعقدة
تنتهك الخوارزميات.
17:04
Yes, we can and we should use computationحساب
326
1012148
3487
نعم، نحن نستطيع ويجب علينا
أن نستخدم الحساب
17:07
to help us make better decisionsقرارات.
327
1015659
2014
ليساعدنا على اتخاذ قرارات أفضل.
17:09
But we have to ownخاصة up
to our moralأخلاقي responsibilityالمسئولية to judgmentحكم,
328
1017697
5332
ولكن يجب علينا أن نعترف
بمسؤليتنا الاخلاقية في الحكم،
17:15
and use algorithmsخوارزميات withinفي غضون that frameworkالإطار,
329
1023053
2818
وأن نستخدم الخوارزميات
ضمن اطار العمل ذلك،
17:17
not as a meansيعني to abdicateتنازل
and outsourceالاستعانة بمصادر خارجية our responsibilitiesالمسؤوليات
330
1025895
4935
ليس بمعنى أن نتنازل و نتعهد
بمسؤلياتنا
17:22
to one anotherآخر as humanبشري to humanبشري.
331
1030854
2454
لشخص آخر مثلاً
إنسان لإنسان.
17:25
Machineآلة intelligenceالمخابرات is here.
332
1033807
2609
الذكاء الآلي هنا.
17:28
That meansيعني we mustيجب holdمعلق on ever tighterأكثر تشددا
333
1036440
3421
والذي يعني أنه يجب علينا
ننتظر بشكل محكم أكثر من أي وقت مضى
17:31
to humanبشري valuesالقيم and humanبشري ethicsأخلاق.
334
1039885
2147
للقيم الانسانية والأخلاق الانسانية.
17:34
Thank you.
335
1042056
1154
شكراً لكم.
17:35
(Applauseتصفيق)
336
1043234
5020
(تصفيق)
Translated by Mutaz Salloum
Reviewed by Ralah Haddad

▲Back to top

ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM
زينب توفيكسي: الذكاء الاصطناعي يجعل الأخلاق الإنسانية أكثر أهمية | TED Talk | TED.com