ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
TED2017

Cathy O'Neil: The era of blind faith in big data must end

كاثي أونيل: لا بد أن ينتهي عصر الثقة العمياء في البيانات الضخمة

Filmed:
1,391,460 views

تقرر الخوارزميات من سيحصل على قرض أو على مقابلة عمل أو على تأمين وغير ذلك الكثير، لكنها لا تجعل الأمور عادلة آليًّا، مما دفع عالمة الرياضيات والبيانات كاثي أونيل إلى صياغة مصطلح "أسلحة دمار الرياضيات" لتصِفُ به الخوارزميات السرّية والمهمّة والضارة. اعرف المزيد عن المصالح الخفيّة وراء تلك الصيغ الرياضية.
- Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio

Double-click the English transcript below to play the video.

00:12
Algorithmsخوارزميات are everywhereفي كل مكان.
0
975
1596
نجدُ الخوارزميات في كل مكان.
00:16
They sortفرز and separateمنفصل
the winnersالفائزين from the losersالخاسرين.
1
4111
3125
إنها تُصنّفُ وتفصل الفائزين عن الخاسرين.
00:20
The winnersالفائزين get the jobوظيفة
2
8019
2264
يحصل الفائزون على الوظيفة
أو على أحد عروض بطاقات الائتمان الجيّدة.
00:22
or a good creditائتمان cardبطاقة offerعرض.
3
10307
1743
00:24
The losersالخاسرين don't even get an interviewمقابلة
4
12074
2651
بينما لا يحصل الخاسرون حتى على مقابلة عمل
00:27
or they payدفع more for insuranceتأمين.
5
15590
1777
أو يدفعون أكثر مقابل التأمين.
00:30
We're beingيجرى scoredيحرز هدف with secretسر formulasالصيغ
that we don't understandتفهم
6
18197
3549
يتمّ تقييمنا بصيغ سرّية لا نفهمها
00:34
that oftenغالبا don't have systemsأنظمة of appealمناشدة.
7
22675
3217
والتي لا يمكننا استئناف أحكامها
في معظم الأحيان.
00:39
That begsيتسول the questionسؤال:
8
27240
1296
مما يطرح السؤال:
00:40
What if the algorithmsخوارزميات are wrongخطأ?
9
28560
2913
ماذا لو كانت الخوارزميات خاطئة؟
لبناء خوارزمية فأنتم تحتاجون لشيئين:
00:45
To buildبناء an algorithmخوارزمية you need two things:
10
33100
2040
تحتاجون لبيانات، أي ما حدث في الماضي،
00:47
you need dataالبيانات, what happenedحدث in the pastالماضي,
11
35164
1981
00:49
and a definitionفريف of successنجاح,
12
37169
1561
وتحتاجون تعريفًا للنجاح،
أي الأمر الذي تبحثون عنه
وتأملون غالبًا إيجاده.
00:50
the thing you're looking for
and oftenغالبا hopingيأمل for.
13
38754
2457
00:53
You trainقطار an algorithmخوارزمية
by looking, figuringكشف out.
14
41235
5037
تدرّبون الخوارزمية بالبحث أو التحديد.
00:58
The algorithmخوارزمية figuresالأرقام out
what is associatedمرتبطة with successنجاح.
15
46296
3419
أي تحدّد الخوارزمية ما هو متعلق بالنجاح.
01:01
What situationموقف leadsيؤدي to successنجاح?
16
49739
2463
أي حالة تقود إلى النجاح؟
في الواقع، يستخدمُ كلُ شخص الخوارزميات.
01:04
Actuallyفعلا, everyoneكل واحد usesالاستخدامات algorithmsخوارزميات.
17
52881
1762
01:06
They just don't formalizeإضفاء الطابع الرسمي them
in writtenمكتوب codeالشفرة.
18
54667
2718
لكن فقط هم لا يستطيعون صياغتها
على هيئة شفرات مكتوبة.
دعوني أعطيكم مثالاً.
01:09
Let me give you an exampleمثال.
19
57409
1348
أستخدمُ الخوارزميات كل يوم
لأصنع وجبة غذائية لأسرتي.
01:10
I use an algorithmخوارزمية everyكل day
to make a mealوجبة for my familyأسرة.
20
58781
3316
فالبيانات التي أستخدمها
01:14
The dataالبيانات I use
21
62121
1476
01:16
is the ingredientsمكونات in my kitchenمطبخ,
22
64394
1659
هي محتويات مطبخي،
ووقتي،
01:18
the time I have,
23
66077
1527
وطموحي،
01:19
the ambitionطموح I have,
24
67628
1233
وأقوم بتنظيم هذه البيانات.
01:20
and I curateقسيس that dataالبيانات.
25
68885
1709
لا أعتبر هذه العبوّات الصغيرة من
الرامن (حساء المعكرونة) طعامًا.
01:22
I don't countعد those little packagesحزم
of ramenرامين noodlesالمعكرونة as foodطعام.
26
70618
4251
(ضحك)
01:26
(Laughterضحك)
27
74893
1869
تعريفي للنجاح هو:
01:28
My definitionفريف of successنجاح is:
28
76786
1845
تعتبرُ الوجبة الغذائية ناجحة
إذا تناول أطفالي الخضروات.
01:30
a mealوجبة is successfulناجح
if my kidsأطفال eatتأكل vegetablesخضروات.
29
78655
2659
01:34
It's very differentمختلف
from if my youngestأصغر sonابن were in chargeالشحنة.
30
82181
2854
سيختلف هذا إن كان ابني الصغير هو المسؤول.
01:37
He'dعنيدا say successنجاح is if
he getsيحصل على to eatتأكل lots of Nutellaنوتيلا.
31
85059
2788
سيقول أن النجاح هو إذا تناول
الكثير من شوكولاتة "نوتيلا".
01:41
But I get to chooseأختر successنجاح.
32
89179
2226
لكن يتوجب عليّ اختيار النجاح.
01:43
I am in chargeالشحنة. My opinionرأي mattersالقضايا.
33
91429
2707
أنا المسؤولة. لذا فرأيي مهمّ.
01:46
That's the first ruleقاعدة of algorithmsخوارزميات.
34
94160
2675
هذه هي أول قاعدة للخوارزميات.
01:48
Algorithmsخوارزميات are opinionsالآراء embeddedالمضمنة in codeالشفرة.
35
96859
3180
الخوارزميات هي آراء موضوعة في شفرات.
01:53
It's really differentمختلف from what you think
mostعظم people think of algorithmsخوارزميات.
36
101562
3663
إنها مختلفة حقًا عما يعتقده معظم الناس.
إنهم يعتقدون أن الخوارزميات
موضوعية وصحيحة وعلمية.
01:57
They think algorithmsخوارزميات are objectiveموضوعي
and trueصحيح and scientificعلمي.
37
105249
4504
02:02
That's a marketingتسويق trickخدعة.
38
110387
1699
إنها خدعة تسويقية.
02:05
It's alsoأيضا a marketingتسويق trickخدعة
39
113269
2125
وإنها أيضًا خدعة تسويقية
02:07
to intimidateتخويف you with algorithmsخوارزميات,
40
115418
3154
لتخويفكم بهذه الخوارزميات،
02:10
to make you trustثقة and fearخوف algorithmsخوارزميات
41
118596
3661
لجعلكم تثقون في الخوارزميات وتخافونها
02:14
because you trustثقة and fearخوف mathematicsالرياضيات.
42
122281
2018
لأنكم تثقون في الرياضيات وتخافونها.
02:17
A lot can go wrongخطأ when we put
blindبليند faithإيمان in bigكبير dataالبيانات.
43
125567
4830
الكثير من الأمور قد تسوء عندما
نضع ثقة عمياء في البيانات الضخمة.
02:23
This is Kiriكيري Soaresسواريس.
She's a highمتوسط schoolمدرسة principalالمالك in Brooklynبروكلين.
44
131684
3373
هذه هي (كيري سوريس)،
إنها مديرة مدرسة ثانوية في (بروكلين).
02:27
In 2011, she told me
her teachersمعلمون were beingيجرى scoredيحرز هدف
45
135081
2586
في عام 2011، أخبرتني
بأنه كان يتمّ تصنيف معلميها
02:29
with a complexمركب, secretسر algorithmخوارزمية
46
137691
2727
بناءً على خوارزمية سرية معقدة
سمّيت "نموذج القيمة المضافة".
02:32
calledمسمي the "value-addedالقيمة المضافة modelنموذج."
47
140442
1489
02:34
I told her, "Well, figureالشكل out
what the formulaمعادلة is, showتبين it to me.
48
142505
3092
قلت لها: "حسنًا، اكتشفي ما هي الصيغة،
وأريني إياها.
02:37
I'm going to explainشرح it to you."
49
145621
1541
وسأشرحها لكِ."
02:39
She said, "Well, I triedحاول
to get the formulaمعادلة,
50
147186
2141
قالت، "حسنًا، حاولتُ الحصول على الصيغة،
02:41
but my Department قسم، أقسام of Educationالتعليم contactاتصل
told me it was mathالرياضيات
51
149351
2772
ولكن أخبرني شخص في وزارة التربية والتعليم
أنها عبارة عن رياضيات
02:44
and I wouldn'tلن understandتفهم it."
52
152147
1546
وأنني لن أفهمها."
02:47
It getsيحصل على worseأسوأ.
53
155266
1338
يزدادُ الأمرُ سوءًا.
02:48
The Newالجديد Yorkيورك Postبريد filedقدم
a Freedomحرية of Informationمعلومات Actفعل requestطلب,
54
156628
3530
قدّمت صحيفة (نيويورك بوست)
"طلب قانون حماية المعلومات"
02:52
got all the teachers'معلمون' namesأسماء
and all theirهم scoresدرجات
55
160182
2959
وحصلت على أسماء كل المعلمين وتقييماتهم
02:55
and they publishedنشرت them
as an actفعل of teacher-shamingالمعلم والفضح.
56
163165
2782
وتم نشرها على سبيل الخزي للمعلمين.
02:59
When I triedحاول to get the formulasالصيغ,
the sourceمصدر codeالشفرة, throughعبر the sameنفسه meansيعني,
57
167084
3860
عندما حاولتُ الحصول على الصيَغ
والشيفرة المصدرية عبر الوسائل نفسها،
03:02
I was told I couldn'tلم أستطع.
58
170968
2149
قيل لي أنني لا أستطيع.
03:05
I was deniedرفض.
59
173141
1236
تمّ رفضي.
03:06
I laterفي وقت لاحق foundوجدت out
60
174401
1174
واكتشفتُ لاحقًا
03:07
that nobodyلا أحد in Newالجديد Yorkيورك Cityمدينة
had accessالتمكن من to that formulaمعادلة.
61
175599
2866
بأنه لم يستطع أحد في مدينة (نيويورك)
الوصول إلى تلك الصيغة.
03:10
No one understoodفهم it.
62
178489
1305
لم يفهمها أحد.
03:13
Then someoneشخصا ما really smartذكي
got involvedمتورط, Garyغاري Rubensteinروبنشتاين.
63
181929
3224
ثُم اهتم بالموضوع شخص ذكي حقًا،
يدعى (غاري روبنشتاين).
03:17
He foundوجدت 665 teachersمعلمون
from that Newالجديد Yorkيورك Postبريد dataالبيانات
64
185177
3621
وجد أن 665 معلمًا من بيانات
صحفية (نيويورك بوست) تلك
03:20
that actuallyفعلا had two scoresدرجات.
65
188822
1866
لديهم في الحقيقة تقييمان.
03:22
That could happenيحدث if they were teachingتعليم
66
190712
1881
ويمكن حدوث ذلك إن كانوا يدرّسون
03:24
seventhسابع gradeدرجة mathالرياضيات and eighthثامن gradeدرجة mathالرياضيات.
67
192617
2439
مادة الرياضيات للصفين السابع والثامن.
03:27
He decidedقرر to plotقطعة them.
68
195080
1538
قرّر تمثيلهم برسم بياني.
03:28
Eachكل dotنقطة representsيمثل a teacherمدرس.
69
196642
1993
تمثلُ كل نقطة معلمًا.
03:31
(Laughterضحك)
70
199104
2379
(ضحك)
03:33
What is that?
71
201507
1521
ما هذا؟
03:35
(Laughterضحك)
72
203052
1277
(ضحك)
03:36
That should never have been used
for individualفرد assessmentتقدير.
73
204353
3446
لم يكن ينبغي استخدام ذلك
على الإطلاق للتقييم الفردي.
03:39
It's almostتقريبيا a randomعشوائي numberرقم generatorمولد كهرباء.
74
207823
1926
إنه تقريبًا مُولّد أرقام عشوائية.
03:41
(Applauseتصفيق)
75
209773
2946
(تصفيق)
03:44
But it was.
76
212743
1162
ولكنه ما حدث.
03:45
This is Sarahساره Wysockiفيسوكي.
77
213929
1176
هذه هي (سارة ويسوكي).
03:47
She got firedمطرود, alongعلى طول
with 205 other teachersمعلمون,
78
215129
2175
تمّ طردها من العمل
-بالإضافة إلى 205 معلم آخر-
03:49
from the Washingtonواشنطن, DCDC schoolمدرسة districtمنطقة,
79
217328
2662
من قطاع مدارس العاصمة (واشنطن)،
03:52
even thoughاعتقد she had great
recommendationsتوصيات from her principalالمالك
80
220014
2909
مع أن لديها توصيات عظيمة من مديرتها
03:54
and the parentsالآباء of her kidsأطفال.
81
222947
1428
وأولياء أمور طلابها.
03:57
I know what a lot
of you guys are thinkingتفكير,
82
225390
2032
أعرفُ ما يفكرُ فيه الكثير منكم يا رفاق،
خاصةً علماء البيانات وخبراء
الذكاء الاصطناعي هنا.
03:59
especiallyخصوصا the dataالبيانات scientistsالعلماء,
the AIAI expertsخبراء here.
83
227446
2487
تفكّرون: "حسنًا، لم أكن لأنشئ
خوارزمية غير متجانسة كهذه".
04:01
You're thinkingتفكير, "Well, I would never make
an algorithmخوارزمية that inconsistentتتعارض."
84
229957
4226
04:06
But algorithmsخوارزميات can go wrongخطأ,
85
234853
1683
ولكن يمكنُ للخوارزميات أن تفشل
04:08
even have deeplyبشدة destructiveمدمرة effectsتأثيرات
with good intentionsنوايا.
86
236560
4598
وتسبّبَ آثارًا مدمّرة بشدّة
حتى رغم النوايا حسنة.
04:14
And whereasبينما an airplaneمطار
that's designedتصميم badlyبشكل سيئ
87
242531
2379
وبينما الطائرة التي صُممت بطريقة سيئة
04:16
crashesحوادث to the earthأرض and everyoneكل واحد seesيرى it,
88
244934
2001
تتحطم على الأرض ويراها الجميع،
04:18
an algorithmخوارزمية designedتصميم badlyبشكل سيئ
89
246959
1850
إلا أن الخوارزمية المصمّمة بطريقة سيئة
04:22
can go on for a long time,
silentlyبصمت wreakingتعيث havocخراب.
90
250245
3865
يمكنُ أن تبقى لوقت طويل
تعيث فسادًا في صمت.
04:27
This is Rogerحاضر Ailesأيليس.
91
255748
1570
هذا هو (روجير إيلس).
04:29
(Laughterضحك)
92
257342
2000
(ضحك)
04:32
He foundedمؤسس Foxثعلب Newsأخبار in 1996.
93
260524
2388
قام بتأسيس قناة (فوكس) الإخبارية عام 1996.
04:35
More than 20 womenنساء complainedاشتكى
about sexualجنسي harassmentمضايقة.
94
263436
2581
اشتكت أكثر من 20 امرأة من التحرش الجنسي.
04:38
They said they weren'tلم تكن allowedسمح
to succeedينجح at Foxثعلب Newsأخبار.
95
266041
3235
قلن أن ذلك أثّر عليهن فلم يستطعن
النجاح في قناة (فوكس) الإخبارية.
04:41
He was oustedالمخلوع last yearعام,
but we'veقمنا seenرأيت recentlyمؤخرا
96
269300
2520
تم طرده العام الماضي، لكن رأينا مؤخرًا
04:43
that the problemsمشاكل have persistedاستمر.
97
271844
2670
بأن المشاكل ما زالت مستمرة.
04:47
That begsيتسول the questionسؤال:
98
275654
1400
مما يطرحُ السؤال:
04:49
What should Foxثعلب Newsأخبار do
to turnمنعطف أو دور over anotherآخر leafورقة الشجر?
99
277078
2884
ما الذي ينبغي على قناة (فوكس) الإخبارية
عمله لتبدأ صفحة جديدة؟
04:53
Well, what if they replacedاستبدال
theirهم hiringتوظيف processمعالج
100
281245
3041
ماذا لو استبدلوا عملية التوظيف لديهم
04:56
with a machine-learningتعلم الآلة algorithmخوارزمية?
101
284310
1654
بخوارزمية "التعلّم الآلي"؟
04:57
That soundsاصوات good, right?
102
285988
1595
يبدو هذا جيدًا، أليس كذلك؟
04:59
Think about it.
103
287607
1300
فكّروا في الأمر.
05:00
The dataالبيانات, what would the dataالبيانات be?
104
288931
2105
بالنسبة للبيانات، ماذا ستكون البيانات؟
05:03
A reasonableمعقول choiceخيار would be the last
21 yearsسنوات of applicationsتطبيقات to Foxثعلب Newsأخبار.
105
291060
4947
ربما طلبات التوظيف في (فوكس) الإخبارية
خلال 21 سنة الأخيرة.
05:08
Reasonableمعقولة.
106
296031
1502
منطقي.
05:09
What about the definitionفريف of successنجاح?
107
297557
1938
ماذا عن تعريف النجاح؟
05:11
Reasonableمعقولة choiceخيار would be,
108
299921
1324
سيكون الاختيار المعقول هو،
05:13
well, who is successfulناجح at Foxثعلب Newsأخبار?
109
301269
1778
من هو الناجح
في قناة (فوكس) الإخبارية؟
05:15
I guessخمن someoneشخصا ما who, say,
stayedبقي there for fourأربعة yearsسنوات
110
303071
3580
لنقل أنه شخص بقي هناك لمدة أربع سنوات
05:18
and was promotedرقية at leastالأقل onceذات مرة.
111
306675
1654
وتم ترقيته مرة واحدة على الأقل.
05:20
Soundsاصوات reasonableمعقول.
112
308816
1561
يبدو الأمر معقولًا.
05:22
And then the algorithmخوارزمية would be trainedمتدرب.
113
310401
2354
وبعد ذلك سيتم تدريب الخوارزمية.
05:24
It would be trainedمتدرب to look for people
to learnتعلم what led to successنجاح,
114
312779
3877
سيتم تدريبها للبحث عن الأشخاص
لمعرفة ما الذي أدّى إلى النجاح،
05:29
what kindطيب القلب of applicationsتطبيقات
historicallyتاريخيا led to successنجاح
115
317219
4318
ما نوع طلبات التوظيف
التي أدت تاريخيًا إلى النجاح
05:33
by that definitionفريف.
116
321561
1294
بناءً على التعريف السابق.
05:36
Now think about what would happenيحدث
117
324200
1775
فكّروا الآن فيما سيحدث
05:37
if we appliedمستعمل that
to a currentتيار poolحوض السباحة of applicantsالمتقدمين.
118
325999
2555
لو طبّقنا ذلك على المجموعة الحالية
من طالبي التوظيف.
05:41
It would filterمنقي out womenنساء
119
329119
1629
ستَستبعِد الخوارزمية النساء
05:43
because they do not look like people
who were successfulناجح in the pastالماضي.
120
331663
3930
لأنهن لا يشبهن الأشخاص
الذين نجحوا في الماضي.
05:51
Algorithmsخوارزميات don't make things fairمعرض
121
339752
2537
لا تحقق الخوارزميات العدالة
05:54
if you just blithelyبكل سرور,
blindlyعلى نحو أعمى applyتطبيق algorithmsخوارزميات.
122
342313
2694
إن طبّقتموها على نحو أعمى وبدون تفكير.
05:57
They don't make things fairمعرض.
123
345031
1482
لا تجعل الأمور عادلة.
05:58
They repeatكرر our pastالماضي practicesالممارسات,
124
346537
2128
تعيدُ ممارساتنا الماضية،
06:00
our patternsأنماط - رسم.
125
348689
1183
وأنماط تصرّفاتنا.
06:01
They automateأتمتة the statusالحالة quoالوضع.
126
349896
1939
وتدير الوضع الراهن آليًّا.
06:04
That would be great
if we had a perfectفي احسن الاحوال worldالعالمية,
127
352718
2389
سيكون ذلك عظيمًا لو كان لدينا عالم مثالي،
06:07
but we don't.
128
355905
1312
ولكن ليس لدينا.
06:09
And I'll addإضافة that mostعظم companiesالشركات
don't have embarrassingمحرج lawsuitsدعاوى قضائية,
129
357241
4102
وسأضيفُ أن معظم الشركات ليس لديها
شكاوي قضائية محرجة،
06:14
but the dataالبيانات scientistsالعلماء in those companiesالشركات
130
362446
2588
ولكن علماء البيانات في هذه الشركات
06:17
are told to followإتبع the dataالبيانات,
131
365058
2189
يُطلب منهم تتبّع البيانات
06:19
to focusالتركيز on accuracyصحة.
132
367271
2143
للتركيز على الدقة.
06:22
Think about what that meansيعني.
133
370273
1381
فكّروا فيما يعنيه ذلك.
06:23
Because we all have biasانحياز، نزعة,
it meansيعني they could be codifyingتقنين sexismالتمييز على أساس الجنس
134
371678
4027
لأنه لدى جميعنا نزعة تحيّز،
فيمكن أن يقوموا بتقنين التمييز الجنسي
06:27
or any other kindطيب القلب of bigotryتعصب أعمى.
135
375729
1836
أو أي نوع آخر من التعصب الأعمى.
06:31
Thought experimentتجربة,
136
379488
1421
إليكم تجربة فكرية،
06:32
because I like them:
137
380933
1509
لأني أحبهم:
06:35
an entirelyتماما segregatedالفصل بين الجنسين societyالمجتمع --
138
383574
2975
إن افترضنا وجود مجتمع
مفصول عنصريًا بالكامل،
06:40
raciallyعنصرية segregatedالفصل بين الجنسين, all townsالمدن,
all neighborhoodsأحياء
139
388247
3328
كل بلداته وأحياؤه مفصولة على أساس عنصري
06:43
and where we sendإرسال the policeشرطة
only to the minorityأقلية neighborhoodsأحياء
140
391599
3037
وحيث أننا نرسلُ الشرطة
لأحياء الأقليّات فقط
06:46
to look for crimeجريمة.
141
394660
1193
للبحث عن الجريمة،
06:48
The arrestيقبض على dataالبيانات would be very biasedانحيازا.
142
396451
2219
فإن بيانات الاعتقال ستكون منحازة جدًا.
06:51
What if, on topأعلى of that,
we foundوجدت the dataالبيانات scientistsالعلماء
143
399851
2575
وعلاوة على ذلك، ماذا لو
وجدنا علماء البيانات
06:54
and paidدفع the dataالبيانات scientistsالعلماء to predictتنبؤ
where the nextالتالى crimeجريمة would occurتحدث?
144
402450
4161
ودفعنا لهم للتنبؤ بمكان الجريمة التالية؟
06:59
Minorityأقلية neighborhoodحي.
145
407275
1487
سيقولون أحد أحياء الأقليات.
07:01
Or to predictتنبؤ who the nextالتالى
criminalمجرم would be?
146
409285
3125
أو للتنبؤ بالمجرم التالي؟
07:04
A minorityأقلية.
147
412888
1395
أيضًا من الأقليات.
07:07
The dataالبيانات scientistsالعلماء would bragتفاخر
about how great and how accurateدقيق
148
415949
3541
سيتباهى علماء البيانات كم أن نموذجهم
سيكون رائعًا ودقيقًا،
07:11
theirهم modelنموذج would be,
149
419514
1297
وسيكونون محقّين بالفعل.
07:12
and they'dانها تريد be right.
150
420835
1299
07:15
Now, realityواقع isn't that drasticعنيف,
but we do have severeشديدة segregationsانفصالات
151
423951
4615
الآن، ليست الحقيقة بذلك التطرف،
ولكن لدينا تمييز وفصل شديد
في عدة مدن وبلدات
07:20
in manyكثير citiesمدن and townsالمدن,
152
428590
1287
ولدينا الكثير من البراهين
07:21
and we have plentyوفرة of evidenceدليل
153
429901
1893
من بيانات رجال الشرطة المتحيزة،
وبيانات نظام العدالة.
07:23
of biasedانحيازا policingالشرطة
and justiceعدالة systemالنظام dataالبيانات.
154
431818
2688
07:27
And we actuallyفعلا do predictتنبؤ hotspotsالنقاط الساخنة,
155
435632
2815
ونستطيع في الواقع التنبؤ بمواقع ساخنة،
07:30
placesأماكن where crimesجرائم will occurتحدث.
156
438471
1530
وأماكن حيث ستحدث الجرائم.
07:32
And we do predictتنبؤ, in factحقيقة,
the individualفرد criminalityجريمة,
157
440401
3866
ونستطيع التنبؤ، في الواقع،
بالجريمة الفردية،
07:36
the criminalityجريمة of individualsالأفراد.
158
444291
1770
جرائم الأفراد.
07:38
The newsأخبار organizationمنظمة ProPublicaProPublica
recentlyمؤخرا lookedبدا into
159
446972
3963
بحثت المنظمة الإخبارية (بروبليكا) مؤخرًا
أحد تلك الخوارزميات،
"خطر التعرض للانتكاس"
07:42
one of those "recidivismالانتكاسية riskخطر" algorithmsخوارزميات,
160
450959
2024
كما يطلق عليهم،
07:45
as they're calledمسمي,
161
453007
1163
تم استخدامها في ولاية (فلوريدا)
أثناء إعلان الحُكم من قبل القضاة.
07:46
beingيجرى used in Floridaفلوريدا
duringأثناء sentencingالحكم by judgesالقضاة.
162
454194
3194
07:50
Bernardبرنارد, on the left, the blackأسود man,
was scoredيحرز هدف a 10 out of 10.
163
458411
3585
تم تصنيف (بيرنارد)، على اليسار،
الرجل الأسود، 10/10.
07:55
Dylanديلان, on the right, 3 out of 10.
164
463179
2007
و(ديلان)، على اليمين، 3/10.
10 من 10، الخطر الأكبر،
و3 من 10، الخطر المنخفض.
07:57
10 out of 10, highمتوسط riskخطر.
3 out of 10, lowمنخفض riskخطر.
165
465210
2501
08:00
They were bothكلا broughtجلبت in
for drugالمخدرات possessionملكية.
166
468598
2385
تم القبض على كليهما لحيازتهما المخدرات.
ولدى كلاهما سجلات،
08:03
They bothكلا had recordsتسجيل,
167
471007
1154
ولكن لدى (ديلان) جناية
08:04
but Dylanديلان had a felonyجناية
168
472185
2806
بعكس (بيرنارد).
08:07
but Bernardبرنارد didn't.
169
475015
1176
08:09
This mattersالقضايا, because
the higherأعلى scoreأحرز هدفاً you are,
170
477818
3066
هذا يهم، لأنه إذا كانت درجتكم أعلى،
فستمنحون على الأرجح أحكامًا قضائية أطول.
08:12
the more likelyالمحتمل أن you're beingيجرى givenمعطى
a longerطويل sentenceجملة او حكم على.
171
480908
3473
08:18
What's going on?
172
486294
1294
ما الذي يجري هنا؟
08:20
Dataالبيانات launderingغسيل.
173
488526
1332
غسل البيانات.
08:22
It's a processمعالج by whichالتي
technologistsالتكنولوجيين hideإخفاء uglyقبيح truthsالحقائق
174
490930
4427
إنها عملية حيث يخفي التقنيون حقائق بشعة
داخل خوارزميات الصندوق الأسود
08:27
insideفي داخل blackأسود boxصندوق algorithmsخوارزميات
175
495381
1821
ويطلقون عليها موضوعية،
08:29
and call them objectiveموضوعي;
176
497226
1290
08:31
call them meritocraticالجدارة.
177
499320
1568
أطلقوا عليها "الإستحقاقراطية".
08:35
When they're secretسر,
importantمهم and destructiveمدمرة,
178
503118
2385
عندما تكون سرية، ومهمة، ومدمرة،
قمتُ بصياغة مصطلح لهذه الخوارزميات:
08:37
I've coinedصاغ a termمصطلح for these algorithmsخوارزميات:
179
505527
2487
"أسلحة دمار العمليات الحسابية".
08:40
"weaponsأسلحة of mathالرياضيات destructionتدمير."
180
508038
1999
(ضحك)
08:42
(Laughterضحك)
181
510061
1564
(تصفيق)
08:43
(Applauseتصفيق)
182
511649
3054
إنها في كل مكان، وليست خطأ.
08:46
They're everywhereفي كل مكان,
and it's not a mistakeخطأ.
183
514727
2354
08:49
These are privateنشر companiesالشركات
buildingبناء privateنشر algorithmsخوارزميات
184
517695
3723
هذه هي شركات خاصة
تبني خوارزميات خاصة
لأغراض خاصة.
08:53
for privateنشر endsنهايات.
185
521442
1392
08:55
Even the onesمنها I talkedتحدث about
for teachersمعلمون and the publicعامة policeشرطة,
186
523214
3214
حتى تلك التي تحدثتُ حولها
بشأن المعلمين ورجال الشرطة،
تم بناء الخوارزميات من قبل شركات خاصة
08:58
those were builtمبني by privateنشر companiesالشركات
187
526452
1869
وتم بيعها إلى مؤســسات حكومية.
09:00
and soldتم البيع to the governmentحكومة institutionsالمؤسسات.
188
528345
2231
يسمونها "التركيبة السرية الخاصة" --
09:02
They call it theirهم "secretسر sauceصلصة" --
189
530600
1873
ولهذا السبب لا يمكنهم الإفصاح عنها.
09:04
that's why they can't tell us about it.
190
532497
2128
إنها أيضًا سلطة خاصة.
09:06
It's alsoأيضا privateنشر powerقوة.
191
534649
2220
09:09
They are profitingالتربح for wieldingشاهرا
the authorityالسلطة of the inscrutableغامض.
192
537924
4695
إنهم يستفيدون من الممارسة البارعة
للسلطة الغامضة.
09:17
Now you mightربما think,
sinceمنذ all this stuffأمور is privateنشر
193
545114
2934
قد تعتقدون الآن،
ولأنّ كل هذه الامور خاصة
وهناك منافسة،
09:20
and there's competitionمنافسة,
194
548072
1158
ربما سيعالجُ السوق الحر هذه المشكلة.
09:21
maybe the freeحر marketسوق
will solveحل this problemمشكلة.
195
549254
2306
لن يقوم بذلك.
09:23
It won'tمتعود.
196
551584
1249
تُجبى كمية ضخمة من الأموال
نتيجة عدم الإنصاف.
09:24
There's a lot of moneyمال
to be madeمصنوع in unfairnessظلم.
197
552857
3120
09:29
Alsoأيضا, we're not economicاقتصادي rationalمعقول agentsعملاء.
198
557127
3369
كذلك، لسنا عملاء اقتصاديون منطقيون.
09:33
We all are biasedانحيازا.
199
561031
1292
جميعنا منحازون.
09:34
We're all racistعنصري and bigotedمتعصب
in waysطرق that we wishرغبة we weren'tلم تكن,
200
562960
3377
جميعنا عنصريون ومتعصبون
بطرق نرغبُ بأننا لم نسلكها،
بطرق حتى لا نعرفها.
09:38
in waysطرق that we don't even know.
201
566361
2019
09:41
We know this, thoughاعتقد, in aggregateمجموع,
202
569352
3081
ورغم ذلك نعلمُ هذا، في كل الأحوال،
لأن علماء الاجتماع قدّموا لنا ذلك باستمرار
09:44
because sociologistsعلماء الاجتماع
have consistentlyباتساق demonstratedتظاهر this
203
572457
3220
بهذه التجارب التي بنوها،
09:47
with these experimentsتجارب they buildبناء,
204
575701
1665
حيثُ يرسلوا حزمة من طلبات الوظائف المطلوبة
09:49
where they sendإرسال a bunchباقة
of applicationsتطبيقات to jobsوظائف out,
205
577390
2568
مؤهلين بالتساوي
لكن لدى بعضهم أسماء تبدو لأشخاص بيض
09:51
equallyبالتساوي qualifiedتأهلت but some
have white-soundingالأبيض السبر namesأسماء
206
579982
2501
09:54
and some have black-soundingأسود السبر namesأسماء,
207
582507
1706
ولدى البعض أسماء تبدو لأشخاص سود
ودائمًا النتائج مخيبة للآمال، دائمًا.
09:56
and it's always disappointingمخيب للامال,
the resultsالنتائج -- always.
208
584237
2694
09:59
So we are the onesمنها that are biasedانحيازا,
209
587510
1771
لذلك فنحن المتحيزون،
ونحنُ من يضع تلك التحيزات داخل الخوارزميات
10:01
and we are injectingعن طريق الحقن those biasesالتحيزات
into the algorithmsخوارزميات
210
589305
3429
باختيار ما هي البينات التي علينا جمعها،
10:04
by choosingاختيار what dataالبيانات to collectتجميع,
211
592758
1812
10:06
like I choseاختار not to think
about ramenرامين noodlesالمعكرونة --
212
594594
2743
مثل ما اخترته
لعدم التفكير بالشعيرية المجففة --
10:09
I decidedقرر it was irrelevantليست له صلة، لا علاقة له مع الموضوع.
213
597361
1625
قررتُ بأنه ليس لها صلة بالموضوع.
10:11
But by trustingواثق ب the dataالبيانات that's actuallyفعلا
pickingاختيار up on pastالماضي practicesالممارسات
214
599010
5684
لكن وبالثقة بالبيانات التي هي في الواقع
اختيار الممارسات الماضية
واختيار تعريف النجاح،
10:16
and by choosingاختيار the definitionفريف of successنجاح,
215
604718
2014
كيف يمكننا توقع
ظهور الخوارزميات متكاملة؟
10:18
how can we expectتوقع the algorithmsخوارزميات
to emergeيظهر unscathedسالم?
216
606756
3983
لا نستطيع. علينا التحقق منهم.
10:22
We can't. We have to checkالتحقق من them.
217
610763
2356
10:26
We have to checkالتحقق من them for fairnessعدل.
218
614165
1709
علينا التحقق منهم من أجل الإنصاف.
الخبر السار هو،
نستطيعُ التحقق منهم من أجل الإنصاف.
10:27
The good newsأخبار is,
we can checkالتحقق من them for fairnessعدل.
219
615898
2711
يمكنُ فحص واستنطاق الخوارزميات،
10:30
Algorithmsخوارزميات can be interrogatedالتحقيق,
220
618633
3352
ويمكنهم قول الحقيقة كل الوقت.
10:34
and they will tell us
the truthحقيقة everyكل time.
221
622009
2034
10:36
And we can fixحل them.
We can make them better.
222
624067
2493
ويمكننا اصلاحهم. ويمكننا جعلهم أفضل.
10:38
I call this an algorithmicالخوارزمية auditتدقيق,
223
626584
2375
أطلقُ على هذه تدقيق الخوارزمية،
10:40
and I'll walkسير you throughعبر it.
224
628983
1679
وسأخبركم عنها.
أولاً، التحقق من نزاهة وتكامل البيانات.
10:42
First, dataالبيانات integrityالنزاهة checkالتحقق من.
225
630686
2196
10:46
For the recidivismالانتكاسية riskخطر
algorithmخوارزمية I talkedتحدث about,
226
634132
2657
بالنسبة إلى خوارزمية
خطر الانتكاس التي تحدثتُ عنها،
10:49
a dataالبيانات integrityالنزاهة checkالتحقق من would mean
we'dكنا have to come to termsشروط with the factحقيقة
227
637582
3573
ستعني التحقق من نزاهة البيانات
بأنه علينا التوصل إلى تفاهم مع الواقع
بأنه في أمريكا، يدخنُ الحشيشَ البيض والسود
بنفس المعدل
10:53
that in the US, whitesبياض and blacksالسود
smokeدخان potوعاء at the sameنفسه rateمعدل
228
641179
3526
لكن يتمُ اعتقال السود
على الأرجح أكثر بكثير --
10:56
but blacksالسود are farبعيدا more likelyالمحتمل أن
to be arrestedالقى القبض --
229
644729
2485
أربع أو خمس مرات أكثر من البيض،
اعتمادًا على المنطقة.
10:59
fourأربعة or fiveخمسة timesمرات more likelyالمحتمل أن,
dependingاعتمادا on the areaمنطقة.
230
647238
3184
11:03
What is that biasانحياز، نزعة looking like
in other crimeجريمة categoriesالاقسام,
231
651317
2826
كيف يبدو هذا التحيز
في فئات الجرائم الأخرى،
وكيف يمكننا حساب ذلك؟
11:06
and how do we accountالحساب for it?
232
654167
1451
11:08
Secondثانيا, we should think about
the definitionفريف of successنجاح,
233
656162
3039
ثانيًا، ينبغي علينا التفكير بتعريف النجاح،
11:11
auditتدقيق that.
234
659225
1381
تدقيق ذلك.
11:12
Rememberتذكر -- with the hiringتوظيف
algorithmخوارزمية? We talkedتحدث about it.
235
660630
2752
تذكروا، خوارزمية التوظيف،
التي تحدثنا عنها.
يبقى شخص ما في الوظيفة لمدة أربع سنوات
ويتمُ ترقيته لمرة واحدة.
11:15
Someoneشخصا ما who staysإقامة for fourأربعة yearsسنوات
and is promotedرقية onceذات مرة?
236
663406
3165
حسنًا، هذا موظفُ ناجح،
11:18
Well, that is a successfulناجح employeeموظف,
237
666595
1769
وإنه أيضًا موظف مدعوم
من قبل التقاليد الموروثة.
11:20
but it's alsoأيضا an employeeموظف
that is supportedأيد by theirهم cultureحضاره.
238
668388
3079
11:24
That said, alsoأيضا it can be quiteالى حد كبير biasedانحيازا.
239
672089
1926
وذلك، يمكن أن يكون ذلك تحيزًا
11:26
We need to separateمنفصل those two things.
240
674039
2065
نحتاجُ لفصل هذين الأمرين.
11:28
We should look to
the blindبليند orchestraأوركسترا auditionالاختبار
241
676128
2426
علينا النظر
في تجربة أداء الأوركسترا العمياء
11:30
as an exampleمثال.
242
678578
1196
كمثال.
11:31
That's where the people auditioningبمراجعة
are behindخلف a sheetورقة.
243
679798
2756
حيث يجري الأشخاص أداءهم من وراء جدار.
11:34
What I want to think about there
244
682946
1931
ما أرغبُ أن أفكر فيه هنا
11:36
is the people who are listeningاستماع
have decidedقرر what's importantمهم
245
684901
3417
أن من يستمع إلى هؤلاء قد قرروا ما هو المهم
11:40
and they'veكان عليهم decidedقرر what's not importantمهم,
246
688342
2029
وما ليس مهمًا،
11:42
and they're not gettingالحصول على
distractedمشتت الذهن by that.
247
690395
2059
ولم يتم ازعاجهم بأي شيء بهذا القرار.
11:44
When the blindبليند orchestraأوركسترا
auditionsتجارب الاداء startedبدأت,
248
692961
2749
عندما بدأت تجربة أداء الأوكسترا العمياء،
11:47
the numberرقم of womenنساء in orchestrasالأوركسترا
wentذهب up by a factorعامل of fiveخمسة.
249
695734
3444
ارتفع عدد النساء في الأوكسترا بمقدار خمسة.
11:52
Nextالتالى, we have to considerيعتبر accuracyصحة.
250
700253
2015
وبعد ذلك، علينا النظر في الدقة.
11:55
This is where the value-addedالقيمة المضافة modelنموذج
for teachersمعلمون would failفشل immediatelyفورا.
251
703233
3734
وهذا هو حيث سيفشل نموذج القيمة المضافة
بشأن المعلمين على الفور.
11:59
No algorithmخوارزمية is perfectفي احسن الاحوال, of courseدورة,
252
707578
2162
لا يوجد خوارزمية مثالية، بطبيعة الحال،
12:02
so we have to considerيعتبر
the errorsأخطاء of everyكل algorithmخوارزمية.
253
710620
3605
لذلك ينبغي علينا حساب الأخطاء
في كل خوارزمية.
12:06
How oftenغالبا are there errorsأخطاء,
and for whomمن does this modelنموذج failفشل?
254
714836
4359
كم مرة تتكرر هذه الأخطاء،
ولمن يفشل هذا النموذج؟
12:11
What is the costكلفة of that failureبالفشل?
255
719850
1718
وما هي تكلفة هذا الفشل؟
12:14
And finallyأخيرا, we have to considerيعتبر
256
722434
2207
وأخيرًا، علينا اعتبار
12:17
the long-termطويل الأمد effectsتأثيرات of algorithmsخوارزميات,
257
725973
2186
الآثار طويلة الأجل للخوارزمية،
12:20
the feedbackردود الفعل loopsالحلقات that are engenderingومراعاة نوع الجنس.
258
728866
2207
ومجموعات التقييم التي تم إحداثها.
12:23
That soundsاصوات abstractنبذة مختصرة,
259
731586
1236
يبدو ذلك نظرية مجردة،
12:24
but imagineتخيل if Facebookفيس بوك engineersالمهندسين
had consideredاعتبر that
260
732846
2664
لكن تخيلوا لو أن مهندسو الفيسبوك
أخذوا بعين الاعتبار ذلك
12:28
before they decidedقرر to showتبين us
only things that our friendsاصحاب had postedنشر.
261
736270
4855
قبل أن يقرروا أن يُظهروا لنا
الأشياء التي ينشرها أصدقاؤنا فقط.
12:33
I have two more messagesرسائل,
one for the dataالبيانات scientistsالعلماء out there.
262
741761
3234
عندي رسالتان أخريان،
الأولى لعلماء البيانات الموجودن من حولنا.
12:37
Dataالبيانات scientistsالعلماء: we should
not be the arbitersحكام of truthحقيقة.
263
745450
3409
يا علماء البيانات:
لا ينبغي علينا أن نقرر ما هي الحقيقة.
12:41
We should be translatorsمترجمين
of ethicalأخلاقي discussionsمناقشات that happenيحدث
264
749520
3783
علينا أن نترجم النقاشات الأخلاقية
التي تحدثُ في المجتمع الأكبر.
12:45
in largerأكبر societyالمجتمع.
265
753327
1294
(تصفيق)
12:47
(Applauseتصفيق)
266
755579
2133
12:49
And the restراحة of you,
267
757736
1556
والبقية منكم،
12:52
the non-dataغير بيانات scientistsالعلماء:
268
760011
1396
من غير علماء البيانات:
هذا ليس اختبار رياضيات.
12:53
this is not a mathالرياضيات testاختبار.
269
761431
1498
إنها معركة سياسية.
12:55
This is a politicalسياسي fightيقاتل.
270
763632
1348
نحتاجُ أن نطالبَ بالمساءلة
لمن يضع الخوارزميات من الأسياد.
12:58
We need to demandالطلب accountabilityالمسائلة
for our algorithmicالخوارزمية overlordsالأسياد.
271
766587
3907
(تصفيق)
13:04
(Applauseتصفيق)
272
772118
1499
يجب أن ينتهي عصر الثقة العمياء
في البيانات الضخمة.
13:05
The eraعصر of blindبليند faithإيمان
in bigكبير dataالبيانات mustيجب endالنهاية.
273
773641
4225
13:09
Thank you very much.
274
777890
1167
شكرًا جزيلًا لكم.
(تصفيق)
13:11
(Applauseتصفيق)
275
779081
5303
Translated by Nawal Sharabati
Reviewed by Hani Eldalees

▲Back to top

ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM
كاثي أونيل: لا بد أن ينتهي عصر الثقة العمياء في البيانات الضخمة | TED Talk | TED.com