ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
TED2017

Cathy O'Neil: The era of blind faith in big data must end

کثی اونیل: عصر ایمان کورکورانه به داده‌های عظیم باید به پایان برسد

Filmed:
1,391,460 views

الگوریتم‌ها تعیین می‌کنند چه کسی وام می‌گیرد، چه کسی مصاحبه می‌شود، چه کسی بیمه می‌شود و خیلی کارهای دیگر. اما الگوریتم‌ها به صورت خودکار چیزی را عادلانه نمی‌کنند. کثی اونیل، ریاضی‌دان و دانشمند داده، اصطلاحی را برای الگوریتم‌های مخفی، مهم و مضر ابداع کرد: «سلاح کشتار ریاضی.» درباره‌ی برنامه‌ی پنهان در پس فرمول‌ها بیشتر بدانید.
- Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio

Double-click the English transcript below to play the video.

00:12
Algorithmsالگوریتم ها are everywhereدر همه جا.
0
975
1596
الگوریتم‌ها همه جا هستند.
00:16
They sortمرتب سازی and separateجداگانه
the winnersبرندگان from the losersبازنده ها.
1
4111
3125
آن‌ها برنده‌ها و بازنده‌ها را
رده‌بندی کرده و از هم جدا می‌کنند
00:20
The winnersبرندگان get the jobکار
2
8019
2264
برنده‌ها استخدام می‌شوند
00:22
or a good creditاعتبار cardکارت offerپیشنهاد.
3
10307
1743
یا یک پیشنهاد خوب مالی می‌گیرند.
00:24
The losersبازنده ها don't even get an interviewمصاحبه
4
12074
2651
اما بازنده‌ها حتی مصاحبه هم نمی‌شوند
00:27
or they payپرداخت more for insuranceبیمه.
5
15590
1777
یا هزینه بیشتری برای بیمه می‌پردازند.
00:30
We're beingبودن scoredبه ثمر رساند with secretراز formulasفرمول ها
that we don't understandفهمیدن
6
18197
3549
ما با فرمول‌های مرموزی سنجیده می‌شویم
که درکشان نمی‌کنیم.
00:34
that oftenغالبا don't have systemsسیستم های of appealدرخواست.
7
22675
3217
که معمولاً سیستمی برای تجدید نظر ندارند.
00:39
That begsالتماس می کند the questionسوال:
8
27240
1296
این سوالی را بر می‌انگیزد:
00:40
What if the algorithmsالگوریتم ها are wrongاشتباه?
9
28560
2913
اگر الگوریتم‌ها اشتباه کنند چطور؟
00:45
To buildساختن an algorithmالگوریتم you need two things:
10
33100
2040
برای ایجاد یک الگوریتم دو چیز نیاز دارید:
00:47
you need dataداده ها, what happenedاتفاق افتاد in the pastگذشته,
11
35164
1981
داده، چیزی که در گذشته اتفاق افتاده،
00:49
and a definitionتعریف of successموفقیت,
12
37169
1561
و تعریفی برای موفقیت،
00:50
the thing you're looking for
and oftenغالبا hopingامید for.
13
38754
2457
چیزی که به دنبال آن هستید
و معمولاً انتظارش را دارید.
00:53
You trainقطار an algorithmالگوریتم
by looking, figuringبدانید out.
14
41235
5037
شما به الگوریتم با دیدن
و درک کردن آموزش می‌دهید.
00:58
The algorithmالگوریتم figuresارقام out
what is associatedهمراه with successموفقیت.
15
46296
3419
الگوریتم درک می‌کند که چه چیزهایی
با موفقیت ارتباط دارند.
01:01
What situationوضعیت leadsمنجر می شود to successموفقیت?
16
49739
2463
چه موقعیتی به موفقیت منتهی می‌شود؟
01:04
Actuallyدر واقع, everyoneهر کس usesاستفاده می کند algorithmsالگوریتم ها.
17
52881
1762
در واقع، همه
از الگوریتم‌ها استفاده می‌کنند.
01:06
They just don't formalizeرسمی کردن them
in writtenنوشته شده است codeکد.
18
54667
2718
فقط آن‌ها را به صورت کد نمی‌نویسند
01:09
Let me give you an exampleمثال.
19
57409
1348
بگذارید مثالی بزنم.
01:10
I use an algorithmالگوریتم everyهرکدام day
to make a mealوعده غذایی for my familyخانواده.
20
58781
3316
من هر روز از یک الگوریتم
برای پخت غذای خانواده‌ام استفاده می‌کنم.
01:14
The dataداده ها I use
21
62121
1476
داده‌هایی که استفاده می‌کنم
01:16
is the ingredientsعناصر in my kitchenآشپزخانه,
22
64394
1659
شامل مواد موجود در آشپزخانه‌ام،
01:18
the time I have,
23
66077
1527
زمانی که دارم،
01:19
the ambitionهدف - آرزو I have,
24
67628
1233
و هدفی که دارم می‌شود.
01:20
and I curateدروغ گفتن that dataداده ها.
25
68885
1709
و من این داده‌ها را مدیریت می‌کنم.
01:22
I don't countشمردن those little packagesبسته ها
of ramenرمن noodlesرشته فرنگی as foodغذا.
26
70618
4251
من آن بسته‌های کوچک
نودل رامن را غذا به حساب نمی‌آورم.
01:26
(Laughterخنده)
27
74893
1869
(خنده حضار)
01:28
My definitionتعریف of successموفقیت is:
28
76786
1845
تعریف من از موفقیت این است:
01:30
a mealوعده غذایی is successfulموفق شدن
if my kidsبچه ها eatخوردن vegetablesسبزیجات.
29
78655
2659
یک غذا موفق است
اگر فرزندانم سبزیجات بخورند.
01:34
It's very differentناهمسان
from if my youngestجوانترین sonفرزند پسر were in chargeشارژ.
30
82181
2854
این خیلی متفاوت می‌شد
اگر پسر بزرگ‌ترم مسئول بود.
01:37
He'dاو می خواهد say successموفقیت is if
he getsمی شود to eatخوردن lots of Nutellaنوتلا.
31
85059
2788
از نظر او موفقیت این است
که بتواند زیاد نوتلا بخورد.
01:41
But I get to chooseانتخاب کنید successموفقیت.
32
89179
2226
ولی منم که موفقیت را انتخاب می‌کنم.
01:43
I am in chargeشارژ. My opinionنظر mattersمسائل.
33
91429
2707
من مسئولم.
نظر من است که اهمیت دارد.
01:46
That's the first ruleقانون of algorithmsالگوریتم ها.
34
94160
2675
این اولین قانون الگوریتم‌هاست.
01:48
Algorithmsالگوریتم ها are opinionsنظرات embeddedجاسازی شده in codeکد.
35
96859
3180
الگوریتم‌ها سلایقی هستند
که در قالب کد ارائه می‌شوند.
01:53
It's really differentناهمسان from what you think
mostاکثر people think of algorithmsالگوریتم ها.
36
101562
3663
این با چیزی که بیشتر مردم در مورد
الگوریتم‌ها فکر می‌کنند تفاوت دارد.
01:57
They think algorithmsالگوریتم ها are objectiveهدف، واقعگرایانه
and trueدرست است and scientificعلمی.
37
105249
4504
آن‌ها فکر می‌کنند که الگوریتم‌ها
عینی، درست و علمی هستند.
02:02
That's a marketingبازار یابی trickترفند.
38
110387
1699
این یک حقهٔ بازاریابی است.
02:05
It's alsoهمچنین a marketingبازار یابی trickترفند
39
113269
2125
این هم یک حقهٔ بازاریابی است
02:07
to intimidateترساندن you with algorithmsالگوریتم ها,
40
115418
3154
که شما را با الگوریتم‌ها بترسانند،
02:10
to make you trustاعتماد and fearترس algorithmsالگوریتم ها
41
118596
3661
که شما را وادار به اعتماد به الگوریتم‌ها
و ترس از آن‌ها کنند
02:14
because you trustاعتماد and fearترس mathematicsریاضیات.
42
122281
2018
به دلیل ترس و اعتماد شما به ریاضیات.
02:17
A lot can go wrongاشتباه when we put
blindنابینا faithایمان in bigبزرگ dataداده ها.
43
125567
4830
باور کورکورانه به کلان‌داده‌ها
می‌تواند عواقب نادرستی داشته باشد.
02:23
This is Kiriکیری SoaresSoares.
She's a highبالا schoolمدرسه principalاصلی in Brooklynبروکلین.
44
131684
3373
این کیری سورس است.
او مدیر یک دبیرستان در بروکلین است.
02:27
In 2011, she told me
her teachersمعلمان were beingبودن scoredبه ثمر رساند
45
135081
2586
در سال ۲۰۱۱، او به من گفت
معلم‌های مدرسه‌اش
02:29
with a complexپیچیده, secretراز algorithmالگوریتم
46
137691
2727
با یک الگوریتم مرموز
و پیچیده امتیازبندی می‌شوند
02:32
calledبه نام the "value-addedارزش افزوده modelمدل."
47
140442
1489
که نام آن
«مدل ارزش افزوده» است.
02:34
I told her, "Well, figureشکل out
what the formulaفرمول is, showنشان بده it to me.
48
142505
3092
من به او گفتم، «خب، فرمول را پیدا کن
و به من نشان بده
02:37
I'm going to explainتوضیح it to you."
49
145621
1541
من آن را برایت توضیح می‌دهم».
02:39
She said, "Well, I triedتلاش کرد
to get the formulaفرمول,
50
147186
2141
او گفت: «من سعی کردم
که فرمول را بدست بیاورم،
02:41
but my Departmentگروه of Educationتحصیلات contactتماس
told me it was mathریاضی
51
149351
2772
اما رابط اداره‌ی آموزش
به من گفت که ریاضیات است
02:44
and I wouldn'tنمی خواهم understandفهمیدن it."
52
152147
1546
و من آن را درک نخواهم کرد.»
02:47
It getsمی شود worseبدتر.
53
155266
1338
بدتر هم می‌شود.
02:48
The Newجدید Yorkیورک Postپست filedثبت شده
a Freedomآزادی of Informationاطلاعات Actقانون requestدرخواست,
54
156628
3530
روزنامه «نیویورک پست» درخواستی
مربوط به «سند آزادی اطلاعات» منتشر کرد،
02:52
got all the teachers'معلمان namesنام ها
and all theirخودشان scoresنمرات
55
160182
2959
نام تمام معلم‌ها
و تمام نمراتشان را به دست آورد
02:55
and they publishedمنتشر شده them
as an actعمل کن of teacher-shamingمعلم شوم.
56
163165
2782
و برای خجالت‌زده کردن معلمان
آنها را منتشر کرد.
02:59
When I triedتلاش کرد to get the formulasفرمول ها,
the sourceمنبع codeکد, throughاز طریق the sameیکسان meansبه معنای,
57
167084
3860
وقتی من خواستم فرمول‌ها
و کد را از همین طریق ببینم،
03:02
I was told I couldn'tنمی توانستم.
58
170968
2149
به من گفتند نمی‌توانم.
03:05
I was deniedتکذیب کرد.
59
173141
1236
از این کار منع شدم.
03:06
I laterبعد foundپیدا شد out
60
174401
1174
بعداً فهمیدم
03:07
that nobodyهيچ كس in Newجدید Yorkیورک Cityشهر
had accessدسترسی به to that formulaفرمول.
61
175599
2866
که هیچ‌کس در شهر نیویورک
به آن فرمول دسترسی نداشت.
03:10
No one understoodفهمید it.
62
178489
1305
هیچ‌کس آن را نمی‌فهمید.
03:13
Then someoneکسی really smartهوشمندانه
got involvedگرفتار, Garyگری Rubensteinروبنشتاین.
63
181929
3224
بعداً یک فرد واقعاً باهوش
به نام «گری روبنشتاین» درگیر این موضوع شد.
03:17
He foundپیدا شد 665 teachersمعلمان
from that Newجدید Yorkیورک Postپست dataداده ها
64
185177
3621
او ۶۶۵ معلم که در داده‌های
نیویورک پست بودند را یافت
03:20
that actuallyدر واقع had two scoresنمرات.
65
188822
1866
که هر یک، دو نمره داشتند.
03:22
That could happenبه وقوع پیوستن if they were teachingدرس دادن
66
190712
1881
اگر یک معلم در دو کلاس هفتم و هشتم
03:24
seventhهفتم gradeمقطع تحصیلی mathریاضی and eighthهشتم gradeمقطع تحصیلی mathریاضی.
67
192617
2439
تدریس کند ممکن است این اتفاق رخ دهد.
03:27
He decidedقرار بر این شد to plotطرح them.
68
195080
1538
او تصمیم گرفت این داده‌ها را ترسیم کند.
03:28
Eachهر یک dotنقطه representsنشان دهنده a teacherمعلم.
69
196642
1993
هر نقطه نشان‌دهنده‌ی یک معلم است.
03:31
(Laughterخنده)
70
199104
2379
(خنده‌ی حضار)
03:33
What is that?
71
201507
1521
این چیست؟
03:35
(Laughterخنده)
72
203052
1277
(خنده‌ی حضار)
03:36
That should never have been used
for individualفردی assessmentارزیابی.
73
204353
3446
هرگز نباید برای ارزیابی افراد
مورد استفاده قرار می‌گرفت.
03:39
It's almostتقریبا a randomتصادفی numberعدد generatorژنراتور.
74
207823
1926
تقریباً یک تولیدکننده‌ی اعداد تصادفی است.
03:41
(Applauseتشویق و تمجید)
75
209773
2946
(تشوق حضار)
03:44
But it was.
76
212743
1162
اما استفاده شد.
03:45
This is Sarahسارا Wysockiویسکی.
77
213929
1176
این سارا ویساکی است.
03:47
She got firedاخراج شد, alongدر امتداد
with 205 other teachersمعلمان,
78
215129
2175
او به همراه ۲۰۵ معلم دیگر
03:49
from the Washingtonواشنگتن, DCDC schoolمدرسه districtناحیه,
79
217328
2662
از ناحیه‌ی مدارس واشنگتون دی‌سی اخراج شد.
03:52
even thoughگرچه she had great
recommendationsتوصیه ها from her principalاصلی
80
220014
2909
علی‌رغم اینکه توصیه‌نامه‌های
خیلی خوبی از طرف مدیر
03:54
and the parentsپدر و مادر of her kidsبچه ها.
81
222947
1428
و خانواده‌های شاگردانش داشت.
03:57
I know what a lot
of you guys are thinkingفكر كردن,
82
225390
2032
می‌دانم بسیاری از شما
چه فکر می‌کنید،
03:59
especiallyبه خصوص the dataداده ها scientistsدانشمندان,
the AIAI expertsکارشناسان here.
83
227446
2487
خصوصاً دانشمندان داده،
و خبرگان هوش مصنوعی.
04:01
You're thinkingفكر كردن, "Well, I would never make
an algorithmالگوریتم that inconsistentناسازگار."
84
229957
4226
شما فکر می‌کنید، «من هرگز الگوریتمی
به این ناسازگاری نخواهم ساخت».
04:06
But algorithmsالگوریتم ها can go wrongاشتباه,
85
234853
1683
اما الگوریتم‌ها می‌توانند اشتباه کنند،
04:08
even have deeplyعمیقا destructiveمخرب effectsاثرات
with good intentionsاهداف.
86
236560
4598
حتی آثار مخرب عمیقی داشته باشند،
در صورتی که نیت‌شان خیر بوده است.
04:14
And whereasدر حالی که an airplaneهواپیما
that's designedطراحی شده badlyبدی
87
242531
2379
برخلاف هواپیمایی
که بد طراحی شده است
04:16
crashesسقوط to the earthزمین and everyoneهر کس seesمی بیند it,
88
244934
2001
و سقوط می‌کند و همه آن را می‌بینند،
04:18
an algorithmالگوریتم designedطراحی شده badlyبدی
89
246959
1850
الگوریتمی که بد طراحی شده باشد
04:22
can go on for a long time,
silentlyسکوت wreakingبدبختی havocویران کردن.
90
250245
3865
ممکن است مدت زیادی
به صورت خاموش تخریب کند.
04:27
This is Rogerراجر AilesAiles.
91
255748
1570
این راجر ایلز است.
04:29
(Laughterخنده)
92
257342
2000
(خنده‌ی حضار)
04:32
He foundedتأسیس شد Foxفاکس Newsاخبار in 1996.
93
260524
2388
او در سال ۱۹۹۶ فاکس نیوز را تأسیس کرد.
04:35
More than 20 womenزنان complainedشکایت کرد
about sexualجنسیت harassmentآزار و اذیت.
94
263436
2581
بیش از ۲۰ زن از آزار جنسی
شکایت کردند.
04:38
They said they weren'tنبودند allowedمجاز
to succeedموفق باش at Foxفاکس Newsاخبار.
95
266041
3235
آن‌ها می‌گفتند که اجازه موفقیت
در فاکس نیوز را ندارند.
04:41
He was oustedاخراج شده last yearسال,
but we'veما هستیم seenمشاهده گردید recentlyبه تازگی
96
269300
2520
او سال گذشته برکنار شد،
اما اخیراً دیده شده
04:43
that the problemsمشکلات have persistedهمچنان ادامه داشت.
97
271844
2670
که مشکلات باقی مانده‌اند.
04:47
That begsالتماس می کند the questionسوال:
98
275654
1400
این مسئله این سؤال را برمی‌انگیزد:
04:49
What should Foxفاکس Newsاخبار do
to turnدور زدن over anotherیکی دیگر leafبرگ?
99
277078
2884
فاکس نیوز باید چه کند
تا بهبود یابد؟
04:53
Well, what if they replacedجایگزین شد
theirخودشان hiringاستخدام processروند
100
281245
3041
خب، چطور است فرایند استخدم را
04:56
with a machine-learningفراگیری ماشین algorithmالگوریتم?
101
284310
1654
با یک الگوریتم یادگیری ماشین جایگزین کنیم؟
04:57
That soundsبرای تلفن های موبایل good, right?
102
285988
1595
به نظر خوب می‌آید، نه؟
04:59
Think about it.
103
287607
1300
به آن فکر کنید.
05:00
The dataداده ها, what would the dataداده ها be?
104
288931
2105
داده، داده‌ها چه خواهند بود؟
05:03
A reasonableمعقول choiceانتخابی would be the last
21 yearsسالها of applicationsبرنامه های کاربردی to Foxفاکس Newsاخبار.
105
291060
4947
یک انتخاب منطقی سابقه‌ درخواست‌های استخدام
در ۲۱ سال گذشته‌ی فاکس نیوز است.
05:08
Reasonableمعقول.
106
296031
1502
منطقی است.
05:09
What about the definitionتعریف of successموفقیت?
107
297557
1938
تعریف موفقیت چطور؟
05:11
Reasonableمعقول choiceانتخابی would be,
108
299921
1324
یک انتخاب منطقی این است که،
05:13
well, who is successfulموفق شدن at Foxفاکس Newsاخبار?
109
301269
1778
چه کسی در فاکس نیوز موفق است؟
05:15
I guessحدس بزن someoneکسی who, say,
stayedماند there for fourچهار yearsسالها
110
303071
3580
به نظرم کسی که مثلاً،
چهار سال در آنجا مانده باشد
05:18
and was promotedترویج شد at leastکمترین onceیک بار.
111
306675
1654
و حداقل یک بار ارتقاء گرفته باشد.
05:20
Soundsصدا reasonableمعقول.
112
308816
1561
به نظرم منطقی است.
05:22
And then the algorithmالگوریتم would be trainedآموزش دیده.
113
310401
2354
سپس الگوریتم را آموزش می‌دهیم.
05:24
It would be trainedآموزش دیده to look for people
to learnیاد گرفتن what led to successموفقیت,
114
312779
3877
الگوریتم آموزش داده می‌شود که بگردد
و بفهمد چه چیزی منجر به موفقیت شده است.
05:29
what kindنوع of applicationsبرنامه های کاربردی
historicallyتاریخی led to successموفقیت
115
317219
4318
بر اساس این تعریف
که چه جور درخواست‌هایی در گذشته
منجر به موفقیت شده‌اند؟
05:33
by that definitionتعریف.
116
321561
1294
05:36
Now think about what would happenبه وقوع پیوستن
117
324200
1775
حالا به این فکر کنید که اگر الگوریتم را
05:37
if we appliedکاربردی that
to a currentجاری poolاستخر of applicantsمتقاضیان.
118
325999
2555
روی درخواست‌های فعلی اجرا کنیم
چه خواهد شد؟
05:41
It would filterفیلتر کردن out womenزنان
119
329119
1629
زن‌ها حذف می‌شوند
05:43
because they do not look like people
who were successfulموفق شدن in the pastگذشته.
120
331663
3930
چون شبیه افرادی که در گذشته
موفق بوده‌اند به نظر نمی‌رسند.
05:51
Algorithmsالگوریتم ها don't make things fairنمایشگاه
121
339752
2537
الگوریتم‌ها چیزی را عادلانه نمی‌کنند
05:54
if you just blithelyخیر,
blindlyکورکورانه applyدرخواست algorithmsالگوریتم ها.
122
342313
2694
اگر آن‌ها را خوش‌بینانه
و کورکورانه به کار ببرید.
05:57
They don't make things fairنمایشگاه.
123
345031
1482
چیزی را عادلانه نمی‌کنند.
05:58
They repeatتکرار our pastگذشته practicesشیوه ها,
124
346537
2128
آن‌ها تجربیات و الگوهای گذشته‌ی ما را
06:00
our patternsالگوها.
125
348689
1183
تکرار می‌کنند.
06:01
They automateاتوماتیک the statusوضعیت quoچی.
126
349896
1939
وضعیت موجود را خودکارسازی می‌کنند.
06:04
That would be great
if we had a perfectکامل worldجهان,
127
352718
2389
اگر دنیای ما بی‌نقص بود،
این عالی بود،
06:07
but we don't.
128
355905
1312
اما این‌طور نیست.
06:09
And I'll addاضافه کردن that mostاکثر companiesشرکت ها
don't have embarrassingشرم آور lawsuitsدادخواستها,
129
357241
4102
و اضافه می‌کنم که اکثر شرکت‌ها
دادخواست‌های شرم‌آوری ندارند،
06:14
but the dataداده ها scientistsدانشمندان in those companiesشرکت ها
130
362446
2588
اما به دانشمندان داده در این شرکت‌ها
06:17
are told to followدنبال کردن the dataداده ها,
131
365058
2189
گفته می‌شود که داده‌ها را دنبال کنند،
06:19
to focusتمرکز on accuracyدقت.
132
367271
2143
و روی دقت تمرکز کنند.
06:22
Think about what that meansبه معنای.
133
370273
1381
به این فکر کنید که این به چه معنی است.
06:23
Because we all have biasتعصب,
it meansبه معنای they could be codifyingکدگذاری sexismجنس گرایی
134
371678
4027
چون ما همه تعصباتی داریم،
یعنی ممکن است تبعیض جنسی
06:27
or any other kindنوع of bigotryتعصب.
135
375729
1836
یا هر نوع تعصب دیگر را به کد تبدیل کنیم.
06:31
Thought experimentآزمایشی,
136
379488
1421
یک آزمایش فکری،
06:32
because I like them:
137
380933
1509
چون آن را دوست دارم:
06:35
an entirelyبه طور کامل segregatedجدا شده societyجامعه --
138
383574
2975
یک جامعه کاملاً تفکیک‌شده --
06:40
raciallyنژادی segregatedجدا شده, all townsشهرها,
all neighborhoodsمحله ها
139
388247
3328
تفکیک‌شده‌ی نژادی، در تمام شهرها،
تمام محله‌ها
06:43
and where we sendارسال the policeپلیس
only to the minorityاقلیت neighborhoodsمحله ها
140
391599
3037
و پلیس‌ها را برای تشخیص جرم
فقط به محله‌ی اقلیت‌ها می‌فرستیم.
06:46
to look for crimeجرم.
141
394660
1193
06:48
The arrestدستگیری dataداده ها would be very biasedجانبدارانه.
142
396451
2219
داده‌های دستگیری‌ها
خیلی تبعیض‌آمیز خواهد بود.
06:51
What if, on topبالا of that,
we foundپیدا شد the dataداده ها scientistsدانشمندان
143
399851
2575
چه خوا هد شد اگر علاوه بر این،
تعدادی دانشمند داده‌ بیابیم
06:54
and paidپرداخت شده the dataداده ها scientistsدانشمندان to predictپیش بینی
where the nextبعد crimeجرم would occurبه وقوع پیوستن?
144
402450
4161
و به آن‌ها پول بدهیم تا محل وقوع
جرایم بعدی را پیش‌بینی کنند؟
06:59
Minorityاقلیت neighborhoodمحله.
145
407275
1487
محله‌ی اقلیت‌ها.
07:01
Or to predictپیش بینی who the nextبعد
criminalجنایی would be?
146
409285
3125
و یا پیش‌بینی کنند مجرمِ بعدی
که خواهد بود؟
07:04
A minorityاقلیت.
147
412888
1395
یک [فردِ] اقلیت.
07:07
The dataداده ها scientistsدانشمندان would bragتسلیم شدن
about how great and how accurateدقیق
148
415949
3541
دانشمندان داده به عظمت
و دقتِ مدلِشان
07:11
theirخودشان modelمدل would be,
149
419514
1297
افتخار خواهند کرد،
07:12
and they'dآنها می خواهند be right.
150
420835
1299
و حق دارند.
07:15
Now, realityواقعیت isn't that drasticشدید,
but we do have severeشدید segregationsجدایی
151
423951
4615
آیا این جدی نیست؟
اما ما این تفکیک‌های شدید را
07:20
in manyبسیاری citiesشهرها and townsشهرها,
152
428590
1287
در بسیاری شهرهای بزرگ و کوچک داریم،
07:21
and we have plentyفراوانی of evidenceشواهد
153
429901
1893
و شواهدی زیادی از تعصبات پلیسی
07:23
of biasedجانبدارانه policingپلیس
and justiceعدالت systemسیستم dataداده ها.
154
431818
2688
و داده‌های سیستم قضایی،
در دست داریم.
07:27
And we actuallyدر واقع do predictپیش بینی hotspotsنقاط مهم,
155
435632
2815
و در واقع نقاط کانونی را پیش‌بینی می‌کنیم،
07:30
placesمکان ها where crimesجرایم will occurبه وقوع پیوستن.
156
438471
1530
مکان‌هایی که جرم در آن رخ خواهد داد.
07:32
And we do predictپیش بینی, in factواقعیت,
the individualفردی criminalityجرم و جنایت,
157
440401
3866
در حقیقت، جنایتکاری فردی
را پیش‌بینی می‌کنیم.
07:36
the criminalityجرم و جنایت of individualsاشخاص حقیقی.
158
444291
1770
میزان جنایتکاری افراد را.
07:38
The newsاخبار organizationسازمان ProPublicaProPublica
recentlyبه تازگی lookedنگاه کرد into
159
446972
3963
سازمان خبری پروپابلیکا
به یکی از الگوریتم‌های
07:42
one of those "recidivismتجدید حیات riskخطر" algorithmsالگوریتم ها,
160
450959
2024
به ظاهر [تشخیص‌دهنده‌ی] «ریسک تکرار جرم»
07:45
as they're calledبه نام,
161
453007
1163
نگاهی انداخته است.
07:46
beingبودن used in Floridaفلوریدا
duringدر حین sentencingمحکومیت by judgesقضات.
162
454194
3194
که در فلوریدا حین صدور رأی
قضات استفاده می‌شود.
07:50
Bernardبرنارد, on the left, the blackسیاه man,
was scoredبه ثمر رساند a 10 out of 10.
163
458411
3585
برنابرد، در سمت چپ، مرد سیاه‌پوست،
امتیاز ۱۰ از ۱۰ گرفته بود.
07:55
Dylanدیلان, on the right, 3 out of 10.
164
463179
2007
دیلان، در سمت راست، ۳ از ۱۰.
07:57
10 out of 10, highبالا riskخطر.
3 out of 10, lowکم riskخطر.
165
465210
2501
۱۰ از ۱۰، ریسک زیاد.
۳ از ۱۰، ریسک کم.
08:00
They were bothهر دو broughtآورده شده in
for drugدارو possessionمالکیت.
166
468598
2385
هر دوی آن‌ها به خاطر حمل
مواد مخدر دستگیر شده بودند.
08:03
They bothهر دو had recordsسوابق,
167
471007
1154
هر دوی آن‌ها سابقه‌دار بودند،
08:04
but Dylanدیلان had a felonyجنایت
168
472185
2806
اما دیلان سابقه‌ی تبه‌کاری داشت
08:07
but Bernardبرنارد didn't.
169
475015
1176
ولی برنارد نداشت.
08:09
This mattersمسائل, because
the higherبالاتر scoreنمره you are,
170
477818
3066
این مسئله به این خاطر اهمیت دارد
که هر چه امتیاز شما بالاتر باشد،
08:12
the more likelyاحتمال دارد you're beingبودن givenداده شده
a longerطولانی تر sentenceجمله.
171
480908
3473
احتمال این‌که محکومیت طولانی‌تری
بگیرید افزایش می‌یابد.
08:18
What's going on?
172
486294
1294
قضیه چیست؟
08:20
Dataداده ها launderingشستشو.
173
488526
1332
داده‌شویی.
08:22
It's a processروند by whichکه
technologistsتکنسین ها hideپنهان شدن uglyزشت truthsحقایق
174
490930
4427
فرایندی که طی آن فناوری‌گرایان
حقایق زشت را در جعبه‌های سیاه
08:27
insideداخل blackسیاه boxجعبه algorithmsالگوریتم ها
175
495381
1821
پنهان می‌کنند.
08:29
and call them objectiveهدف، واقعگرایانه;
176
497226
1290
و آن را «عینی» می‌خوانند؛
08:31
call them meritocraticشایستگی.
177
499320
1568
آن‌را «شایسته‌سالاری» خطاب می‌کنند.
08:35
When they're secretراز,
importantمهم and destructiveمخرب,
178
503118
2385
در حالی که این الگوریتم‌ها مخفی،
مهم و ویران‌گر هستند،
08:37
I've coinedمشتاق a termدوره for these algorithmsالگوریتم ها:
179
505527
2487
من برای آن‌ها نامی در نظر گرفته‌ام:
08:40
"weaponsاسلحه of mathریاضی destructionتخریب."
180
508038
1999
«سلاح کشتار ریاضی.»
08:42
(Laughterخنده)
181
510061
1564
(خنده حضار)
08:43
(Applauseتشویق و تمجید)
182
511649
3054
(تشویق حضار)
08:46
They're everywhereدر همه جا,
and it's not a mistakeاشتباه.
183
514727
2354
این‌ها همه جا هستند،
و این یک اشتباه نیست.
08:49
These are privateخصوصی companiesشرکت ها
buildingساختمان privateخصوصی algorithmsالگوریتم ها
184
517695
3723
این شرکت‌های خصوصی
الگوریتم‌هایی خصوصی
08:53
for privateخصوصی endsبه پایان می رسد.
185
521442
1392
برای اهداف شخصی می‌سازند.
08:55
Even the onesآنهایی که I talkedصحبت کرد about
for teachersمعلمان and the publicعمومی policeپلیس,
186
523214
3214
حتی همان‌هایی که درباره‌شان صحبت کردم
برای معلمان و پلیس عمومی،
08:58
those were builtساخته شده by privateخصوصی companiesشرکت ها
187
526452
1869
آن‌ها هم توسط شرکت‌های خصوصی
ساخته شده بودند
09:00
and soldفروخته شد to the governmentدولت institutionsمؤسسات.
188
528345
2231
و به مؤسسات دولتی فروخته شده بودند.
09:02
They call it theirخودشان "secretراز sauceسس" --
189
530600
1873
به آن «سس مخصوص» خودشان می‌گویند
09:04
that's why they can't tell us about it.
190
532497
2128
برای همین نمی‌توانند درباره‌ی آن
به ما توضیح دهند.
09:06
It's alsoهمچنین privateخصوصی powerقدرت.
191
534649
2220
قدرت خصوصی هم هست.
09:09
They are profitingسود آور است for wieldingدارنده
the authorityقدرت of the inscrutableناامن.
192
537924
4695
آن‌ها به خاطر داشتن
حق محرمانگی سود می‌برند.
09:17
Now you mightممکن think,
sinceاز آنجا که all this stuffچیز is privateخصوصی
193
545114
2934
ممکن است فکر کنید،
چون این چیزها خصوصی هستند
09:20
and there's competitionرقابت,
194
548072
1158
و رقابت وجود دارد،
09:21
maybe the freeرایگان marketبازار
will solveحل this problemمسئله.
195
549254
2306
شاید بازار آزاد
این مسئله را حل کند.
09:23
It won'tنخواهد بود.
196
551584
1249
این‌طور نخواهد شد.
09:24
There's a lot of moneyپول
to be madeساخته شده in unfairnessناعادلانه.
197
552857
3120
پول زیادی از بی‌عدالتی
به دست می‌آید.
09:29
Alsoهمچنین, we're not economicاقتصادی rationalگویا agentsعاملان.
198
557127
3369
علاوه بر این، ما
عامل‌های اقتصادیِ منطقی‌ای نیستیم.
09:33
We all are biasedجانبدارانه.
199
561031
1292
همه‌ی ما تعصباتی داریم.
09:34
We're all racistنژاد پرست and bigotedفانتزی
in waysراه ها that we wishآرزو کردن we weren'tنبودند,
200
562960
3377
ما همه نژادپرست و متعصبیم
به طرقی که دوست داشتیم نباشیم،
09:38
in waysراه ها that we don't even know.
201
566361
2019
به طرقی که حتی نمی‌دانیم.
09:41
We know this, thoughگرچه, in aggregateتجمیع,
202
569352
3081
هر چند در مجموع این را می‌دانیم
09:44
because sociologistsجامعه شناسان
have consistentlyهمواره demonstratedنشان داده شده this
203
572457
3220
چون جامعه‌شناسان
مدام این را با آزمایش‌هایی که می‌کنند،
09:47
with these experimentsآزمایشات they buildساختن,
204
575701
1665
ثابت کرده‌اند.
09:49
where they sendارسال a bunchدسته ای
of applicationsبرنامه های کاربردی to jobsشغل ها out,
205
577390
2568
آن‌ها تعدادی درخواست
استخدام را ارسال می‌کنند
09:51
equallyبه همان اندازه qualifiedواجد شرایط but some
have white-soundingسفید صدایی namesنام ها
206
579982
2501
که به یک اندازه واجد شرایطند
اما برخی نام‌های سفیدپوستی
09:54
and some have black-soundingصدای سیاه namesنام ها,
207
582507
1706
و برخی نام‌های سیاه‌پوستی دارند،
09:56
and it's always disappointingناامید کننده,
the resultsنتایج -- always.
208
584237
2694
و نتیجه همواره ناامیدکننده است، همیشه.
09:59
So we are the onesآنهایی که that are biasedجانبدارانه,
209
587510
1771
بنابراین این ما هستیم که تعصب داریم،
10:01
and we are injectingتزریق those biasesتعصب ها
into the algorithmsالگوریتم ها
210
589305
3429
و این تعصبات را
با داده‌هایی که جمع‌آوری می‌کنیم
10:04
by choosingانتخاب کردن what dataداده ها to collectجمع کن,
211
592758
1812
به الگوریتم‌ها تزریق می‌کنیم.
10:06
like I choseانتخاب کرد not to think
about ramenرمن noodlesرشته فرنگی --
212
594594
2743
مثلاً من تصمیمی گرفتم
به ریمن نودل فکر نکنم
10:09
I decidedقرار بر این شد it was irrelevantغیر مرتبط.
213
597361
1625
به نظرم نامربوط بود.
10:11
But by trustingاعتماد به نفس the dataداده ها that's actuallyدر واقع
pickingچیدن up on pastگذشته practicesشیوه ها
214
599010
5684
اما با اعتماد به داده‌هایی
که از تجربیات گذشته یاد می‌گیرند
10:16
and by choosingانتخاب کردن the definitionتعریف of successموفقیت,
215
604718
2014
و با انتخاب تعریف موفقیت،
10:18
how can we expectانتظار the algorithmsالگوریتم ها
to emergeظهور unscathedنا امید?
216
606756
3983
چطور می‌توانیم از الگوریتم‌ها
انتظار داشته باشیم جان سالم به در ببرند؟
10:22
We can't. We have to checkبررسی them.
217
610763
2356
نمی‌توانیم. باید آن‌ها را بررسی کنیم.
10:26
We have to checkبررسی them for fairnessعدالت.
218
614165
1709
باید عدالت را در آن‌ها بررسی کنیم.
10:27
The good newsاخبار is,
we can checkبررسی them for fairnessعدالت.
219
615898
2711
خبر خوب این‌که،
می‌توانیم عدالت را در آنان بررسی کنیم.
10:30
Algorithmsالگوریتم ها can be interrogatedبازجویی,
220
618633
3352
می‌توان الگوریتم‌ها را بازجویی کرد.
10:34
and they will tell us
the truthحقیقت everyهرکدام time.
221
622009
2034
و آن‌ها هر بار به ما
حقیقت را خواهند گفت.
10:36
And we can fixثابت them.
We can make them better.
222
624067
2493
و می‌توانیم آن‌ها را درست کنیم.
می‌توانیم آن‌ها را بهتر کنیم.
10:38
I call this an algorithmicالگوریتمیک auditحسابرسی,
223
626584
2375
من به این حساب‌رسی الگوریتمی می‌گویم،
10:40
and I'll walkراه رفتن you throughاز طریق it.
224
628983
1679
و آن را به شما توضیح می‌دهم.
10:42
First, dataداده ها integrityتمامیت checkبررسی.
225
630686
2196
نخست، بررسی درستی داده‌ها.
10:46
For the recidivismتجدید حیات riskخطر
algorithmالگوریتم I talkedصحبت کرد about,
226
634132
2657
برای الگوریتم ریسک تکرار جنایت
که درباره‌اش صحبت کردم،
10:49
a dataداده ها integrityتمامیت checkبررسی would mean
we'dما می خواهیم have to come to termsاصطلاحات with the factواقعیت
227
637582
3573
بررسی درستی داده به این معنی است
که باید با این حقیقت کنار بیاییم
10:53
that in the US, whitesسفیدپوستان and blacksسیاه پوستان
smokeدود potگلدان at the sameیکسان rateنرخ
228
641179
3526
که در ایالات متحده، سیاه‌پوستان
و سفیدپوستان به میزان یکسانی گُل می‌کشند
10:56
but blacksسیاه پوستان are farدور more likelyاحتمال دارد
to be arrestedبازداشت شد --
229
644729
2485
اما سیاه‌پوستان به مراتب
بیشتر دستگیر می‌شوند
10:59
fourچهار or fiveپنج timesبار more likelyاحتمال دارد,
dependingبستگی دارد on the areaمنطقه.
230
647238
3184
چهار تا پنچ برابر بیشتر
وابسته به منطقه.
11:03
What is that biasتعصب looking like
in other crimeجرم categoriesدسته بندی ها,
231
651317
2826
این تعصب در سایر رده‌های جرم چطور است،
11:06
and how do we accountحساب for it?
232
654167
1451
و چطور آن را در نظر بگیریم؟
11:08
Secondدومین, we should think about
the definitionتعریف of successموفقیت,
233
656162
3039
دوم، باید درباره‌ی تعریف موفقیت فکر کنیم،
11:11
auditحسابرسی that.
234
659225
1381
آن را حسابرسی کنیم.
11:12
Rememberیاد آوردن -- with the hiringاستخدام
algorithmالگوریتم? We talkedصحبت کرد about it.
235
660630
2752
الگوریتم استخدام را به خاطر دارید؟
درباره‌ی آن صحبت کردیم.
11:15
Someoneکسی who staysباقی می ماند for fourچهار yearsسالها
and is promotedترویج شد onceیک بار?
236
663406
3165
فردی که چهارسال بماند
و یک بار ارتقاء گرفته باشد؟
11:18
Well, that is a successfulموفق شدن employeeکارمند,
237
666595
1769
خب، این یک کارمند موفق است.
11:20
but it's alsoهمچنین an employeeکارمند
that is supportedپشتیبانی by theirخودشان cultureفرهنگ.
238
668388
3079
اما علاوه بر این کارمندی است
که در فرهنگش مورد حمایت قرار گرفته است.
11:24
That said, alsoهمچنین it can be quiteکاملا biasedجانبدارانه.
239
672089
1926
بنابراین، آن هم می‌تواند متعصبانه باشد.
11:26
We need to separateجداگانه those two things.
240
674039
2065
باید این دو را از هم جدا کنیم.
11:28
We should look to
the blindنابینا orchestraارکستر auditionآزمون
241
676128
2426
برای مثال باید
به مصاحبه‌ی ارکستر ناپیدا بنگریم.
11:30
as an exampleمثال.
242
678578
1196
11:31
That's where the people auditioningتست
are behindپشت a sheetورق.
243
679798
2756
در این مصاحبه افراد مصاحبه‌گر
در پسِ یک پرده هستند.
11:34
What I want to think about there
244
682946
1931
آن‌چه می‌خواهم به آن فکر کنم
11:36
is the people who are listeningاستماع
have decidedقرار بر این شد what's importantمهم
245
684901
3417
این است که افرادی که گوش می‌دهند
متوجه شده‌اند چه چیزی مهم است
11:40
and they'veآنها دارند decidedقرار بر این شد what's not importantمهم,
246
688342
2029
و چه چیزی مهم نیست،
11:42
and they're not gettingگرفتن
distractedپریشان by that.
247
690395
2059
و به خاطر آن
حواس‌شان پرت نمی‌شود.
11:44
When the blindنابینا orchestraارکستر
auditionsآزمایشی startedآغاز شده,
248
692961
2749
زمانی که مصاحبه‌ی ارکستر ناپیدا شروع شد،
11:47
the numberعدد of womenزنان in orchestrasارکسترها
wentرفتی up by a factorعامل of fiveپنج.
249
695734
3444
تعداد زنان در ارکسترها
پنچ برابر شد.
11:52
Nextبعد, we have to considerدر نظر گرفتن accuracyدقت.
250
700253
2015
سپس، باید دقت را در نظر بگیریم.
11:55
This is where the value-addedارزش افزوده modelمدل
for teachersمعلمان would failشکست immediatelyبلافاصله.
251
703233
3734
اینجاست که مدل ارزش افزوده
برای معلمان بلافاصله در هم می‌شکند.
11:59
No algorithmالگوریتم is perfectکامل, of courseدوره,
252
707578
2162
البته هیچ الگوریتمی بی‌نقص نیست،
12:02
so we have to considerدر نظر گرفتن
the errorsاشتباهات of everyهرکدام algorithmالگوریتم.
253
710620
3605
بنابراین باید خطای
تمام الگوریتم‌ها را در نظر بگیریم.
12:06
How oftenغالبا are there errorsاشتباهات,
and for whomچه کسی does this modelمدل failشکست?
254
714836
4359
این خطاها تا چه حد پر تکرارند،
و این مدل برای چه کسانی بد عمل می‌کند؟
12:11
What is the costهزینه of that failureشکست?
255
719850
1718
هزینه‌ی این خطا چقدر است؟
12:14
And finallyسرانجام, we have to considerدر نظر گرفتن
256
722434
2207
و در نهایت، باید
12:17
the long-termبلند مدت effectsاثرات of algorithmsالگوریتم ها,
257
725973
2186
آثار بلند مدت الگوریتم‌ها را
در نظر بگیریم.
12:20
the feedbackبازخورد loopsحلقه ها that are engenderingترویج.
258
728866
2207
حلقه‌های بازخوردی که تشدید کننده‌اند.
12:23
That soundsبرای تلفن های موبایل abstractچکیده,
259
731586
1236
به نظر انتزاعی می‌رسد،
12:24
but imagineتصور کن if Facebookفیس بوک engineersمهندسین
had consideredدر نظر گرفته شده that
260
732846
2664
اما تصور کنید اگر مهندسان فیسبوک
پیش از آن‌که تصمیم بگیرند
12:28
before they decidedقرار بر این شد to showنشان بده us
only things that our friendsدوستان had postedارسال شده.
261
736270
4855
فقط چیزهایی را به ما نشان بدهند
که دوستانمان فرستاده‌اند،
این مسئله را در نظر نگرفته بودند.
12:33
I have two more messagesپیام ها,
one for the dataداده ها scientistsدانشمندان out there.
262
741761
3234
دو پیام دیگر هم دارم،
یکی برای دانشمندان داده.
12:37
Dataداده ها scientistsدانشمندان: we should
not be the arbitersداورها of truthحقیقت.
263
745450
3409
دانشمندان داده: ما نباید
داوران حقیقت باشیم.
12:41
We should be translatorsمترجمان
of ethicalاخلاقی discussionsبحث ها that happenبه وقوع پیوستن
264
749520
3783
ما باید مترجمان گفتگوهای اخلاقی باشیم
که در جامعه‌ی بزرگتر رخ می‌دهد.
12:45
in largerبزرگتر societyجامعه.
265
753327
1294
12:47
(Applauseتشویق و تمجید)
266
755579
2133
(تشویق حضار)
12:49
And the restباقی مانده of you,
267
757736
1556
و بقیه‌ی شما،
12:52
the non-dataغیر داده scientistsدانشمندان:
268
760011
1396
کسانی که دانشمند داده نیستند:
12:53
this is not a mathریاضی testتست.
269
761431
1498
این یک امتحان ریاضی نیست.
12:55
This is a politicalسیاسی fightمبارزه کردن.
270
763632
1348
این یک جنگ سیاسی است.
12:58
We need to demandتقاضا accountabilityمسئوليت
for our algorithmicالگوریتمیک overlordsسرپرست.
271
766587
3907
ما باید مسئولیت‌پذیری را
از اربابانِ الگوریتمی‌مان مطالبه کنیم.
13:04
(Applauseتشویق و تمجید)
272
772118
1499
(تشویق حضار)
13:05
The eraدوران of blindنابینا faithایمان
in bigبزرگ dataداده ها mustباید endپایان.
273
773641
4225
عصر ایمان کورکورانه
به داده‌های عظیم باید پایان بیابد.
13:09
Thank you very much.
274
777890
1167
خیلی متشکرم.
13:11
(Applauseتشویق و تمجید)
275
779081
5303
(تشویق حضار)
Translated by S. Morteza Hashemi
Reviewed by Sadegh Zabihi

▲Back to top

ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com