ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
TED2017

Cathy O'Neil: The era of blind faith in big data must end

קטי אוניל: עידן האמון העיוור בנתונים חייב להסתיים

Filmed:
1,391,460 views

האלגוריתם מחליט מי יקבל הלוואה, מי יתקבל לראיון עבודה, למי יפתחו תוכנית ביטוח וכו' - אבל הם לא מתוכנתים לעשות זאת באופן צודק. המתמטיקאית והמומחית למידע קטי אוניל קוראת לאלגוריתמים אלו "נשק להשמדה מתמטית". לימדו עוד על הכוונות הנסתרות שמאחורי הנוסחאות.
- Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio

Double-click the English transcript below to play the video.

האלגוריתמים נמצאים בכל מקום.
00:12
Algorithmsאלגוריתמים are everywhereבכל מקום.
0
975
1596
00:16
They sortסוג and separateנפרד
the winnersזוכים from the losersמפסידים.
1
4111
3125
הם ממיינים אנשים
ומפרידים בין מנצחים למפסידים.
00:20
The winnersזוכים get the jobעבודה
2
8019
2264
המנצחים זוכים במשרה הנחשקת
או בהצעה לכרטיס אשראי טוב.
00:22
or a good creditאַשׁרַאי cardכַּרְטִיס offerהַצָעָה.
3
10307
1743
המפסידים לא זוכים אפילו בראיון
00:24
The losersמפסידים don't even get an interviewרֵאָיוֹן
4
12074
2651
00:27
or they payלְשַׁלֵם more for insuranceביטוח.
5
15590
1777
או משלמים יותר על הביטוח.
00:30
We're beingלהיות scoredהבקיע with secretסוֹד formulasנוסחאות
that we don't understandמבין
6
18197
3549
נוסחאות סודיות שאיננו מבינים
מדרגות אותנו,
00:34
that oftenלעתים קרובות don't have systemsמערכות of appealעִרעוּר.
7
22675
3217
ובדרך כלל אין אפשרות
לערער על החלטותיהן.
00:39
That begsמתחנן the questionשְׁאֵלָה:
8
27240
1296
מתבקשת השאלה:
00:40
What if the algorithmsאלגוריתמים are wrongלא בסדר?
9
28560
2913
מה אם האלגוריתמים טועים?
כדי לבנות אלגוריתם נחוצים שני דברים:
00:45
To buildלִבנוֹת an algorithmאַלגוֹרִיתְם you need two things:
10
33100
2040
נתונים:
מה קרה בעבר,
00:47
you need dataנתונים, what happenedקרה in the pastעבר,
11
35164
1981
והגדרה של הצלחה,
00:49
and a definitionהַגדָרָה of successהַצלָחָה,
12
37169
1561
מה שאתם רוצים או מקווים לו.
00:50
the thing you're looking for
and oftenלעתים קרובות hopingמקווה for.
13
38754
2457
האלגוריתם לומד ע"י...
00:53
You trainרכבת an algorithmאַלגוֹרִיתְם
by looking, figuringלהבין out.
14
41235
5037
00:58
The algorithmאַלגוֹרִיתְם figuresדמויות out
what is associatedהמשויך with successהַצלָחָה.
15
46296
3419
האלגוריתם מזהה מה מתקשר להצלחה.
01:01
What situationמַצָב leadsמוביל to successהַצלָחָה?
16
49739
2463
אילו מצבים מובילים להצלחה?
01:04
Actuallyבעצם, everyoneכל אחד usesשימו algorithmsאלגוריתמים.
17
52881
1762
בעצם, כולנו משתמשים באלגוריתמים,
אבל לא מנסחים אותם
בצורת קוד כתוב.
01:06
They just don't formalizeפורמליזציה them
in writtenכתוב codeקוד.
18
54667
2718
אתן לכם דוגמה.
01:09
Let me give you an exampleדוגמא.
19
57409
1348
אני משתמשת בכל יום באלגוריתם
כדי להכין למשפחתי ארוחה.
01:10
I use an algorithmאַלגוֹרִיתְם everyכֹּל day
to make a mealארוחה for my familyמִשׁפָּחָה.
20
58781
3316
01:14
The dataנתונים I use
21
62121
1476
הנתונים בהם אני משתמשת
01:16
is the ingredientsרכיבים in my kitchenמִטְבָּח,
22
64394
1659
הם המוצרים במטבח שלי,
הזמן שעומד לרשותי,
01:18
the time I have,
23
66077
1527
השאיפות שלי,
01:19
the ambitionשְׁאַפתָנוּת I have,
24
67628
1233
ואני מארגנת את הנתונים.
01:20
and I curateעוֹזֵר לְכּוֹמֶר that dataנתונים.
25
68885
1709
אני לא מחשיבה "מנה חמה" כמזון.
01:22
I don't countלספור those little packagesחבילות
of ramenראמן noodlesנודלס as foodמזון.
26
70618
4251
01:26
(Laughterצחוק)
27
74893
1869
(צחוק)
01:28
My definitionהַגדָרָה of successהַצלָחָה is:
28
76786
1845
ההגדרה שלי להצלחה:
01:30
a mealארוחה is successfulמוּצלָח
if my kidsילדים eatלאכול vegetablesיְרָקוֹת.
29
78655
2659
ארוחה נחשבת למוצלחת
אם הילדים שלי אוכלים ירקות.
01:34
It's very differentשונה
from if my youngestהצעיר ביותר sonבֵּן were in chargeלחייב.
30
82181
2854
אם בני הצעיר יהיה אחראי לכך
זה יהיה אחרת לגמרי.
הוא יגיד שהצלחה פירושה
שהוא אכל הרבה חמאת-בוטנים.
01:37
He'dהוא היה say successהַצלָחָה is if
he getsמקבל to eatלאכול lots of Nutellaנוטלה.
31
85059
2788
01:41
But I get to chooseבחר successהַצלָחָה.
32
89179
2226
אבל אני היא זו שבוחרת
מהי הצלחה.
01:43
I am in chargeלחייב. My opinionדעה mattersעניינים.
33
91429
2707
אני האחראית. הדעה שלי קובעת.
זהו החוק הראשון של האלגוריתמים.
01:46
That's the first ruleכְּלָל of algorithmsאלגוריתמים.
34
94160
2675
אלגוריתמים הם דעות שמוטמעות בקוד.
01:48
Algorithmsאלגוריתמים are opinionsדעות embeddedמוטבע in codeקוד.
35
96859
3180
01:53
It's really differentשונה from what you think
mostרוב people think of algorithmsאלגוריתמים.
36
101562
3663
זה שונה מאד ממה שרוב האנשים
חושבים על אלגוריתמים.
הם חושבים שהאלגוריתמים
הם אובייקטיביים, נכונים ומדעיים.
01:57
They think algorithmsאלגוריתמים are objectiveמַטָרָה
and trueנָכוֹן and scientificמַדָעִי.
37
105249
4504
02:02
That's a marketingשיווק trickטריק.
38
110387
1699
זו תחבולה שיווקית.
02:05
It's alsoגַם a marketingשיווק trickטריק
39
113269
2125
תחבולה שיווקית נוספת
02:07
to intimidateלְהָטִיל אֵימָה you with algorithmsאלגוריתמים,
40
115418
3154
היא להפחיד אתכם באלגוריתמים,
02:10
to make you trustאמון and fearפַּחַד algorithmsאלגוריתמים
41
118596
3661
כדי שתבטחו בהם ותחששו מהם
כי אתם בוטחים במתמטיקה
וחוששים ממנה.
02:14
because you trustאמון and fearפַּחַד mathematicsמָתֵימָטִיקָה.
42
122281
2018
02:17
A lot can go wrongלא בסדר when we put
blindסומא faithאֱמוּנָה in bigגָדוֹל dataנתונים.
43
125567
4830
הרבה יכול להשתבש כשאנחנו
נותנים אמון עיוור בנתוני-עתק.
02:23
This is Kiriקירי Soaresסוארש.
She's a highגָבוֹהַ schoolבית ספר principalקֶרֶן in Brooklynברוקלין.
44
131684
3373
זו קירי סוארז,
מנהלת בי"ס תיכון בברוקלין.
ב-2011 היא אמרה לי
שהמורים שלה מדורגים
02:27
In 2011, she told me
her teachersמורים were beingלהיות scoredהבקיע
45
135081
2586
02:29
with a complexמורכב, secretסוֹד algorithmאַלגוֹרִיתְם
46
137691
2727
בעזרת אלגוריתם סודי ומורכב,
02:32
calledשקוראים לו the "value-addedערך מוסף modelדֶגֶם."
47
140442
1489
שנקרא "מודל הערך המוסף".
אמרתי לה, "תבררי מהי הנוסחה
ותראי לי אותה.
02:34
I told her, "Well, figureדמות out
what the formulaנוּסחָה is, showלְהַצִיג it to me.
48
142505
3092
"אני אסביר לך אותה"
02:37
I'm going to explainלהסביר it to you."
49
145621
1541
היא אמרה,
"ניסיתי לקבל את הנוסחה.
02:39
She said, "Well, I triedניסה
to get the formulaנוּסחָה,
50
147186
2141
"אך במשרד החינוך אמרו לי
שזאת מתמטיקה,
02:41
but my Departmentמַחלָקָה of Educationחינוך contactאיש קשר
told me it was mathמתמטיקה
51
149351
2772
"ושאני לא אבין אותה."
02:44
and I wouldn'tלא understandמבין it."
52
152147
1546
02:47
It getsמקבל worseרע יותר.
53
155266
1338
זה נהיה יותר גרוע.
02:48
The Newחָדָשׁ Yorkיורק Postהודעה filedשדה
a Freedomחוֹפֶשׁ of Informationמֵידָע Actפעולה requestבַּקָשָׁה,
54
156628
3530
ה"ניו-יורק פוסט" הגיש בקשה
לפי חוק חופש המידע.
02:52
got all the teachers'מורים, namesשמות
and all theirשֶׁלָהֶם scoresציונים
55
160182
2959
קיבל את כל שמות המורים
והדירוג שלהם,
ופירסם אותן כצעד
של ביוש מורים.
02:55
and they publishedיצא לאור them
as an actפעולה of teacher-shamingמורה - בושה.
56
163165
2782
כשניסיתי להשיג את הנוסחאות,
את הקוד המקורי, באותם האמצעים,
02:59
When I triedניסה to get the formulasנוסחאות,
the sourceמָקוֹר codeקוד, throughדרך the sameאותו meansאומר,
57
167084
3860
אמרו לי, "אי-אפשר".
03:02
I was told I couldn'tלא יכול.
58
170968
2149
דחו אותי.
03:05
I was deniedנדחתה.
59
173141
1236
מאוחר יותר גיליתי
03:06
I laterיותר מאוחר foundמצאתי out
60
174401
1174
שלאף אחד בעיר ניו-יורק
אין גישה לנוסחה ההיא.
03:07
that nobodyאף אחד in Newחָדָשׁ Yorkיורק Cityעִיר
had accessגִישָׁה to that formulaנוּסחָה.
61
175599
2866
שאיש לא מבין אותה.
03:10
No one understoodהבין it.
62
178489
1305
03:13
Then someoneמִישֶׁהוּ really smartלִכאוֹב
got involvedמְעוּרָב, Garyגארי Rubensteinרובינשטיין.
63
181929
3224
ואז נכנס לתמונה מישהו ממש חכם.
גרי רובינשטיין.
03:17
He foundמצאתי 665 teachersמורים
from that Newחָדָשׁ Yorkיורק Postהודעה dataנתונים
64
185177
3621
הוא זיהה בנתוני ה"ניו-יורק פוסט"
665 מורים עם שני דירוגים.
03:20
that actuallyלמעשה had two scoresציונים.
65
188822
1866
זה יכול היה לקרות אם הם לימדו
מתמטיקה בכיתות ז' וגם בכיתות ח'.
03:22
That could happenלִקְרוֹת if they were teachingהוֹרָאָה
66
190712
1881
03:24
seventhשְׁבִיעִית gradeכיתה mathמתמטיקה and eighthשמונה gradeכיתה mathמתמטיקה.
67
192617
2439
03:27
He decidedהחליט to plotעלילה them.
68
195080
1538
הוא החליט להציג זאת בגרף.
03:28
Eachכל אחד dotנְקוּדָה representsמייצג a teacherמוֹרֶה.
69
196642
1993
כל נקודה מסמלת מורה.
03:31
(Laughterצחוק)
70
199104
2379
(צחוק)
03:33
What is that?
71
201507
1521
מה זה?
03:35
(Laughterצחוק)
72
203052
1277
(צחוק)
03:36
That should never have been used
for individualאִישִׁי assessmentהערכה.
73
204353
3446
זה לא משהו שאמור לשמש
לצורך הערכות אישיות.
זהו כמעט מחולל מספרים אקראי.
03:39
It's almostכִּמעַט a randomאַקרַאִי numberמספר generatorגֵנֵרָטוֹר.
74
207823
1926
(מחיאות כפיים)
03:41
(Applauseתְשׁוּאוֹת)
75
209773
2946
אך זה שימש לכך.
03:44
But it was.
76
212743
1162
זוהי שרה וויסוקי. היא פוטרה
יחד עם עוד 205 מורים
03:45
This is Sarahשרה Wysockiווייסוקי.
77
213929
1176
03:47
She got firedנורה, alongלְאוֹרֶך
with 205 other teachersמורים,
78
215129
2175
מהמחוז הבית-סיפרי של וושינגטון הבירה,
03:49
from the Washingtonוושינגטון, DCזֶרֶם יָשָׁר schoolבית ספר districtמָחוֹז,
79
217328
2662
03:52
even thoughאם כי she had great
recommendationsהמלצות from her principalקֶרֶן
80
220014
2909
למרות שהיו לה המלצות מעולות
מהנהלת ביה"ס
וגם מההורים של הילדים שלימדה.
03:54
and the parentsהורים of her kidsילדים.
81
222947
1428
אני יודעת שרבים מכם חושבים,
03:57
I know what a lot
of you guys are thinkingחושב,
82
225390
2032
במיוחד חוקרי הנתונים
ומומחי הבינה המלאכותית שכאן,
03:59
especiallyבמיוחד the dataנתונים scientistsמדענים,
the AIAI expertsמומחים here.
83
227446
2487
04:01
You're thinkingחושב, "Well, I would never make
an algorithmאַלגוֹרִיתְם that inconsistentלא עקבי."
84
229957
4226
"אני אף פעם לא אכתוב אלגוריתם
כל-כך לא עיקבי."
04:06
But algorithmsאלגוריתמים can go wrongלא בסדר,
85
234853
1683
אבל אלגוריתמים יכולים לטעות,
ואפילו לגרום לתוצאות הרסניות ביותר
מתוך כוונות טובות.
04:08
even have deeplyבאופן מעמיק destructiveהַרסָנִי effectsההשפעות
with good intentionsכוונות.
86
236560
4598
ובעוד שמטוס שתוכנן גרוע מתרסק
וכולם רואים זאת,
04:14
And whereasואילו an airplaneמטוס
that's designedמְעוּצָב badlyרע
87
242531
2379
04:16
crashesקריסות to the earthכדור הארץ and everyoneכל אחד seesרואה it,
88
244934
2001
הרי כשאלגוריתם מעוצב גרוע,
04:18
an algorithmאַלגוֹרִיתְם designedמְעוּצָב badlyרע
89
246959
1850
04:22
can go on for a long time,
silentlyחֶרֶשׁ wreakingמתרסק havocהֶרֶס.
90
250245
3865
הוא יכול לעבוד הרבה זמן
ולזרוע בשקט תוהו.
04:27
This is Rogerרוג'ר AilesAiles.
91
255748
1570
זהו רוג'ר איילס.
04:29
(Laughterצחוק)
92
257342
2000
(צחוק)
04:32
He foundedמְבוּסָס Foxשׁוּעָל Newsחֲדָשׁוֹת in 1996.
93
260524
2388
הוא ייסד את "חדשות פוקס" ב-1996.
04:35
More than 20 womenנשים complainedהתלונן
about sexualמִינִי harassmentהַטרָדָה.
94
263436
2581
יותר מ-20 נשים התלוננו
על הטרדה מינית
ואמרו שהן לא הירשו להן
להצליח ב"חדשות פוקס".
04:38
They said they weren'tלא היו allowedמוּתָר
to succeedלהצליח at Foxשׁוּעָל Newsחֲדָשׁוֹת.
95
266041
3235
הוא הודח בשנה שעברה,
אך לאחרונה נודע לנו
04:41
He was oustedהודח last yearשָׁנָה,
but we'veיש לנו seenלראות recentlyלאחרונה
96
269300
2520
04:43
that the problemsבעיות have persistedהתעקש.
97
271844
2670
שהבעיה נמשכת.
04:47
That begsמתחנן the questionשְׁאֵלָה:
98
275654
1400
נשאלת השאלה:
מה צריכה רשת "חדשות פוקס"
לעשות כדי לפתוח דף חדש?
04:49
What should Foxשׁוּעָל Newsחֲדָשׁוֹת do
to turnלפנות over anotherאַחֵר leafעלה?
99
277078
2884
04:53
Well, what if they replacedהוחלף
theirשֶׁלָהֶם hiringשְׂכִירָה processתהליך
100
281245
3041
מה אם הם יחליפו את תהליך
ההעסקה שלהם
באלגוריתם של למידת-מכונה?
04:56
with a machine-learningלמידת מכונה algorithmאַלגוֹרִיתְם?
101
284310
1654
נשמע טוב, נכון?
04:57
That soundsקולות good, right?
102
285988
1595
חישבו על זה.
04:59
Think about it.
103
287607
1300
הנתונים, מה הם יהיו?
05:00
The dataנתונים, what would the dataנתונים be?
104
288931
2105
הגיוני שאלה יהיו נתוני 21 השנים האחרונות
של בקשות עבודה ב"חדשות פוקס".
05:03
A reasonableסביר choiceבְּחִירָה would be the last
21 yearsשנים of applicationsיישומים to Foxשׁוּעָל Newsחֲדָשׁוֹת.
105
291060
4947
הגיוני.
05:08
Reasonableסביר.
106
296031
1502
05:09
What about the definitionהַגדָרָה of successהַצלָחָה?
107
297557
1938
מה לגבי ההגדרה להצלחה?
05:11
Reasonableסביר choiceבְּחִירָה would be,
108
299921
1324
בחירה הגיונית תהיה,
05:13
well, who is successfulמוּצלָח at Foxשׁוּעָל Newsחֲדָשׁוֹת?
109
301269
1778
מי מצליח ב"חדשות פוקס"?
05:15
I guessלְנַחֵשׁ someoneמִישֶׁהוּ who, say,
stayedנשאר there for fourארבעה yearsשנים
110
303071
3580
אולי מישהו שעובד שם
כבר 4 שנים,
וקיבל קידום לפחות פעם אחת.
05:18
and was promotedמקודם at leastהכי פחות onceפַּעַם.
111
306675
1654
05:20
Soundsנשמע reasonableסביר.
112
308816
1561
נשמע הגיוני.
ואז האלגוריתם יעבור לימוד.
05:22
And then the algorithmאַלגוֹרִיתְם would be trainedמְאוּמָן.
113
310401
2354
הוא ילמד לחפש אנשים
כדי ללמוד מה הוביל להצלחה,
05:24
It would be trainedמְאוּמָן to look for people
to learnלִלמוֹד what led to successהַצלָחָה,
114
312779
3877
05:29
what kindסוג of applicationsיישומים
historicallyהיסטורית led to successהַצלָחָה
115
317219
4318
אילו מועמדים הפכו לעובדים מוצלחים,
לפי ההגדרה הזו.
05:33
by that definitionהַגדָרָה.
116
321561
1294
עכשיו חישבו מה יקרה
אם ניישם זאת למאגר מועמדים בהווה:
05:36
Now think about what would happenלִקְרוֹת
117
324200
1775
05:37
if we appliedהוחל that
to a currentנוֹכְחִי poolבריכה of applicantsמועמדים.
118
325999
2555
05:41
It would filterלְסַנֵן out womenנשים
119
329119
1629
האלגוריתם יסנן החוצה נשים,
05:43
because they do not look like people
who were successfulמוּצלָח in the pastעבר.
120
331663
3930
כי הן אינן דומות לאנשים שהצליחו בעבר.
05:51
Algorithmsאלגוריתמים don't make things fairהוֹגֶן
121
339752
2537
האלגוריתמים אינם מתקנים את העולם
אם מיישמים אותם בשמחה ובעיוורון
05:54
if you just blithelyבבוז,
blindlyבעיוורון applyלהגיש מועמדות algorithmsאלגוריתמים.
122
342313
2694
הם לא מתקנים את העולם
05:57
They don't make things fairהוֹגֶן.
123
345031
1482
אלא רק חוזרים על מה שעשינו בעבר,
05:58
They repeatחזור our pastעבר practicesשיטות,
124
346537
2128
על הדפוסים שלנו.
06:00
our patternsדפוסי.
125
348689
1183
הם הופכים את המצב הקיים לאוטומטי.
06:01
They automateלְמַכֵּן the statusסטָטוּס quoקוו.
126
349896
1939
06:04
That would be great
if we had a perfectמושלם worldעוֹלָם,
127
352718
2389
היה נהדר אם היה לנו עולם מושלם,
06:07
but we don't.
128
355905
1312
אבל אין לנו.
ואני אוסיף שרוב החברות
לא מתמודדות עם תביעות מביכות,
06:09
And I'll addלְהוֹסִיף that mostרוב companiesחברות
don't have embarrassingמֵבִיך lawsuitsתביעות,
129
357241
4102
06:14
but the dataנתונים scientistsמדענים in those companiesחברות
130
362446
2588
אבל מומחי הנתונים בחברות אלה
מחוייבים לציית לנתונים,
06:17
are told to followלעקוב אחר the dataנתונים,
131
365058
2189
להתמקד בדיוק.
06:19
to focusמוֹקֵד on accuracyדיוק.
132
367271
2143
חישבו מה זה אומר,
06:22
Think about what that meansאומר.
133
370273
1381
הרי לכולנו יש הטיות.
06:23
Because we all have biasהֲטָיָה,
it meansאומר they could be codifyingמקודדת sexismסקסיזם
134
371678
4027
אולי הם מתכנתים לאפליה על רקע מין,
06:27
or any other kindסוג of bigotryקַנָאוּת.
135
375729
1836
או כל סוג אחר של גזענות.
06:31
Thought experimentלְנַסוֹת,
136
379488
1421
ניסוי מחשבתי,
כי אני אוהבת כאלה:
06:32
because I like them:
137
380933
1509
06:35
an entirelyלַחֲלוּטִין segregatedמְנוּזָר societyחֶברָה --
138
383574
2975
דמיינו חברה שלמה
שמופרדת לפי גזעים:
06:40
raciallyגזעני segregatedמְנוּזָר, all townsערים,
all neighborhoodsשכונות
139
388247
3328
כל העיירות, כל השכונות,
06:43
and where we sendלִשְׁלוֹחַ the policeמִשׁטָרָה
only to the minorityמיעוט neighborhoodsשכונות
140
391599
3037
ואת המשטרה שולחים לחפש פשיעה
רק בשכונות של מיעוטים.
06:46
to look for crimeפֶּשַׁע.
141
394660
1193
06:48
The arrestמַעְצָר dataנתונים would be very biasedמְשׁוּחָד.
142
396451
2219
נתוני המעצרים יהיו
מוטים בצורה מובהקת.
06:51
What if, on topחלק עליון of that,
we foundמצאתי the dataנתונים scientistsמדענים
143
399851
2575
מה אם בנוסף,
מצאנו מומחה לנתונים
ושילמנו לו כדי שינבא
איפה יקרה הפשע הבא?
06:54
and paidשילם the dataנתונים scientistsמדענים to predictלַחֲזוֹת
where the nextהַבָּא crimeפֶּשַׁע would occurמתרחש?
144
402450
4161
06:59
Minorityמיעוט neighborhoodשְׁכוּנָה.
145
407275
1487
שכונת מיעוטים.
07:01
Or to predictלַחֲזוֹת who the nextהַבָּא
criminalפְּלִילִי would be?
146
409285
3125
או כדי שינבא
מי יהיה הפושע הבא?
07:04
A minorityמיעוט.
147
412888
1395
בן מיעוטים.
07:07
The dataנתונים scientistsמדענים would bragלְהִתְרַבְרֵב
about how great and how accurateמְדוּיָק
148
415949
3541
מומחי הנתונים יתפארו
כמה נהדר ומדוייק המודל שלהם.
07:11
theirשֶׁלָהֶם modelדֶגֶם would be,
149
419514
1297
והם יצדקו.
07:12
and they'dהם היו be right.
150
420835
1299
07:15
Now, realityמְצִיאוּת isn't that drasticדרסטי,
but we do have severeחָמוּר segregationsהפרדות
151
423951
4615
המציאות לא כל כך דרסטית,
אבל יש לנו באמת הפרדה חמורה
בערים ועיירות רבות,
07:20
in manyרב citiesערים and townsערים,
152
428590
1287
ויש לנו שפע ראיות
07:21
and we have plentyשפע of evidenceעֵדוּת
153
429901
1893
07:23
of biasedמְשׁוּחָד policingשיטור
and justiceצֶדֶק systemמערכת dataנתונים.
154
431818
2688
להטיות בנתונים המשטרתיים מוטים
ובמערכת המשפט.
07:27
And we actuallyלמעשה do predictלַחֲזוֹת hotspotsנקודות חמות,
155
435632
2815
ואנחנו אכן חוזים נקודות סיכון,
07:30
placesמקומות where crimesפשעים will occurמתרחש.
156
438471
1530
מקומות בהם יקרו פשעים.
07:32
And we do predictלַחֲזוֹת, in factעוּבדָה,
the individualאִישִׁי criminalityעבריינות,
157
440401
3866
ואנחנו גם מנבאים את מידת
הנטיה האישית לפשוע.
07:36
the criminalityעבריינות of individualsיחידים.
158
444291
1770
את נטייתם של אנשים מסויימים לפשוע.
07:38
The newsחֲדָשׁוֹת organizationאִרגוּן ProPublicaProPublica
recentlyלאחרונה lookedהביט into
159
446972
3963
סוכנות החדשות "פרופבליקה" בחנה לאחרונה
אחד אותם אלגוריתמים
ל"ניבוי הישנות פשיעה"
07:42
one of those "recidivismהִשָׁנוּת riskלְהִסְתָכֵּן" algorithmsאלגוריתמים,
160
450959
2024
כמו שקוראים להם.
07:45
as they're calledשקוראים לו,
161
453007
1163
בפלורידה משתמשים בהם
שופטים בזמן חריצת גזר הדין.
07:46
beingלהיות used in Floridaפלורידה
duringבְּמַהֲלָך sentencingגזר הדין by judgesשופטים.
162
454194
3194
07:50
Bernardברנרד, on the left, the blackשָׁחוֹר man,
was scoredהבקיע a 10 out of 10.
163
458411
3585
ברנרד, משמאל, הגבר השחור
קיבל 10 נקודות מתך 10.
07:55
Dylanדילן, on the right, 3 out of 10.
164
463179
2007
דילן, מימין - 3 מתוך 10.
07:57
10 out of 10, highגָבוֹהַ riskלְהִסְתָכֵּן.
3 out of 10, lowנָמוּך riskלְהִסְתָכֵּן.
165
465210
2501
10 מתוך 10 - סיכון גבוה.
3 מתוך 10 - סיכון נמוך.
08:00
They were bothשניהם broughtהביא in
for drugתְרוּפָה possessionרְשׁוּת.
166
468598
2385
שניהם נעצרו על החזקת סמים.
08:03
They bothשניהם had recordsרשומות,
167
471007
1154
לשניהם היה כבר תיק.
08:04
but Dylanדילן had a felonyפֶּשַׁע
168
472185
2806
אבל דילן עבר עבירה
08:07
but Bernardברנרד didn't.
169
475015
1176
וברנרד - לא.
08:09
This mattersעניינים, because
the higherגבוה יותר scoreציון you are,
170
477818
3066
זה משנה, כי ככל שתקבל
ניקוד יותר גבוה,
08:12
the more likelyסָבִיר you're beingלהיות givenנָתוּן
a longerארוך יותר sentenceמשפט.
171
480908
3473
גובר הסיכוי שתקבל
עונש מאסר ארוך יותר.
08:18
What's going on?
172
486294
1294
מה קורה פה?
08:20
Dataנתונים launderingהלבנה.
173
488526
1332
הלבנת נתונים.
08:22
It's a processתהליך by whichאיזה
technologistsטכנאים hideלהתחבא uglyמְכוֹעָר truthsאמיתות
174
490930
4427
זהו תהליך שבו אנשי הטכנולוגיה
מסתירים אמיתות מכוערות
בתוך אלגוריתמים חתומים
08:27
insideבְּתוֹך blackשָׁחוֹר boxקופסא algorithmsאלגוריתמים
175
495381
1821
ואומרים שהם "אובייקטיביים",
08:29
and call them objectiveמַטָרָה;
176
497226
1290
08:31
call them meritocraticמריטוקרטית.
177
499320
1568
שזאת מריטוקרטיה.
טבעתי כינוי לאלגוריתמים
סודיים, חשובים והרסניים אלו:
08:35
When they're secretסוֹד,
importantחָשׁוּב and destructiveהַרסָנִי,
178
503118
2385
08:37
I've coinedטָבוּעַ a termטווח for these algorithmsאלגוריתמים:
179
505527
2487
08:40
"weaponsכלי נשק of mathמתמטיקה destructionהֶרֶס."
180
508038
1999
"נשק להשמדה מתמטית".
(צחוק)
08:42
(Laughterצחוק)
181
510061
1564
(מחיאות כפיים)
08:43
(Applauseתְשׁוּאוֹת)
182
511649
3054
הם בכל מקום
וזו לא טעות:
08:46
They're everywhereבכל מקום,
and it's not a mistakeטעות.
183
514727
2354
08:49
These are privateפְּרָטִי companiesחברות
buildingבִּניָן privateפְּרָטִי algorithmsאלגוריתמים
184
517695
3723
מדובר בחברות פרטיות
שכותבות אלגוריתמים פרטיים
לצרכיהן הפרטיים.
08:53
for privateפְּרָטִי endsמסתיים.
185
521442
1392
08:55
Even the onesיחידות I talkedדיבר about
for teachersמורים and the publicפּוּמְבֵּי policeמִשׁטָרָה,
186
523214
3214
אפילו אלו שהזכרתי,
שמשמשים להערכה של מורים ולשיטור
08:58
those were builtבנוי by privateפְּרָטִי companiesחברות
187
526452
1869
נכתבו בידי חברות פרטיות
ונמכרו למוסדות ממשלתיים.
09:00
and soldנמכר to the governmentמֶמְשָׁלָה institutionsמוסדות.
188
528345
2231
הם אומרים שזה "הרוטב הסודי" שלהם
09:02
They call it theirשֶׁלָהֶם "secretסוֹד sauceרוטב" --
189
530600
1873
ולכן אינם יכולים לחשוף אותו.
09:04
that's why they can't tell us about it.
190
532497
2128
זהו גם כוח פרטי.
09:06
It's alsoגַם privateפְּרָטִי powerכּוֹחַ.
191
534649
2220
09:09
They are profitingמרוויח for wieldingwielding
the authorityרָשׁוּת of the inscrutableבלתי ניתנת לזיהוי.
192
537924
4695
הם מרוויחים מהפעלת כוח העמימות.
09:17
Now you mightאולי think,
sinceמאז all this stuffדברים is privateפְּרָטִי
193
545114
2934
אתם יכולים לחשוב,
"בגלל שכל זה פרטי
"וישנה תחרות,
09:20
and there's competitionתַחֲרוּת,
194
548072
1158
"השוק החופשי
אולי יפתור את הבעיה."
09:21
maybe the freeחופשי marketשׁוּק
will solveלִפְתוֹר this problemבְּעָיָה.
195
549254
2306
לא נכון.
09:23
It won'tרָגִיל.
196
551584
1249
אפשר להרוויח הרבה כסף
מחוסר הוגנות.
09:24
There's a lot of moneyכֶּסֶף
to be madeעָשׂוּי in unfairnessחוסר הגינות.
197
552857
3120
09:29
Alsoגַם, we're not economicכַּלְכָּלִי rationalרַצִיוֹנָלִי agentsסוכנים.
198
557127
3369
אנחנו גם לא יצורים רציונליים מבחינה כלכלית
לכולנו דעות קדומות.
09:33
We all are biasedמְשׁוּחָד.
199
561031
1292
09:34
We're all racistגִזעָן and bigotedגדול
in waysדרכים that we wishבַּקָשָׁה we weren'tלא היו,
200
562960
3377
כולנו גזענים ומוטים
למרות שהיינו מעדיפים לא להיות כאלה,
09:38
in waysדרכים that we don't even know.
201
566361
2019
ובדרכים שאיננו אפילו יודעים.
09:41
We know this, thoughאם כי, in aggregateלְקַבֵּץ,
202
569352
3081
אבל אנחנו יודעים שבמצטבר,
09:44
because sociologistsסוציולוגים
have consistentlyבאופן עקבי demonstratedהפגינו this
203
572457
3220
בגלל שסוציולוגים מראים באופן עקבי
בניסויים שהם עורכים,
09:47
with these experimentsניסויים they buildלִבנוֹת,
204
575701
1665
שבהם הם שולחים למעסיקים
הרבה קורות חיים
09:49
where they sendלִשְׁלוֹחַ a bunchצְרוֹר
of applicationsיישומים to jobsמקומות תעסוקה out,
205
577390
2568
עם כישורים זהים, כשחלק
מהשמות נשמעים "לבנים",
09:51
equallyבאופן שווה qualifiedמוסמך but some
have white-soundingנשמע לבן namesשמות
206
579982
2501
ושמות אחרים נשמעים "שחורים",
09:54
and some have black-soundingשחור namesשמות,
207
582507
1706
09:56
and it's always disappointingמְאַכזֵב,
the resultsתוצאות -- always.
208
584237
2694
והתוצאות של הניסויים תמיד מאכזבות,
תמיד.
09:59
So we are the onesיחידות that are biasedמְשׁוּחָד,
209
587510
1771
אז אנחנו בעלי הדעות הקדומות,
ואנחנו מחדירים את ההטיות האלו
לתוך האלגוריתמים
10:01
and we are injectingהַזרָקָה those biasesהטיות
into the algorithmsאלגוריתמים
210
589305
3429
10:04
by choosingבְּחִירָה what dataנתונים to collectלאסוף,
211
592758
1812
בכך שאנו בוחרים
אילו נתונים יש לאסוף,
10:06
like I choseבחר not to think
about ramenראמן noodlesנודלס --
212
594594
2743
כמו שאני החלטתי
לא להתייחס ל"מנה חמה"-
10:09
I decidedהחליט it was irrelevantלא רלוונטי.
213
597361
1625
החלטתי שהיא איננה רלוונטית.
10:11
But by trustingאמון the dataנתונים that's actuallyלמעשה
pickingקטיף up on pastעבר practicesשיטות
214
599010
5684
אבל אם אנחנו בוטחים בנתונים
ובהגדרת ההצלחה על יסוד גישות קודמות,
10:16
and by choosingבְּחִירָה the definitionהַגדָרָה of successהַצלָחָה,
215
604718
2014
איך אנחנו יכולים לצפות
שהאלגוריתמים ייצאו ללא פגע?
10:18
how can we expectלְצַפּוֹת the algorithmsאלגוריתמים
to emergeלָצֵאת unscathedלְלֹא פֶּגַע?
216
606756
3983
10:22
We can't. We have to checkלבדוק them.
217
610763
2356
ממש לא.
אנחנו מוכרחים לבדוק אותם.
10:26
We have to checkלבדוק them for fairnessהֲגִינוּת.
218
614165
1709
אנחנו מוכרחים לוודא שהם הוגנים.
החדשות הטובות הן: זה אפשרי.
10:27
The good newsחֲדָשׁוֹת is,
we can checkלבדוק them for fairnessהֲגִינוּת.
219
615898
2711
10:30
Algorithmsאלגוריתמים can be interrogatedנחקר,
220
618633
3352
אפשר לחקור אלגוריתמים
10:34
and they will tell us
the truthאֶמֶת everyכֹּל time.
221
622009
2034
והם יגידו לנו תמיד את האמת.
10:36
And we can fixלתקן them.
We can make them better.
222
624067
2493
ואנחנו יכולים לתקן ולשפר אותם.
10:38
I call this an algorithmicאלגוריתמי auditבְּדִיקָה,
223
626584
2375
אני קוראת לזה "בדיקת אלגוריתם"
10:40
and I'll walkלָלֶכֶת you throughדרך it.
224
628983
1679
אסביר לכם איך זה נעשה.
10:42
First, dataנתונים integrityיושרה checkלבדוק.
225
630686
2196
ראשית מוודאים את שלמות הנתונים.
10:46
For the recidivismהִשָׁנוּת riskלְהִסְתָכֵּן
algorithmאַלגוֹרִיתְם I talkedדיבר about,
226
634132
2657
באלגוריתם "הישנות הפשיעה" שהזכרתי,
10:49
a dataנתונים integrityיושרה checkלבדוק would mean
we'dלהתחתן have to come to termsמונחים with the factעוּבדָה
227
637582
3573
בדיקת שלמות הנתונים פירושה
שמוכרחים להשלים עם העובדה
10:53
that in the US, whitesלְבָנִים and blacksשחורים
smokeעָשָׁן potסיר at the sameאותו rateציון
228
641179
3526
שבארה"ב, הלבנים והשחורים
מעשנים מריחואנה באותה מידה
10:56
but blacksשחורים are farרָחוֹק more likelyסָבִיר
to be arrestedנֶעצָר --
229
644729
2485
אבל לשחורים יש סיכוי גבוה יותר להיעצר -
סיכוי גבוה פי ארבעה או חמישה,
תלוי באיזור.
10:59
fourארבעה or fiveחָמֵשׁ timesפִּי more likelyסָבִיר,
dependingתלוי on the areaאֵזוֹר.
230
647238
3184
11:03
What is that biasהֲטָיָה looking like
in other crimeפֶּשַׁע categoriesקטגוריות,
231
651317
2826
איך נראית ההטיה
בתחומי פשע אחרים,
11:06
and how do we accountחֶשְׁבּוֹן for it?
232
654167
1451
ואיך אנחנו מסבירים אותה?
11:08
Secondשְׁנִיָה, we should think about
the definitionהַגדָרָה of successהַצלָחָה,
233
656162
3039
שנית, אנחנו צריכים
להגדיר מחדש מהי הצלחה.
11:11
auditבְּדִיקָה that.
234
659225
1381
לבדוק את הנושא.
11:12
Rememberלִזכּוֹר -- with the hiringשְׂכִירָה
algorithmאַלגוֹרִיתְם? We talkedדיבר about it.
235
660630
2752
זוכרים את האלגוריתם לשכירת עובדים?
דיברנו על זה.
עובד המועסק כבר ארבע שנים
וקודם פעם אחת?
11:15
Someoneמִישֶׁהוּ who staysנשאר for fourארבעה yearsשנים
and is promotedמקודם onceפַּעַם?
236
663406
3165
11:18
Well, that is a successfulמוּצלָח employeeעוֹבֵד,
237
666595
1769
זה באמת עובד מצליח,
אבל זה גם עובד
שהסביבה התרבותית תומכת בו.
11:20
but it's alsoגַם an employeeעוֹבֵד
that is supportedנתמך by theirשֶׁלָהֶם cultureתַרְבּוּת.
238
668388
3079
11:24
That said, alsoגַם it can be quiteדַי biasedמְשׁוּחָד.
239
672089
1926
אבל גם כאן יכולות להיות
דעות קדומות.
11:26
We need to separateנפרד those two things.
240
674039
2065
צריך להפריד בין שני הדברים.
11:28
We should look to
the blindסומא orchestraתִזמוֹרֶת auditionאודישן
241
676128
2426
למשל בבחינות קבלה עיוורות,
11:30
as an exampleדוגמא.
242
678578
1196
כשהבוחנים נמצאים מאחורי מסך.
11:31
That's where the people auditioningאודישן
are behindמֵאָחוֹר a sheetדַף.
243
679798
2756
11:34
What I want to think about there
244
682946
1931
אני רוצה לחשוב שכאן,
11:36
is the people who are listeningהַקשָׁבָה
have decidedהחליט what's importantחָשׁוּב
245
684901
3417
האנשים המקשיבים הם שהחליטו
מה חשוב ומה לא,
11:40
and they'veהם כבר decidedהחליט what's not importantחָשׁוּב,
246
688342
2029
ודעתם לא מוסחת ע"י זה.
11:42
and they're not gettingמקבל
distractedמְפוּזָר by that.
247
690395
2059
11:44
When the blindסומא orchestraתִזמוֹרֶת
auditionsאודישנים startedהתחיל,
248
692961
2749
כשהתחילו המבחנים העיוורים,
11:47
the numberמספר of womenנשים in orchestrasתזמורות
wentהלך up by a factorגורם of fiveחָמֵשׁ.
249
695734
3444
מספר הנשים המנגנות בתזמורת
גדל פי חמש.
11:52
Nextהַבָּא, we have to considerלשקול accuracyדיוק.
250
700253
2015
הבא בתור הוא הדיוק.
11:55
This is where the value-addedערך מוסף modelדֶגֶם
for teachersמורים would failלְהִכָּשֵׁל immediatelyמיד.
251
703233
3734
כאן אלגוריתם הערך המוסף
לדירוג מורים ייכשל מיד.
11:59
No algorithmאַלגוֹרִיתְם is perfectמושלם, of courseקוּרס,
252
707578
2162
אין אלגוריתם מושלם, כמובן,
12:02
so we have to considerלשקול
the errorsשגיאות of everyכֹּל algorithmאַלגוֹרִיתְם.
253
710620
3605
אז צריך לקחת בחשבון את
השגיאות של כל אלגוריתם:
12:06
How oftenלעתים קרובות are there errorsשגיאות,
and for whomמִי does this modelדֶגֶם failלְהִכָּשֵׁל?
254
714836
4359
כמה ומתי הן קורות
ועם מי המודל הזה נכשל?
מהו המחיר של הכשלון הזה?
12:11
What is the costעֲלוּת of that failureכישלון?
255
719850
1718
12:14
And finallyסוף כל סוף, we have to considerלשקול
256
722434
2207
ולסיום, אנחנו מוכרחים
לקחת בחשבון
12:17
the long-termטווח ארוך effectsההשפעות of algorithmsאלגוריתמים,
257
725973
2186
את ההשפעות ארוכות הטווח
של האלגוריתמים,
12:20
the feedbackמָשׁוֹב loopsלולאות that are engendering-.
258
728866
2207
של לולאות המשוב שנוצרות.
זה נשמע מופשט,
12:23
That soundsקולות abstractתַקצִיר,
259
731586
1236
אבל מה אם מהנדסי "פייסבוק"
היו לוקחים זאת בחשבון
12:24
but imagineלדמיין if Facebookפייסבוק engineersמהנדסים
had consideredנחשב that
260
732846
2664
12:28
before they decidedהחליט to showלְהַצִיג us
only things that our friendsחברים had postedפורסם.
261
736270
4855
בטרם החליטו להראות לנו
רק מה ששיתפו החברים שלנו.
12:33
I have two more messagesהודעות,
one for the dataנתונים scientistsמדענים out there.
262
741761
3234
יש לי עוד שני מסרים,
אחד למתכנתים באשר הם:
12:37
Dataנתונים scientistsמדענים: we should
not be the arbitersבוררים of truthאֶמֶת.
263
745450
3409
מתכנתים:
אסור לנו לתווך את האמת.
12:41
We should be translatorsמתרגמים
of ethicalאֶתִי discussionsדיונים that happenלִקְרוֹת
264
749520
3783
אנחנו צריכים לתת ביטוי
לדיוני מוסר שמתקיימים
12:45
in largerיותר גדול societyחֶברָה.
265
753327
1294
בחברה כולה.
12:47
(Applauseתְשׁוּאוֹת)
266
755579
2133
(מחיאות כפיים)
12:49
And the restמנוחה of you,
267
757736
1556
ולשאר האנשים,
אלו שאינם עוסקים במידע:
12:52
the non-dataשאינם נתונים scientistsמדענים:
268
760011
1396
לא מדובר במבחן במתמטיקה,
12:53
this is not a mathמתמטיקה testמִבְחָן.
269
761431
1498
12:55
This is a politicalפּוֹלִיטִי fightמַאֲבָק.
270
763632
1348
אלא במאבק פוליטי.
12:58
We need to demandלִדרוֹשׁ accountabilityדין וחשבון
for our algorithmicאלגוריתמי overlordsאדונים.
271
766587
3907
אנחנו צריכים לדרוש משליטי
האלגוריתמים לקחת אחריות.
13:04
(Applauseתְשׁוּאוֹת)
272
772118
1499
(מחיאות כפיים)
13:05
The eraתְקוּפָה of blindסומא faithאֱמוּנָה
in bigגָדוֹל dataנתונים mustצריך endסוֹף.
273
773641
4225
עידן האמון העיוור בנתונים
חייב להסתיים.
תודה רבה.
13:09
Thank you very much.
274
777890
1167
(מחיאות כפיים)
13:11
(Applauseתְשׁוּאוֹת)
275
779081
5303
Translated by Nurit Noy
Reviewed by Shlomo Adam

▲Back to top

ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
THE ORIGINAL VIDEO ON TED.COM
קטי אוניל: עידן האמון העיוור בנתונים חייב להסתיים | TED Talk | TED.com