TED2017
Cathy O'Neil: The era of blind faith in big data must end
Кеті О'Ніл: Епоха сліпої віри у великі дані має підійти до кінця
Filmed:
Readability: 4.4
1,391,460 views
Алгоритми вирішують, хто отримає позику, хто отримає співбесіду на роботу, хто отримає страхування та багато чого іншого - але вони автоматично не забезпечують справедливість. Математик і науковець з даних Кеті О'Ніл створила термін, що описує секретні, важливі та шкідливі алгоритми: "зброя математичного знищення". Дізнайтеся більше про наміри, що приховані за формулами.
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio
Double-click the English transcript below to play the video.
00:12
Algorithms are everywhere.
0
975
1596
Алгоритми є повсюди.
00:16
They sort and separate
the winners from the losers.
the winners from the losers.
1
4111
3125
Вони сортують і відрізняють
переможців від переможених.
переможців від переможених.
00:20
The winners get the job
2
8019
2264
Переможці отримують роботу
00:22
or a good credit card offer.
3
10307
1743
чи вигідні умови
оформлення кредитки.
оформлення кредитки.
00:24
The losers don't even get an interview
4
12074
2651
Переможені не доходять
навіть до співбесіди,
навіть до співбесіди,
00:27
or they pay more for insurance.
5
15590
1777
або платять більше за страхування.
00:30
We're being scored with secret formulas
that we don't understand
that we don't understand
6
18197
3549
Нас обчислюють секретними формулами,
які ми не розуміємо,
які ми не розуміємо,
00:34
that often don't have systems of appeal.
7
22675
3217
і до яких часто не можна подати
апеляційні скарги.
апеляційні скарги.
00:39
That begs the question:
8
27240
1296
Тому виникає питання:
00:40
What if the algorithms are wrong?
9
28560
2913
а якщо припустити,
що алгоритми неправильні?
що алгоритми неправильні?
00:45
To build an algorithm you need two things:
10
33100
2040
Для побудови алгоритму потрібні дві речі:
00:47
you need data, what happened in the past,
11
35164
1981
потрібні дані про те,
що сталося у минулому,
що сталося у минулому,
00:49
and a definition of success,
12
37169
1561
і визначення успіху,
00:50
the thing you're looking for
and often hoping for.
and often hoping for.
13
38754
2457
те, чого ви прагнете
і на що часто сподіваєтеся.
і на що часто сподіваєтеся.
00:53
You train an algorithm
by looking, figuring out.
by looking, figuring out.
14
41235
5037
Ви навчаєте алгоритм,
розмірковуючи, з'ясовуючи.
розмірковуючи, з'ясовуючи.
00:58
The algorithm figures out
what is associated with success.
what is associated with success.
15
46296
3419
Алгоритм з'ясовує,
що асоціюється із успіхом.
що асоціюється із успіхом.
01:01
What situation leads to success?
16
49739
2463
Яка ситуація призводить до успіху?
01:04
Actually, everyone uses algorithms.
17
52881
1762
Усі люди вживають алгоритми.
01:06
They just don't formalize them
in written code.
in written code.
18
54667
2718
Вони просто не записують їх
у вигляді коду.
у вигляді коду.
01:09
Let me give you an example.
19
57409
1348
Я наведу вам приклад.
01:10
I use an algorithm every day
to make a meal for my family.
to make a meal for my family.
20
58781
3316
Я щодня вживаю алгоритм,
щоб приготувати їсти для сім'ї.
щоб приготувати їсти для сім'ї.
01:14
The data I use
21
62121
1476
Дані, що я використовую,
01:16
is the ingredients in my kitchen,
22
64394
1659
це інгредієнти в мене на кухні,
01:18
the time I have,
23
66077
1527
скільки часу я маю,
01:19
the ambition I have,
24
67628
1233
наскільки я захоплена,
01:20
and I curate that data.
25
68885
1709
і я - куратор цих даних.
01:22
I don't count those little packages
of ramen noodles as food.
of ramen noodles as food.
26
70618
4251
Я не зараховую маленькі пакетики
локшини рамен до їжі.
локшини рамен до їжі.
01:26
(Laughter)
27
74893
1869
(Сміх)
01:28
My definition of success is:
28
76786
1845
Ось моє визначення успіху:
01:30
a meal is successful
if my kids eat vegetables.
if my kids eat vegetables.
29
78655
2659
страва успішна,
якщо мої діти їдять овочі.
якщо мої діти їдять овочі.
01:34
It's very different
from if my youngest son were in charge.
from if my youngest son were in charge.
30
82181
2854
Дайте вирішувати моєму молодшому
синові, і все буде інакше.
синові, і все буде інакше.
01:37
He'd say success is if
he gets to eat lots of Nutella.
he gets to eat lots of Nutella.
31
85059
2788
Для нього успіх - це якщо вдається
з'їсти багато Нутелли.
з'їсти багато Нутелли.
01:41
But I get to choose success.
32
89179
2226
Але я визначаю, що таке успіх.
01:43
I am in charge. My opinion matters.
33
91429
2707
Я вирішую. Моя точка зору має значення.
01:46
That's the first rule of algorithms.
34
94160
2675
Ось таким є перше правило алгоритмів.
01:48
Algorithms are opinions embedded in code.
35
96859
3180
Алгоритми - це точки зору,
вбудовані у код.
вбудовані у код.
01:53
It's really different from what you think
most people think of algorithms.
most people think of algorithms.
36
101562
3663
Це дуже відрізняється від того, що
більшість людей думає про алгоритми.
більшість людей думає про алгоритми.
01:57
They think algorithms are objective
and true and scientific.
and true and scientific.
37
105249
4504
Вони думають, що алгоритми об'єктивні,
правдиві і науково обґрунтовані.
правдиві і науково обґрунтовані.
02:02
That's a marketing trick.
38
110387
1699
Це маркетингові хитрощі.
02:05
It's also a marketing trick
39
113269
2125
Це також будуть маркетингові хитрощі,
02:07
to intimidate you with algorithms,
40
115418
3154
якщо вам будуть погрожувати алгоритмами,
02:10
to make you trust and fear algorithms
41
118596
3661
будуть примушувати вас довіряти
алгоритмам та боятися їх,
алгоритмам та боятися їх,
02:14
because you trust and fear mathematics.
42
122281
2018
бо ви довіряєте математиці та боїтеся її.
02:17
A lot can go wrong when we put
blind faith in big data.
blind faith in big data.
43
125567
4830
Чимало речей може піти не так, як треба,
коли ми сліпо довіряємо великим даним.
коли ми сліпо довіряємо великим даним.
02:23
This is Kiri Soares.
She's a high school principal in Brooklyn.
She's a high school principal in Brooklyn.
44
131684
3373
Це Кірі Соарс. Вона - директор
школи старших класів у Брукліні.
школи старших класів у Брукліні.
02:27
In 2011, she told me
her teachers were being scored
her teachers were being scored
45
135081
2586
У 2011 р. вона розповіла мені,
що її вчителів оцінювали
що її вчителів оцінювали
02:29
with a complex, secret algorithm
46
137691
2727
за складним секретним алгоритмом
02:32
called the "value-added model."
47
140442
1489
під назвою
"модель з розширеними функціями".
"модель з розширеними функціями".
02:34
I told her, "Well, figure out
what the formula is, show it to me.
what the formula is, show it to me.
48
142505
3092
Я сказала їй: "З'ясуй, що це за формула,
покажи її мені.
покажи її мені.
02:37
I'm going to explain it to you."
49
145621
1541
Я тобі її поясню".
02:39
She said, "Well, I tried
to get the formula,
to get the formula,
50
147186
2141
Вона сказала: "Я намагалася
отримати формулу,
отримати формулу,
02:41
but my Department of Education contact
told me it was math
told me it was math
51
149351
2772
але моя знайома у міносвіти
сказала мені, що то математика,
сказала мені, що то математика,
02:44
and I wouldn't understand it."
52
152147
1546
і що мені цього не зрозуміти".
02:47
It gets worse.
53
155266
1338
Далі буде гірше.
02:48
The New York Post filed
a Freedom of Information Act request,
a Freedom of Information Act request,
54
156628
3530
"Нью-Йорк Пост" надіслала запит згідно
із Законом про свободу інформації,
із Законом про свободу інформації,
02:52
got all the teachers' names
and all their scores
and all their scores
55
160182
2959
отримала імена усіх вчителів
та усі їх оцінки,
та усі їх оцінки,
02:55
and they published them
as an act of teacher-shaming.
as an act of teacher-shaming.
56
163165
2782
і потім вони опублікували це
задля присоромлення вчителів.
задля присоромлення вчителів.
02:59
When I tried to get the formulas,
the source code, through the same means,
the source code, through the same means,
57
167084
3860
Коли я намагалася тими ж методами
одержати формули, початковий код,
одержати формули, початковий код,
03:02
I was told I couldn't.
58
170968
2149
мені сказали, що я не можу цього зробити.
03:05
I was denied.
59
173141
1236
Мені відмовили.
03:06
I later found out
60
174401
1174
Пізніше я дізналася,
03:07
that nobody in New York City
had access to that formula.
had access to that formula.
61
175599
2866
що ніхто у місті Нью-Йорк
не мав доступу до цієї формули.
не мав доступу до цієї формули.
03:10
No one understood it.
62
178489
1305
Ніхто її не розумів.
03:13
Then someone really smart
got involved, Gary Rubenstein.
got involved, Gary Rubenstein.
63
181929
3224
Потім до цього долучилася
одна мудра людина, Гері Рубінштейн.
одна мудра людина, Гері Рубінштейн.
03:17
He found 665 teachers
from that New York Post data
from that New York Post data
64
185177
3621
Він знайшов 665 вчителів з тої статті
у "Нью-Йорк Пост",
у "Нью-Йорк Пост",
03:20
that actually had two scores.
65
188822
1866
вчителів, що, власне, мали дві оцінки.
03:22
That could happen if they were teaching
66
190712
1881
Так могло статися, якщо вони викладали
03:24
seventh grade math and eighth grade math.
67
192617
2439
математику у сьомому класі
і математику у восьмому.
і математику у восьмому.
03:27
He decided to plot them.
68
195080
1538
Він вирішив відобразити їх дані.
03:28
Each dot represents a teacher.
69
196642
1993
Кожна крапка репрезентує вчителя.
03:31
(Laughter)
70
199104
2379
(Сміх)
03:33
What is that?
71
201507
1521
Що це таке?
03:35
(Laughter)
72
203052
1277
(Сміх)
03:36
That should never have been used
for individual assessment.
for individual assessment.
73
204353
3446
Це ніколи не слід було використовувати
для індивідуальної оцінки.
для індивідуальної оцінки.
03:39
It's almost a random number generator.
74
207823
1926
Це майже як генератор випадкових чисел.
03:41
(Applause)
75
209773
2946
(Оплески)
03:44
But it was.
76
212743
1162
Але це було використано.
03:45
This is Sarah Wysocki.
77
213929
1176
Це - Сара Висоцкі.
03:47
She got fired, along
with 205 other teachers,
with 205 other teachers,
78
215129
2175
Її звільнили, разом із
205 іншими вчителями,
205 іншими вчителями,
03:49
from the Washington, DC school district,
79
217328
2662
зі шкільного району м.Вашингтон
в окрузі Колумбія,
в окрузі Колумбія,
03:52
even though she had great
recommendations from her principal
recommendations from her principal
80
220014
2909
хоча вона мала прекрасні рекомендації
від її директора
від її директора
03:54
and the parents of her kids.
81
222947
1428
та батьків її дітей.
03:57
I know what a lot
of you guys are thinking,
of you guys are thinking,
82
225390
2032
Я знаю, про що зараз думає
багато із вас,
багато із вас,
03:59
especially the data scientists,
the AI experts here.
the AI experts here.
83
227446
2487
зокрема фахівці з обробки даних
і штучного інтелекту.
і штучного інтелекту.
04:01
You're thinking, "Well, I would never make
an algorithm that inconsistent."
an algorithm that inconsistent."
84
229957
4226
Ви думаєте: "Ну, я б ніколи не створив
алгоритм з такими протиріччями".
алгоритм з такими протиріччями".
Але алгоритми можуть піти не за планом,
04:06
But algorithms can go wrong,
85
234853
1683
04:08
even have deeply destructive effects
with good intentions.
with good intentions.
86
236560
4598
навіть мати надзвичайно нищівні наслідки,
незважаючи на добрі наміри.
незважаючи на добрі наміри.
04:14
And whereas an airplane
that's designed badly
that's designed badly
87
242531
2379
В той час, як літак,
що був погано спроектований,
що був погано спроектований,
04:16
crashes to the earth and everyone sees it,
88
244934
2001
врізається у землю, і всі це бачать,
04:18
an algorithm designed badly
89
246959
1850
алгоритм, що був погано розроблений,
04:22
can go on for a long time,
silently wreaking havoc.
silently wreaking havoc.
90
250245
3865
може довго функціонувати
і тихенько завдавати шкоди.
і тихенько завдавати шкоди.
04:27
This is Roger Ailes.
91
255748
1570
Це - Роджер Ейлс.
04:29
(Laughter)
92
257342
2000
(Сміх)
04:32
He founded Fox News in 1996.
93
260524
2388
Він заснував Fox News у 1996 р.
04:35
More than 20 women complained
about sexual harassment.
about sexual harassment.
94
263436
2581
Понад 20 жінок поскаржилися
на сексуальні домагання.
на сексуальні домагання.
04:38
They said they weren't allowed
to succeed at Fox News.
to succeed at Fox News.
95
266041
3235
Вони казали, що їм не дозволяли
досягати успіхів у Fox News.
досягати успіхів у Fox News.
04:41
He was ousted last year,
but we've seen recently
but we've seen recently
96
269300
2520
Минулого року його вигнали,
але ми нещодавно побачили,
але ми нещодавно побачили,
04:43
that the problems have persisted.
97
271844
2670
що проблеми все одно існують.
04:47
That begs the question:
98
275654
1400
Виникає питання:
04:49
What should Fox News do
to turn over another leaf?
to turn over another leaf?
99
277078
2884
що повинна зробити Fox News,
щоб почати нову сторінку?
щоб почати нову сторінку?
04:53
Well, what if they replaced
their hiring process
their hiring process
100
281245
3041
А якщо б вони замість свого процесу
найму працівників вживали
найму працівників вживали
04:56
with a machine-learning algorithm?
101
284310
1654
алгоритм машинного навчання?
04:57
That sounds good, right?
102
285988
1595
Непогана ідея, правда?
04:59
Think about it.
103
287607
1300
Подумайте про це.
05:00
The data, what would the data be?
104
288931
2105
Дані, які в нас були б дані?
05:03
A reasonable choice would be the last
21 years of applications to Fox News.
21 years of applications to Fox News.
105
291060
4947
Резонно розглянути відгуки на вакансії
у Fox News за останній 21 рік.
у Fox News за останній 21 рік.
05:08
Reasonable.
106
296031
1502
Резонно.
05:09
What about the definition of success?
107
297557
1938
А як ми визначимо успіх?
05:11
Reasonable choice would be,
108
299921
1324
Резонно було б обрати,
05:13
well, who is successful at Fox News?
109
301269
1778
ну, хто є успішним у Fox News?
05:15
I guess someone who, say,
stayed there for four years
stayed there for four years
110
303071
3580
Скажімо, та людина,
що пробула там чотири роки,
що пробула там чотири роки,
05:18
and was promoted at least once.
111
306675
1654
і яка хоч раз отримала підвищення.
05:20
Sounds reasonable.
112
308816
1561
Резонне визначення.
05:22
And then the algorithm would be trained.
113
310401
2354
А потім ми б навчали алгоритм.
05:24
It would be trained to look for people
to learn what led to success,
to learn what led to success,
114
312779
3877
Його б навчали шукати людей, вивчати,
що призвело до успіху,
що призвело до успіху,
05:29
what kind of applications
historically led to success
historically led to success
115
317219
4318
якого роду відгуки про вакансії
призводили до успіху
призводили до успіху
05:33
by that definition.
116
321561
1294
за цим визначенням.
Подумайте, що сталося би
по відношенню
по відношенню
05:36
Now think about what would happen
117
324200
1775
05:37
if we applied that
to a current pool of applicants.
to a current pool of applicants.
118
325999
2555
до теперішнього
банку даних про кандидатів.
банку даних про кандидатів.
05:41
It would filter out women
119
329119
1629
Алгоритм відфільтрував би жінок,
05:43
because they do not look like people
who were successful in the past.
who were successful in the past.
120
331663
3930
бо вони не виглядають, як люди,
що були успішними у минулому.
що були успішними у минулому.
05:51
Algorithms don't make things fair
121
339752
2537
Алгоритми не забезпечують справедливість,
05:54
if you just blithely,
blindly apply algorithms.
blindly apply algorithms.
122
342313
2694
якщо ви застосовуєте алгоритми
безтурботно і всліпу.
безтурботно і всліпу.
05:57
They don't make things fair.
123
345031
1482
Це не гарантія справедливості.
05:58
They repeat our past practices,
124
346537
2128
Вони повторюють наші минулі
методики роботи,
методики роботи,
06:00
our patterns.
125
348689
1183
наші шаблони.
06:01
They automate the status quo.
126
349896
1939
Вони автоматизують статус-кво.
06:04
That would be great
if we had a perfect world,
if we had a perfect world,
127
352718
2389
Як було б добре, якщо б
ми жили в ідеальному світі,
ми жили в ідеальному світі,
06:07
but we don't.
128
355905
1312
але ми в ньому не живемо.
06:09
And I'll add that most companies
don't have embarrassing lawsuits,
don't have embarrassing lawsuits,
129
357241
4102
Додам, що більшість компаній не має
прикрих правових спорів,
прикрих правових спорів,
06:14
but the data scientists in those companies
130
362446
2588
але науковцям з даних у тих компаніях
06:17
are told to follow the data,
131
365058
2189
кажуть слідкувати за даними,
06:19
to focus on accuracy.
132
367271
2143
концентруватися на точності.
06:22
Think about what that means.
133
370273
1381
Подумайте, що це означає.
06:23
Because we all have bias,
it means they could be codifying sexism
it means they could be codifying sexism
134
371678
4027
Оскільки усі ми маємо упередження,
вони можуть кодувати сексизм
вони можуть кодувати сексизм
06:27
or any other kind of bigotry.
135
375729
1836
чи інший вид нетерпимості.
06:31
Thought experiment,
136
379488
1421
Інтелектуальний експеримент,
06:32
because I like them:
137
380933
1509
бо вони мені подобаються:
06:35
an entirely segregated society --
138
383574
2975
повністю сегреговане суспільство -
06:40
racially segregated, all towns,
all neighborhoods
all neighborhoods
139
388247
3328
расова сегрегація в усіх містах,
усіх кварталах,
усіх кварталах,
06:43
and where we send the police
only to the minority neighborhoods
only to the minority neighborhoods
140
391599
3037
і поліцію посилають лиш до
кварталів, де проживає меншість,
кварталів, де проживає меншість,
06:46
to look for crime.
141
394660
1193
щоб шукати там злочинців.
06:48
The arrest data would be very biased.
142
396451
2219
Дані про арешти були б дуже упередженими.
06:51
What if, on top of that,
we found the data scientists
we found the data scientists
143
399851
2575
А якщо, окрім того,
ми знайшли б науковців з даних
ми знайшли б науковців з даних
06:54
and paid the data scientists to predict
where the next crime would occur?
where the next crime would occur?
144
402450
4161
і платили б науковцям за передбачення,
де буде скоєно наступний злочин?
де буде скоєно наступний злочин?
06:59
Minority neighborhood.
145
407275
1487
У кварталі, де проживає меншість.
07:01
Or to predict who the next
criminal would be?
criminal would be?
146
409285
3125
Чи передбачити, хто буде
наступним злочинцем?
наступним злочинцем?
07:04
A minority.
147
412888
1395
Людина з меншості.
07:07
The data scientists would brag
about how great and how accurate
about how great and how accurate
148
415949
3541
Науковці хвалилися б про те,
наскільки чудовою і точною
наскільки чудовою і точною
07:11
their model would be,
149
419514
1297
є їх модель,
07:12
and they'd be right.
150
420835
1299
і вони були б праві.
07:15
Now, reality isn't that drastic,
but we do have severe segregations
but we do have severe segregations
151
423951
4615
В реальному житті немає таких крайнощів,
але ми маємо суттєву сегрегацію
але ми маємо суттєву сегрегацію
07:20
in many cities and towns,
152
428590
1287
у великих і малих містах,
07:21
and we have plenty of evidence
153
429901
1893
і маємо досить доказів
07:23
of biased policing
and justice system data.
and justice system data.
154
431818
2688
щодо упередженості поліції
і судової системи.
і судової системи.
07:27
And we actually do predict hotspots,
155
435632
2815
І ми справді передбачаємо гарячі точки,
07:30
places where crimes will occur.
156
438471
1530
місця, де буде скоєно злочини.
07:32
And we do predict, in fact,
the individual criminality,
the individual criminality,
157
440401
3866
І це факт, що ми передбачаємо
індивідуальні злочинні дії,
індивідуальні злочинні дії,
07:36
the criminality of individuals.
158
444291
1770
злочинність окремих людей.
07:38
The news organization ProPublica
recently looked into
recently looked into
159
446972
3963
Інформагентство ProPublica нещодавно
провело розслідування щодо
провело розслідування щодо
07:42
one of those "recidivism risk" algorithms,
160
450959
2024
одного з алгоритмів
"ризику рецидивізму",
"ризику рецидивізму",
07:45
as they're called,
161
453007
1163
так вони називаються,
07:46
being used in Florida
during sentencing by judges.
during sentencing by judges.
162
454194
3194
що використовують судді у Флориді,
коли виносять вирок.
коли виносять вирок.
07:50
Bernard, on the left, the black man,
was scored a 10 out of 10.
was scored a 10 out of 10.
163
458411
3585
Бернард, зліва, темношкірий,
отримав рейтинг 10 з 10.
отримав рейтинг 10 з 10.
07:55
Dylan, on the right, 3 out of 10.
164
463179
2007
Ділан, справа, 3 з 10.
07:57
10 out of 10, high risk.
3 out of 10, low risk.
3 out of 10, low risk.
165
465210
2501
10 з 10, високий ризик.
3 з 10, низький ризик.
3 з 10, низький ризик.
08:00
They were both brought in
for drug possession.
for drug possession.
166
468598
2385
Їх обох заарештували за
зберігання наркотиків.
зберігання наркотиків.
В них кримінальне минуле,
08:03
They both had records,
167
471007
1154
08:04
but Dylan had a felony
168
472185
2806
але Ділан скоїв тяжкий злочин,
08:07
but Bernard didn't.
169
475015
1176
а Бернард - ні.
08:09
This matters, because
the higher score you are,
the higher score you are,
170
477818
3066
Це має значення, бо
чим вищий в тебе ризик,
чим вищий в тебе ризик,
08:12
the more likely you're being given
a longer sentence.
a longer sentence.
171
480908
3473
тим ймовірніше, що ти отримаєш
довший термін покарання.
довший термін покарання.
08:18
What's going on?
172
486294
1294
Що ж відбувається?
08:20
Data laundering.
173
488526
1332
Відмивання даних.
08:22
It's a process by which
technologists hide ugly truths
technologists hide ugly truths
174
490930
4427
Це процес, коли технологи ховають
неприємну правду
неприємну правду
всередині алгоритмів типу "чорний ящик"
08:27
inside black box algorithms
175
495381
1821
08:29
and call them objective;
176
497226
1290
і називають їх об'єктивними;
08:31
call them meritocratic.
177
499320
1568
називають їх меритократичними.
08:35
When they're secret,
important and destructive,
important and destructive,
178
503118
2385
Коли ці алгоритми секретні,
важливі та нищівні,
важливі та нищівні,
08:37
I've coined a term for these algorithms:
179
505527
2487
я створила для них термін:
08:40
"weapons of math destruction."
180
508038
1999
"зброя математичного знищення".
08:42
(Laughter)
181
510061
1564
(Сміх)
08:43
(Applause)
182
511649
3054
(Оплески)
08:46
They're everywhere,
and it's not a mistake.
and it's not a mistake.
183
514727
2354
Вони повсюди,
і це не помилково.
і це не помилково.
08:49
These are private companies
building private algorithms
building private algorithms
184
517695
3723
Це приватні компанії,
що будують приватні алгоритми
що будують приватні алгоритми
08:53
for private ends.
185
521442
1392
для приватного зиску.
08:55
Even the ones I talked about
for teachers and the public police,
for teachers and the public police,
186
523214
3214
Навіть приклади, що я навела,
для вчителів і державної поліції,
для вчителів і державної поліції,
08:58
those were built by private companies
187
526452
1869
приватні компанії побудували їх
09:00
and sold to the government institutions.
188
528345
2231
і продали державним установам.
09:02
They call it their "secret sauce" --
189
530600
1873
Вони кажуть, що це їх
"секретний соус",
"секретний соус",
09:04
that's why they can't tell us about it.
190
532497
2128
тому вони не можуть
розповісти нам про нього.
розповісти нам про нього.
09:06
It's also private power.
191
534649
2220
Це також вплив приватних інтересів.
09:09
They are profiting for wielding
the authority of the inscrutable.
the authority of the inscrutable.
192
537924
4695
Вони отримують зиск, маючи владу
над незбагненним.
над незбагненним.
09:17
Now you might think,
since all this stuff is private
since all this stuff is private
193
545114
2934
Позаяк це все приватні компанії,
ви можете припустити,
ви можете припустити,
09:20
and there's competition,
194
548072
1158
що існує конкуренція,
09:21
maybe the free market
will solve this problem.
will solve this problem.
195
549254
2306
можливо, вільний ринок
вирішить цю проблему.
вирішить цю проблему.
09:23
It won't.
196
551584
1249
Ні, не вирішить.
09:24
There's a lot of money
to be made in unfairness.
to be made in unfairness.
197
552857
3120
На несправедливості можна заробити
чимало грошей.
чимало грошей.
09:29
Also, we're not economic rational agents.
198
557127
3369
До того ж, ми не є
економічними раціональними агентами.
економічними раціональними агентами.
09:33
We all are biased.
199
561031
1292
У нас у всіх є упередження.
09:34
We're all racist and bigoted
in ways that we wish we weren't,
in ways that we wish we weren't,
200
562960
3377
Ми всі до певної міри нетерпимі расисти,
хоч нам це і не подобається,
хоч нам це і не подобається,
09:38
in ways that we don't even know.
201
566361
2019
ми самі не знаємо, до якої міри.
09:41
We know this, though, in aggregate,
202
569352
3081
Однак ми знаємо, що так
загалом і є,
загалом і є,
09:44
because sociologists
have consistently demonstrated this
have consistently demonstrated this
203
572457
3220
бо соціологи систематично
демонструють це
демонструють це
09:47
with these experiments they build,
204
575701
1665
у експериментах, що вони проводять,
09:49
where they send a bunch
of applications to jobs out,
of applications to jobs out,
205
577390
2568
коли вони надсилають низку
відгуків на вакансії,
відгуків на вакансії,
09:51
equally qualified but some
have white-sounding names
have white-sounding names
206
579982
2501
однакові кваліфікації, але у деяких
"білі" імена,
"білі" імена,
09:54
and some have black-sounding names,
207
582507
1706
а в інших імена, як у темношкірих,
09:56
and it's always disappointing,
the results -- always.
the results -- always.
208
584237
2694
і результати завжди невтішні,
завжди.
завжди.
09:59
So we are the ones that are biased,
209
587510
1771
Отже, ми маємо упередження,
10:01
and we are injecting those biases
into the algorithms
into the algorithms
210
589305
3429
і ми вбудовуємо ці упередження
в алгоритми,
в алгоритми,
10:04
by choosing what data to collect,
211
592758
1812
обираючи, які дани потрібно збирати,
10:06
like I chose not to think
about ramen noodles --
about ramen noodles --
212
594594
2743
так само, як я вирішила
не думати про локшину рамен -
не думати про локшину рамен -
10:09
I decided it was irrelevant.
213
597361
1625
я вирішила, що це малозначуще.
10:11
But by trusting the data that's actually
picking up on past practices
picking up on past practices
214
599010
5684
Але коли ми довіряємо даним,
що вловлюють практику, що склалася,
що вловлюють практику, що склалася,
10:16
and by choosing the definition of success,
215
604718
2014
і обираємо визначення успіху,
10:18
how can we expect the algorithms
to emerge unscathed?
to emerge unscathed?
216
606756
3983
як ми можемо очікувати, що алгоритми
будуть без несправностей?
будуть без несправностей?
10:22
We can't. We have to check them.
217
610763
2356
Не можемо. Ми повинні перевіряти їх.
10:26
We have to check them for fairness.
218
614165
1709
Перевіряти їх на справедливість.
10:27
The good news is,
we can check them for fairness.
we can check them for fairness.
219
615898
2711
На щастя, ми можемо
перевіряти їх на справедливість.
перевіряти їх на справедливість.
10:30
Algorithms can be interrogated,
220
618633
3352
Алгоритми можна розпитувати,
10:34
and they will tell us
the truth every time.
the truth every time.
221
622009
2034
і вони щоразу казатимуть
нам правду.
нам правду.
10:36
And we can fix them.
We can make them better.
We can make them better.
222
624067
2493
І ми можемо виправити їх.
Ми можемо покращити їх.
Ми можемо покращити їх.
10:38
I call this an algorithmic audit,
223
626584
2375
Я називаю це "алгоритмічним аудитом",
10:40
and I'll walk you through it.
224
628983
1679
і я вам зараз його поясню.
10:42
First, data integrity check.
225
630686
2196
По-перше, перевірка цілісності даних.
10:46
For the recidivism risk
algorithm I talked about,
algorithm I talked about,
226
634132
2657
Повертаючись до алгоритму
риску рецидивізму,
риску рецидивізму,
перевірка цілісності даних означала б,
що нам довелося б змиритися із фактом,
що нам довелося б змиритися із фактом,
10:49
a data integrity check would mean
we'd have to come to terms with the fact
we'd have to come to terms with the fact
227
637582
3573
10:53
that in the US, whites and blacks
smoke pot at the same rate
smoke pot at the same rate
228
641179
3526
що у США білі і темношкірі
обкурені однаково,
обкурені однаково,
10:56
but blacks are far more likely
to be arrested --
to be arrested --
229
644729
2485
однак темношкірих заарештовують
набагато частіше -
набагато частіше -
10:59
four or five times more likely,
depending on the area.
depending on the area.
230
647238
3184
у чотири-п'ять разів частіше,
залежно від району.
залежно від району.
Як ця упередженість виглядає
в інших кримінальних категоріях,
в інших кримінальних категоріях,
11:03
What is that bias looking like
in other crime categories,
in other crime categories,
231
651317
2826
11:06
and how do we account for it?
232
654167
1451
і як ми приймаємо її до уваги?
11:08
Second, we should think about
the definition of success,
the definition of success,
233
656162
3039
По-друге, нам слід подумати про
визначення успіху,
визначення успіху,
11:11
audit that.
234
659225
1381
проводити аудит визначення.
11:12
Remember -- with the hiring
algorithm? We talked about it.
algorithm? We talked about it.
235
660630
2752
Пригадуєте алгоритм
щодо прийняття на роботу?
щодо прийняття на роботу?
Той, хто утримується на роботі чотири роки
і раз отримує підвищення?
і раз отримує підвищення?
11:15
Someone who stays for four years
and is promoted once?
and is promoted once?
236
663406
3165
11:18
Well, that is a successful employee,
237
666595
1769
Ну так, це успішний працівник,
11:20
but it's also an employee
that is supported by their culture.
that is supported by their culture.
238
668388
3079
але це також працівник, котрого підтримує
організаційна культура.
організаційна культура.
11:24
That said, also it can be quite biased.
239
672089
1926
Однак і тут може бути
багато упередження.
багато упередження.
11:26
We need to separate those two things.
240
674039
2065
Нам треба розрізняти тих дві речі.
11:28
We should look to
the blind orchestra audition
the blind orchestra audition
241
676128
2426
Давайте брати приклад
з прослуховування всліпу
з прослуховування всліпу
11:30
as an example.
242
678578
1196
на роль в окрестрі,
11:31
That's where the people auditioning
are behind a sheet.
are behind a sheet.
243
679798
2756
Це коли люди на прослуховуванні
є за листом паперу.
є за листом паперу.
11:34
What I want to think about there
244
682946
1931
На чому я хочу тут зосередитись:
11:36
is the people who are listening
have decided what's important
have decided what's important
245
684901
3417
люди, котрі прослуховують кандидатів,
вирішили, що важливе,
вирішили, що важливе,
11:40
and they've decided what's not important,
246
688342
2029
і вирішили, що неважливе,
11:42
and they're not getting
distracted by that.
distracted by that.
247
690395
2059
і їх це не відволікає.
11:44
When the blind orchestra
auditions started,
auditions started,
248
692961
2749
Коли розпочалися прослуховування вліпу,
11:47
the number of women in orchestras
went up by a factor of five.
went up by a factor of five.
249
695734
3444
кількість жінок в оркестрах
зросла у п'ять разів.
зросла у п'ять разів.
11:52
Next, we have to consider accuracy.
250
700253
2015
Потім нам потрібно розглянути точність.
11:55
This is where the value-added model
for teachers would fail immediately.
for teachers would fail immediately.
251
703233
3734
Ось тут модель з розширеними функціями
для вчителів одразу б провалилася.
для вчителів одразу б провалилася.
11:59
No algorithm is perfect, of course,
252
707578
2162
Звісно, що не існує ідеальних алгоритмів,
12:02
so we have to consider
the errors of every algorithm.
the errors of every algorithm.
253
710620
3605
тому нам треба приймати до уваги помилки
у кожному алгоритмі.
у кожному алгоритмі.
12:06
How often are there errors,
and for whom does this model fail?
and for whom does this model fail?
254
714836
4359
Як часто там трапляються помилки,
і кого підведе ця модель?
і кого підведе ця модель?
12:11
What is the cost of that failure?
255
719850
1718
Якою є ціна цього провалу?
12:14
And finally, we have to consider
256
722434
2207
І наприкінці, нам потрібно
прийняти до уваги
прийняти до уваги
12:17
the long-term effects of algorithms,
257
725973
2186
довготермінові ефекти алгоритмів,
12:20
the feedback loops that are engendering.
258
728866
2207
ланцюги зворотного зв'язку, що виникають.
12:23
That sounds abstract,
259
731586
1236
Звучить абстрактно,
12:24
but imagine if Facebook engineers
had considered that
had considered that
260
732846
2664
але уявіть, якщо інженери Facebook
прийняли б це до уваги,
прийняли б це до уваги,
12:28
before they decided to show us
only things that our friends had posted.
only things that our friends had posted.
261
736270
4855
перш ніж вони вирішили показувати нам
лише те, що постять наші друзі.
лише те, що постять наші друзі.
12:33
I have two more messages,
one for the data scientists out there.
one for the data scientists out there.
262
741761
3234
В мене є ще дві думки, що я хочу донести,
одна для науковців з даних.
одна для науковців з даних.
12:37
Data scientists: we should
not be the arbiters of truth.
not be the arbiters of truth.
263
745450
3409
Науковці з даних: нам не слід бути
арбітрами правди.
арбітрами правди.
12:41
We should be translators
of ethical discussions that happen
of ethical discussions that happen
264
749520
3783
Нам слід бути перекладачами
етичних дискусій, що відбуваються
етичних дискусій, що відбуваються
12:45
in larger society.
265
753327
1294
у ширшому суспільстві.
12:47
(Applause)
266
755579
2133
(Оплески)
12:49
And the rest of you,
267
757736
1556
А щодо решти з вас,
12:52
the non-data scientists:
268
760011
1396
не-науковців з даних:
12:53
this is not a math test.
269
761431
1498
це не тест з математики.
12:55
This is a political fight.
270
763632
1348
Це політична боротьба.
12:58
We need to demand accountability
for our algorithmic overlords.
for our algorithmic overlords.
271
766587
3907
Ми повинні вимагати підзвітності
від наших алгоритмічних можновладців.
від наших алгоритмічних можновладців.
13:04
(Applause)
272
772118
1499
(Оплески)
13:05
The era of blind faith
in big data must end.
in big data must end.
273
773641
4225
Епоха сліпої віри у великі дані
має підійти до кінця.
має підійти до кінця.
13:09
Thank you very much.
274
777890
1167
Дуже вам дякую.
13:11
(Applause)
275
779081
5303
(Оплески)
ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientistData skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.
Why you should listen
In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.
With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.
Cathy O'Neil | Speaker | TED.com