ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com
TED2017

Cathy O'Neil: The era of blind faith in big data must end

キャシー・オニール: ビッグデータを盲信する時代に終止符を

Filmed:
1,391,460 views

アルゴリズムは、誰がローンを組めるか、誰が就職面接を受けられるか、誰が保険を掛けられるかなど、様々なことを決めています。ただアルゴリズムは自動的に公平性を生む訳ではありません。数学者でデータサイエンティストのキャシー・オニールは、秘密で、重要性が高く、悪影響を及ぼすアルゴリズムに「大量破壊数学」と名付けました。アルゴリズムの裏側にある隠れた意図を、もっと知ろうではありませんか。
- Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias. Full bio

Double-click the English transcript below to play the video.

00:12
Algorithmsアルゴリズム are everywhereどこにでも.
0
975
1596
アルゴリズムは どこにでもあります
00:16
They sortソート and separate別々の
the winners勝者 from the losers敗者.
1
4111
3125
アルゴリズムが勝者と敗者を分けます
00:20
The winners勝者 get the jobジョブ
2
8019
2264
勝者は仕事を手に入れ
有利なクレジットカードを
申し込めます
00:22
or a good creditクレジット cardカード offer提供.
3
10307
1743
00:24
The losers敗者 don't even get an interviewインタビュー
4
12074
2651
一方 敗者は就職面接すら受けられず
00:27
or they pay支払う more for insurance保険.
5
15590
1777
保険料は より高くなります
00:30
We're beingであること scored得点する with secret秘密 formulas
that we don't understandわかる
6
18197
3549
私たちは 理解できない上に
不服申し立ての機会もない—
00:34
that oftenしばしば don't have systemsシステム of appealアピール.
7
22675
3217
秘密の数式によって
格付けされているのです
そこで疑問が湧いてきます
00:39
That begs懇願する the question質問:
8
27240
1296
00:40
What if the algorithmsアルゴリズム are wrong違う?
9
28560
2913
もしアルゴリズムが間違っていたら?
アルゴリズムを作る時
必要なものが2つあります
00:45
To buildビルドする an algorithmアルゴリズム you need two things:
10
33100
2040
データ つまり過去の出来事の記録と
00:47
you need dataデータ, what happened起こった in the past過去,
11
35164
1981
人が追い求める「成功」を
定義する基準です
00:49
and a definition定義 of success成功,
12
37169
1561
00:50
the thing you're looking for
and oftenしばしば hoping望んでいる for.
13
38754
2457
人が追い求める「成功」を
定義する基準です
そして観察と理解を通して
アルゴリズムを訓練します
00:53
You train列車 an algorithmアルゴリズム
by looking, figuring想像する out.
14
41235
5037
アルゴリズムに 成功と関係する要素を
理解させるためです
00:58
The algorithmアルゴリズム figures数字 out
what is associated関連する with success成功.
15
46296
3419
どんな状況が 成功に繋がるのでしょう?
01:01
What situation状況 leadsリード to success成功?
16
49739
2463
実は アルゴリズムは
誰でも使っています
01:04
Actually実際に, everyoneみんな uses用途 algorithmsアルゴリズム.
17
52881
1762
01:06
They just don't formalize正式化する them
in written書かれた codeコード.
18
54667
2718
プログラムに書かないだけです
1つ例を挙げましょう
01:09
Let me give you an example.
19
57409
1348
私は毎日アルゴリズムを使って
家族の食事を用意します
01:10
I use an algorithmアルゴリズム everyすべて day
to make a mealお食事 for my family家族.
20
58781
3316
私が利用するデータは
01:14
The dataデータ I use
21
62121
1476
台所にどんな材料があるか
01:16
is the ingredients材料 in my kitchenキッチン,
22
64394
1659
どれだけ時間をかけられるか
01:18
the time I have,
23
66077
1527
どれだけ料理に凝るかで
01:19
the ambition野心 I have,
24
67628
1233
01:20
and I curateキュレート that dataデータ.
25
68885
1709
私はそのデータをまとめます
01:22
I don't countカウント those little packagesパッケージ
of ramenラーメン noodles as foodフード.
26
70618
4251
ちなみにインスタントラーメンは
食べ物とは認めません
(笑)
01:26
(Laughter笑い)
27
74893
1869
01:28
My definition定義 of success成功 is:
28
76786
1845
私にとって成功の基準は
01:30
a mealお食事 is successful成功した
if my kids子供たち eat食べる vegetables野菜.
29
78655
2659
子供たちが野菜を食べることです
もし下の息子が決めるなら
基準はガラッと変わり
01:34
It's very different異なる
from if my youngest最年少 son息子 were in charge電荷.
30
82181
2854
「いっぱいチョコナッツクリームを
食べられれば成功」と言うでしょう
01:37
He'd彼は say success成功 is if
he gets取得 to eat食べる lots of Nutellaヌテラ.
31
85059
2788
01:41
But I get to choose選択する success成功.
32
89179
2226
でも基準を決めるのは私です
01:43
I am in charge電荷. My opinion意見 matters問題.
33
91429
2707
責任者は私で
私の意見が重要なんですから
01:46
That's the first ruleルール of algorithmsアルゴリズム.
34
94160
2675
これがアルゴリズムの第1のルールです
01:48
Algorithmsアルゴリズム are opinions意見 embedded埋め込み in codeコード.
35
96859
3180
アルゴリズムとはプログラムに
埋め込まれた意見なのです
これは ほとんどの人が持つ
アルゴリズムのイメージとはかけ離れています
01:53
It's really different異なる from what you think
most最も people think of algorithmsアルゴリズム.
36
101562
3663
01:57
They think algorithmsアルゴリズム are objective目的
and true真実 and scientific科学的.
37
105249
4504
人々はアルゴリズムが客観的で正しく
科学的なものと思っていますが
それはマーケティング上のトリックです
02:02
That's a marketingマーケティング trickトリック.
38
110387
1699
02:05
It's alsoまた、 a marketingマーケティング trickトリック
39
113269
2125
アルゴリズムで人を怯ませるのも
02:07
to intimidate威圧する you with algorithmsアルゴリズム,
40
115418
3154
マーケティングのトリックですし
アルゴリズムを信用させたり
恐れさせたりするのもそう
02:10
to make you trust信頼 and fear恐れ algorithmsアルゴリズム
41
118596
3661
皆 数学を恐れつつ信用していますから
02:14
because you trust信頼 and fear恐れ mathematics数学.
42
122281
2018
02:17
A lot can go wrong違う when we put
blindブラインド faith信仰 in big大きい dataデータ.
43
125567
4830
ビッグデータを盲信すると
いろいろな問題が生じかねません
彼女はキリ・ソアーズ
ブルックリンの高校で校長をしています
02:23
This is Kiriキリ Soaresソアレス.
She's a high高い school学校 principal主要な in Brooklynブルックリン.
44
131684
3373
02:27
In 2011, she told me
her teachers教師 were beingであること scored得点する
45
135081
2586
2011年に彼女が教えてくれたのですが
彼女の学校では
02:29
with a complex複合体, secret秘密 algorithmアルゴリズム
46
137691
2727
「付加価値モデル」という
複雑な秘密のアルゴリズムで
教員が評価されている
ということでした
02:32
calledと呼ばれる the "value-added付加価値 modelモデル."
47
140442
1489
02:34
I told her, "Well, figure数字 out
what the formula is, showショー it to me.
48
142505
3092
私は こう伝えました
「数式を調べてみましょう
見せてくれれば説明しますよ」
02:37
I'm going to explain説明する it to you."
49
145621
1541
すると彼女は
「数式を入手しようとしたら
02:39
She said, "Well, I tried試した
to get the formula,
50
147186
2141
市教育局の担当者に『これは数学ですよ
理解できないでしょう』と
02:41
but my Department部門 of Education教育 contact接触
told me it was math数学
51
149351
2772
02:44
and I wouldn'tしないだろう understandわかる it."
52
152147
1546
言われたんです」
02:47
It gets取得 worse悪化する.
53
155266
1338
事態はさらに深刻化します
02:48
The New新しい Yorkヨーク Post役職 filed提出
a Freedom自由 of Information情報 Act行為 request要求,
54
156628
3530
ニューヨーク・ポスト紙が
情報自由法に基づく開示請求をして
02:52
got all the teachers'教師たちは、 names名前
and all their彼らの scores得点
55
160182
2959
ニューヨーク市の全教員の
名前とスコアを手に入れ
02:55
and they published出版された them
as an act行為 of teacher-shaming教師 - シャーミング.
56
163165
2782
教員を辱めるような
データを公表しました
02:59
When I tried試した to get the formulas,
the sourceソース codeコード, throughを通して the same同じ means手段,
57
167084
3860
一方 私がソース・コードを
同じ方法で手に入れようとしたところ
無理だと言われました
03:02
I was told I couldn'tできなかった.
58
170968
2149
03:05
I was denied否定された.
59
173141
1236
却下されたのです
03:06
I later後で found見つけた out
60
174401
1174
後にわかったことですが
03:07
that nobody誰も in New新しい Yorkヨーク Cityシティ
had accessアクセス to that formula.
61
175599
2866
ニューヨーク市で その数式を
見られる人は誰もおらず
誰も理解していなかったのです
03:10
No one understood理解された it.
62
178489
1305
その後 ゲイリー・ルービンスタインという
頭のキレる人物が登場します
03:13
Then someone誰か really smartスマート
got involved関係する, Garyゲイリー Rubensteinルーベンシュタイン.
63
181929
3224
彼はニューヨーク・ポスト紙のデータから
03:17
He found見つけた 665 teachers教師
from that New新しい Yorkヨーク Post役職 dataデータ
64
185177
3621
2種類のスコアを持っている
教員665名を見つけ出しました
03:20
that actually実際に had two scores得点.
65
188822
1866
それに該当するのは 例えば
03:22
That could happen起こる if they were teaching教える
66
190712
1881
03:24
seventh第七 gradeグレード math数学 and eighth第8 gradeグレード math数学.
67
192617
2439
数学を7年生と8年生で
教えている場合です
彼は2種類のスコアを散布図にしました
03:27
He decided決定しました to plotプロット them.
68
195080
1538
03:28
Each dotドット representsは表す a teacher先生.
69
196642
1993
点はそれぞれ 先生を表します
(笑)
03:31
(Laughter笑い)
70
199104
2379
03:33
What is that?
71
201507
1521
これは どういうことでしょう?
03:35
(Laughter笑い)
72
203052
1277
(笑)
03:36
That should never have been used
for individual個人 assessment評価.
73
204353
3446
こんなものを教員の個人評価に
使ってはいけません
まるで乱数発生器じゃないですか
03:39
It's almostほぼ a randomランダム number generatorジェネレータ.
74
207823
1926
03:41
(Applause拍手)
75
209773
2946
(拍手)
でも実際に使われたんです
03:44
But it was.
76
212743
1162
彼女はサラ・ワイサキ
03:45
This is Sarahサラ Wysockiウィソキー.
77
213929
1176
他の205人のワシントンD.C.学区の
先生たちと共に
03:47
She got fired撃たれた, along一緒に
with 205 other teachers教師,
78
215129
2175
03:49
from the Washingtonワシントン, DCDC school学校 district地区,
79
217328
2662
解雇されました
校長や保護者からの評価は
非常に高かったのにです
03:52
even thoughしかし she had great
recommendationsおすすめ from her principal主要な
80
220014
2909
校長や保護者からの評価は
非常に高かったのにです
03:54
and the parents of her kids子供たち.
81
222947
1428
03:57
I know what a lot
of you guys are thinking考え,
82
225390
2032
皆さんが今 考えていることは
わかります
特にデータサイエンティストや
AIの専門家なら思うでしょう
03:59
especially特に the dataデータ scientists科学者,
the AIAI experts専門家 here.
83
227446
2487
04:01
You're thinking考え, "Well, I would never make
an algorithmアルゴリズム that inconsistent一貫性のない."
84
229957
4226
「自分なら そんなデタラメな
アルゴリズムは作らない」って
でもアルゴリズムは誤ることもあれば
04:06
But algorithmsアルゴリズム can go wrong違う,
85
234853
1683
04:08
even have deeply深く destructive破壊的 effects効果
with good intentions意図.
86
236560
4598
善意に基づいていても
破壊的な影響を及ぼすことだってあります
04:14
And whereas一方、 an airplane飛行機
that's designed設計 badlyひどく
87
242531
2379
飛行機なら 設計がまずければ
墜落しますし
その様子が見えますが
04:16
crashesクラッシュ to the earth地球 and everyoneみんな sees見える it,
88
244934
2001
04:18
an algorithmアルゴリズム designed設計 badlyひどく
89
246959
1850
アルゴリズムだと設計がまずくても
長期間に渡って 音もなく
大惨事をもたらし続けかねないんです
04:22
can go on for a long time,
silently黙って wreaking泣く havoc大混乱.
90
250245
3865
04:27
This is Rogerロジャー Ailesアイルズ.
91
255748
1570
彼はロジャー・エイルズ
04:29
(Laughter笑い)
92
257342
2000
(笑)
04:32
He founded設立 Fox Newsニュース in 1996.
93
260524
2388
1996年にFOXニュースを創設しました
04:35
More than 20 women女性 complained不平を言う
about sexual性的 harassment嫌がらせ.
94
263436
2581
20人以上の女性が
セクハラ被害を訴えました
04:38
They said they weren'tなかった allowed許可された
to succeed成功する at Fox Newsニュース.
95
266041
3235
またキャリアアップを
妨害されたそうです
彼自身は2016年に地位を追われましたが
04:41
He was ousted失踪した last year,
but we've私たちは seen見た recently最近
96
269300
2520
04:43
that the problems問題 have persisted持続された.
97
271844
2670
最近のニュースにある通り
問題は依然残っています
04:47
That begs懇願する the question質問:
98
275654
1400
ここで疑問が湧いてきます
04:49
What should Fox Newsニュース do
to turn順番 over another別の leaf?
99
277078
2884
再起をはかるために
FOXニュースは何をすべきか?
04:53
Well, what if they replaced置き換えられた
their彼らの hiring雇用 processプロセス
100
281245
3041
人材採用プロセスを
機械学習アルゴリズムに
04:56
with a machine-learning機械学習 algorithmアルゴリズム?
101
284310
1654
替えるのはどうでしょう?
04:57
That sounds good, right?
102
285988
1595
いいアイデアでしょう?
04:59
Think about it.
103
287607
1300
検討してみましょう
05:00
The dataデータ, what would the dataデータ be?
104
288931
2105
まずデータには
何が使えるでしょう?
05:03
A reasonable合理的な choice選択 would be the last
21 years of applicationsアプリケーション to Fox Newsニュース.
105
291060
4947
過去21年間に FOXニュースに送られた
履歴書がいいでしょう
05:08
Reasonable合理的.
106
296031
1502
妥当なデータです
05:09
What about the definition定義 of success成功?
107
297557
1938
では成功の基準は?
05:11
Reasonable合理的 choice選択 would be,
108
299921
1324
妥当な基準は…
05:13
well, who is successful成功した at Fox Newsニュース?
109
301269
1778
どんな人がFOXニュースで
成功するんでしょう?
05:15
I guess推測 someone誰か who, say,
stayed滞在した there for four4つの years
110
303071
3580
例えば 4年在職して
最低1回は昇進していれば
05:18
and was promoted昇進した at least少なくとも once一度.
111
306675
1654
成功と言えそうです
05:20
Soundsサウンド reasonable合理的な.
112
308816
1561
妥当な基準です
05:22
And then the algorithmアルゴリズム would be trained訓練された.
113
310401
2354
それをアルゴリズムに学習させます
05:24
It would be trained訓練された to look for people
to learn学ぶ what led to success成功,
114
312779
3877
人々を探って
何が成功につながるか—
05:29
what kind種類 of applicationsアプリケーション
historically歴史的に led to success成功
115
317219
4318
これまで どんな履歴書が
成功に繋がってきたのかを
この基準に従って学習させるのです
05:33
by that definition定義.
116
321561
1294
05:36
Now think about what would happen起こる
117
324200
1775
さて このアルゴリズムを
現在の就職希望者に
当てはめると どうなるでしょう?
05:37
if we applied適用された that
to a current現在 poolプール of applicants応募者.
118
325999
2555
05:41
It would filterフィルタ out women女性
119
329119
1629
まず女性は除外されるでしょう
05:43
because they do not look like people
who were successful成功した in the past過去.
120
331663
3930
過去に成功してきたようには
見えないからです
配慮もなく やみくもに
アルゴリズムを適用しても
05:51
Algorithmsアルゴリズム don't make things fairフェア
121
339752
2537
05:54
if you just blithelyblithely,
blindly盲目的に apply適用する algorithmsアルゴリズム.
122
342313
2694
物事は公平にはならないんです
アルゴリズムは公平を生みません
05:57
They don't make things fairフェア.
123
345031
1482
05:58
They repeat繰り返す our past過去 practices実践,
124
346537
2128
過去の行為や行動パターンを
06:00
our patternsパターン.
125
348689
1183
繰り返し
06:01
They automate自動化する the status状態 quoくそ.
126
349896
1939
自動的に現状を維持するだけです
06:04
That would be great
if we had a perfect完璧な world世界,
127
352718
2389
この世界が完璧なら
それでいいんでしょうが
06:07
but we don't.
128
355905
1312
そうではありません
06:09
And I'll add追加する that most最も companies企業
don't have embarrassing恥ずかしい lawsuits訴訟,
129
357241
4102
さらに付け加えると ほとんどの企業は
みっともない裁判を抱えている訳ではありませんが
06:14
but the dataデータ scientists科学者 in those companies企業
130
362446
2588
こういった企業にいる
データサイエンティストは
正確性に焦点を当て
06:17
are told to followフォローする the dataデータ,
131
365058
2189
データに従うよう指示されています
06:19
to focusフォーカス on accuracy正確さ.
132
367271
2143
06:22
Think about what that means手段.
133
370273
1381
その意味を考えてみましょう
06:23
Because we all have biasバイアス,
it means手段 they could be codifyingコード化する sexism性差別
134
371678
4027
誰でもバイアスを持っているので
アルゴリズムに性差別や その他の偏見が
コード化されている可能性があります
06:27
or any other kind種類 of bigotry偏見.
135
375729
1836
06:31
Thought experiment実験,
136
379488
1421
思考実験をしてみましょう
06:32
because I like them:
137
380933
1509
私は思考実験が好きなので
06:35
an entirely完全に segregated分離された society社会 --
138
383574
2975
人種を完全に隔離した
社会があるとします
06:40
racially人種的に segregated分離された, all towns,
all neighborhoods近隣
139
388247
3328
どの街でも どの地域でも
人種は隔離され
06:43
and where we send送信する the police警察
only to the minority少数 neighborhoods近隣
140
391599
3037
犯罪を見つけるために
警察を送り込むのは
マイノリティーが住む地域だけです
06:46
to look for crime犯罪.
141
394660
1193
すると逮捕者のデータは
かなり偏ったものになるでしょう
06:48
The arrest逮捕 dataデータ would be very biased偏った.
142
396451
2219
06:51
What if, on top of that,
we found見つけた the dataデータ scientists科学者
143
399851
2575
さらに データサイエンティストを
探してきて
06:54
and paid支払った the dataデータ scientists科学者 to predict予測する
where the next crime犯罪 would occur発生する?
144
402450
4161
報酬を払い 次の犯罪が起こる場所を
予測させたらどうなるでしょう?
マイノリティーの地域になります
06:59
Minority少数 neighborhoodご近所.
145
407275
1487
07:01
Or to predict予測する who the next
criminal犯罪者 would be?
146
409285
3125
あるいは 次に犯罪を犯しそうな人を
予測させたら?
07:04
A minority少数.
147
412888
1395
マイノリティーでしょうね
07:07
The dataデータ scientists科学者 would brag自慢
about how great and how accurate正確
148
415949
3541
データサイエンティストは
モデルの素晴らしさと正確さを
自慢するでしょうし
07:11
their彼らの modelモデル would be,
149
419514
1297
07:12
and they'd彼らは be right.
150
420835
1299
確かにその通りでしょう
07:15
Now, reality現実 isn't that drastic抜本的な,
but we do have severe厳しい segregations分離
151
423951
4615
さて 現実はそこまで極端ではありませんが
実際に多くの市や町で
深刻な人種差別があり
07:20
in manyたくさんの cities都市 and towns,
152
428590
1287
07:21
and we have plentyたくさん of evidence証拠
153
429901
1893
警察の活動や司法制度のデータが
偏っているという
07:23
of biased偏った policingポリシング
and justice正義 systemシステム dataデータ.
154
431818
2688
証拠が揃っています
07:27
And we actually実際に do predict予測する hotspotsホットスポット,
155
435632
2815
実際にホットスポットと呼ばれる
犯罪多発地域を
07:30
places場所 where crimes犯罪 will occur発生する.
156
438471
1530
予測しています
07:32
And we do predict予測する, in fact事実,
the individual個人 criminality犯罪,
157
440401
3866
さらには個々人の犯罪傾向を
実際に予測しています
07:36
the criminality犯罪 of individuals個人.
158
444291
1770
07:38
The newsニュース organization組織 ProPublicaプロ公立
recently最近 looked見た into
159
446972
3963
報道組織プロパブリカが最近
いわゆる「再犯リスク」アルゴリズムの
07:42
one of those "recidivism再犯 riskリスク" algorithmsアルゴリズム,
160
450959
2024
1つを取り上げ調査しました
1つを取り上げ調査しました
07:45
as they're calledと呼ばれる,
161
453007
1163
フロリダ州で 判事による
量刑手続に使われているものです
07:46
beingであること used in Floridaフロリダ州
during sentencing判決 by judges判定.
162
454194
3194
07:50
Bernardバーナード, on the left, the black man,
was scored得点する a 10 out of 10.
163
458411
3585
左側の黒人男性バーナードのスコアは
10点満点の10点で
07:55
Dylanディラン, on the right, 3 out of 10.
164
463179
2007
右の白人ディランは3点でした
07:57
10 out of 10, high高い riskリスク.
3 out of 10, low低い riskリスク.
165
465210
2501
10点中10点はハイリスクで
3点はローリスクです
08:00
They were bothどちらも brought持ってきた in
for drugドラッグ possession所持.
166
468598
2385
2人とも麻薬所持で逮捕され
どちらも前科はありましたが
08:03
They bothどちらも had records記録,
167
471007
1154
08:04
but Dylanディラン had a felony重罪
168
472185
2806
3点のディランには重罪の前科があり
10点のバーナードにはありませんでした
08:07
but Bernardバーナード didn't.
169
475015
1176
08:09
This matters問題, because
the higher高い scoreスコア you are,
170
477818
3066
これが重要な理由は
スコアが高ければ高いほど
08:12
the more likelyおそらく you're beingであること given与えられた
a longerより長いです sentence.
171
480908
3473
刑期が長くなる
傾向があるからです
どうなっているのでしょう?
08:18
What's going on?
172
486294
1294
08:20
Dataデータ laundering洗濯.
173
488526
1332
これは「データ・ロンダリング」です
08:22
It's a processプロセス by whichどの
technologists技術者 hide隠す ugly醜い truths真実
174
490930
4427
このプロセスを通して 技術者が
ブラックボックスのようなアルゴリズムの内部に
08:27
inside内部 black boxボックス algorithmsアルゴリズム
175
495381
1821
醜い現実を隠し
08:29
and call them objective目的;
176
497226
1290
「客観的」とか
「能力主義」と称しているんです
08:31
call them meritocratic能力主義的な.
177
499320
1568
08:35
When they're secret秘密,
important重要 and destructive破壊的,
178
503118
2385
秘密にされている
重要で破壊的なアルゴリズムを
08:37
I've coined造られた a term期間 for these algorithmsアルゴリズム:
179
505527
2487
私はこんな名前で呼んでいます
08:40
"weapons兵器 of math数学 destruction破壊."
180
508038
1999
「大量破壊数学」です
08:42
(Laughter笑い)
181
510061
1564
(笑)
08:43
(Applause拍手)
182
511649
3054
(拍手)
08:46
They're everywhereどこにでも,
and it's not a mistake間違い.
183
514727
2354
それは間違いなく
どこにでも存在します
民間企業が 私的なアルゴリズムを
私的な目的で
08:49
These are privateプライベート companies企業
building建物 privateプライベート algorithmsアルゴリズム
184
517695
3723
08:53
for privateプライベート ends終わり.
185
521442
1392
作っているんです
08:55
Even the onesもの I talked話した about
for teachers教師 and the publicパブリック police警察,
186
523214
3214
先程お話しした
教員や警察向けのアルゴリズムでさえ
民間企業が制作し
08:58
those were built建てられた by privateプライベート companies企業
187
526452
1869
政府機関に販売したものです
09:00
and sold売った to the government政府 institutions機関.
188
528345
2231
09:02
They call it their彼らの "secret秘密 sauceソース" --
189
530600
1873
アルゴリズムは
「秘伝のタレ」だから
09:04
that's why they can't tell us about it.
190
532497
2128
公開できないと
企業側は主張します
09:06
It's alsoまた、 privateプライベート powerパワー.
191
534649
2220
また アルゴリズムは私的な権力です
09:09
They are profiting利益をもたらす for wieldingウィリング
the authority権限 of the inscrutable不可解な.
192
537924
4695
この謎めいた存在が持つ権威を振りかざして
企業は利益を得ています
ただ こう思うかもしれません
アルゴリズムが民間のものなら
09:17
Now you mightかもしれない think,
since以来 all this stuffもの is privateプライベート
193
545114
2934
09:20
and there's competitionコンペ,
194
548072
1158
競争があるので
09:21
maybe the free無料 market市場
will solve解決する this problem問題.
195
549254
2306
自由市場の力が
問題を解決するのではないか…
09:23
It won't〜されません.
196
551584
1249
でも そうはいきません
09:24
There's a lot of moneyお金
to be made in unfairness不公平.
197
552857
3120
不公平は大きな利益を
生み出しますから
09:29
Alsoまた、, we're not economic経済的 rationalラショナル agentsエージェント.
198
557127
3369
それに我々人間は
合理的経済人ではなく
09:33
We all are biased偏った.
199
561031
1292
誰もがバイアスを持っています
09:34
We're all racist人種差別主義者 and bigoted股間
in ways方法 that we wish望む we weren'tなかった,
200
562960
3377
私たちは 自分が望みも
気づきもしない形で
差別や偏見を持っているのです
09:38
in ways方法 that we don't even know.
201
566361
2019
09:41
We know this, thoughしかし, in aggregate集計,
202
569352
3081
全体を俯瞰して見ると
そのことがわかります
09:44
because sociologists社会学者
have consistently一貫して demonstrated実証済み this
203
572457
3220
なぜなら社会学者が
考案した実験を通して
一貫して実証されてきたからです
09:47
with these experiments実験 they buildビルドする,
204
575701
1665
09:49
where they send送信する a bunch
of applicationsアプリケーション to jobsジョブ out,
205
577390
2568
その実験では研究者が
履歴書を大量に送付しました
09:51
equally均等に qualified修飾された but some
have white-soundingホワイト・サウンディング names名前
206
579982
2501
同じように資格は満たしていますが
一部は白人っぽい名前で
一部は黒人っぽい名前
09:54
and some have black-sounding黒音 names名前,
207
582507
1706
そして結果は
常にがっかりするものでした
09:56
and it's always disappointing失望する,
the results結果 -- always.
208
584237
2694
09:59
So we are the onesもの that are biased偏った,
209
587510
1771
つまりバイアスがあるのは私たちで
10:01
and we are injecting注射する those biasesバイアス
into the algorithmsアルゴリズム
210
589305
3429
どんなデータを集め選ぶかによって
そのバイアスをアルゴリズムに
注入しているんです
10:04
by choosing選択 what dataデータ to collect集める,
211
592758
1812
10:06
like I chose選択した not to think
about ramenラーメン noodles --
212
594594
2743
これは私がインスタントラーメンを
含めないのと同じで
不適切だと決めたのは
私なんです
10:09
I decided決定しました it was irrelevant無関係.
213
597361
1625
10:11
But by trusting信頼する the dataデータ that's actually実際に
pickingピッキング up on past過去 practices実践
214
599010
5684
しかし実際に過去の行動を元にした
データを信頼し
成功の基準を恣意的に選びながら
10:16
and by choosing選択 the definition定義 of success成功,
215
604718
2014
10:18
how can we expect期待する the algorithmsアルゴリズム
to emerge出現する unscathed無傷?
216
606756
3983
どうして欠陥のないアルゴリズムを
期待できるのでしょう?
10:22
We can't. We have to checkチェック them.
217
610763
2356
それは無理です
チェックが必要なんです
公平性を確かめる必要があるんです
10:26
We have to checkチェック them for fairness公平.
218
614165
1709
10:27
The good newsニュース is,
we can checkチェック them for fairness公平.
219
615898
2711
幸い公正性は確認できます
アルゴリズムに問いただせば
10:30
Algorithmsアルゴリズム can be interrogated尋問された,
220
618633
3352
常に本当のことしか
答えないので
10:34
and they will tell us
the truth真実 everyすべて time.
221
622009
2034
10:36
And we can fix修正する them.
We can make them better.
222
624067
2493
修正を加え より良いものに
作り替えられます
10:38
I call this an algorithmicアルゴリズム的 audit監査,
223
626584
2375
私は これを
アルゴリズム監査と呼んでいます
10:40
and I'll walk歩く you throughを通して it.
224
628983
1679
その手順を説明しましょう
10:42
First, dataデータ integrity完全性 checkチェック.
225
630686
2196
まずはデータ完全性チェックです
10:46
For the recidivism再犯 riskリスク
algorithmアルゴリズム I talked話した about,
226
634132
2657
先ほど登場した
再犯リスク・アルゴリズムの場合—
10:49
a dataデータ integrity完全性 checkチェック would mean
we'd結婚した have to come to terms条項 with the fact事実
227
637582
3573
データ完全性チェックとは
事実を直視するという意味になるでしょう
10:53
that in the US, whites and blacks
smoke potポット at the same同じ rateレート
228
641179
3526
例えばアメリカでは 大麻の使用率は
白人と黒人で同じなのに
10:56
but blacks are far遠い more likelyおそらく
to be arrested逮捕された --
229
644729
2485
逮捕される割合は
黒人の方がはるかに高く
10:59
four4つの or five times more likelyおそらく,
depending依存する on the areaエリア.
230
647238
3184
地域によっては
4〜5倍になるという事実があります
11:03
What is that biasバイアス looking like
in other crime犯罪 categoriesカテゴリ,
231
651317
2826
このようなバイアスは
他の犯罪では どんな形で表れ
私たちは それを
どう説明したらいいでしょうか?
11:06
and how do we accountアカウント for it?
232
654167
1451
次に 私たちは成功の基準について
考えなければなりません
11:08
Second二番目, we should think about
the definition定義 of success成功,
233
656162
3039
11:11
audit監査 that.
234
659225
1381
その基準を監査するのです
11:12
Remember忘れない -- with the hiring雇用
algorithmアルゴリズム? We talked話した about it.
235
660630
2752
採用アルゴリズムを
思い出してください
勤続年数が4年で
昇進1回の人はどうだったでしょう
11:15
Someone誰か who stays滞在する for four4つの years
and is promoted昇進した once一度?
236
663406
3165
その人は成功した社員でしょうが
11:18
Well, that is a successful成功した employee従業員,
237
666595
1769
11:20
but it's alsoまた、 an employee従業員
that is supportedサポートされる by their彼らの culture文化.
238
668388
3079
同時に その会社の文化に
支持されたとも言えます
ただ その文化に
バイアスがあるかもしれないので
11:24
That said, alsoまた、 it can be quiteかなり biased偏った.
239
672089
1926
11:26
We need to separate別々の those two things.
240
674039
2065
この2つは分けて考える必要があります
11:28
We should look to
the blindブラインド orchestraオーケストラ auditionオーディション
241
676128
2426
一つの例として オーケストラの
ブラインド・オーディションを見るべきでしょう
11:30
as an example.
242
678578
1196
一つの例として オーケストラの
ブラインド・オーディションを見るべきでしょう
11:31
That's where the people auditioningオーディション
are behind後ろに a sheetシート.
243
679798
2756
オーディションを受ける人は
衝立の向こうにいます
11:34
What I want to think about there
244
682946
1931
ここで注目したいのは
11:36
is the people who are listening聞いている
have decided決定しました what's important重要
245
684901
3417
審査員は 何が重要で
何が重要でないかを
あらかじめ決めて
11:40
and they've彼らは decided決定しました what's not important重要,
246
688342
2029
重要でないものに
惑わされないようにしている点です
11:42
and they're not getting取得
distracted気を散らす by that.
247
690395
2059
ブラインド・オーディションを
するようになって
11:44
When the blindブラインド orchestraオーケストラ
auditionsオーディション started開始した,
248
692961
2749
11:47
the number of women女性 in orchestrasオーケストラ
went行った up by a factor因子 of five.
249
695734
3444
女性がオーケストラに占める割合は
5倍に増えました
11:52
Next, we have to consider検討する accuracy正確さ.
250
700253
2015
次に正確性を吟味しなければなりません
11:55
This is where the value-added付加価値 modelモデル
for teachers教師 would fail失敗します immediatelyすぐに.
251
703233
3734
教員向けの付加価値モデルなら
すぐ落第になる項目です
11:59
No algorithmアルゴリズム is perfect完璧な, of courseコース,
252
707578
2162
当然 完璧なアルゴリズムなどないので
12:02
so we have to consider検討する
the errorsエラー of everyすべて algorithmアルゴリズム.
253
710620
3605
あらゆるアルゴリズムの
誤りを検討する必要があります
12:06
How oftenしばしば are there errorsエラー,
and for whom does this modelモデル fail失敗します?
254
714836
4359
誤りを起こす頻度は?
どんな相手だと そのモデルは機能しないのか?
12:11
What is the costコスト of that failure失敗?
255
719850
1718
失敗した時の損失規模は?
12:14
And finally最後に, we have to consider検討する
256
722434
2207
そして最後に考えなければならないのは
12:17
the long-term長期 effects効果 of algorithmsアルゴリズム,
257
725973
2186
アルゴリズムの長期的影響 つまり
12:20
the feedbackフィードバック loopsループ that are engendering生まれる.
258
728866
2207
それによって生じる
フィードバック・ループです
抽象的な話に
聞こえるかもしれませんが
12:23
That sounds abstract抽象,
259
731586
1236
12:24
but imagine想像する if Facebookフェイスブック engineersエンジニア
had considered考慮される that
260
732846
2664
もしFacebookのエンジニアが
友人の投稿だけを表示する前に
フィードバック・ループの影響を
考慮していたらと考えてみてください
12:28
before they decided決定しました to showショー us
only things that our friends友達 had posted投稿された.
261
736270
4855
12:33
I have two more messagesメッセージ,
one for the dataデータ scientists科学者 out there.
262
741761
3234
伝えたいことは あと2つ
1つはデータサイエンティストに向けたものです
12:37
Dataデータ scientists科学者: we should
not be the arbitersアービタ of truth真実.
263
745450
3409
私たちデータサイエンティストが
真実を決めるべきではありません
12:41
We should be translators翻訳者
of ethical倫理的な discussions議論 that happen起こる
264
749520
3783
私たちは もっと広い社会に生じる
倫理的な議論を
解釈する存在であるべきです
12:45
in larger大きい society社会.
265
753327
1294
12:47
(Applause拍手)
266
755579
2133
(拍手)
12:49
And the rest残り of you,
267
757736
1556
そしてデータサイエンティスト以外の
皆さん—
12:52
the non-data非データ scientists科学者:
268
760011
1396
そしてデータサイエンティスト以外の
皆さん—
12:53
this is not a math数学 testテスト.
269
761431
1498
この状況は数学のテストではなく
12:55
This is a political政治的 fight戦い.
270
763632
1348
政治闘争なのです
12:58
We need to demandデマンド accountability説明責任
for our algorithmicアルゴリズム的 overlords大将.
271
766587
3907
専制君主のようなアルゴリズムに対して
私たちは説明を求める必要があります
13:04
(Applause拍手)
272
772118
1499
(拍手)
13:05
The era時代 of blindブラインド faith信仰
in big大きい dataデータ must必須 end終わり.
273
773641
4225
ビッグデータを盲信する時代は
終わらせるべきです
13:09
Thank you very much.
274
777890
1167
ありがとうございました
13:11
(Applause拍手)
275
779081
5303
(拍手)
Translated by Kazunori Akashi
Reviewed by Yasushi Aoki

▲Back to top

ABOUT THE SPEAKER
Cathy O'Neil - Mathematician, data scientist
Data skeptic Cathy O’Neil uncovers the dark secrets of big data, showing how our "objective" algorithms could in fact reinforce human bias.

Why you should listen

In 2008, as a hedge-fund quant, mathematician Cathy O’Neil saw firsthand how really really bad math could lead to financial disaster. Disillusioned, O’Neil became a data scientist and eventually joined Occupy Wall Street’s Alternative Banking Group.

With her popular blog mathbabe.org, O’Neil emerged as an investigative journalist. Her acclaimed book Weapons of Math Destruction details how opaque, black-box algorithms rely on biased historical data to do everything from sentence defendants to hire workers. In 2017, O’Neil founded consulting firm ORCAA to audit algorithms for racial, gender and economic inequality.

More profile about the speaker
Cathy O'Neil | Speaker | TED.com