ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com
TEDSummit

Zeynep Tufekci: Machine intelligence makes human morals more important

زینب توفکسی: ماشین‌های هوشمند، انسان‌های اخلاقمند را بیشتر با اهمیت می‌کند

Filmed:
1,648,711 views

هوشمندی ماشین اینجاست و ما در حال استفاده از آن برای تصمیم‌گیری درمورد موضوعات هستیم. در موارد پیچیده هوش مصنوعی رشد و پیشرفت می‌کنند، اما این رشد برای درک و حتی برای کنترل آن مشگل خواهد بود. در این سخنرانی اخطار آمیر، جامعه شناس تکنولوژی زینپ توفکسی توضیح می‌دهد که در مواردی که ما انتظار نداشتیم و یا آمادگی آن را نداریم چگونه هوشمندی ماشین می‌تواند شکست بخورد. او می‌گوید:"ما نمی‌توانیم مسئولیت هایمان را به ماشین واگذار کنیم. ما باید ارزش‌های انسانی و اخلاق انسانی را محکم نگه داریم."
- Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio

Double-click the English transcript below to play the video.

00:12
So, I startedآغاز شده my first jobکار
as a computerکامپیوتر programmerبرنامهنویس
0
739
4122
خب، من اولین شغلم را به عنوان یک
برنامه نویس کامپیوتر شروع کردم
00:16
in my very first yearسال of collegeکالج --
1
4885
1956
در اولین سال کالجم
00:18
basicallyاساسا, as a teenagerنوجوان.
2
6865
1507
در واقع، به عنوان یک نوجوان
00:20
Soonبه زودی after I startedآغاز شده workingکار کردن,
3
8889
1732
درست پس از شروع به کار در
00:22
writingنوشتن softwareنرم افزار in a companyشرکت,
4
10645
1610
یک شزکت به عنوان برنامه‌نویس کامپیوتر ،
00:24
a managerمدیر who workedکار کرد at the companyشرکت
cameآمد down to where I was,
5
12799
3635
یک مدیر که در همان جا کار می‌کرد
نزد من آمد،
00:28
and he whisperedزمزمه to me,
6
16458
1268
و با صدای آرام به من گفت:
00:30
"Can he tell if I'm lyingدروغ گویی?"
7
18229
2861
"او می تونه بگه اگه من دروغ بگم؟"
00:33
There was nobodyهيچ كس elseچیز دیگری in the roomاتاق.
8
21806
2077
در اتاق هیچ کسی وجود نداشت.
00:37
"Can who tell if you're lyingدروغ گویی?
And why are we whisperingزمزمه کردن?"
9
25032
4389
"کسی میتونه بگه اگه تو دروغ میگی؟
و چرا ما در حال پچ پچ کردن هستیم؟"
00:42
The managerمدیر pointedخاطر نشان
at the computerکامپیوتر in the roomاتاق.
10
30266
3107
مدیر کامپیوتر در اتاق را نشان داد.
00:45
"Can he tell if I'm lyingدروغ گویی?"
11
33397
3096
"او می‌تونه بگه اگه من دروغ بگم؟"
00:49
Well, that managerمدیر was havingداشتن
an affairامور with the receptionistمیزبان.
12
37613
4362
خب، آن مدیر رابطه نامشروع با منشی‌اش داشت.
00:53
(Laughterخنده)
13
41999
1112
(خنده حاضرین)
00:55
And I was still a teenagerنوجوان.
14
43135
1766
و من هم هنوز یک نوجوان بودم
00:57
So I whisper-shoutedزمزمه کرد back to him,
15
45447
2019
سپس من با صدای بلندی گفتم:
00:59
"Yes, the computerکامپیوتر can tell
if you're lyingدروغ گویی."
16
47490
3624
"بله، کامپیوتر می تونه بگه
اگه تو دروغ بگی"
01:03
(Laughterخنده)
17
51138
1806
(خنده حاضرین)
01:04
Well, I laughedخندید, but actuallyدر واقع,
the laugh'sخندیدن on me.
18
52968
2923
خب، من خندیدم، ولی در واقع،
خنده به خودم
01:07
Nowadaysامروزه, there are computationalمحاسباتی systemsسیستم های
19
55915
3268
امروزه، سامانه‌های محاسباتی وجود دارد
01:11
that can sussسوس out
emotionalعاطفی statesایالت ها and even lyingدروغ گویی
20
59207
3548
که حالت احساسی و حتی دروغ رو
از طریق تحلیل صورت انسان
01:14
from processingدر حال پردازش humanانسان facesچهره ها.
21
62779
2044
می تونه بفهمه
01:17
Advertisersتبلیغ کنندگان and even governmentsدولت ها
are very interestedعلاقه مند.
22
65248
4153
تبلیغ کننده‌ها و حتی دولت‌ها خیلی
جالبند.
01:22
I had becomeتبدیل شدن به a computerکامپیوتر programmerبرنامهنویس
23
70319
1862
من یه برنامه نویس کامپیوتر
شده بودم
01:24
because I was one of those kidsبچه ها
crazyدیوانه about mathریاضی and scienceعلوم پایه.
24
72205
3113
زیرا من یکی از آن بچه‌های دیوانه
ریاضی و علم بودم
01:27
But somewhereجایی alongدر امتداد the lineخط
I'd learnedیاد گرفتم about nuclearاتمی weaponsاسلحه,
25
75942
3108
اما در مسیر زندگی من در مورد
سلاح‌های هسته‌ای چیزهایی یادگرفتم‌،
01:31
and I'd gottenدریافت کردم really concernedنگران
with the ethicsاخلاق of scienceعلوم پایه.
26
79074
2952
و واقعا در مورد اخلاق علمی نگران شدم.
01:34
I was troubledمشکل دار.
27
82050
1204
من وحشت زده بودم
01:35
Howeverبا این حال, because of familyخانواده circumstancesشرایط,
28
83278
2641
به هر حال، به دلیل موقعیت خانواده‌ام
01:37
I alsoهمچنین neededمورد نیاز است to startشروع کن workingکار کردن
as soonبه زودی as possibleامکان پذیر است.
29
85943
3298
نیاز داشتم تا
در اسرع وقت- کارم را شروع کنم
01:41
So I thought to myselfخودم, hey,
let me pickانتخاب کنید a technicalفنی fieldرشته
30
89265
3299
خُب با خودم فکر کردم
بگذار تا یک رشته تکنیکی را بردارم
01:44
where I can get a jobکار easilyبه آسانی
31
92588
1796
که شغل راحتی باشه
01:46
and where I don't have to dealمعامله
with any troublesomeمشکل questionsسوالات of ethicsاخلاق.
32
94408
4018
و من با هیچ پرسش سخت اخلاقی
مواجه نشوم؟
01:51
So I pickedبرداشت computersکامپیوترها.
33
99022
1529
پس کامپیوترها را انتخاب کردم.
01:52
(Laughterخنده)
34
100575
1104
(خنده حاضرین)
01:53
Well, haهکتار, haهکتار, haهکتار!
All the laughsمی خندد are on me.
35
101703
3410
خب، ها، ها، ها!
همه خنده‌ها برای من هستند.
01:57
Nowadaysامروزه, computerکامپیوتر scientistsدانشمندان
are buildingساختمان platformsسیستم عامل ها
36
105137
2754
امروزه، دانشمندان کامپیوتر
در حال ساخت یک سیستم عامل هستند
01:59
that controlکنترل what a billionبیلیون
people see everyهرکدام day.
37
107915
4209
که آنچه یک میلیارد آدم
هر روز می‌بینند روکنترل می‌کنه
02:05
They're developingدر حال توسعه carsماشین ها
that could decideتصميم گرفتن who to runاجرا کن over.
38
113052
3822
آنها خودروهایی را ساختند که می‌توانند
تصمیم بگیرند که چه کسی زیر بگیرند.
02:09
They're even buildingساختمان machinesماشین آلات, weaponsاسلحه,
39
117707
3213
آن ها حتی در حال ساخت ماشین‌هایی هستند،
تسلیحاتی
02:12
that mightممکن killکشتن humanانسان beingsموجودات in warجنگ.
40
120944
2285
که ممکنه آدم ها رو در جنگ بکشه.
02:15
It's ethicsاخلاق all the way down.
41
123253
2771
همه اینها سقوط اخلاق‌ است.
02:19
Machineدستگاه intelligenceهوش is here.
42
127183
2058
هوشمندی ماشین اینجاست.
02:21
We're now usingاستفاده كردن computationمحاسبات
to make all sortمرتب سازی of decisionsتصمیمات,
43
129823
3474
ما در حال استفاده از محاسباتی
هستیم که همه تصمیمات ما را مرتب می‌کنه،
02:25
but alsoهمچنین newجدید kindsانواع of decisionsتصمیمات.
44
133321
1886
همچنین نوع‌های مختلف تصمیم‌ها را مرتب می‌کند.
02:27
We're askingدرخواست questionsسوالات to computationمحاسبات
that have no singleتنها right answersپاسخ ها,
45
135231
5172
ما سوالاتی را می پرسیم هستیم که
هیچ جواب معین درستی ندارند،
02:32
that are subjectiveذهنی
46
140427
1202
آنها ذهنی هستند
02:33
and open-endedباز به پایان رسید and value-ladenارزش لعنتی.
47
141653
2325
و بدون جواب معین
و پر محتوا هستند.
02:36
We're askingدرخواست questionsسوالات like,
48
144002
1758
ما پرسش‌هایی شبیه اینها را می‌پرسیم:
02:37
"Who should the companyشرکت hireاستخدام?"
49
145784
1650
«شرکت کی باید استخدام کند؟»
02:40
"Whichکدام updateبه روز رسانی from whichکه friendدوست
should you be shownنشان داده شده?"
50
148096
2759
«بکدام بروزرسانی از کدام دوست
باید نشان داده شود؟»
02:42
"Whichکدام convictمحکوم کردن is more
likelyاحتمال دارد to reoffendمجازات کردن?"
51
150879
2266
«کدام متهم بیشتر شبیه خلافکارهاست؟»
02:45
"Whichکدام newsاخبار itemآیتم or movieفیلم سینما
should be recommendedتوصیه شده to people?"
52
153514
3054
«کدام بخش خبرها یا فیلم باید به مردم
توصیه بشه؟»
02:48
Look, yes, we'veما هستیم been usingاستفاده كردن
computersکامپیوترها for a while,
53
156592
3372
ببیند، بله، ما مدت‌هاست است که در حال
استفاده از کامپیوترها هستیم
02:51
but this is differentناهمسان.
54
159988
1517
اما این بار فرق داره.
02:53
This is a historicalتاریخی twistپیچ,
55
161529
2067
این یک چرخش تاریخی است،
02:55
because we cannotنمی توان anchorلنگر computationمحاسبات
for suchچنین subjectiveذهنی decisionsتصمیمات
56
163620
5337
زیرا ما نمی‌توانیم محاسبات را
برای تصمیم‌های ذهنی نگه داریم
03:00
the way we can anchorلنگر computationمحاسبات
for flyingپرواز airplanesهواپیما, buildingساختمان bridgesپل ها,
57
168981
5420
مانند روش محاسباتی
برای پرواز هواپیما، ساخت پل‌ها
03:06
going to the moonماه.
58
174425
1259
و به ماه رفتن.
03:08
Are airplanesهواپیما saferامن تر?
Did the bridgeپل swayنوسان and fallسقوط?
59
176449
3259
آیا هواپیماها امن هستند؟
آیا این پل فرو می‌ریزد؟
03:11
There, we have agreed-uponتوافق شده,
fairlyمنصفانه clearروشن است benchmarksمعیارهای,
60
179732
4498
این چنین است، ما منصفانه و براساس معیارهای
روشن توافق کردیم
03:16
and we have lawsقوانین of natureطبیعت to guideراهنما us.
61
184254
2239
و ما قوانین طبیعت را برای راهنمایی داریم
03:18
We have no suchچنین anchorsلنگر and benchmarksمعیارهای
62
186517
3394
ما چیزی شبیه مجری ها و معیارها
برای تصمیم گیری
03:21
for decisionsتصمیمات in messyبی نظم humanانسان affairsامور.
63
189935
3963
درکارهای انسان آشفته نداریم.
03:25
To make things more complicatedبغرنج,
our softwareنرم افزار is gettingگرفتن more powerfulقدرتمند,
64
193922
4237
برای انجام کارهای پیچیده‌تر،
تا نرم افزارهای ما بیشتر قدرتمند می‌شوند،
03:30
but it's alsoهمچنین gettingگرفتن lessکمتر
transparentشفاف and more complexپیچیده.
65
198183
3773
اما این می تواند کمتر شفاف
و بیشتر پیچیده باشد.
03:34
Recentlyبه تازگی, in the pastگذشته decadeدهه,
66
202542
2040
اخیرا، در دهه گذشته
03:36
complexپیچیده algorithmsالگوریتم ها
have madeساخته شده great stridesگام ها.
67
204606
2729
الگوریتم های پیچیده
با گام‌های بلندی ساخته شده‌اند.
03:39
They can recognizeتشخیص humanانسان facesچهره ها.
68
207359
1990
آنها می‌توانند صورت انسان را
بازشناسایی کنند.
03:41
They can decipherرمزگشایی handwritingدست خط.
69
209985
2055
آنها می‌توانند دست خط را تشخیص بدهند.
03:44
They can detectتشخیص creditاعتبار cardکارت fraudتقلب
70
212436
2066
آنها می‌توانند تقلب در کارت اعتباری را
کشف کنند
03:46
and blockمسدود کردن spamهرزنامه ها
71
214526
1189
و اسپم‌ها را مسدود کنند
03:47
and they can translateترجمه کردن betweenبین languagesزبان ها.
72
215739
2037
و آنها می‌توانند زبان‌ها را ترجمه کنند،
03:49
They can detectتشخیص tumorsتومورها in medicalپزشکی imagingتصویربرداری.
73
217800
2574
می توانند تومورها را در تصاویر پزشکی
کشف کنند.
03:52
They can beatضرب و شتم humansانسان in chessشطرنج and Go.
74
220398
2205
آنها می‌توانند در بازیهای
شطرنج و گو از آدمها ببرند.
03:55
Much of this progressپیش رفتن comesمی آید
from a methodروش calledبه نام "machineدستگاه learningیادگیری."
75
223264
4504
بیشتر این پیشرفت‌ها از روشی به نام
"یادگیری ماشین" آمده‌اند.
04:00
Machineدستگاه learningیادگیری is differentناهمسان
than traditionalسنتی programmingبرنامه نويسي,
76
228175
3187
یادگیری ماشین با برنامه نویسی سنتی
متفاوت هست،
04:03
where you give the computerکامپیوتر
detailedدقیق, exactدقیق, painstakingسخت گیرانه instructionsدستورالعمل ها.
77
231386
3585
که به کامپیوتر جزئیات دقیق
دستورات پر زحمت را میدهید.
04:07
It's more like you take the systemسیستم
and you feedخوراک it lots of dataداده ها,
78
235378
4182
این بیشتر شبیه اینه که شما یک سیستم
گرفته‌اید و اطلاعات زیادی به آن می‌خورانید
04:11
includingشامل unstructuredبدون ساختار dataداده ها,
79
239584
1656
شامل اطلاعات بدون ساختار،
04:13
like the kindنوع we generateتولید کنید
in our digitalدیجیتال livesزندگی می کند.
80
241264
2278
مانند اطلاعاتی که ما در زندگی دیجیتال خود
تولید می‌کنیم.
04:15
And the systemسیستم learnsیاد میگیرد
by churningکوبیدن throughاز طریق this dataداده ها.
81
243566
2730
و سیستمی که بوسیله گردش در بین اطلاعات
یاد میگیرد.
04:18
And alsoهمچنین, cruciallyبسیار مهم است,
82
246669
1526
و همچنین بحرانی
04:20
these systemsسیستم های don't operateکار کن
underزیر a single-answerتک پاسخ logicمنطق.
83
248219
4380
آن سیستم‌هایی که زیر یک پاسخ سیگنال
منطقی عمل نمی کنند
04:24
They don't produceتولید کردن a simpleساده answerپاسخ;
it's more probabilisticاحتمالاتی:
84
252623
2959
آن ها یک پاسخ ساده تولید نمی کنند
این ها بیشتر "احتمال" هستند
04:27
"This one is probablyشاید more like
what you're looking for."
85
255606
3483
"این یک احتمالی است که بیشتر شبیه
آنچه شما دنبال آن هستید "
04:32
Now, the upsideبالا رفتن is:
this methodروش is really powerfulقدرتمند.
86
260023
3070
حالا، بالاتر این است که: این شیوه
واقعا قدرتمند است.
04:35
The headسر of Google'sگوگل AIAI systemsسیستم های calledبه نام it,
87
263117
2076
رییس سیستم‌های هوش مصنوعی (AI) گوگل
این را نام گذاری کرد:
04:37
"the unreasonableغیر منطقی effectivenessاثربخشی of dataداده ها."
88
265217
2197
"اثر غیر منطقی اطلاعات"
04:39
The downsideنزولی is,
89
267791
1353
قسمت بدترش این است که:
04:41
we don't really understandفهمیدن
what the systemسیستم learnedیاد گرفتم.
90
269738
3071
ما واقعا نمی‌فهمیم
سیستم چه یاد می‌گیرد.
04:44
In factواقعیت, that's its powerقدرت.
91
272833
1587
در حقیقت این قدرت آن است.
04:46
This is lessکمتر like givingدادن
instructionsدستورالعمل ها to a computerکامپیوتر;
92
274946
3798
این کمتر شبیهِ دادنِ دستورالعمل
به کامپیوتر است،
04:51
it's more like trainingآموزش
a puppy-machine-creatureتوله سگ ماشین موجود
93
279200
4064
این بیشتر شبیه یاد دادن به یک
توله ماشین زندهاست
04:55
we don't really understandفهمیدن or controlکنترل.
94
283288
2371
ما واقعا نمی‌فهمیم و کنترل نمی‌کنیم.
04:58
So this is our problemمسئله.
95
286362
1551
خب این مشکل ماست.
05:00
It's a problemمسئله when this artificialمصنوعی
intelligenceهوش systemسیستم getsمی شود things wrongاشتباه.
96
288427
4262
این یک مشکل است وقتی که سیستم هوش مصنوعی
چیزها را اشتباه یاد میگیرد.
05:04
It's alsoهمچنین a problemمسئله
when it getsمی شود things right,
97
292713
3540
این همچنین یک مشکل است وقتی که
این چیزها را درست یاد میگیرد،
05:08
because we don't even know whichکه is whichکه
when it's a subjectiveذهنی problemمسئله.
98
296277
3628
زیرا ما حتی نمی دانیم کدام به کدام است
وقتی که این یک مشکل درونی است.
05:11
We don't know what this thing is thinkingفكر كردن.
99
299929
2339
ما نمی‌دانیم در حال فکر کردن
به چه چیزی است
05:15
So, considerدر نظر گرفتن a hiringاستخدام algorithmالگوریتم --
100
303493
3683
یک الگوریتم استخدام را فرض کنید--
05:20
a systemسیستم used to hireاستخدام people,
usingاستفاده كردن machine-learningفراگیری ماشین systemsسیستم های.
101
308123
4311
یک سیستمی که مردم را با استفاده از
سیستم یادگیری ماشین استخدام می کند.
05:25
Suchچنین a systemسیستم would have been trainedآموزش دیده
on previousقبلی employees'کارکنان dataداده ها
102
313052
3579
مانند یک سیستمی که بر اساس اطلاعات
کارمندان قبلی آموزش دیده شده است
05:28
and instructedدستور داد to find and hireاستخدام
103
316655
2591
و دستور دارد که پیدا کند و استخدام کند
05:31
people like the existingموجود است
highبالا performersهنرمندان in the companyشرکت.
104
319270
3038
مردمی که بهروری بالایی در شرکت
دارند.
05:34
Soundsصدا good.
105
322814
1153
به نظر خوب میاد.
05:35
I onceیک بار attendedحضور داشتند a conferenceکنفرانس
106
323991
1999
من یک بار در کنفرانسی حضور داشتم
05:38
that broughtآورده شده togetherبا یکدیگر
humanانسان resourcesمنابع managersمدیران and executivesمدیران,
107
326014
3125
که مدیران منابع انسانی و مدیران اجرایی
دور هم جمع شده بودند،
05:41
high-levelسطح بالا people,
108
329163
1206
افراد رده بالای شرکت‌ها
05:42
usingاستفاده كردن suchچنین systemsسیستم های in hiringاستخدام.
109
330393
1559
که از این سیستم‌های برای استخدام
استفاده می کردند.
05:43
They were superفوق العاده excitedبرانگیخته.
110
331976
1646
آنها خیلی هیجان زده بودند
05:45
They thought that this would make hiringاستخدام
more objectiveهدف، واقعگرایانه, lessکمتر biasedجانبدارانه,
111
333646
4653
آنها فکر می کردند که این استخدام را بیشتر هدفمند
و کمتر مغروضانه خواهند بود،
05:50
and give womenزنان
and minoritiesاقلیت ها a better shotشات
112
338323
3000
و به خانم ها و اقلیت
یک شانس بهتری میدهد
05:53
againstدر برابر biasedجانبدارانه humanانسان managersمدیران.
113
341347
2188
بر خلاف غرض‌ورزی مدیران منابع انسانی
05:55
And look -- humanانسان hiringاستخدام is biasedجانبدارانه.
114
343559
2843
ببینید--
استخدام افراد غرض ورزانه است.
05:59
I know.
115
347099
1185
من میدانم.
06:00
I mean, in one of my earlyزود jobsشغل ها
as a programmerبرنامهنویس,
116
348308
3005
منظورم اینه، در اولین شغل من به عنوان
برنامه نویس
06:03
my immediateفوری managerمدیر would sometimesگاه گاهی
come down to where I was
117
351337
3868
مدیر بخش من گاهی اوقات
06:07
really earlyزود in the morningصبح
or really lateدیر است in the afternoonبعد از ظهر,
118
355229
3753
در اول صبح یا آخر عصر پیش من می‌آمد
06:11
and she'dاو می خواهد say, "ZeynepZeynep,
let's go to lunchناهار!"
119
359006
3062
و میگفت: "زینب بیا بریم ناهار"
06:14
I'd be puzzledگیج شدم by the weirdعجیب و غریب timingزمان سنجی.
120
362724
2167
من به خاطر زمان‌های عجیب گیج می‌شدم
06:16
It's 4pmساعت. Lunchناهار?
121
364915
2129
الان ساعت ۴ است، ناهار؟
06:19
I was brokeشکست, so freeرایگان lunchناهار. I always wentرفتی.
122
367068
3094
من شکست می‌خوردم
من همیشه برای ناهار مجانی می‌رفتم
06:22
I laterبعد realizedمتوجه شدم what was happeningاتفاق می افتد.
123
370618
2067
بعدها فهمیدم که چه اتفاقی می‌افتاد
06:24
My immediateفوری managersمدیران
had not confessedاعتراف کرد to theirخودشان higher-upsبالاترین
124
372709
4546
مدیران بالایی من در انتخابشان برای استخدام
06:29
that the programmerبرنامهنویس they hiredاستخدام شده
for a seriousجدی jobکار was a teenنوجوان girlدختر
125
377279
3113
یک دختر نوجوان که کفش کتانی
و جین در محل کار می‌پوشید
06:32
who woreبه تن کرد jeansشلوار جین and sneakersکفش ورزشی to work.
126
380416
3930
برای انجام یک کار جدی
اشتباه نکرده بودند.
06:37
I was doing a good jobکار,
I just lookedنگاه کرد wrongاشتباه
127
385174
2202
من خوب کار می‌کردم،
اما به نظرمیآمد که من مناسب نیستم
06:39
and was the wrongاشتباه ageسن and genderجنسیت.
128
387400
1699
سن و جنسیتم نیز اشتباه بود.
06:41
So hiringاستخدام in a gender-جنسيت- and race-blindمسابقه کور way
129
389123
3346
خُب نادیده گرفتن شدن جنسیت و نژاد من
06:44
certainlyقطعا soundsبرای تلفن های موبایل good to me.
130
392493
1865
قطعا چیزی خوبی برای من بود.
06:47
But with these systemsسیستم های,
it is more complicatedبغرنج, and here'sاینجاست why:
131
395031
3341
اما با این سیستم ها
بغرنج‌تر و پیچیده‌تر شده و دلیلیش اینجاست:
06:50
Currentlyدر حال حاضر, computationalمحاسباتی systemsسیستم های
can inferنتیجه گیری all sortsانواع of things about you
132
398968
5791
اخیرا، سیستم‌های محاسبه‌گر می‌توانند
به همه چیزهای شما
06:56
from your digitalدیجیتال crumbsخرده های,
133
404783
1872
از طریق خرده اطلاعات
دیجیتالی شما پی‌ببرند،
06:58
even if you have not
disclosedافشا شده those things.
134
406679
2333
حتی اگر شما آن چیزها را فاش نکرده باشید.
07:01
They can inferنتیجه گیری your sexualجنسیت orientationگرایش,
135
409506
2927
آنها به گرایش‌های جنسی‌تان ،
07:04
your personalityشخصیت traitsصفات,
136
412994
1306
ویژگی‌های شخصی‌تان،
07:06
your politicalسیاسی leaningsلاین ها.
137
414859
1373
دانسته‌های سیاسی‌تان پی‌ببرند.
07:08
They have predictiveپیش بینی powerقدرت
with highبالا levelsسطوح of accuracyدقت.
138
416830
3685
آنها قدرت پیش بینی با صحت بالایی را دارند.
07:13
Rememberیاد آوردن -- for things
you haven'tنه even disclosedافشا شده.
139
421362
2578
به یاد داشته باشید، برای چیزهایی که شما
حتی آنها را فاش نکرده‌اید
07:15
This is inferenceاستنتاج.
140
423964
1591
نتیجه گیری‌ و استنتاج است.
07:17
I have a friendدوست who developedتوسعه یافته
suchچنین computationalمحاسباتی systemsسیستم های
141
425579
3261
من یک دوستی دارم که سیستم های
محاسبه گری را توسعه می‌دهد
07:20
to predictپیش بینی the likelihoodاحتمال
of clinicalبالینی or postpartumپس از زایمان depressionافسردگی
142
428864
3641
تا شانس افسردگی بالینی یا بعد از وضع حمل
را پیش بینی کند
07:24
from socialاجتماعی mediaرسانه ها dataداده ها.
143
432529
1416
با استفاده از اطلاعات رسانه های اجتماعی
07:26
The resultsنتایج are impressiveچشمگیر.
144
434676
1427
نتیجه ها هیجان انگیز هستند.
07:28
Her systemسیستم can predictپیش بینی
the likelihoodاحتمال of depressionافسردگی
145
436492
3357
سیستمش احتمال افسردگی را
می‌توان
07:31
monthsماه ها before the onsetشروع of any symptomsعلائم --
146
439873
3903
ماه‌های قبل از شروع علائم
بیماری را پیش‌بینی کند--
07:35
monthsماه ها before.
147
443800
1373
ماه‌های قبل.
07:37
No symptomsعلائم, there's predictionپیش بینی.
148
445197
2246
هیچ علامتی از بیماری نیست،
ولی پیش بینی می‌شود.
07:39
She hopesامیدوارم it will be used
for earlyزود interventionمداخله. Great!
149
447467
4812
او امیدوار است بزودی این را برای مداخلات
(روانشناسی) استفاده کند . عالیه.
07:44
But now put this in the contextزمینه of hiringاستخدام.
150
452911
2040
اما حالا این در فضای استخدام قرار دهید.
07:48
So at this humanانسان resourcesمنابع
managersمدیران conferenceکنفرانس,
151
456027
3046
بنابراین در این کنفرانس منبع مدیران انسانی
07:51
I approachedنزدیک شدم a high-levelسطح بالا managerمدیر
in a very largeبزرگ companyشرکت,
152
459097
4709
من به یک مدیر سطح بالا
در یک شرکت بزرگ نزدیک شدم
07:55
and I said to her, "Look,
what if, unbeknownstunbeknownst to you,
153
463830
4578
و به او گفتم: "ببین، چه میشد اگر من برای
تو فردی ناشناخته می‌شدم؟"
08:00
your systemسیستم is weedingوجدان out people
with highبالا futureآینده likelihoodاحتمال of depressionافسردگی?
154
468432
6549
آیا سیستم تو در حال حذف مردم
با احتمال بالای افسردگی در آینده، است ؟
08:07
They're not depressedافسرده now,
just maybe in the futureآینده, more likelyاحتمال دارد.
155
475761
3376
آن ها الان افسرده نیستند، فقط شاید در
آینده به احتمال زیاد دچار افسردگی شوند.
08:11
What if it's weedingوجدان out womenزنان
more likelyاحتمال دارد to be pregnantباردار
156
479923
3406
یا اگر زنانی که احتمال دارد در یکی
دو سال آینده باردار شوند
08:15
in the nextبعد yearسال or two
but aren'tنه pregnantباردار now?
157
483353
2586
ولی الان حامله نیستد
را کنار گذارده شوند؟
08:18
What if it's hiringاستخدام aggressiveخشونت آمیز people
because that's your workplaceمحل کار cultureفرهنگ?"
158
486844
5636
اگر این افراد پرخاشکر را استخدام شوند
زیرا آن فرهنگ محیط کاریت است
08:25
You can't tell this by looking
at genderجنسیت breakdownsخرابی.
159
493173
2691
تو با استفاده از نگاه کردن به
تقسیم بندی جنسبت نمی توانی بگویی
08:27
Those mayممکن است be balancedمتعادل کننده.
160
495888
1502
آن ها ممکنه متعادل باشند.
08:29
And sinceاز آنجا که this is machineدستگاه learningیادگیری,
not traditionalسنتی codingبرنامه نویسی,
161
497414
3557
و چون این یادگیری ماشین است و
برنامه نویسی سنتی نیست
08:32
there is no variableمتغیر there
labeledبرچسب گذاری شده "higherبالاتر riskخطر of depressionافسردگی,"
162
500995
4907
هیچ متغیری وجود ندارد که
"بیشترین خطر افسردگی " نام گذاری شود
08:37
"higherبالاتر riskخطر of pregnancyبارداری,"
163
505926
1833
"بیشترین خطر حاملگی"
08:39
"aggressiveخشونت آمیز guy scaleمقیاس."
164
507783
1734
"مقیاس پرخاشگری مردان"
08:41
Not only do you not know
what your systemسیستم is selectingانتخاب کردن on,
165
509995
3679
نه تنها نمی دانست
چگونه سیستم شما، انتخاب می کنه
08:45
you don't even know
where to beginشروع to look.
166
513698
2323
شما حتی نمی دانی که
در کجا جستجو می‌کند
08:48
It's a blackسیاه boxجعبه.
167
516045
1246
این یک جعبه سیاه است.
08:49
It has predictiveپیش بینی powerقدرت,
but you don't understandفهمیدن it.
168
517315
2807
این قدرت پیش گویی دارد
اما شما این را نمی‌فهمی
08:52
"What safeguardsحفاظت," I askedپرسید:, "do you have
169
520486
2369
من پرسسیدم"حفاظت چیست؟"
08:54
to make sure that your blackسیاه boxجعبه
isn't doing something shadyسایه دار?"
170
522879
3673
« آیا باید مطمئن شوی که جعبه سیاه تان
کار مشکوکی انجام نمی‌دهد؟»
09:00
She lookedنگاه کرد at me as if I had
just steppedگام برداشت on 10 puppyتوله سگ tailsدم.
171
528863
3878
او به من به نگاه کرد مثل اینکه من
پا روی دُم ده تا توله گذاشتم!
09:04
(Laughterخنده)
172
532765
1248
(خنده حاضرین)
09:06
She staredخیره شدم at me and she said,
173
534037
2041
او به من خیره شد و گفت:
09:08
"I don't want to hearشنیدن
anotherیکی دیگر wordکلمه about this."
174
536556
4333
«نمی‌خوام کلمه دیگری در این باره بشنوم»
09:13
And she turnedتبدیل شد around and walkedراه می رفت away.
175
541458
2034
و او برگشت و قدم زنان دور شد.
09:16
Mindذهن you -- she wasn'tنبود rudeبی ادب.
176
544064
1486
به خاطر داشته باشید او بی‌ادب نبود.
09:17
It was clearlyبه وضوح: what I don't know
isn't my problemمسئله, go away, deathمرگ stareخیره شدن.
177
545574
6308
کاملا روشن بود با نگاهش می‌گفت: نمی‌دونم،
این مشکل من نیست، برو.
09:23
(Laughterخنده)
178
551906
1246
(خنده حاضرین)
09:25
Look, suchچنین a systemسیستم
mayممکن است even be lessکمتر biasedجانبدارانه
179
553862
3839
نگاه کنید، یک سیستم ممکن است
حتی کمتر جانبدارانه باشد
09:29
than humanانسان managersمدیران in some waysراه ها.
180
557725
2103
تا مدیران انسانی در همان زمینه.
09:31
And it could make monetaryپولی senseاحساس.
181
559852
2146
و این میتونه یک حس مالی ایجاد کنه
09:34
But it could alsoهمچنین leadسرب
182
562573
1650
اما این می‌تونه منجر بشه
09:36
to a steadyثابت but stealthyمخفی
shuttingتعطیل out of the jobکار marketبازار
183
564247
4748
به یک یکنواختی اما یواشکی بستن
بازار کار مردم
09:41
of people with higherبالاتر riskخطر of depressionافسردگی.
184
569019
2293
که با ریسک بالای افسردگی همراه هستند.
09:43
Is this the kindنوع of societyجامعه
we want to buildساختن,
185
571753
2596
آیا این نوع اجتماعی است
که ما می‌خواهیم بسازیم؟
09:46
withoutبدون even knowingدانستن we'veما هستیم doneانجام شده this,
186
574373
2285
بدون حتی دانستن اینکه ما این را
انجام دادیم
09:48
because we turnedتبدیل شد decision-makingتصمیم سازی
to machinesماشین آلات we don't totallyکاملا understandفهمیدن?
187
576682
3964
زیرا ما ساختن تصمیم را تبدیل کردیم
به ماشین که ما سرانجامش را نمی‌فهمیم
09:53
Anotherیکی دیگر problemمسئله is this:
188
581265
1458
و مسئله دیگر این است:
09:55
these systemsسیستم های are oftenغالبا trainedآموزش دیده
on dataداده ها generatedتولید شده است by our actionsاقدامات,
189
583314
4452
این سیستم ها اغلب روی اطلاعات تولید شده
توسط کارهای ما آموزش داده می‌شوند،
09:59
humanانسان imprintsimprints.
190
587790
1816
آثار به جای مانده از انسان.
10:02
Well, they could just be
reflectingمنعکس کننده our biasesتعصب ها,
191
590188
3808
خب، آنها فقط می‌توانند
تمایلات ما را منعکس کنند،
10:06
and these systemsسیستم های
could be pickingچیدن up on our biasesتعصب ها
192
594020
3593
و این سیستم‌های می‌توانند
تمایلات ما را انتخاب کنند
10:09
and amplifyingتقویت them
193
597637
1313
و آن را تقویت کرده
10:10
and showingنشان دادن them back to us,
194
598974
1418
و آن را دوباره به ما نشان دهند،
10:12
while we're tellingگفتن ourselvesخودمان,
195
600416
1462
در حالی که به خودمان می‌گویم،
10:13
"We're just doing objectiveهدف، واقعگرایانه,
neutralخنثی computationمحاسبات."
196
601902
3117
«ما فقط در حال بررسی هستیم.»
10:18
Researchersمحققان foundپیدا شد that on Googleگوگل,
197
606314
2677
محققان در شرکت گوگل دریافتند،
10:22
womenزنان are lessکمتر likelyاحتمال دارد than menمردان
to be shownنشان داده شده jobکار adsتبلیغات for high-payingبا پرداخت زیاد jobsشغل ها.
198
610134
5313
زنان نسبت به مردان احتمال کمتری دارد که
برای مشاغل با حقوق بالاتر قدام کنند.
10:28
And searchingجستجوکردن for African-Americanآفریقایی آمریکایی namesنام ها
199
616463
2530
و نام‌های آفریقایی-آمریکایی را که جستجو کنید
10:31
is more likelyاحتمال دارد to bringآوردن up adsتبلیغات
suggestingپیشنهاد میکنم criminalجنایی historyتاریخ,
200
619017
4706
احتمال بیشتر دارد که پیشینه جرم نشان دهد،
10:35
even when there is noneهیچ کدام.
201
623747
1567
حتی وقتی که واقعا جرمی وجود ندارد.
10:38
Suchچنین hiddenپنهان biasesتعصب ها
and black-boxجعبه سیاه algorithmsالگوریتم ها
202
626693
3549
مانند تمایلات پنهان و الگوریتم جعبه سیاه
10:42
that researchersمحققان uncoverبرملا کردن sometimesگاه گاهی
but sometimesگاه گاهی we don't know,
203
630266
3973
که گاهی محققات آن را تحت پوشش قرار نمی دهند
و ما از آن گاهی اطلاع نداریم.
10:46
can have life-alteringتغییر زندگی consequencesعواقب.
204
634263
2661
که می توانیم پر‌آمدهایی زندگی داشته باشد.
10:49
In Wisconsinویسکانسین, a defendantمدافع
was sentencedمحکوم شد to sixشش yearsسالها in prisonزندان
205
637958
4159
در ویسکانسین یک متهم به شش سال زندان
محکوم شد
10:54
for evadingفرار می کند the policeپلیس.
206
642141
1355
برای فرار از پلیس.
10:56
You mayممکن است not know this,
207
644824
1186
شما ممکنه این را ندانید،
10:58
but algorithmsالگوریتم ها are increasinglyبه طور فزاینده used
in paroleرمز عبور and sentencingمحکومیت decisionsتصمیمات.
208
646034
3998
اما الگوریتم به طور افزاینده‌ای در آزادی
مشروط و صدور حکم در حال استفاده هستند
11:02
He wanted to know:
How is this scoreنمره calculatedمحاسبه شد?
209
650056
2955
او می خواهد بداند:
چگونه این نمره محاسبه می شود؟
11:05
It's a commercialتجاری blackسیاه boxجعبه.
210
653795
1665
این یک جعبه سیاه تجاری است
11:07
The companyشرکت refusedرد to have its algorithmالگوریتم
be challengedبه چالش کشیده شد in openباز کن courtدادگاه.
211
655484
4205
شرکت درخواست اینکه الگوریتم
در دادگاه به چالش کشیده بشود را رد کرد.
11:12
But ProPublicaProPublica, an investigativeتحقیقی
nonprofitغیر انتفاعی, auditedحسابرسی شده that very algorithmالگوریتم
212
660396
5532
اما پروپابلیکا، یک موسسه تحقیقاتی
غیرانتفاعی خیلی از الگوریتم ها را
11:17
with what publicعمومی dataداده ها they could find,
213
665952
2016
با اطلاعات عمومی ای که آن ها می‌توانند
پیدا کنند بررسی می‌کنند.
11:19
and foundپیدا شد that its outcomesنتایج were biasedجانبدارانه
214
667992
2316
و دریافتند که این یک نتیجه از تمایلات بوده
11:22
and its predictiveپیش بینی powerقدرت
was dismalناراحت کننده, barelyبه سختی better than chanceشانس,
215
670332
3629
و این قدرت پیش‌بینی اشتباه،
نه فقظ شانسی( بلکه به عمد)
11:25
and it was wronglyاشتباه labelingبرچسب زدن
blackسیاه defendantsمتهمان as futureآینده criminalsجنایتکاران
216
673985
4416
و به طور اشتباه متهمان سیاه را به عنوان
مجرمان آینده دوبرابر نرخ مجرمان سفید
11:30
at twiceدو برابر the rateنرخ of whiteسفید defendantsمتهمان.
217
678425
3895
برچست گذاری کرده بود.
11:35
So, considerدر نظر گرفتن this caseمورد:
218
683891
1564
خب، به این مورد دقت کنید:
11:38
This womanزن was lateدیر است
pickingچیدن up her godsisterخواهر خوانده
219
686103
3852
این خانم برای برداشتن
دخترخوانده‌اش دیر رسید
11:41
from a schoolمدرسه in BrowardBroward Countyشهرستان, Floridaفلوریدا,
220
689979
2075
از یک مدرسه در بروارد ایالت فلوریدا،
11:44
runningدر حال اجرا down the streetخیابان
with a friendدوست of hersآن ها.
221
692757
2356
با دوستش از خیابان می دوید.
11:47
They spottedپابند an unlockedقفل شده است kid'sبچه ها bikeدوچرخه
and a scooterروروک مخصوص بچه ها on a porchحیاط
222
695137
4099
آن ها یک دوچرخه بچه و یک اسکوتر
روی ایوان که قفل نشده بود را نشان دادند
11:51
and foolishlyاحمقانه jumpedپرید on it.
223
699260
1632
و احمقانه روی آن پرید
11:52
As they were speedingسرعت بالا off,
a womanزن cameآمد out and said,
224
700916
2599
وقتی آنها در حال سرعت گرفتن بودند
یک زن آمد و گفت
11:55
"Hey! That's my kid'sبچه ها bikeدوچرخه!"
225
703539
2205
هی! این دوچرخه بچه من است
11:57
They droppedکاهش یافته است it, they walkedراه می رفت away,
but they were arrestedبازداشت شد.
226
705768
3294
آن ها دوچرخه را رها کردن و دور شدند
ولی آن ها دستگیر شدند
12:01
She was wrongاشتباه, she was foolishاحمقانه,
but she was alsoهمچنین just 18.
227
709086
3637
او اشتباه کرد و او احمق بود
ولی او تنها ۱۸ سال داشت
12:04
She had a coupleزن و شوهر of juvenileنوجوان misdemeanorsمعافیت مالیاتی.
228
712747
2544
او یک تعدادی جرم‌های کوچک داشت.
12:07
Meanwhileدر همین حال, that man had been arrestedبازداشت شد
for shopliftingفروشگاه اینترنتی in Home Depotانبار --
229
715808
5185
ضمنا، آن مرد برای سرقت از فروشگاه
هوم دیپو دستگیر شده بود--
12:13
85 dollars'دلار worthارزش of stuffچیز,
a similarمشابه pettyکوچک crimeجرم.
230
721017
2924
۸۵ دلار، که ارزشش به اندازه جرم کوچک بود.
12:16
But he had two priorقبل از
armedمسلح robberyسرقت convictionsاعتقادات.
231
724766
4559
اما او محکومیت دو سرقت مسلحانه داشت.
12:21
But the algorithmالگوریتم scoredبه ثمر رساند her
as highبالا riskخطر, and not him.
232
729955
3482
اما الگوریتم احتمال بالای جرم برای این زن
نشان می‌داد، و نه برای این مرد.
12:26
Two yearsسالها laterبعد, ProPublicaProPublica foundپیدا شد
that she had not reoffendedمجددا مجروح شد.
233
734746
3874
دو سال بعد، پروپابلیکا یافت
که این نباید در حبس باشد.
12:30
It was just hardسخت to get a jobکار
for her with her recordرکورد.
234
738644
2550
و با سایقه‌ای را که داشت
برای او پیدا کردن شغل مشگل بود.
12:33
He, on the other handدست, did reoffendمجازات کردن
235
741218
2076
از طرف دیگر این مرد زندانی شد
12:35
and is now servingخدمت an eight-yearهشت سال
prisonزندان termدوره for a laterبعد crimeجرم.
236
743318
3836
و برای گناه گذشته‌اش
برای هشت سال زندانی خواهد بود.
12:40
Clearlyبه وضوح, we need to auditحسابرسی our blackسیاه boxesجعبه ها
237
748088
3369
روشن است، ما نیاز داریم تا
جعبه سیاهمان را بازبینی و بررسی کنیم
12:43
and not have them have
this kindنوع of uncheckedبدون کنترل powerقدرت.
238
751481
2615
و نه آن ها را، بلکه این نوع
قدرت چک نشده را حسابرسی کنیم
12:46
(Applauseتشویق و تمجید)
239
754120
2879
(تشویق حضار)
12:50
Auditsحسابرسی are great and importantمهم,
but they don't solveحل all our problemsمشکلات.
240
758087
4242
بررسی و باربینی خوب و مهم است
اما آنها تمام مشکلات ما را حل نمی کنند.
12:54
Take Facebook'sفیس بوک powerfulقدرتمند
newsاخبار feedخوراک algorithmالگوریتم --
241
762353
2748
الگوریتم قدرت خبری فیسبوک
را در نظر بگیرید.
12:57
you know, the one that ranksصفوف everything
and decidesتصمیم میگیرد what to showنشان بده you
242
765125
4843
می‌دانید، کسی که همه چیز را رتبه بندی می‌کند
و تصمیم میگیرد که چه به شما نشان دهد
13:01
from all the friendsدوستان and pagesصفحات you followدنبال کردن.
243
769992
2284
از همه دوستان و همه
صفحه‌هایی که شما دنبال می‌کنید.
13:04
Should you be shownنشان داده شده anotherیکی دیگر babyعزیزم pictureعکس?
244
772898
2275
باید به شما عکس بچه‌ی دیگه را نشان دهد؟
13:07
(Laughterخنده)
245
775197
1196
(خنده)
13:08
A sullenمرده noteتوجه داشته باشید from an acquaintanceآشنایی?
246
776417
2596
یک یادداشت عبوس از یک آشنا؟
13:11
An importantمهم but difficultدشوار newsاخبار itemآیتم?
247
779449
1856
یک خبر مهم اما قسمت‌های سختش؟
13:13
There's no right answerپاسخ.
248
781329
1482
هیچ جواب درستی وجود ندارد.
13:14
Facebookفیس بوک optimizesبهینه سازی
for engagementنامزدی on the siteسایت:
249
782835
2659
فیس بوک برای مشغولیت بیشتر
در سایت بهینه شده :
13:17
likesدوست دارد, sharesسهام, commentsنظرات.
250
785518
1415
لایک، اشتراگ گذاری، کامنت
13:20
In Augustآگوست of 2014,
251
788168
2696
در آگوست ۲۰۱۴
13:22
protestsتظاهرات brokeشکست out in Fergusonفرگوسن, Missouriمیسوری,
252
790888
2662
در شهر فرگوست ایالت میسوری معترضان
13:25
after the killingکشتن of an African-Americanآفریقایی آمریکایی
teenagerنوجوان by a whiteسفید policeپلیس officerافسر,
253
793574
4417
بعد از کشتن یک نوجوان آفریقایی- آمریکایی
به وسیله یک پلیس سفید پوست
13:30
underزیر murkyتیره circumstancesشرایط.
254
798015
1570
زیر رویداد مبهم شورش کردند،
13:31
The newsاخبار of the protestsتظاهرات was all over
255
799974
2007
خبرهای معترضان در همه جا بود
13:34
my algorithmicallyالگوریتمی
unfilteredفیلتر نشده Twitterتوییتر feedخوراک,
256
802005
2685
الگورتیم من فید‌های تویتر را فیلتر نکرد
13:36
but nowhereهیچ جایی on my Facebookفیس بوک.
257
804714
1950
اما در فیس بوکم هیچ جا باز نبود.
13:39
Was it my Facebookفیس بوک friendsدوستان?
258
807182
1734
آیا اینها دوستان فیسبوکی من بودند؟
13:40
I disabledمعلول Facebook'sفیس بوک algorithmالگوریتم,
259
808940
2032
من الگوریتم فیسبوکم را
غیر فعال کردم،
13:43
whichکه is hardسخت because Facebookفیس بوک
keepsنگه می دارد wantingمیخواهم to make you
260
811472
2848
که سخت بود زیرا فیسبوک
خواسته های شما را حفظ میکند
13:46
come underزیر the algorithm'sالگوریتم controlکنترل,
261
814344
2036
تا شما را زیر کنترل الگوریتم ها نگه دارد،
13:48
and saw that my friendsدوستان
were talkingصحبت کردن about it.
262
816404
2238
و می بینید که دوستان من در حال
صحبت کردن درباره این حادثه بودند.
13:50
It's just that the algorithmالگوریتم
wasn'tنبود showingنشان دادن it to me.
263
818666
2509
این فقط الگوریتمی بود که این را
به من نشان من داد.
13:53
I researchedتحقیق this and foundپیدا شد
this was a widespreadبطور گسترده problemمسئله.
264
821199
3042
من تحقیق کردم و فهمیدم
که این یه مشکل شایع بود
13:56
The storyداستان of Fergusonفرگوسن
wasn'tنبود algorithm-friendlyالگوریتم دوستانه.
265
824265
3813
حادثه فرگوست یک الگوریتم دوستانه نبود.
14:00
It's not "likableدوست داشتنی."
266
828102
1171
دوست داشتنی نبود
14:01
Who'sچه کسی going to clickکلیک on "like?"
267
829297
1552
چه کسی می خواد تا
روی "like" کلیک کنید؟
14:03
It's not even easyآسان to commentاظهار نظر on.
268
831500
2206
این حتی ساده نیست
تا کامنتی روی آن قرار دهید.
14:05
Withoutبدون likesدوست دارد and commentsنظرات,
269
833730
1371
بدون "like" و کامنت
14:07
the algorithmالگوریتم was likelyاحتمال دارد showingنشان دادن it
to even fewerکمتر people,
270
835125
3292
احتمالا الگوریتم برای افراد
کمتری را نشان داده می‌شد،
14:10
so we didn't get to see this.
271
838441
1542
بنابراین ما نتوانستیم این را ببینیم
14:12
Insteadبجای, that weekهفته,
272
840946
1228
در عوض، آن هفته،
14:14
Facebook'sفیس بوک algorithmالگوریتم highlightedبرجسته شده this,
273
842198
2298
الگوریتم فیس بوک این را برجسته کرده بود:
14:16
whichکه is the ALSALS Iceیخ Bucketسطل Challengeچالش.
274
844520
2226
این چالش سطل آب یخ است.
14:18
Worthyارزشمند causeسبب می شود; dumpزباله iceیخ waterاب,
donateاهدا کن to charityخیریه, fine.
275
846770
3742
علت ارزش، خالی کردن آب یخ،
کمک به موسسه خیریه خوب است
14:22
But it was superفوق العاده algorithm-friendlyالگوریتم دوستانه.
276
850536
1904
اما این الگوریتم دوستانه عالی بود.
14:25
The machineدستگاه madeساخته شده this decisionتصمیم گیری for us.
277
853219
2613
که ماشین این تصمیم را برای ما گرفت.
14:27
A very importantمهم
but difficultدشوار conversationگفتگو
278
855856
3497
و خیلی مهم است اما گفتگوی سختی است
14:31
mightممکن have been smotheredخفه شدم,
279
859377
1555
ممکن است خفه شده باشد.
14:32
had Facebookفیس بوک been the only channelکانال.
280
860956
2696
آیا فیسبوک فقط یک کانال داشت؟
14:36
Now, finallyسرانجام, these systemsسیستم های
can alsoهمچنین be wrongاشتباه
281
864117
3797
خُب، این سیستم ها
می‌توانند اشتباه باشند
14:39
in waysراه ها that don't resembleشبیه به humanانسان systemsسیستم های.
282
867938
2736
در راه هایی که شباهت
به سیستم انسانی ندارد.
14:42
Do you guys rememberیاد آوردن Watsonواتسون,
IBM'sآی بی ام machine-intelligenceهوش مصنوعی systemسیستم
283
870698
2922
آیا شما واتسون، سیستم
ماشین هوشمند آی بی ام
14:45
that wipedپاک شده the floorکف
with humanانسان contestantsمسابقه on Jeopardyریشخند?
284
873644
3128
که با انسان مسابقه جوپرتری را داد
را به خاطر دارید؟
14:49
It was a great playerبازیکن.
285
877131
1428
واتسون بازیگر خوبی در مسابقه بود.
14:50
But then, for Finalفینال Jeopardyریشخند,
Watsonواتسون was askedپرسید: this questionسوال:
286
878583
3569
اما در آخرین جوپرتی، از واتسون پرسیده شد
14:54
"Its largestبزرگترین airportفرودگاه is namedتحت عنوان
for a Worldجهان Warجنگ IIدوم heroقهرمان,
287
882659
2932
«آیا بزرگترین فرودگاه که برای یک قهرمان
جنگ جهانی دوم نام گذاری شد"
14:57
its second-largestدومین بزرگترین
for a Worldجهان Warجنگ IIدوم battleنبرد."
288
885615
2252
این دومین فرودگاه بزرگ برای
مبارزه جنگ جهانی دوم نامگذاری شد.»
14:59
(Humsهوم Finalفینال Jeopardyریشخند musicموسیقی)
289
887891
1378
(...)
15:01
Chicagoشیکاگو.
290
889582
1182
شیکاگو.
15:02
The two humansانسان got it right.
291
890788
1370
دو فرد درست جواب دادند
15:04
Watsonواتسون, on the other handدست,
answeredجواب داد "Torontoتورنتو" --
292
892697
4348
واتسون در طرف دیگر پاسخ داد «تورنتو»--
15:09
for a US cityشهر categoryدسته بندی!
293
897069
1818
برای یک شهر آمریکایی!
15:11
The impressiveچشمگیر systemسیستم alsoهمچنین madeساخته شده an errorخطا
294
899596
2901
سیستم موثر همچنین یک اشتباه کرد
15:14
that a humanانسان would never make,
a second-graderدرجه دوم wouldn'tنمی خواهم make.
295
902521
3651
که یک فرد هیچ وقت این اشتباه را
نخواهد کرد، حتی یک کلاس دومی.
15:18
Our machineدستگاه intelligenceهوش can failشکست
296
906823
3109
ماشین هوشمند ما میتواند شکست بخورد
15:21
in waysراه ها that don't fitمناسب
errorخطا patternsالگوها of humansانسان,
297
909956
3100
در جاهایی که نمی تواند
الگوی خطای انسان ها را متناسب کند
15:25
in waysراه ها we won'tنخواهد بود expectانتظار
and be preparedآماده شده for.
298
913080
2950
در جاهایی که ما انتظار
و آمادگی برای آن نخواهیم داشت
15:28
It'dمی خواهم be lousyترسناک not to get a jobکار
one is qualifiedواجد شرایط for,
299
916054
3638
این نکبت بار خواهد بود که کسی
که واجد شرایط هست شفلی را نگیرد،
15:31
but it would tripleسه گانه suckمکیدن
if it was because of stackپشته overflowسرریز
300
919716
3727
اما سه برابر آن بدتر اینکه به دلیل خرده رفتارها
15:35
in some subroutineزیرمجموعه.
301
923467
1432
در روال عادی زندگی فرد آن شغل را نگیرد.
15:36
(Laughterخنده)
302
924923
1579
(خنده حضار)
15:38
In Mayممکن است of 2010,
303
926526
2786
در ماه می ۲۰۱۰،
15:41
a flashفلاش crashسقوط on Wallدیوار Streetخیابان
fueledسوختن by a feedbackبازخورد loopحلقه
304
929336
4044
یک خرابی کوتاه مدت ناشی
از یک حلقه فیدبک تقویت شد در وال استریت
15:45
in Wallدیوار Street'sخیابان "sellفروش" algorithmالگوریتم
305
933404
3028
در الگوریتم« فروش» وال استریت
15:48
wipedپاک شده a trillionتریلیون dollarsدلار
of valueارزش in 36 minutesدقایق.
306
936456
4184
یک تریلیون دلار ارزش را
در ۳۶ دقیقه از بین برد.
15:53
I don't even want to think
what "errorخطا" meansبه معنای
307
941722
2187
من حتی نمی‌خوام در مورد
معنی‌های «خطا»
15:55
in the contextزمینه of lethalمرگبار
autonomousخود مختار weaponsاسلحه.
308
943933
3589
در زمینه سلاح های کشنده خودکار فکر کنم.
16:01
So yes, humansانسان have always madeساخته شده biasesتعصب ها.
309
949894
3790
خب بله، انسان‌ها همیشه تمایلات را می‌سازند.
16:05
Decisionتصمیم گیری makersسازندگان and gatekeepersدروازه بانان,
310
953708
2176
تصمیم گیرنده‌ها و دربان‌ها
16:07
in courtsدادگاه ها, in newsاخبار, in warجنگ ...
311
955908
3493
در دادگاه ها و در خبر ها و در جنگ...
16:11
they make mistakesاشتباهات;
but that's exactlyدقیقا my pointنقطه.
312
959425
3038
آنها اشتباه می کنند،
اما این دقیقا نکته مورد نظر من است.
16:14
We cannotنمی توان escapeدر رفتن
these difficultدشوار questionsسوالات.
313
962487
3521
ما نمی توانیم از این سوالهای
مشگل فرارکنیم.
16:18
We cannotنمی توان outsourceبرون سپاری
our responsibilitiesمسئولیت ها to machinesماشین آلات.
314
966596
3516
ما نمی‌توانیم مسئولیت هایمان
را در قبال ماشین ها نادیده بگیریم.
16:22
(Applauseتشویق و تمجید)
315
970676
4208
(تشویق)
16:29
Artificialساختگی intelligenceهوش does not give us
a "Get out of ethicsاخلاق freeرایگان" cardکارت.
316
977089
4447
هوش مصنوعی نمی‌تواند به ما یک کارت
«خارج شدن از اخلاق به صورت رایگان» بدهد
16:34
Dataداده ها scientistدانشمند Fredفرد Benensonبننسون
callsتماس می گیرد this math-washingریاضی شستشو.
317
982742
3381
دانشمند اطلاعات، فرد بنسون
این را "شستشوی ریاضی" می‌نامد
16:38
We need the oppositeمخالف.
318
986147
1389
ما به این تضاد نیاز داریم.
16:39
We need to cultivateکشت کن algorithmالگوریتم suspicionسوء ظن,
scrutinyبررسی موشکافانه and investigationتحقیق و بررسی.
319
987560
5388
ما نیاز داریم تا یک الگوریتم بد گمانی را
با بررسی دقیق و موشکافانه رشد دهیم.
16:45
We need to make sure we have
algorithmicالگوریتمیک accountabilityمسئوليت,
320
993380
3198
ما نیاز داریم تا مطمئن باشیم
که مسولیت الگوریتمی داریم،
16:48
auditingحسابرسی and meaningfulمعنی دار transparencyشفافیت.
321
996602
2445
حسابرسی و شفافیت معنایی نیاز داریم.
16:51
We need to acceptقبول کردن
that bringingبه ارمغان آوردن mathریاضی and computationمحاسبات
322
999380
3234
ما نیاز داریم تا قبول کنیم که
آورده های ریاضی و محاسباتی
16:54
to messyبی نظم, value-ladenارزش لعنتی humanانسان affairsامور
323
1002638
2970
برای ارزش انباشته و به هم ریخته و امور انسانی
16:57
does not bringآوردن objectivityعینی بودن;
324
1005632
2384
عینیت ندارد.
17:00
ratherنسبتا, the complexityپیچیدگی of humanانسان affairsامور
invadesحمله می کند the algorithmsالگوریتم ها.
325
1008040
3633
بلکه ، پیچیدگی امور انسانی به
الگوریتم ها حتما غلبه می‌کند.
17:04
Yes, we can and we should use computationمحاسبات
326
1012148
3487
بله ما می توانیم و ما باید
از محاسبات استفاده کنیم
17:07
to help us make better decisionsتصمیمات.
327
1015659
2014
تا برای داشتن تصمیمات بهتر
به خودمان کمک کنیم
17:09
But we have to ownخودت up
to our moralاخلاقی responsibilityمسئوليت to judgmentداوری,
328
1017697
5332
اما ما اعتراف می‌کنیم
به مسئولیت اخلاقی و قضاوت
17:15
and use algorithmsالگوریتم ها withinدر داخل that frameworkچارچوب,
329
1023053
2818
و استفااه از الگورتیم هایی با آن چارچوب
17:17
not as a meansبه معنای to abdicateاز بین بردن
and outsourceبرون سپاری our responsibilitiesمسئولیت ها
330
1025895
4935
نه به عنوان وسیله ای برای کناره گیری
و واگذاری مسئولیت هایمان
17:22
to one anotherیکی دیگر as humanانسان to humanانسان.
331
1030854
2454
به یک انسان دیگر.
17:25
Machineدستگاه intelligenceهوش is here.
332
1033807
2609
هوش مصنوعی اینجاست.
17:28
That meansبه معنای we mustباید holdنگه دارید on ever tighterتنگ تر
333
1036440
3421
این بدان معناست که ما باید محکم‌تر
17:31
to humanانسان valuesارزش های and humanانسان ethicsاخلاق.
334
1039885
2147
ارزش‌ها و اخلاق انسانی را نگه داریم.
17:34
Thank you.
335
1042056
1154
متشکرم
17:35
(Applauseتشویق و تمجید)
336
1043234
5020
(تشویق)
Translated by morteza homayounfar
Reviewed by soheila Jafari

▲Back to top

ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.

Why you should listen

We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.

Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.

Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.

More profile about the speaker
Zeynep Tufekci | Speaker | TED.com