TEDGlobal>NYC
Zeynep Tufekci: We're building a dystopia just to make people click on ads
Зейнеп Тюфекчи: Мы строим антиутопию лишь для того, чтобы люди кликали на рекламу
Filmed:
Readability: 4.8
2,866,905 views
«Мы строим антиутопию под управлением искусственного интеллекта, с каждым кликом мыши», — говорит техносоциолог Зейнеп Тюфекчи. В ходе поучительного выступления она подробно рассказывает, как алгоритмы, используемые такими компаниями, как Facebook, Google и Amazon, чтобы вы кликали на рекламу, также используются, чтобы упорядочить ваш доступ к политической и социальной информации. И настоящая угроза исходит даже не от машин. Нам нужно понять то, как сильные мира сего могут использовать искусственный интеллект, чтобы контролировать нас — и что мы можем сделать в ответ.
Zeynep Tufekci - Techno-sociologist
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Techno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread. Full bio
Double-click the English transcript below to play the video.
00:12
So when people voice fears
of artificial intelligence,
of artificial intelligence,
0
760
3536
Когда люди выказывают опасения
касательно искусственного интеллекта,
касательно искусственного интеллекта,
00:16
very often, they invoke images
of humanoid robots run amok.
of humanoid robots run amok.
1
4320
3976
очень часто они строят образы гуманоидных
роботов, ставших неуправляемыми.
роботов, ставших неуправляемыми.
00:20
You know? Terminator?
2
8320
1240
Знаете ведь? Терминатор?
00:22
You know, that might be
something to consider,
something to consider,
3
10400
2336
Знаете, с этим можно согласиться,
00:24
but that's a distant threat.
4
12760
1856
но эта угроза от нас далека.
00:26
Or, we fret about digital surveillance
5
14640
3456
Или мы переживаем
по поводу цифровой слежки
по поводу цифровой слежки
00:30
with metaphors from the past.
6
18120
1776
с метафорами из прошлого.
00:31
"1984," George Orwell's "1984,"
7
19920
2656
«1984», произведение Джорджа Оруэлла,
00:34
it's hitting the bestseller lists again.
8
22600
2280
снова попадает в списки бестселлеров.
00:37
It's a great book,
9
25960
1416
Это отличная книга,
00:39
but it's not the correct dystopia
for the 21st century.
for the 21st century.
10
27400
3880
но эта антиутопия
не подходит для XXI века.
не подходит для XXI века.
00:44
What we need to fear most
11
32080
1416
Мы должны бояться
00:45
is not what artificial intelligence
will do to us on its own,
will do to us on its own,
12
33520
4776
не того, что сделает с нами
искусственный интеллект самостоятельно,
искусственный интеллект самостоятельно,
00:50
but how the people in power
will use artificial intelligence
will use artificial intelligence
13
38320
4736
а того, как люди у власти
будут его использовать
будут его использовать
00:55
to control us and to manipulate us
14
43080
2816
для контроля и управления нами
00:57
in novel, sometimes hidden,
15
45920
3136
новыми, иногда скрытыми,
01:01
subtle and unexpected ways.
16
49080
3016
коварными и неожиданными способами.
01:04
Much of the technology
17
52120
1856
Основная часть технологии,
01:06
that threatens our freedom
and our dignity in the near-term future
and our dignity in the near-term future
18
54000
4336
что грозит нашим свободе и достоинству
уже в обозримом будущем,
уже в обозримом будущем,
01:10
is being developed by companies
19
58360
1856
разрабатывается компаниями,
01:12
in the business of capturing
and selling our data and our attention
and selling our data and our attention
20
60240
4936
работающими в бизнес-сфере сбора
и продажи наших сведений и интересов
и продажи наших сведений и интересов
01:17
to advertisers and others:
21
65200
2256
рекламщикам и таким компаниям,
01:19
Facebook, Google, Amazon,
22
67480
3416
как Facebook, Google, Amazon,
01:22
Alibaba, Tencent.
23
70920
1880
Alibaba, Tencent.
01:26
Now, artificial intelligence has started
bolstering their business as well.
bolstering their business as well.
24
74040
5496
Теперь искусственный интеллект также начал
способствовать укреплению их бизнеса.
способствовать укреплению их бизнеса.
01:31
And it may seem
like artificial intelligence
like artificial intelligence
25
79560
2096
Может казаться,
что искусственный интеллект —
что искусственный интеллект —
01:33
is just the next thing after online ads.
26
81680
2856
лишь новая штука после онлайн-рекламы.
01:36
It's not.
27
84560
1216
Это не так.
01:37
It's a jump in category.
28
85800
2456
Это совершенно иная категория.
01:40
It's a whole different world,
29
88280
2576
Это совсем другой мир,
01:42
and it has great potential.
30
90880
2616
и у него большой потенциал.
01:45
It could accelerate our understanding
of many areas of study and research.
of many areas of study and research.
31
93520
6920
Он может ускорить наше понимание
многих сфер изучения и исследования.
многих сфер изучения и исследования.
01:53
But to paraphrase
a famous Hollywood philosopher,
a famous Hollywood philosopher,
32
101120
3496
Но хочу парафразировать
знаменитого голливудского философа:
знаменитого голливудского философа:
01:56
"With prodigious potential
comes prodigious risk."
comes prodigious risk."
33
104640
3640
«С огромным потенциалом
приходит огромный риск».
приходит огромный риск».
02:01
Now let's look at a basic fact
of our digital lives, online ads.
of our digital lives, online ads.
34
109120
3936
Теперь давайте обсудим основной факт
из наших цифровых жизней, онлайн-рекламу.
из наших цифровых жизней, онлайн-рекламу.
02:05
Right? We kind of dismiss them.
35
113080
2896
Мы вроде бы не принимаем её всерьёз.
02:08
They seem crude, ineffective.
36
116000
1976
Она навязчива, неэффективна.
02:10
We've all had the experience
of being followed on the web
of being followed on the web
37
118000
4256
Все мы имели опыт преследования нас в сети
02:14
by an ad based on something
we searched or read.
we searched or read.
38
122280
2776
рекламой, основанной на чём-то,
что мы искали или прочли.
что мы искали или прочли.
02:17
You know, you look up a pair of boots
39
125080
1856
Например, вы присмотрели пару ботинок,
02:18
and for a week, those boots are following
you around everywhere you go.
you around everywhere you go.
40
126960
3376
а потом всю неделю
они следуют за вами повсюду.
они следуют за вами повсюду.
02:22
Even after you succumb and buy them,
they're still following you around.
they're still following you around.
41
130360
3656
Даже когда вы сдаётесь и покупаете их,
они всё ещё преследуют вас.
они всё ещё преследуют вас.
02:26
We're kind of inured to that kind
of basic, cheap manipulation.
of basic, cheap manipulation.
42
134040
3016
Нас задевает такая форма
простой, дешёвой манипуляции.
простой, дешёвой манипуляции.
02:29
We roll our eyes and we think,
"You know what? These things don't work."
"You know what? These things don't work."
43
137080
3400
Мы закатываем глаза и думаем:
«Знаете что? Эти штуки не работают».
«Знаете что? Эти штуки не работают».
02:33
Except, online,
44
141720
2096
Однако в интернете
02:35
the digital technologies are not just ads.
45
143840
3600
цифровые технологии не просто реклама.
02:40
Now, to understand that,
let's think of a physical world example.
let's think of a physical world example.
46
148240
3120
Для понимания этого
представим пример из реального мира.
представим пример из реального мира.
02:43
You know how, at the checkout counters
at supermarkets, near the cashier,
at supermarkets, near the cashier,
47
151840
4656
Замечали ведь, что на кассах
в супермаркетах, около кассира,
в супермаркетах, около кассира,
02:48
there's candy and gum
at the eye level of kids?
at the eye level of kids?
48
156520
3480
конфетки и жевательные резинки
лежат на зрительном уровне детей?
лежат на зрительном уровне детей?
02:52
That's designed to make them
whine at their parents
whine at their parents
49
160800
3496
Так задумано, чтобы они хныкали,
упрашивая своих родителей,
упрашивая своих родителей,
02:56
just as the parents
are about to sort of check out.
are about to sort of check out.
50
164320
3080
пока те рассчитываются на кассе.
03:00
Now, that's a persuasion architecture.
51
168040
2640
Это называется архитектура убеждения.
03:03
It's not nice, but it kind of works.
52
171160
3096
Это неприятно, но это работает.
03:06
That's why you see it
in every supermarket.
in every supermarket.
53
174280
2040
Потому вы видите это
в каждом супермаркете.
в каждом супермаркете.
03:08
Now, in the physical world,
54
176720
1696
В реальном же мире
03:10
such persuasion architectures
are kind of limited,
are kind of limited,
55
178440
2496
такие архитектуры убеждения
вроде как ограничены,
вроде как ограничены,
03:12
because you can only put
so many things by the cashier. Right?
so many things by the cashier. Right?
56
180960
4816
потому что набор товаров, который можно
разместить возле кассира, конечен. Верно?
разместить возле кассира, конечен. Верно?
03:17
And the candy and gum,
it's the same for everyone,
it's the same for everyone,
57
185800
4296
А конфеты и жевательная резинка —
их одинаково покупают все,
их одинаково покупают все,
03:22
even though it mostly works
58
190120
1456
хотя, конечно, чаще всего
03:23
only for people who have
whiny little humans beside them.
whiny little humans beside them.
59
191600
4040
те люди, что берут с собой
маленьких хныкающих человечков.
маленьких хныкающих человечков.
03:29
In the physical world,
we live with those limitations.
we live with those limitations.
60
197160
3920
В реальном мире мы живём
с такими ограничениями.
с такими ограничениями.
03:34
In the digital world, though,
61
202280
1936
Однако в виртуальном мире
03:36
persuasion architectures
can be built at the scale of billions
can be built at the scale of billions
62
204240
4320
архитектуры убеждения могут быть
выстроены в масштабе миллиардов,
выстроены в масштабе миллиардов,
03:41
and they can target, infer, understand
63
209840
3856
и они могут обозначать,
оценивать, понимать
оценивать, понимать
03:45
and be deployed at individuals
64
213720
2896
и быть применены к индивидуумам,
03:48
one by one
65
216640
1216
по одиночке,
03:49
by figuring out your weaknesses,
66
217880
2136
выявляя ваши слабости,
03:52
and they can be sent
to everyone's phone private screen,
to everyone's phone private screen,
67
220040
5616
и они могут быть разосланы каждому
на телефон в частном порядке,
на телефон в частном порядке,
03:57
so it's not visible to us.
68
225680
2256
поэтому мы этого не замечаем.
03:59
And that's different.
69
227960
1256
И это отличается от всего.
04:01
And that's just one of the basic things
that artificial intelligence can do.
that artificial intelligence can do.
70
229240
3576
И это лишь один из азов того,
на что способен искусственный интеллект.
на что способен искусственный интеллект.
04:04
Now, let's take an example.
71
232840
1336
Давайте рассмотрим пример.
04:06
Let's say you want to sell
plane tickets to Vegas. Right?
plane tickets to Vegas. Right?
72
234200
2696
Вот вы хотите продать билеты
на самолёт до Вегаса. Так?
на самолёт до Вегаса. Так?
04:08
So in the old world, you could think
of some demographics to target
of some demographics to target
73
236920
3496
В прежние времена вы могли бы подумать
о сборе демографических данных,
о сборе демографических данных,
04:12
based on experience
and what you can guess.
and what you can guess.
74
240440
2520
основываясь на опыте
и ваших предположениях.
и ваших предположениях.
04:15
You might try to advertise to, oh,
75
243560
2816
Вы можете попробовать рекламировать
04:18
men between the ages of 25 and 35,
76
246400
2496
для мужчин в возрасте от 25 до 35,
04:20
or people who have
a high limit on their credit card,
a high limit on their credit card,
77
248920
3936
или людей, имеющих высокий лимит
по кредитной карте,
по кредитной карте,
или для супругов-пенсионеров. Так?
04:24
or retired couples. Right?
78
252880
1376
04:26
That's what you would do in the past.
79
254280
1816
Раньше вы бы действовали так.
04:28
With big data and machine learning,
80
256120
2896
С массивами данных и машинным обучением
04:31
that's not how it works anymore.
81
259040
1524
сейчас это уже работает по-другому.
04:33
So to imagine that,
82
261320
2176
Чтобы это представить,
04:35
think of all the data
that Facebook has on you:
that Facebook has on you:
83
263520
3856
подумайте о тех данных,
что хранит о вас Фейсбук:
что хранит о вас Фейсбук:
04:39
every status update you ever typed,
84
267400
2536
каждый статус, что вы когда-то выставляли,
04:41
every Messenger conversation,
85
269960
2016
каждый ваш диалог,
04:44
every place you logged in from,
86
272000
1880
каждое место, с которого вы заходили,
04:48
all your photographs
that you uploaded there.
that you uploaded there.
87
276400
3176
все ваши фотографии,
что были вами туда загружены.
что были вами туда загружены.
04:51
If you start typing something
and change your mind and delete it,
and change your mind and delete it,
88
279600
3776
Если вы начали печать что-то,
передумали и удалили,
передумали и удалили,
04:55
Facebook keeps those
and analyzes them, too.
and analyzes them, too.
89
283400
3200
Фейсбук сохраняет для анализа и это.
04:59
Increasingly, it tries
to match you with your offline data.
to match you with your offline data.
90
287160
3936
Всё больше он старается сопоставить вас
с вашими данными офлайн.
с вашими данными офлайн.
05:03
It also purchases
a lot of data from data brokers.
a lot of data from data brokers.
91
291120
3176
Он также скупает множество
информации от брокеров данных.
информации от брокеров данных.
05:06
It could be everything
from your financial records
from your financial records
92
294320
3416
Это может быть что угодно —
от ваших финансовых ведомостей
от ваших финансовых ведомостей
05:09
to a good chunk of your browsing history.
93
297760
2120
до массива вашей истории браузера.
05:12
Right? In the US,
such data is routinely collected,
such data is routinely collected,
94
300360
5416
Верно? В США такая информация
собирается в рутинном порядке,
собирается в рутинном порядке,
05:17
collated and sold.
95
305800
1960
сопоставляется и продаётся.
05:20
In Europe, they have tougher rules.
96
308320
2440
В Европе правила более строгие.
05:23
So what happens then is,
97
311680
2200
И вот что происходит в результате:
05:26
by churning through all that data,
these machine-learning algorithms --
these machine-learning algorithms --
98
314920
4016
путём смешивания всех этих данных,
эти машинно-обучаемые алгоритмы —
эти машинно-обучаемые алгоритмы —
05:30
that's why they're called
learning algorithms --
learning algorithms --
99
318960
2896
вот почему они называются
алгоритмами обучения —
алгоритмами обучения —
05:33
they learn to understand
the characteristics of people
the characteristics of people
100
321880
4096
учатся понимать характеристики людей,
05:38
who purchased tickets to Vegas before.
101
326000
2520
ранее приобретавших билеты до Вегаса.
05:41
When they learn this from existing data,
102
329760
3536
Обучившись этому по имеющимся данным,
05:45
they also learn
how to apply this to new people.
how to apply this to new people.
103
333320
3816
они также учатся тому,
как применить это к новым клиентам.
как применить это к новым клиентам.
05:49
So if they're presented with a new person,
104
337160
3056
И если они сталкиваются
с новым для них человеком,
с новым для них человеком,
05:52
they can classify whether that person
is likely to buy a ticket to Vegas or not.
is likely to buy a ticket to Vegas or not.
105
340240
4640
они могут определить, захочет ли он
приобретать билет до Вегаса или нет.
приобретать билет до Вегаса или нет.
05:57
Fine. You're thinking,
an offer to buy tickets to Vegas.
an offer to buy tickets to Vegas.
106
345720
5456
Хорошо. Вы думаете, это лишь
предложение купить билет до Вегаса.
предложение купить билет до Вегаса.
06:03
I can ignore that.
107
351200
1456
Я могу отклонить его.
06:04
But the problem isn't that.
108
352680
2216
Но проблема заключается не в этом.
06:06
The problem is,
109
354920
1576
Проблема в том,
06:08
we no longer really understand
how these complex algorithms work.
how these complex algorithms work.
110
356520
4136
что мы уже не понимаем,
как работают эти комплексные алгоритмы.
как работают эти комплексные алгоритмы.
06:12
We don't understand
how they're doing this categorization.
how they're doing this categorization.
111
360680
3456
Мы не понимаем, как они
занимаются этой категоризацией.
занимаются этой категоризацией.
06:16
It's giant matrices,
thousands of rows and columns,
thousands of rows and columns,
112
364160
4416
Это огромные матрицы,
тысячи строк и столбцов,
тысячи строк и столбцов,
06:20
maybe millions of rows and columns,
113
368600
1960
может, миллионы строк и столбцов,
06:23
and not the programmers
114
371320
2640
и ни программисты,
06:26
and not anybody who looks at it,
115
374760
1680
ни даже любой, кто взглянет на это,
06:29
even if you have all the data,
116
377440
1496
даже имея все данные,
06:30
understands anymore
how exactly it's operating
how exactly it's operating
117
378960
4616
уже не поймёт, как конкретно
всё это работает.
всё это работает.
06:35
any more than you'd know
what I was thinking right now
what I was thinking right now
118
383600
3776
Это как если бы вы знали,
о чём я думаю в данный момент,
о чём я думаю в данный момент,
06:39
if you were shown
a cross section of my brain.
a cross section of my brain.
119
387400
3960
словно вам показали профиль моего мозга.
06:44
It's like we're not programming anymore,
120
392360
2576
Мы словно уже не занимаемся
программированием,
программированием,
06:46
we're growing intelligence
that we don't truly understand.
that we don't truly understand.
121
394960
4400
мы растим интеллект, который
мы не понимаем полностью.
мы не понимаем полностью.
06:52
And these things only work
if there's an enormous amount of data,
if there's an enormous amount of data,
122
400520
3976
И всё это работает лишь при наличии
доступа к громадному объёму информации,
доступа к громадному объёму информации,
06:56
so they also encourage
deep surveillance on all of us
deep surveillance on all of us
123
404520
5096
что подстёгивает к тотальной
слежке за каждым из нас,
слежке за каждым из нас,
07:01
so that the machine learning
algorithms can work.
algorithms can work.
124
409640
2336
дабы эти машинно-обучаемые
алгоритмы действовали.
алгоритмы действовали.
07:04
That's why Facebook wants
to collect all the data it can about you.
to collect all the data it can about you.
125
412000
3176
Вот почему Facebook хочет собрать
любую возможную информацию о вас.
любую возможную информацию о вас.
07:07
The algorithms work better.
126
415200
1576
Так эти алгоритмы лучше работают.
07:08
So let's push that Vegas example a bit.
127
416800
2696
И давайте вернёмся ненадолго
к тому примеру с Вегасом.
к тому примеру с Вегасом.
07:11
What if the system
that we do not understand
that we do not understand
128
419520
3680
Что, если бы система, работу которой
мы полностью не понимаем,
мы полностью не понимаем,
07:16
was picking up that it's easier
to sell Vegas tickets
to sell Vegas tickets
129
424200
5136
подобрала такой вариант,
что продать билет до Вегаса легче
что продать билет до Вегаса легче
07:21
to people who are bipolar
and about to enter the manic phase.
and about to enter the manic phase.
130
429360
3760
людям с биполярным расстройством, готовым
вот-вот перейти в маниакальную фазу.
вот-вот перейти в маниакальную фазу.
07:25
Such people tend to become
overspenders, compulsive gamblers.
overspenders, compulsive gamblers.
131
433640
4920
Такие люди, как правило, становятся
транжирами, заядлыми игроками.
транжирами, заядлыми игроками.
07:31
They could do this, and you'd have no clue
that's what they were picking up on.
that's what they were picking up on.
132
439280
4456
Они могли сделать это, вы бы и не поняли,
что это то, ради чего вёлся сбор данных.
что это то, ради чего вёлся сбор данных.
07:35
I gave this example
to a bunch of computer scientists once
to a bunch of computer scientists once
133
443760
3616
Я однажды привела этот пример группе
специалистов в области информатики,
специалистов в области информатики,
07:39
and afterwards, one of them came up to me.
134
447400
2056
а после этого один из них подошёл ко мне.
07:41
He was troubled and he said,
"That's why I couldn't publish it."
"That's why I couldn't publish it."
135
449480
3520
С озадаченным видом он сказал:
«Вот почему я не смог опубликовать это».
«Вот почему я не смог опубликовать это».
07:45
I was like, "Couldn't publish what?"
136
453600
1715
Я в ответ: «Что не смогли опубликовать?»
07:47
He had tried to see whether you can indeed
figure out the onset of mania
figure out the onset of mania
137
455800
5856
Он попытался понять, действительно ли
можно выявить формирование мании
можно выявить формирование мании
07:53
from social media posts
before clinical symptoms,
before clinical symptoms,
138
461680
3216
исходя из сообщений в соцсетях,
до проявления клинических симптомов,
до проявления клинических симптомов,
07:56
and it had worked,
139
464920
1776
и это сработало,
07:58
and it had worked very well,
140
466720
2056
и это сработало очень хорошо,
08:00
and he had no idea how it worked
or what it was picking up on.
or what it was picking up on.
141
468800
4880
и он понятия не имел, как это
работало или на чём основывалось.
работало или на чём основывалось.
08:06
Now, the problem isn't solved
if he doesn't publish it,
if he doesn't publish it,
142
474840
4416
Если он не опубликует это,
проблема не будет решена,
проблема не будет решена,
08:11
because there are already companies
143
479280
1896
потому что уже существуют компании,
08:13
that are developing
this kind of technology,
this kind of technology,
144
481200
2536
занимающиеся разработкой такой технологии,
08:15
and a lot of the stuff
is just off the shelf.
is just off the shelf.
145
483760
2800
и многое из этого уже работает.
08:19
This is not very difficult anymore.
146
487240
2576
Это уже не так сложно.
08:21
Do you ever go on YouTube
meaning to watch one video
meaning to watch one video
147
489840
3456
Вы когда-нибудь заходили на YouTube,
собираясь посмотреть одно видео,
собираясь посмотреть одно видео,
08:25
and an hour later you've watched 27?
148
493320
2360
а спустя час вы уже посмотрели 27?
08:28
You know how YouTube
has this column on the right
has this column on the right
149
496760
2496
Знаете, на Youtube есть
эта колонка справа,
эта колонка справа,
08:31
that says, "Up next"
150
499280
2216
на которой указано: «Следующее»,
08:33
and it autoplays something?
151
501520
1816
и оно автоматически запускает что-то?
08:35
It's an algorithm
152
503360
1216
Это алгоритм,
08:36
picking what it thinks
that you might be interested in
that you might be interested in
153
504600
3616
подбирающий то,
чем вы можете заинтересоваться
чем вы можете заинтересоваться
08:40
and maybe not find on your own.
154
508240
1536
и, возможно, сами не найдёте.
08:41
It's not a human editor.
155
509800
1256
Это работа не человека.
08:43
It's what algorithms do.
156
511080
1416
Это то, что делают алгоритмы.
08:44
It picks up on what you have watched
and what people like you have watched,
and what people like you have watched,
157
512520
4736
Они улавливают, что посмотрели вы
и что посмотрели люди, подобные вам,
и что посмотрели люди, подобные вам,
08:49
and infers that that must be
what you're interested in,
what you're interested in,
158
517280
4216
и заключают, что это, должно быть,
то, что вас интересует,
то, что вас интересует,
08:53
what you want more of,
159
521520
1255
то, что вы хотите видеть,
08:54
and just shows you more.
160
522799
1336
и просто показывает больше.
08:56
It sounds like a benign
and useful feature,
and useful feature,
161
524159
2201
Это звучит как хорошая и полезная функция,
08:59
except when it isn't.
162
527280
1200
но бывают и исключения.
09:01
So in 2016, I attended rallies
of then-candidate Donald Trump
of then-candidate Donald Trump
163
529640
6960
В 2016-м я присутствовала на собраниях
тогда ещё кандидата Дональда Трампа
тогда ещё кандидата Дональда Трампа
09:09
to study as a scholar
the movement supporting him.
the movement supporting him.
164
537840
3336
для изучения поддерживающих его масс.
09:13
I study social movements,
so I was studying it, too.
so I was studying it, too.
165
541200
3456
Я изучаю социальные движения,
поэтому изучала также и это.
поэтому изучала также и это.
09:16
And then I wanted to write something
about one of his rallies,
about one of his rallies,
166
544680
3336
И затем я хотела написать что-нибудь
об одном из его собраний,
об одном из его собраний,
09:20
so I watched it a few times on YouTube.
167
548040
1960
и я пару раз просмотрела его на Youtube.
09:23
YouTube started recommending to me
168
551240
3096
YouTube начал рекомендовать мне
09:26
and autoplaying to me
white supremacist videos
white supremacist videos
169
554360
4256
и включил автопроигрывание роликов
на тему превосходства белых людей
на тему превосходства белых людей
09:30
in increasing order of extremism.
170
558640
2656
в растущем порядке экстремизма.
09:33
If I watched one,
171
561320
1816
Если я смотрела один,
09:35
it served up one even more extreme
172
563160
2976
он предлагал мне к просмотру
ещё более экстремальный
ещё более экстремальный
09:38
and autoplayed that one, too.
173
566160
1424
и автопроигрывал его тоже.
09:40
If you watch Hillary Clinton
or Bernie Sanders content,
or Bernie Sanders content,
174
568320
4536
Если вы смотрите контент, связанный
с Хилари Клинтон или Берни Сандерсом,
с Хилари Клинтон или Берни Сандерсом,
09:44
YouTube recommends
and autoplays conspiracy left,
and autoplays conspiracy left,
175
572880
4696
YouTube рекомендует и автопроигрывает
видео на тему заговора левых,
видео на тему заговора левых,
09:49
and it goes downhill from there.
176
577600
1760
и дальше — хуже.
09:52
Well, you might be thinking,
this is politics, but it's not.
this is politics, but it's not.
177
580480
3056
Что же, вы можете подумать,
что это политика, но это не так.
что это политика, но это не так.
09:55
This isn't about politics.
178
583560
1256
Это совсем не о политике.
09:56
This is just the algorithm
figuring out human behavior.
figuring out human behavior.
179
584840
3096
Это лишь алгоритм, предугадывающий
человеческое поведение.
человеческое поведение.
09:59
I once watched a video
about vegetarianism on YouTube
about vegetarianism on YouTube
180
587960
4776
Я однажды посмотрела на Youtube
ролик о вегетарианстве,
ролик о вегетарианстве,
10:04
and YouTube recommended
and autoplayed a video about being vegan.
and autoplayed a video about being vegan.
181
592760
4936
и YouTube рекомендовал и автопроиграл
видео о том, каково быть веганом.
видео о том, каково быть веганом.
10:09
It's like you're never
hardcore enough for YouTube.
hardcore enough for YouTube.
182
597720
3016
Вы словно никогда не бываете
достаточно радикальны для YouTube.
достаточно радикальны для YouTube.
10:12
(Laughter)
183
600760
1576
(Смех)
10:14
So what's going on?
184
602360
1560
Так что же происходит?
10:16
Now, YouTube's algorithm is proprietary,
185
604520
3536
Алгоритм YouTube запатентован,
10:20
but here's what I think is going on.
186
608080
2360
но вот что я думаю о том,
как всё происходит.
как всё происходит.
10:23
The algorithm has figured out
187
611360
2096
Алгоритм вычислил,
10:25
that if you can entice people
188
613480
3696
что если ты сможешь заставить людей
10:29
into thinking that you can
show them something more hardcore,
show them something more hardcore,
189
617200
3736
думать, что ты способен
показать им нечто более жёсткое,
показать им нечто более жёсткое,
10:32
they're more likely to stay on the site
190
620960
2416
они с большей вероятностью
останутся на сайте,
останутся на сайте,
10:35
watching video after video
going down that rabbit hole
going down that rabbit hole
191
623400
4416
просматривая ролик за роликом,
спускаясь в эту кроличью нору,
спускаясь в эту кроличью нору,
10:39
while Google serves them ads.
192
627840
1680
пока Google снабжает их рекламой.
10:43
Now, with nobody minding
the ethics of the store,
the ethics of the store,
193
631760
3120
Поскольку никто не возражает
против «коммерческой» этики,
против «коммерческой» этики,
10:47
these sites can profile people
194
635720
4240
такие сайты могут определять людей,
10:53
who are Jew haters,
195
641680
1920
ненавидящих евреев,
10:56
who think that Jews are parasites
196
644360
2480
тех, кто считает евреев паразитами,
11:00
and who have such explicit
anti-Semitic content,
anti-Semitic content,
197
648320
4920
тех, у кого имеется столь явный
антисемитский контент,
антисемитский контент,
11:06
and let you target them with ads.
198
654080
2000
и позволяет вам направить рекламу на них.
11:09
They can also mobilize algorithms
199
657200
3536
Они также могут мобилизовать алгоритмы
11:12
to find for you look-alike audiences,
200
660760
3136
для поиска аудитории,
разделяющей ваши взгляды,
разделяющей ваши взгляды,
11:15
people who do not have such explicit
anti-Semitic content on their profile
anti-Semitic content on their profile
201
663920
5576
людей, у которых нет столь явного
антисемитского контента в профиле,
антисемитского контента в профиле,
11:21
but who the algorithm detects
may be susceptible to such messages,
may be susceptible to such messages,
202
669520
6176
но кто, согласно алгоритму, может быть
восприимчив к такого рода сообщениям,
восприимчив к такого рода сообщениям,
11:27
and lets you target them with ads, too.
203
675720
1920
позволяя вам направить рекламу и на них.
11:30
Now, this may sound
like an implausible example,
like an implausible example,
204
678680
2736
Сейчас это может звучать
как неправдоподобный пример,
как неправдоподобный пример,
11:33
but this is real.
205
681440
1320
но это реально.
11:35
ProPublica investigated this
206
683480
2136
ProPublica расследовала это
11:37
and found that you can indeed
do this on Facebook,
do this on Facebook,
207
685640
3616
и обнаружила, что вы в самом деле
можете делать это в Facebook,
можете делать это в Facebook,
11:41
and Facebook helpfully
offered up suggestions
offered up suggestions
208
689280
2416
и Facebook любезно предложил способы
11:43
on how to broaden that audience.
209
691720
1600
расширения этой аудитории.
11:46
BuzzFeed tried it for Google,
and very quickly they found,
and very quickly they found,
210
694720
3016
BuzzFeed попробовал это с Google,
и очень быстро они выяснили,
и очень быстро они выяснили,
11:49
yep, you can do it on Google, too.
211
697760
1736
да, вы можете делать это и с Google.
11:51
And it wasn't even expensive.
212
699520
1696
И это даже не было дорого.
11:53
The ProPublica reporter
spent about 30 dollars
spent about 30 dollars
213
701240
4416
Журналист ProPublica потратил
около 30 долларов
около 30 долларов
11:57
to target this category.
214
705680
2240
на обозначение этой категории.
12:02
So last year, Donald Trump's
social media manager disclosed
social media manager disclosed
215
710600
5296
В прошлом году менеджер социальных сетей
из штаба Дональда Трампа раскрыл,
из штаба Дональда Трампа раскрыл,
12:07
that they were using Facebook dark posts
to demobilize people,
to demobilize people,
216
715920
5336
что они использовали тёмные посты
в Facebook для демобилизации людей,
в Facebook для демобилизации людей,
12:13
not to persuade them,
217
721280
1376
не чтобы их переубедить,
12:14
but to convince them not to vote at all.
218
722680
2800
а для того, чтобы убедить их
не голосовать вовсе.
не голосовать вовсе.
12:18
And to do that,
they targeted specifically,
they targeted specifically,
219
726520
3576
И чтобы сделать это,
они особенно нацелились,
они особенно нацелились,
12:22
for example, African-American men
in key cities like Philadelphia,
in key cities like Philadelphia,
220
730120
3896
к примеру, на мужчин-афроамериканцев
в ключевых городах типа Филадельфии,
в ключевых городах типа Филадельфии,
12:26
and I'm going to read
exactly what he said.
exactly what he said.
221
734040
2456
и я собираюсь прочесть
именно то, что он сказал.
именно то, что он сказал.
12:28
I'm quoting.
222
736520
1216
Я цитирую.
12:29
They were using "nonpublic posts
223
737760
3016
Они использовали «приватные посты,
12:32
whose viewership the campaign controls
224
740800
2176
чей просмотр в ходе
кампании контролируется,
кампании контролируется,
12:35
so that only the people
we want to see it see it.
we want to see it see it.
225
743000
3776
и потому их видят лишь те люди,
которые нам требуются.
которые нам требуются.
12:38
We modeled this.
226
746800
1216
Мы смоделировали это.
12:40
It will dramatically affect her ability
to turn these people out."
to turn these people out."
227
748040
4720
Это кардинально повлияет на её возможность
вернуть этих людей на свою сторону».
вернуть этих людей на свою сторону».
12:45
What's in those dark posts?
228
753720
2280
Что же собой являют эти тёмные посты?
12:48
We have no idea.
229
756480
1656
Мы не знаем.
12:50
Facebook won't tell us.
230
758160
1200
Facebook отказывается это раскрывать.
12:52
So Facebook also algorithmically
arranges the posts
arranges the posts
231
760480
4376
Facebook также алгоритмично
располагает посты,
располагает посты,
12:56
that your friends put on Facebook,
or the pages you follow.
or the pages you follow.
232
764880
3736
которые выкладывают ваши друзья,
или странички, на которые вы подписаны.
или странички, на которые вы подписаны.
13:00
It doesn't show you
everything chronologically.
everything chronologically.
233
768640
2216
Он не показывает вам всё хронологически.
13:02
It puts the order in the way
that the algorithm thinks will entice you
that the algorithm thinks will entice you
234
770880
4816
Он задаёт порядок так, как,
по расчётам алгоритма, можно увлечь вас,
по расчётам алгоритма, можно увлечь вас,
13:07
to stay on the site longer.
235
775720
1840
чтобы вы пробыли на сайте подольше.
13:11
Now, so this has a lot of consequences.
236
779040
3376
У этого есть множество последствий.
13:14
You may be thinking
somebody is snubbing you on Facebook.
somebody is snubbing you on Facebook.
237
782440
3800
Вы можете подумать,
что кто-то игнорирует вас в Facebook.
что кто-то игнорирует вас в Facebook.
13:18
The algorithm may never
be showing your post to them.
be showing your post to them.
238
786800
3256
Возможно, алгоритм
даже и не показывал им ваш пост.
даже и не показывал им ваш пост.
13:22
The algorithm is prioritizing
some of them and burying the others.
some of them and burying the others.
239
790080
5960
Алгоритм даёт приоритет
некоторым из них и прячет другие.
некоторым из них и прячет другие.
13:29
Experiments show
240
797320
1296
Эксперименты показывают,
13:30
that what the algorithm picks to show you
can affect your emotions.
can affect your emotions.
241
798640
4520
что то, что алгоритм подбирает для
показа вам, может влиять на ваши эмоции.
показа вам, может влиять на ваши эмоции.
13:36
But that's not all.
242
804600
1200
Но это не всё.
13:38
It also affects political behavior.
243
806280
2360
Это также влияет
на политическое поведение.
на политическое поведение.
13:41
So in 2010, in the midterm elections,
244
809360
4656
В 2010-м, в ходе промежуточных выборов,
13:46
Facebook did an experiment
on 61 million people in the US
on 61 million people in the US
245
814040
5896
Facebook провёл эксперимент
над 61 млн человек в США,
над 61 млн человек в США,
13:51
that was disclosed after the fact.
246
819960
1896
который был раскрыт после проведения.
13:53
So some people were shown,
"Today is election day,"
"Today is election day,"
247
821880
3416
Так, некоторым людям показали объявление
«Сегодня день выборов»,
«Сегодня день выборов»,
13:57
the simpler one,
248
825320
1376
более простой вариант,
13:58
and some people were shown
the one with that tiny tweak
the one with that tiny tweak
249
826720
3896
а некоторым показали его же
с крошечным изменением,
с крошечным изменением,
14:02
with those little thumbnails
250
830640
2096
с этакими небольшими иконками
14:04
of your friends who clicked on "I voted."
251
832760
2840
ваших друзей, уже кликнувших
на кнопку «Я проголосовал».
на кнопку «Я проголосовал».
14:09
This simple tweak.
252
837000
1400
Вот такое простое изменение.
14:11
OK? So the pictures were the only change,
253
839520
4296
Понятно? Эти картинки
были единственной разницей,
были единственной разницей,
14:15
and that post shown just once
254
843840
3256
и этот пост, показанный лишь раз,
14:19
turned out an additional 340,000 voters
255
847120
6056
обернулся дополнительными
340 000 избирателей
340 000 избирателей
14:25
in that election,
256
853200
1696
на этих выборах,
14:26
according to this research
257
854920
1696
согласно этому исследованию,
14:28
as confirmed by the voter rolls.
258
856640
2520
как было подтверждено
списками избирателей.
списками избирателей.
14:32
A fluke? No.
259
860920
1656
Счастливая случайность? Нет.
14:34
Because in 2012,
they repeated the same experiment.
they repeated the same experiment.
260
862600
5360
Поскольку в 2012-м они повторили
тот же эксперимент.
тот же эксперимент.
14:40
And that time,
261
868840
1736
И в этот раз
14:42
that civic message shown just once
262
870600
3296
этот гражданский призыв,
показанный лишь раз,
показанный лишь раз,
14:45
turned out an additional 270,000 voters.
263
873920
4440
обернулся 270 000 проголосовавших.
14:51
For reference, the 2016
US presidential election
US presidential election
264
879160
5216
Для сравнения, результат выборов
президента США в 2016-м
президента США в 2016-м
14:56
was decided by about 100,000 votes.
265
884400
3520
решился голосами 100 000 избирателей.
15:01
Now, Facebook can also
very easily infer what your politics are,
very easily infer what your politics are,
266
889360
4736
Сейчас Facebook может также легко
вычислить ваши политические взгляды,
вычислить ваши политические взгляды,
15:06
even if you've never
disclosed them on the site.
disclosed them on the site.
267
894120
2256
даже если вы никогда
не раскрывали их на сайте.
не раскрывали их на сайте.
15:08
Right? These algorithms
can do that quite easily.
can do that quite easily.
268
896400
2520
Верно? Эти алгоритмы
могут делать это очень легко.
могут делать это очень легко.
15:11
What if a platform with that kind of power
269
899960
3896
Что, если платформа с такими возможностями
15:15
decides to turn out supporters
of one candidate over the other?
of one candidate over the other?
270
903880
5040
решит сделать так, что на выборы придут
больше сторонников одного кандидата?
больше сторонников одного кандидата?
15:21
How would we even know about it?
271
909680
2440
Откуда нам знать об этом?
15:25
Now, we started from someplace
seemingly innocuous --
seemingly innocuous --
272
913560
4136
Мы начали с чего-то,
казалось бы, безобидного —
казалось бы, безобидного —
15:29
online adds following us around --
273
917720
2216
онлайн реклама, преследующая нас всюду, —
15:31
and we've landed someplace else.
274
919960
1840
и мы добрались до чего-то иного.
15:35
As a public and as citizens,
275
923480
2456
Как народ и как отдельные граждане,
15:37
we no longer know
if we're seeing the same information
if we're seeing the same information
276
925960
3416
мы больше не знаем, видим ли мы
одну и ту же информацию,
одну и ту же информацию,
15:41
or what anybody else is seeing,
277
929400
1480
или что видит кто-либо другой,
15:43
and without a common basis of information,
278
931680
2576
и без единой информационной базы,
15:46
little by little,
279
934280
1616
постепенно,
15:47
public debate is becoming impossible,
280
935920
3216
публичные дебаты становятся невозможны,
15:51
and we're just at
the beginning stages of this.
the beginning stages of this.
281
939160
2976
и мы как раз на начальных стадиях этого.
15:54
These algorithms can quite easily infer
282
942160
3456
Эти алгоритмы крайне легко могут вычислить
15:57
things like your people's ethnicity,
283
945640
3256
такие вещи, как этническая принадлежность,
16:00
religious and political views,
personality traits,
personality traits,
284
948920
2336
религиозные и политические
взгляды, личность,
взгляды, личность,
16:03
intelligence, happiness,
use of addictive substances,
use of addictive substances,
285
951280
3376
уровень интеллекта, довольства жизнью,
наркозависимость,
наркозависимость,
16:06
parental separation, age and genders,
286
954680
3136
развод родителей, возраст и пол,
16:09
just from Facebook likes.
287
957840
1960
лишь по лайкам в Facebook.
16:13
These algorithms can identify protesters
288
961440
4056
Эти алгоритмы могут
вычислить протестующих,
вычислить протестующих,
16:17
even if their faces
are partially concealed.
are partially concealed.
289
965520
2760
даже если их лица частично скрыты.
16:21
These algorithms may be able
to detect people's sexual orientation
to detect people's sexual orientation
290
969720
6616
Эти алгоритмы, возможно, способны
определить сексуальную ориентацию людей
определить сексуальную ориентацию людей
16:28
just from their dating profile pictures.
291
976360
3200
лишь по их фотографиям
в профиле знакомств.
в профиле знакомств.
16:33
Now, these are probabilistic guesses,
292
981560
2616
Сейчас это лишь вероятные догадки,
16:36
so they're not going
to be 100 percent right,
to be 100 percent right,
293
984200
2896
так что они необязательно
будут на 100% верны,
будут на 100% верны,
16:39
but I don't see the powerful resisting
the temptation to use these technologies
the temptation to use these technologies
294
987120
4896
но я не вижу мощного сопротивления
искушению использовать эти технологии
искушению использовать эти технологии
только потому, что есть какие-то
ложноположительные результаты,
ложноположительные результаты,
16:44
just because there are
some false positives,
some false positives,
295
992040
2176
16:46
which will of course create
a whole other layer of problems.
a whole other layer of problems.
296
994240
3256
которые, конечно же,
создадут целый ряд проблем.
создадут целый ряд проблем.
16:49
Imagine what a state can do
297
997520
2936
Представьте, что государство может сделать
16:52
with the immense amount of data
it has on its citizens.
it has on its citizens.
298
1000480
3560
с огромным объёмом данных, имеющихся
у него на собственных жителей.
у него на собственных жителей.
16:56
China is already using
face detection technology
face detection technology
299
1004680
4776
В Китае уже используется
технология опознавания лиц
технология опознавания лиц
17:01
to identify and arrest people.
300
1009480
2880
для вычисления и ареста людей.
17:05
And here's the tragedy:
301
1013280
2136
И вот в чём трагедия:
17:07
we're building this infrastructure
of surveillance authoritarianism
of surveillance authoritarianism
302
1015440
5536
мы строим эту инфраструктуру
авторитарного наблюдения,
авторитарного наблюдения,
17:13
merely to get people to click on ads.
303
1021000
2960
лишь чтобы побудить людей
кликать на рекламу.
кликать на рекламу.
17:17
And this won't be
Orwell's authoritarianism.
Orwell's authoritarianism.
304
1025240
2576
И это не будет авторитаризм Оруэлла.
17:19
This isn't "1984."
305
1027839
1897
Это не «1984».
17:21
Now, if authoritarianism
is using overt fear to terrorize us,
is using overt fear to terrorize us,
306
1029760
4576
Если авторитаризм явно использует
страх, чтобы терроризировать нас,
страх, чтобы терроризировать нас,
17:26
we'll all be scared, but we'll know it,
307
1034359
2897
мы все будем напуганы,
но мы будем знать об этом,
но мы будем знать об этом,
17:29
we'll hate it and we'll resist it.
308
1037280
2200
мы будем ненавидеть это
и будем сопротивляться.
и будем сопротивляться.
17:32
But if the people in power
are using these algorithms
are using these algorithms
309
1040880
4416
Но если люди у власти
используют эти алгоритмы,
используют эти алгоритмы,
17:37
to quietly watch us,
310
1045319
3377
чтобы незаметно следить за нами,
17:40
to judge us and to nudge us,
311
1048720
2080
оценивать нас и подначивать нас,
17:43
to predict and identify
the troublemakers and the rebels,
the troublemakers and the rebels,
312
1051720
4176
чтобы предугадывать и опознавать
нарушителей порядка и бунтарей,
нарушителей порядка и бунтарей,
17:47
to deploy persuasion
architectures at scale
architectures at scale
313
1055920
3896
чтобы масштабно внедрять
архитектуру убеждения
архитектуру убеждения
17:51
and to manipulate individuals one by one
314
1059840
4136
и манипулировать отдельными
людьми по одиночке,
людьми по одиночке,
17:56
using their personal, individual
weaknesses and vulnerabilities,
weaknesses and vulnerabilities,
315
1064000
5440
используя их личные,
уникальные слабости и уязвимости,
уникальные слабости и уязвимости,
18:02
and if they're doing it at scale
316
1070720
2200
и если они масштабно занимаются этим
18:06
through our private screens
317
1074080
1736
через наши личные экраны так,
18:07
so that we don't even know
318
1075840
1656
что мы даже не знаем,
18:09
what our fellow citizens
and neighbors are seeing,
and neighbors are seeing,
319
1077520
2760
что видят наши сограждане и соседи,
18:13
that authoritarianism
will envelop us like a spider's web
will envelop us like a spider's web
320
1081560
4816
этот авторитаризм окутает нас,
словно паучья сеть,
словно паучья сеть,
18:18
and we may not even know we're in it.
321
1086400
2480
и мы даже не будем знать,
что мы уже в ней.
что мы уже в ней.
18:22
So Facebook's market capitalization
322
1090440
2936
Итак, рыночная капитализация Facebook
18:25
is approaching half a trillion dollars.
323
1093400
3296
приближается к отметке
в полтриллиона долларов.
в полтриллиона долларов.
18:28
It's because it works great
as a persuasion architecture.
as a persuasion architecture.
324
1096720
3120
Это потому, что он хорошо работает
как архитектура убеждения.
как архитектура убеждения.
18:33
But the structure of that architecture
325
1101760
2816
Но строение этой архитектуры
18:36
is the same whether you're selling shoes
326
1104600
3216
одинаково, продаёте ли вы туфли,
18:39
or whether you're selling politics.
327
1107840
2496
или продаёте политику.
18:42
The algorithms do not know the difference.
328
1110360
3120
Эти алгоритмы не осознают разницы.
18:46
The same algorithms set loose upon us
329
1114240
3296
Те же алгоритмы, что расслабили нас,
18:49
to make us more pliable for ads
330
1117560
3176
сделав нас более податливыми для рекламы,
18:52
are also organizing our political,
personal and social information flows,
personal and social information flows,
331
1120760
6736
также организуют наши политические,
личные и социально-информационные потоки,
личные и социально-информационные потоки,
18:59
and that's what's got to change.
332
1127520
1840
и это то, что должно измениться.
19:02
Now, don't get me wrong,
333
1130240
2296
Не поймите меня неправильно,
19:04
we use digital platforms
because they provide us with great value.
because they provide us with great value.
334
1132560
3680
мы используем цифровые платформы,
потому что они очень ценны для нас.
потому что они очень ценны для нас.
19:09
I use Facebook to keep in touch
with friends and family around the world.
with friends and family around the world.
335
1137120
3560
Я пользуюсь Facebook, чтобы быть
на связи с друзьями и семьёй повсюду.
на связи с друзьями и семьёй повсюду.
19:14
I've written about how crucial
social media is for social movements.
social media is for social movements.
336
1142000
5776
Я уже писала о том, как важны соцсети
для социальных движений.
для социальных движений.
19:19
I have studied how
these technologies can be used
these technologies can be used
337
1147800
3016
Я изучала, как эти технологии
могут быть использованы,
могут быть использованы,
19:22
to circumvent censorship around the world.
338
1150840
2480
чтобы обойти цензуру по всему миру.
19:27
But it's not that the people who run,
you know, Facebook or Google
you know, Facebook or Google
339
1155280
6416
Но это не значит, что люди, управляющие,
скажем, Facebook или Google,
скажем, Facebook или Google,
19:33
are maliciously and deliberately trying
340
1161720
2696
злостно и сознательно пытаются
19:36
to make the country
or the world more polarized
or the world more polarized
341
1164440
4456
сделать страну или мир
более поляризованными
более поляризованными
19:40
and encourage extremism.
342
1168920
1680
и поощрять экстремизм.
19:43
I read the many
well-intentioned statements
well-intentioned statements
343
1171440
3976
Я читала много благоразумных утверждений,
19:47
that these people put out.
344
1175440
3320
которые выдвинули эти люди.
19:51
But it's not the intent or the statements
people in technology make that matter,
people in technology make that matter,
345
1179600
6056
Но важны не намерения или утверждения
людей в области технологий,
людей в области технологий,
19:57
it's the structures
and business models they're building.
and business models they're building.
346
1185680
3560
а структуры и бизнес-модели,
которые они создают.
которые они создают.
20:02
And that's the core of the problem.
347
1190360
2096
И в этом суть проблемы.
20:04
Either Facebook is a giant con
of half a trillion dollars
of half a trillion dollars
348
1192480
4720
Или Facebook — гигантская афёра
стоимостью в полтриллиона долларов,
стоимостью в полтриллиона долларов,
20:10
and ads don't work on the site,
349
1198200
1896
а реклама на этом сайте не работает,
20:12
it doesn't work
as a persuasion architecture,
as a persuasion architecture,
350
1200120
2696
он не работает как архитектура убеждения,
20:14
or its power of influence
is of great concern.
is of great concern.
351
1202840
4120
или его сила влияния является
поводом для большого беспокойства.
поводом для большого беспокойства.
20:20
It's either one or the other.
352
1208560
1776
Это либо одно, либо другое.
20:22
It's similar for Google, too.
353
1210360
1600
Та же ситуация и с Google.
20:24
So what can we do?
354
1212880
2456
Так что мы можем сделать?
20:27
This needs to change.
355
1215360
1936
Это нужно менять.
20:29
Now, I can't offer a simple recipe,
356
1217320
2576
Сейчас я не могу
предложить простой способ,
предложить простой способ,
20:31
because we need to restructure
357
1219920
2256
потому что нам нужно реструктурировать
20:34
the whole way our
digital technology operates.
digital technology operates.
358
1222200
3016
весь путь, по которому работают
наши цифровые технологии.
наши цифровые технологии.
20:37
Everything from the way
technology is developed
technology is developed
359
1225240
4096
Всё — от того, как технология развивается,
20:41
to the way the incentives,
economic and otherwise,
economic and otherwise,
360
1229360
3856
до того, как стимулы,
экономические и иные,
экономические и иные,
20:45
are built into the system.
361
1233240
2280
встроены в систему.
20:48
We have to face and try to deal with
362
1236480
3456
Мы должны смело встретить
и попытаться справиться
и попытаться справиться
20:51
the lack of transparency
created by the proprietary algorithms,
created by the proprietary algorithms,
363
1239960
4656
с отсутствием прозрачности,
образованным собственными алгоритмами,
образованным собственными алгоритмами,
20:56
the structural challenge
of machine learning's opacity,
of machine learning's opacity,
364
1244640
3816
структурной проблемой непрозрачности
процесса машинного обучения,
процесса машинного обучения,
21:00
all this indiscriminate data
that's being collected about us.
that's being collected about us.
365
1248480
3400
всеми этими данными,
которые бессистемно собираются о нас.
которые бессистемно собираются о нас.
21:05
We have a big task in front of us.
366
1253000
2520
Перед нами стоит большая задача.
21:08
We have to mobilize our technology,
367
1256160
2680
Мы должны мобилизовать нашу технологию,
21:11
our creativity
368
1259760
1576
нашу креативность
21:13
and yes, our politics
369
1261360
1880
и да, нашу политику так,
21:16
so that we can build
artificial intelligence
artificial intelligence
370
1264240
2656
чтобы мы могли создать
искусственный интеллект,
искусственный интеллект,
21:18
that supports us in our human goals
371
1266920
3120
который поддерживает нас
в наших человеческих целях,
в наших человеческих целях,
21:22
but that is also constrained
by our human values.
by our human values.
372
1270800
3920
но который также ограничен
нашими человеческими ценностями.
нашими человеческими ценностями.
21:27
And I understand this won't be easy.
373
1275600
2160
И я осознаю, что это будет непросто.
21:30
We might not even easily agree
on what those terms mean.
on what those terms mean.
374
1278360
3600
Мы могли бы даже не согласиться
с тем, что значат эти термины.
с тем, что значат эти термины.
21:34
But if we take seriously
375
1282920
2400
Но если мы серьёзно относимся к тому,
21:38
how these systems that we
depend on for so much operate,
depend on for so much operate,
376
1286240
5976
как эти системы, от которых
мы так сильно зависим, функционируют,
мы так сильно зависим, функционируют,
21:44
I don't see how we can postpone
this conversation anymore.
this conversation anymore.
377
1292240
4120
я уже не вижу, как мы можем
откладывать этот разговор.
откладывать этот разговор.
21:49
These structures
378
1297200
2536
Эти структуры
21:51
are organizing how we function
379
1299760
4096
организуют то, как мы работаем,
21:55
and they're controlling
380
1303880
2296
и они контролируют,
21:58
what we can and we cannot do.
381
1306200
2616
что мы можем делать, а что нет.
22:00
And many of these ad-financed platforms,
382
1308840
2456
И многие из этих платформ,
финансируемых рекламой,
финансируемых рекламой,
22:03
they boast that they're free.
383
1311320
1576
кичатся, что они бесплатны.
22:04
In this context, it means
that we are the product that's being sold.
that we are the product that's being sold.
384
1312920
4560
В этом контексте это означает,
что продаваемый продукт — это мы.
что продаваемый продукт — это мы.
22:10
We need a digital economy
385
1318840
2736
Нам нужна цифровая экономика,
22:13
where our data and our attention
386
1321600
3496
где наши данные и наше внимание
22:17
is not for sale to the highest-bidding
authoritarian or demagogue.
authoritarian or demagogue.
387
1325120
5080
не продаются деспоту или демагогу,
предложившему наибольшую цену.
предложившему наибольшую цену.
22:23
(Applause)
388
1331160
3800
(Аплодисменты)
22:30
So to go back to
that Hollywood paraphrase,
that Hollywood paraphrase,
389
1338480
3256
Итак, возвращаясь к тому
голливудскому парафразу,
голливудскому парафразу,
22:33
we do want the prodigious potential
390
1341760
3736
мы хотим огромного потенциала
22:37
of artificial intelligence
and digital technology to blossom,
and digital technology to blossom,
391
1345520
3200
от искусственного интеллекта
и расцвета цифровых технологий,
и расцвета цифровых технологий,
22:41
but for that, we must face
this prodigious menace,
this prodigious menace,
392
1349400
4936
но для этого мы должны встретить
эту огромную угрозу
эту огромную угрозу
22:46
open-eyed and now.
393
1354360
1936
с широко открытыми глазами уже сейчас.
22:48
Thank you.
394
1356320
1216
Спасибо вам.
(Аплодисменты)
22:49
(Applause)
395
1357560
4640
ABOUT THE SPEAKER
Zeynep Tufekci - Techno-sociologistTechno-sociologist Zeynep Tufekci asks big questions about our societies and our lives, as both algorithms and digital connectivity spread.
Why you should listen
We've entered an era of digital connectivity and machine intelligence. Complex algorithms are increasingly used to make consequential decisions about us. Many of these decisions are subjective and have no right answer: who should be hired, fired or promoted; what news should be shown to whom; which of your friends do you see updates from; which convict should be paroled. With increasing use of machine learning in these systems, we often don't even understand how exactly they are making these decisions. Zeynep Tufekci studies what this historic transition means for culture, markets, politics and personal life.
Tufekci is a contributing opinion writer at the New York Times, an associate professor at the School of Information and Library Science at University of North Carolina, Chapel Hill, and a faculty associate at Harvard's Berkman Klein Center for Internet and Society.
Her book, Twitter and Tear Gas: The Power and Fragility of Networked Protest, was published in 2017 by Yale University Press. Her next book, from Penguin Random House, will be about algorithms that watch, judge and nudge us.
Zeynep Tufekci | Speaker | TED.com