ABOUT THE SPEAKER
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com
TEDGlobal 2013

Daniel Suarez: The kill decision shouldn't belong to a robot

Деніел Суарес: Роботи не повинні виносити смертний вирок

Filmed:
1,946,706 views

Письменник Деніел Суарес любить вигадувати похмурі історії про майбутнє. Проте на сцену TEDGlobal він вийшов, щоб поговорити про реальний розвиток подій, про те, що нам не завадило б знати: збільшення використання автономної роботизованої зброї. Він вважає, що сучасні моделі дронів, автоматизована зброя та розвідувальні системи, оснащені системами штучного інтелекту, зможуть ухвалювати рішення про початок війни без участі людини.
- Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios. Full bio

Double-click the English transcript below to play the video.

00:12
I writeписати fictionвигадка sci-fiНаукова фантастика thrillersтрилерів,
0
691
3158
Я пишу науково-фантастичні трилери,
00:15
so if I say "killerвбивця robotsроботів,"
1
3849
2193
тож коли я кажу “роботи-вбивці”,
00:18
you'dти б probablyймовірно think something like this.
2
6042
2361
ви мабуть уявляєте щось таке.
00:20
But I'm actuallyнасправді not here to talk about fictionвигадка.
3
8403
2555
Та я тут не для того, щоб говорити про фантастику.
00:22
I'm here to talk about very realреальний killerвбивця robotsроботів,
4
10958
2948
Я тут, щоб розповісти вам про справжніх роботів-убивць,
00:25
autonomousавтономний combatбій dronesбезпілотних літаків.
5
13906
3122
автономних бойових дронів.
00:29
Now, I'm not referringпосилаючись to PredatorХижак and ReaperReaper dronesбезпілотних літаків,
6
17028
3627
Я не маю на увазі безпілотних літаків типу Predator [Хижак] чи Reaper [Жатка],
00:32
whichкотрий have a humanлюдина makingвиготовлення targetingнацілювання decisionsрішення.
7
20655
3260
де наведення на ціль здійснює людина.
00:35
I'm talkingговорити about fullyповністю autonomousавтономний roboticробот weaponsзброя
8
23915
3129
Я веду мову про повністю автономну роботизовану зброю,
00:39
that make lethalсмертельний decisionsрішення about humanлюдина beingsістоти
9
27044
2654
яка ухвалює смертоносні рішення щодо життя людей
00:41
all on theirїх ownвласний.
10
29698
2417
самостійно.
00:44
There's actuallyнасправді a technicalтехнічний termтермін for this: lethalсмертельний autonomyАвтономія.
11
32115
4000
Насправді, для цього є навіть технічне поняття: смертельна автономність.
00:48
Now, lethallyсмертельно autonomousавтономний killerвбивця robotsроботів
12
36115
2856
Смертельно-автономні роботи-вбивці
00:50
would take manyбагато хто formsформи -- flyingлетять, drivingводіння,
13
38971
3069
можуть літати, їздити
00:54
or just lyingлежачий in wait.
14
42040
2746
або ж просто сидіти в засідці.
00:56
And actuallyнасправді, they're very quicklyшвидко becomingстає a realityреальність.
15
44786
3109
І вони, насправді, дуже швидко стають реальністю.
00:59
These are two automaticавтоматичні sniperснайпер stationsстанції
16
47895
2484
Перед вами дві автоматичні снайперські установки,
01:02
currentlyв даний час deployedрозгорнуто in the DMZDMZ betweenміж NorthШампань and SouthПівдень KoreaКорея.
17
50379
4137
розташовані в демілітаризованій зоні між Північною та Південною Кореєю.
01:06
BothОбидва of these machinesмашини are capableздатний of automaticallyавтоматично
18
54516
2171
Обидві ці машини здатні автоматично
01:08
identifyingвизначення a humanлюдина targetціль and firingстрільби on it,
19
56687
3524
ідентифікувати людину як мішень і відкривати по ній вогонь.
01:12
the one on the left at a distanceвідстань of over a kilometerкілометр.
20
60211
4324
Радіус дії машини зліва становить понад кілометр.
01:16
Now, in bothобидва casesвипадки, there's still a humanлюдина in the loopпетля
21
64535
3589
Проте діями обох машин все ще керує людина,
01:20
to make that lethalсмертельний firingстрільби decisionрішення,
22
68124
2372
яка й приймає смертоносне рішення,
01:22
but it's not a technologicalтехнологічний requirementвимога. It's a choiceвибір.
23
70496
5413
хоча це й не технічна вимога. Це вибір.
01:27
And it's that choiceвибір that I want to focusфокус on,
24
75909
3093
І саме на цьому виборі я хочу зосередити вашу увагу,
01:31
because as we migrateмігрувати lethalсмертельний decision-makingприйняття рішень
25
79002
2641
адже коли ми передамо прийняття смертоносних рішень
01:33
from humansлюди to softwareпрограмне забезпечення,
26
81643
3109
від людини до комп’ютерної програми,
01:36
we riskризик not only takingвзяти the humanityлюдство out of warвійна,
27
84752
3476
ми ризикуємо не тільки вивести людину з війни,
01:40
but alsoтакож changingзмінюється our socialсоціальний landscapeландшафт entirelyповністю,
28
88228
3526
але й повністю змінити соціальну картину світу,
01:43
farдалеко from the battlefieldполе бою.
29
91754
2224
того світу, що знаходиться далеко від поля бою.
01:45
That's because the way humansлюди resolveвирішити conflictконфлікт
30
93978
4509
Адже саме способи вирішення конфліктів людьми
01:50
shapesфігури our socialсоціальний landscapeландшафт.
31
98487
1733
формують соціальну картину світу.
01:52
And this has always been the caseсправа, throughoutвсюди historyісторія.
32
100220
2633
І так в історії було завжди.
01:54
For exampleприклад, these were state-of-the-artвитвір мистецтва weaponsзброя systemsсистеми
33
102853
2661
Наприклад, ось так виглядали найпередовіші види зброї
01:57
in 1400 A.D.
34
105514
2079
в 1400 році нашої ери.
01:59
Now they were bothобидва very expensiveдорогий to buildбудувати and maintainпідтримувати,
35
107593
3144
Треба було багато грошей, щоб їх побудувати, а потім утримувати,
02:02
but with these you could dominateдомінувати the populaceнаселення,
36
110737
3240
проте з їх допомогою можна було легко управляти народом,
02:05
and the distributionрозповсюдження of politicalполітичний powerвлада in feudalфеодальні societyсуспільство reflectedвідображені that.
37
113977
3889
і це підтверджує розподіл політичної сили в феодальному суспільстві.
02:09
PowerПотужність was focusedзосереджені at the very topвершина.
38
117866
2687
Влада зосереджувалась на самій верхівці.
02:12
And what changedзмінився? TechnologicalТехнологічні innovationінновації.
39
120553
3528
Що ж змінилось? З’явились технологічні інновації.
02:16
GunpowderПорох, cannonгармата.
40
124081
1871
Порох, гармати.
02:17
And prettyкрасиво soonскоро, armorброня and castlesзамки were obsoleteзастарілий,
41
125952
3817
І вже дуже скоро обладунки та замки вийшли з ужитку,
02:21
and it matteredмало значення lessменше who you broughtприніс to the battlefieldполе бою
42
129769
2533
і те, кого ти привів на поле бою, стало менш важливим
02:24
versusпроти how manyбагато хто people you broughtприніс to the battlefieldполе бою.
43
132302
3779
проти того, скільки людей прийшло на поле бою.
02:28
And as armiesармії grewвиріс in sizeрозмір, the nation-stateНаціональною державою aroseвиникла
44
136081
3638
Коли чисельність армії зросла, з’явилось поняття нація-держава
02:31
as a politicalполітичний and logisticalматеріально-технічні requirementвимога of defenseзахист.
45
139719
3680
як складова політичного та тилового захисту.
02:35
And as leadersлідери had to relyпокладатися on more of theirїх populaceнаселення,
46
143399
2376
Лідери були змушені щораз більше покладатись на свій народ
02:37
they beganпочався to shareподілитися powerвлада.
47
145775
1833
і тому стали ділитись владою.
02:39
RepresentativeПредставник governmentуряд beganпочався to formформа.
48
147608
2599
Так почала формуватись представницька влада.
02:42
So again, the toolsінструменти we use to resolveвирішити conflictконфлікт
49
150207
3288
Тож, як бачите, способи вирішення конфліктів
02:45
shapeформа our socialсоціальний landscapeландшафт.
50
153495
3304
формують соціальну картину світу.
02:48
AutonomousАвтономний roboticробот weaponsзброя are suchтакий a toolінструмент,
51
156799
4064
Автономна роботизована зброя є одним із таких способів,
02:52
exceptокрім that, by requiringщо вимагають very fewмало хто people to go to warвійна,
52
160863
5168
проте використовуючи його, не потрібно багато військових,
02:58
they riskризик re-centralizingповторно централізації powerвлада into very fewмало хто handsруки,
53
166031
4840
тож є ризик, що влада зосередиться в руках кількох людей,
03:02
possiblyможливо reversingзворотний a five-centuryп'ять століття trendтенденція towardдо democracyдемократія.
54
170871
6515
а це може змінити п’ятсотлітній напрям руху до демократії.
03:09
Now, I think, knowingзнаючи this,
55
177386
1757
Я думаю, що знаючи це,
03:11
we can take decisiveвирішальним stepsкроки to preserveзберегти our democraticдемократичний institutionsустанови,
56
179143
4352
ми можемо здійснити рішучі кроки для збереження наших інститутів демократії
03:15
to do what humansлюди do bestнайкраще, whichкотрий is adaptадаптуватися.
57
183495
3979
і зробити те, що у людей виходить найкраще – адаптуватися.
03:19
But time is a factorфактор.
58
187474
2005
Проте у нас не так багато часу.
03:21
SeventyСімдесят nationsнації are developingрозвивається remotely-pilotedдистанційно пілотований
59
189479
2851
70 країн нині розробляють власних
03:24
combatбій dronesбезпілотних літаків of theirїх ownвласний,
60
192330
2157
дистанційно-пілотованих бойових дронів.
03:26
and as you'llти будеш see, remotely-pilotedдистанційно пілотований combatбій dronesбезпілотних літаків
61
194487
2593
І, як ви розумієте, дистанційно-пілотовані бойові дрони
03:29
are the precursorsпопередники to autonomousавтономний roboticробот weaponsзброя.
62
197080
4472
стануть попередниками автономної роботизованої зброї.
03:33
That's because onceодин раз you've deployedрозгорнуто remotely-pilotedдистанційно пілотований dronesбезпілотних літаків,
63
201552
2767
І тому, як тільки ви застосували дистанційно-пілотовані дрони,
03:36
there are threeтри powerfulпотужний factorsфактори pushingнатисканням decision-makingприйняття рішень
64
204319
3384
з’являється три вагомі причини передати ухвалення рішення
03:39
away from humansлюди and on to the weaponзброя platformплатформа itselfсама по собі.
65
207703
4600
від людини збройній платформі.
03:44
The first of these is the delugeпотоп of videoвідео that dronesбезпілотних літаків produceвиробляти.
66
212303
5259
Першою з них є потік відеозображення, який надають безпілотні літаки.
03:49
For exampleприклад, in 2004, the U.S. droneDrone fleetфлот producedвироблено
67
217562
3853
Для прикладу, в 2004 році весь американський флот дронів зібрав
03:53
a grandвеликий totalзагальна кількість of 71 hoursгодин of videoвідео surveillanceспостереження for analysisаналіз.
68
221415
5312
в загальному підсумку 71 годину відеоспостереження для аналізу.
03:58
By 2011, this had goneпішов up to 300,000 hoursгодин,
69
226727
4499
До 2011 року це число зросло до 300 000 годин,
04:03
outstrippingвипереджаючи humanлюдина abilityздібності to reviewогляд it all,
70
231226
3149
хоча опрацювати таку кількість людині не під силу.
04:06
but even that numberномер is about to go up drasticallyрізко.
71
234375
3664
Проте і це число різко зросте найближчим часом.
04:10
The Pentagon'sПентагону GorgonГоргони StareСтаре and ArgusArgus programsпрограми
72
238039
2575
Такі програми Пентагону як Gorgon Stare [Погляд Горгони] та Argus [Арґус]
04:12
will put up to 65 independentlyсамостійно operatedексплуатується cameraкамера eyesочі
73
240614
3164
мають на меті встановити 65 незалежно працюючих камер
04:15
on eachкожен droneDrone platformплатформа,
74
243778
2038
на кожній платформі для дронів.
04:17
and this would vastlyвеличезно outstripобіграти humanлюдина abilityздібності to reviewогляд it.
75
245816
3303
Опрацювати таку кількість відеоінформації людині точно не вдасться.
04:21
And that meansзасоби visualвізуальний intelligenceрозвідка softwareпрограмне забезпечення will need
76
249119
2160
А це означає, що знадобиться програмне забезпечення відеорозвідки,
04:23
to scanсканування it for itemsпредмети of interestінтерес.
77
251279
4048
яке б відстежувало потрібну інформацію.
04:27
And that meansзасоби very soonскоро
78
255327
1348
Тож, вже дуже скоро
04:28
dronesбезпілотних літаків will tell humansлюди what to look at,
79
256675
2747
саме дрони вказуватимуть людині, на що дивитись,
04:31
not the other way around.
80
259422
2497
а не навпаки.
04:33
But there's a secondдругий powerfulпотужний incentiveстимул pushingнатисканням
81
261919
2473
Проте є і друга серйозна причина,
04:36
decision-makingприйняття рішень away from humansлюди and ontoна machinesмашини,
82
264392
3383
яка спонукає передати прийняття рішення від людини машині,
04:39
and that's electromagneticелектромагнітні jammingперешкод,
83
267775
2872
і це електромагнітні перешкоди,
04:42
severingрозрив the connectionз'єднання betweenміж the droneDrone
84
270647
2236
що розривають зв’язок між дроном
04:44
and its operatorОператор.
85
272883
2814
та його оператором.
04:47
Now we saw an exampleприклад of this in 2011
86
275697
2618
Ми бачили приклад цього в 2011 році,
04:50
when an AmericanАмериканський RQ-RQ-170 SentinelSentinel droneDrone
87
278315
2956
коли американський безпілотний літак RQ -170 Sentinel [Вартовий]
04:53
got a bitбіт confusedплутати over IranІран dueза рахунок to a GPSGPS spoofingспуфінга attackатака,
88
281271
4307
трохи збився з курсу над Іраном через підміну хакерами даних GPS.
04:57
but any remotely-pilotedдистанційно пілотований droneDrone is susceptibleсприйнятливий to this typeтип of attackатака,
89
285578
5114
Кожен дистанційно-пілотований дрон є вразливим до такого типу атаки,
05:02
and that meansзасоби dronesбезпілотних літаків
90
290692
2052
тож, це означає,
05:04
will have to shoulderплече more decision-makingприйняття рішень.
91
292744
3620
що дрони мусять взяти на себе більше відповідальності за прийняття рішень.
05:08
They'llВони будуть know theirїх missionмісія objectiveоб'єктивний,
92
296364
3043
Знаючи свою місію,
05:11
and they'llвони будуть reactреагувати to newновий circumstancesобставини withoutбез humanлюдина guidanceКерівництво.
93
299407
4845
вони зможуть діяти відповідно до нових обставин без людського втручання.
05:16
They'llВони будуть ignoreігнорувати externalзовнішній radioрадіо signalsсигнали
94
304252
2581
Вони ігноруватимуть зовнішні радіосигнали
05:18
and sendвідправити very fewмало хто of theirїх ownвласний.
95
306833
2330
і надсилатимуть дуже мало своїх.
05:21
WhichЯкий bringsприносить us to, really, the thirdтретій
96
309163
2006
Саме це підвело нас до третьої
05:23
and mostнайбільше powerfulпотужний incentiveстимул pushingнатисканням decision-makingприйняття рішень
97
311169
3862
найвагомішої причини передачі прийняття рішення
05:27
away from humansлюди and ontoна weaponsзброя:
98
315031
3342
від людини до машини:
05:30
plausibleправдоподібно deniabilitydeniability.
99
318373
3293
вагоме заперечення.
05:33
Now we liveжити in a globalглобальний economyекономіка.
100
321666
2887
Ми живемо в умовах глобальної економіки.
05:36
High-techХай тек manufacturingвиробництво is occurringвідбувається on mostнайбільше continentsконтиненти.
101
324553
4334
Високотехнологічне виробництво здійснюється на більшості континентів.
05:40
CyberКібер espionageШпигунство is spiritingspiriting away advancedпросунутий designsконструкції
102
328887
2914
За допомогою кібершпигунства
05:43
to partsчастин unknownНевідомий,
103
331801
1886
кудись зникають найновіші розробки,
05:45
and in that environmentнавколишнє середовище, it is very likelyшвидше за все
104
333687
2014
а в таких умовах украй імовірно,
05:47
that a successfulуспішний droneDrone designдизайн will be knockedпостукав off in contractдоговір factoriesфабрики,
105
335701
4734
що вдалий дизайн дрона, зробленого на підпільній фабриці,
05:52
proliferateрозмножуватися in the grayсірий marketринок.
106
340435
2170
швидко заполонить чорний ринок.
05:54
And in that situationситуація, siftingпросіювання throughчерез the wreckageуламки
107
342605
2460
У такій ситуації, розбираючи завали
05:57
of a suicideсамогубство droneDrone attackатака, it will be very difficultважко to say
108
345065
2960
після атаки дрона-самогубця, буде важко з’ясувати,
06:00
who sentнадісланий that weaponзброя.
109
348025
4400
хто його відправив.
06:04
This raisesпіднімається the very realреальний possibilityможливість
110
352425
2800
А це підвищує цілком реальну можливість
06:07
of anonymousанонімний warвійна.
111
355225
2935
анонімної війни.
06:10
This could tiltнахил the geopoliticalгеополітичний balanceбаланс on its headголова,
112
358160
2614
Це може повністю змінити геополітичний баланс,
06:12
make it very difficultважко for a nationнація to turnповорот its firepowerвогнева міць
113
360774
3491
оскільки стане неможливим відкрити вогонь
06:16
againstпроти an attackerЗловмисник, and that could shiftзміна the balanceбаланс
114
364265
2848
по агресору, що змістить пріорітети
06:19
in the 21stвул centuryстоліття away from defenseзахист and towardдо offenseзлочин.
115
367113
3764
в 21 столітті від захисту до нападу.
06:22
It could make militaryвійськовий actionдія a viableжиттєздатний optionваріант
116
370877
3124
Таким чином, військові дії стануть цілком доступними
06:26
not just for smallмаленький nationsнації,
117
374001
2288
не тільки для малих народів,
06:28
but criminalкримінальний organizationsорганізації, privateприватний enterpriseпідприємство,
118
376289
2545
а й для кримінальних та приватних організацій
06:30
even powerfulпотужний individualsособистості.
119
378834
2479
чи навіть для впливових людей.
06:33
It could createстворити a landscapeландшафт of rivalсуперник warlordsПольові командири
120
381313
3328
А це, своєю чергою, тільки сприятиме конкуруючим воєначальникам,
06:36
underminingпідірвати ruleправити of lawзакон and civilцивільний societyсуспільство.
121
384641
3680
підриваючи верховенство закону і громадянського суспільства.
06:40
Now if responsibilityвідповідальність and transparencyпрозорість
122
388321
3616
Відповідальність та прозорість
06:43
are two of the cornerstonesнаріжні камені of representativeпредставник governmentуряд,
123
391937
2384
є двома наріжними каменями представницької влади,
06:46
autonomousавтономний roboticробот weaponsзброя could undermineпідірвати bothобидва.
124
394321
4320
проте автономна роботизована зброя може підірвати обидва з них.
06:50
Now you mightможе be thinkingмислення that
125
398641
1546
Ви, мабуть, думаєте,
06:52
citizensгромадяни of high-techвисокотехнологічний nationsнації
126
400187
2246
що жителі з технологічно розвинутих країн
06:54
would have the advantageПеревага in any roboticробот warвійна,
127
402433
2703
будуть мати перевагу в роботизованій війні,
06:57
that citizensгромадяни of those nationsнації would be lessменше vulnerableвразливий,
128
405136
3633
що жителі цих країн будуть менш вразливими
07:00
particularlyособливо againstпроти developingрозвивається nationsнації.
129
408769
4288
порівняно з жителями країн, що розвиваються.
07:05
But I think the truthправда is the exactточно oppositeнавпаки.
130
413057
3524
Та на мою думку, все буде якраз навпаки.
07:08
I think citizensгромадяни of high-techвисокотехнологічний societiesтовариства
131
416581
2251
Я вважаю, що жителі технологічно розвинутих країн
07:10
are more vulnerableвразливий to roboticробот weaponsзброя,
132
418832
3729
є вразливішими до роботизованої зброї
07:14
and the reasonпричина can be summedпідсумовується up in one wordслово: dataдані.
133
422561
4465
і причину можна підсумувати одним словом: інформація.
07:19
DataДані powersповноваження high-techвисокотехнологічний societiesтовариства.
134
427026
3481
Інформація – це рушій технологічно розвинутих країн.
07:22
CellКлітинку phoneтелефон geolocationгеопозиціювання, telecomТелеком metadataметадані,
135
430507
3190
Мобільна служба геолокації, метадані операторів зв’язку,
07:25
socialсоціальний mediaЗМІ, emailелектронна пошта, textтекст, financialфінансовий transactionтранзакції dataдані,
136
433697
3472
соціальні мережі, електронна пошта, текстові повідомлення, дані про фінансові операції
07:29
transportationперевезення dataдані, it's a wealthбагатство of real-timeреальний час dataдані
137
437169
3532
та перевезення – це надзвичайно великі обсяги інформації
07:32
on the movementsрухи and socialсоціальний interactionsвзаємодії of people.
138
440701
3373
про переміщення та взаємодію людей в реальному часі.
07:36
In shortкороткий, we are more visibleвидимий to machinesмашини
139
444074
3775
Іншими словами, сьогодні машини стежать за нами так,
07:39
than any people in historyісторія,
140
447849
2242
як ніколи раніше за всю історію людства,
07:42
and this perfectlyчудово suitsкостюми the targetingнацілювання needsпотреби of autonomousавтономний weaponsзброя.
141
450091
5616
що чудово відповідає потребам прицілювання автономної зброї.
07:47
What you're looking at here
142
455707
1738
Те, що ви зараз тут бачите -
07:49
is a linkпосилання analysisаналіз mapкарта of a socialсоціальний groupгрупа.
143
457445
3246
це графічний аналіз зв’язків соціальної групи людей.
07:52
LinesЛінії indicateвкажіть socialсоціальний connectednessзв'язність betweenміж individualsособистості.
144
460691
3634
Лінії позначають соціальний зв’язок між людьми.
07:56
And these typesтипи of mapsкарти can be automaticallyавтоматично generatedзгенерований
145
464325
2880
Подібні графіки можна автоматично побудувати
07:59
basedна основі on the dataдані trailстежка modernсучасний people leaveзалишати behindпозаду.
146
467205
4715
на основі інформаційного сліду, що його залишають сучасні люди.
08:03
Now it's typicallyзазвичай used to marketринок goodsтовари and servicesпослуги
147
471920
2477
Зазвичай вони використовуються для продажу товарів та послуг
08:06
to targetedцілеспрямований demographicsдемографічні показники, but it's a dual-useподвійного призначення technologyтехнологія,
148
474397
4416
цільовому населенню, проте ця технологія має подвійне призначення,
08:10
because targetingнацілювання is used in anotherінший contextконтекст.
149
478813
3360
оскільки її можна використовувати і для інших цілей.
08:14
NoticeПовідомлення that certainпевний individualsособистості are highlightedвиділений.
150
482173
2560
Зверніть увагу, що деякі особи виділяються.
08:16
These are the hubsконцентратори of socialсоціальний networksмережі.
151
484733
3280
Ці люди – центри уваги в соціальних мережах.
08:20
These are organizersОрганізатори, opinion-makersдумка виробники, leadersлідери,
152
488013
3590
Це організатори, творці громадської думки, лідери.
08:23
and these people alsoтакож can be automaticallyавтоматично identifiedвиявлено
153
491603
2682
Усіх їх можна автоматично ідентифікувати
08:26
from theirїх communicationспілкування patternsвізерунки.
154
494285
2382
за їхньою манерою спілкування.
08:28
Now, if you're a marketerмаркетолог, you mightможе then targetціль them
155
496667
2146
Тож, якщо ви маркетолог, ви можете орієнтуватись на них,
08:30
with productпродукт samplesзразки, try to spreadпоширюватися your brandбренд
156
498813
2543
виготовляючи зразки своєї продукції, а також поширювати свою марку
08:33
throughчерез theirїх socialсоціальний groupгрупа.
157
501356
2829
через їхню соціальну групу.
08:36
But if you're a repressiveрепресивний governmentуряд
158
504185
1953
Проте якщо ви репресивний уряд,
08:38
searchingпошук for politicalполітичний enemiesвороги, you mightможе insteadзамість цього removeвидалити them,
159
506138
4810
що розшукує політичного ворога, ви навпаки захочете їх усунути,
08:42
eliminateусунути them, disruptпорушити theirїх socialсоціальний groupгрупа,
160
510948
2760
позбутись, підірвати засади їхньої соціальної групи,
08:45
and those who remainзалишитися behindпозаду loseвтрачати socialсоціальний cohesionєдність
161
513708
3169
і ті, хто залишиться за її межами втратять соціальну єдність
08:48
and organizationорганізація.
162
516877
2621
та організацію.
08:51
Now in a worldсвіт of cheapдешево, proliferatingросте roboticробот weaponsзброя,
163
519498
3324
У світі, де швидко поширюється дешева роботизована зброя,
08:54
bordersкордони would offerпропозиція very little protectionзахист
164
522822
2635
кордони не стануть на захист
08:57
to criticsкритики of distantдалекий governmentsуряди
165
525457
1946
критиків віддалених урядів
08:59
or trans-nationalтранснаціональних criminalкримінальний organizationsорганізації.
166
527403
3646
і транснаціональних кримінальних організацій.
09:03
PopularПопулярні movementsрухи agitatingагітація for changeзмінити
167
531049
3493
Народні рухи, що агітуватимуть за зміни,
09:06
could be detectedвиявлено earlyрано and theirїх leadersлідери eliminatedусувається
168
534542
3609
виявлять ще на ранніх стадіях, а їхніх лідерів усунуть
09:10
before theirїх ideasідеї achieveдомогтися criticalкритичний massмаса.
169
538151
2911
ще до того, як їхні ідеї досягнуть критичної маси.
09:13
And ideasідеї achievingдосягнення criticalкритичний massмаса
170
541062
2591
Проте саме ідеї, які досягли критичної маси,
09:15
is what politicalполітичний activismактивізм in popularпопулярний governmentуряд is all about.
171
543653
3936
становлять основу політичного руху в демократичному суспільстві.
09:19
AnonymousАнонім lethalсмертельний weaponsзброя could make lethalсмертельний actionдія
172
547589
3997
Анонімна смертоносна зброя може перехилити шальки терезів
09:23
an easyлегко choiceвибір for all sortsсортів of competingконкуруючі interestsінтереси.
173
551586
3782
на користь смертоносних дій для різних конкуруючих угрупувань
09:27
And this would put a chillChill on freeбезкоштовно speechмова
174
555368
3734
Це також заморозить свободу слова
09:31
and popularпопулярний politicalполітичний actionдія, the very heartсерце of democracyдемократія.
175
559102
5308
та громадську політичну діяльність, тобто саме серце демократії.
09:36
And this is why we need an internationalміжнародний treatyдоговір
176
564410
2914
Саме тому необхідно створити міжнародний договір
09:39
on roboticробот weaponsзброя, and in particularконкретно a globalглобальний banзаборона
177
567324
3540
щодо використання роботизованої зброї, а також глобальної заборони на
09:42
on the developmentрозвиток and deploymentрозгортання of killerвбивця robotsроботів.
178
570864
3908
створення та поширення роботів-вбивць.
09:46
Now we alreadyвже have internationalміжнародний treatiesдоговори
179
574772
3254
Зараз ми вже маємо міжнародні договори
09:50
on nuclearядерний and biologicalбіологічний weaponsзброя, and, while imperfectнедосконалий,
180
578026
3386
щодо використання ядерної та біологічної зброї, і хоч вони не є досконалі,
09:53
these have largelyзначною мірою workedпрацював.
181
581412
2288
та все ж в основному вони працюють.
09:55
But roboticробот weaponsзброя mightможе be everyкожен bitбіт as dangerousнебезпечний,
182
583700
3768
Роботизована зброя може бути така ж небезпечна,
09:59
because they will almostмайже certainlyзвичайно be used,
183
587468
3288
тому що її точно використовуватимуть,
10:02
and they would alsoтакож be corrosiveагресивних to our democraticдемократичний institutionsустанови.
184
590756
5027
а також вона може стати руйнівною для наших інститутів демократії.
10:07
Now in NovemberЛистопад 2012 the U.S. DepartmentДепартамент of DefenseОборони
185
595783
3468
У листопаді 2012 року Міністерство оборони США
10:11
issuedвиданий a directiveДиректива requiringщо вимагають
186
599251
2458
видало директиву, яка вимагає
10:13
a humanлюдина beingбуття be presentприсутній in all lethalсмертельний decisionsрішення.
187
601709
4519
присутності людини при ухваленні всіх смертоносних рішень.
10:18
This temporarilyтимчасово effectivelyефективно bannedзаборонено autonomousавтономний weaponsзброя in the U.S. militaryвійськовий,
188
606228
4776
Ця директива також тимчасово забороняє використання автономної зброї збройними силами США,
10:23
but that directiveДиректива needsпотреби to be madeзроблений permanentпостійний.
189
611004
3753
проте це розпорядження має стати постійним.
10:26
And it could setвстановити the stageетап for globalглобальний actionдія.
190
614757
4376
Також це може послужити поштовхом для міжнародних дій.
10:31
Because we need an internationalміжнародний legalзаконний frameworkрамки
191
619133
3845
Адже ми потребуємо встановлення міжнародних правових рамок
10:34
for roboticробот weaponsзброя.
192
622978
2138
щодо використання роботизованої зброї.
10:37
And we need it now, before there's a devastatingруйнівні attackатака
193
625116
2928
І ми потребуємо цього тепер, поки на нас не напали,
10:40
or a terroristтерористичних incidentінцидент that causesпричини nationsнації of the worldсвіт
194
628044
3152
або ж не стався терористичний акт, який би змусив держави у всьому світі
10:43
to rushкидайся to adoptприймати these weaponsзброя
195
631196
1924
поспішно використовувати цю зброю,
10:45
before thinkingмислення throughчерез the consequencesнаслідки.
196
633120
3771
не задумуючись про наслідки.
10:48
AutonomousАвтономний roboticробот weaponsзброя concentrateконцентрувати too much powerвлада
197
636891
2981
Автономна роботизована зброя дає можливість концентрувати занадто багато сили
10:51
in too fewмало хто handsруки, and they would imperilimperil democracyдемократія itselfсама по собі.
198
639872
6283
в руках кількох людей, а це загрожує демократії.
10:58
Now, don't get me wrongнеправильно, I think there are tonsтонн
199
646155
2686
Проте не зрозумійте мене неправильно - на мою думку, є сотні
11:00
of great usesвикористовує for unarmedбеззбройні civilianцивільний dronesбезпілотних літаків:
200
648841
2618
віріантів використання цивільних неозброєних дронів:
11:03
environmentalекологічний monitoringмоніторинг, searchпошук and rescueпорятунок, logisticsлогістика.
201
651459
3939
моніторинг довкілля, пошуково-рятувальні роботи, логістика.
11:07
If we have an internationalміжнародний treatyдоговір on roboticробот weaponsзброя,
202
655398
2826
Маючи міжнародній договір щодо використання роботизованої зброї,
11:10
how do we gainвиграти the benefitsвигоди of autonomousавтономний dronesбезпілотних літаків
203
658224
3587
як ми зможемо користуватись перевагами автономних дронів
11:13
and vehiclesтранспортні засоби while still protectingзахист ourselvesми самі
204
661811
2648
та машин і водночас захищати себе
11:16
againstпроти illegalнезаконний roboticробот weaponsзброя?
205
664459
3980
від нелегальної роботизованої зброї?
11:20
I think the secretтаємниця will be transparencyпрозорість.
206
668439
4741
Я думаю, що тут нам допомогла б політика прозорості.
11:25
No robotробот should have an expectationочікування of privacyконфіденційність
207
673180
3013
Робот не повинен мати право на анонімність
11:28
in a publicгромадськість placeмісце.
208
676193
3451
в громадському місці.
11:31
(ApplauseОплески)
209
679644
5048
(Оплески)
11:36
EachКожен robotробот and droneDrone should have
210
684692
2045
Кожен робот та безпілотний літак мусить мати
11:38
a cryptographicallyкриптографічно signedпідписаний I.D. burnedспалений in at the factoryфабрика
211
686737
2883
криптографічне маркування, поставлене ще на заводі,
11:41
that can be used to trackтрек its movementрух throughчерез publicгромадськість spacesпробіли.
212
689620
2923
яке можна було б використовувати, щоб відстежити його рух громадськими місцями.
11:44
We have licenseліцензія platesПлити on carsавтомобілі, tailхвіст numbersномери on aircraftлітак.
213
692543
3381
Номерні знаки мають машини та літаки.
11:47
This is no differentінший.
214
695924
1841
Тут теж не повинно бути винятків.
11:49
And everyкожен citizenгромадянин should be ableздатний to downloadскачати an appдодаток
215
697765
2012
Кожен житель мусить мати змогу завантажити додаток,
11:51
that showsшоу the populationнаселення of dronesбезпілотних літаків and autonomousавтономний vehiclesтранспортні засоби
216
699777
3125
який би показував йому рух всіх дронів та автономних машин
11:54
movingрухаючись throughчерез publicгромадськість spacesпробіли around them,
217
702902
2429
громадськими місцями
11:57
bothобидва right now and historicallyісторично.
218
705331
2733
в реальному часі та в минулому.
12:00
And civicгромадянський leadersлідери should deployрозгортання sensorsдатчики and civicгромадянський dronesбезпілотних літаків
219
708064
3548
Громадські діячі повинні розмістити сенсорні датчики і мати в своєму розпорядженні цивільні дрони
12:03
to detectвиявити rogueізгоїв dronesбезпілотних літаків,
220
711612
2344
для виявлення ворожих дронів,
12:05
and insteadзамість цього of sendingвідправка killerвбивця dronesбезпілотних літаків of theirїх ownвласний up to shootстріляти them down,
221
713956
3176
проте замість того, щоб відправляти дронів-вбивць для їх знешкодження,
12:09
they should notifyсповістити humansлюди to theirїх presenceнаявність.
222
717132
2992
попереджати людей про їхню присутність.
12:12
And in certainпевний very high-securityвисока безпека areasрайони,
223
720124
2606
І тільки в зонах підвищеної безпеки
12:14
perhapsможе бути civicгромадянський dronesбезпілотних літаків would snareмалий барабан them
224
722730
1909
допускається, щоб цивільні дрони виловлювали їх
12:16
and dragперетягніть them off to a bombбомба disposalУтилізація facilityоб'єкт.
225
724639
2841
і відвозили на звалище для знешкодження.
12:19
But noticeпомітити, this is more an immuneімунний systemсистема
226
727480
3027
Проте зверніть увагу, що це більше схоже на імунну систему,
12:22
than a weaponsзброя systemсистема.
227
730507
1321
ніж на збройну систему.
12:23
It would allowдозволити us to availскористатися ourselvesми самі of the use
228
731828
2592
Це дозволить нам отримувати певну користь
12:26
of autonomousавтономний vehiclesтранспортні засоби and dronesбезпілотних літаків
229
734420
2032
від автономних машин та дронів
12:28
while still preservingзбереження our openВІДЧИНЕНО, civilцивільний societyсуспільство.
230
736452
4295
і водночас зберегти наше громадянське суспільство відкритим.
12:32
We mustповинен banзаборона the deploymentрозгортання and developmentрозвиток
231
740747
2999
Нам варто заборонити виробництво та розвиток
12:35
of killerвбивця robotsроботів.
232
743746
1862
роботів-вбивць.
12:37
Let's not succumbпіддавайтеся to the temptationспокуса to automateАвтоматизація warвійна.
233
745608
4850
Не піддаваймося спокусі зробити війну автоматизованою.
12:42
AutocraticСамодержавної governmentsуряди and criminalкримінальний organizationsорганізації
234
750458
2718
Без сумніву, диктаторські уряди та кримінальні організації
12:45
undoubtedlyпоза сумнівом will, but let's not joinприєднатися them.
235
753176
2956
піддадуться, проте не приєднуймося до них.
12:48
AutonomousАвтономний roboticробот weaponsзброя
236
756132
1891
Автономна роботизована зброя
12:50
would concentrateконцентрувати too much powerвлада
237
758023
2051
сконцентрує занадто багато сили
12:52
in too fewмало хто unseenневидимий handsруки,
238
760074
2482
у кількох невидимих руках,
12:54
and that would be corrosiveагресивних to representativeпредставник governmentуряд.
239
762556
3255
а це матиме руйнівний вплив на представницьку владу.
12:57
Let's make sure, for democraciesдемократій at leastнайменше,
240
765811
2961
Постараймося, щоб хоча б у демократичному суспільстві
13:00
killerвбивця robotsроботів remainзалишитися fictionвигадка.
241
768772
2604
роботи-вбивці залишались вигадкою.
13:03
Thank you.
242
771376
1110
Дякую.
13:04
(ApplauseОплески)
243
772486
4565
(Оплески)
13:09
Thank you. (ApplauseОплески)
244
777051
4616
Дякую. (Оплески)
Translated by Iryna Druts
Reviewed by Igor Korobko

▲Back to top

ABOUT THE SPEAKER
Daniel Suarez - Sci-fi author
Daniel Suarez concocts thrilling reads from terrifying (and not-so-farfetched) near-future scenarios.

Why you should listen

While working as a software developer, Daniel Suarez self-published Daemon, a cyber-thriller depicting a future where society is radically reshaped by disruptive technologies. It struck a chord -- and so did the sequel, Freedom (TM) -- rocketing Suarez into the pantheon of sci-fi prophets.

In his 2012 novel Kill Decision, Suarez digs into the consequences of technology that’s here to stay: autonomous bots and drones programmed to be lethal. Suarez argues that as we cede more control to software, we gamble with the very essence of democracy itself. How can we establish sane guidelines for technology that could easily outstrip our control?

More profile about the speaker
Daniel Suarez | Speaker | TED.com