ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com
TEDxCambridge

Iyad Rahwan: What moral decisions should driverless cars make?

Iyad Rahwan: Sürücüsüz arabalar, ne gibi ahlaki kararlar vermek zorunda?

Filmed:
1,147,381 views

Sürücüsüz aracın, beş yayayı kurtarmak adına seni öldürebilmeli mi? Sürücüsüz araç teknolojisindeki bu ahlaki ikilemde Iyad Rahwan, teknolojinin ahlak yasalarımıza getirdiği etkiyi tartışıyor ve gerçek insanlarla, ahlaksal ödünler üzerine yürüttüğü çalışmadaki bulgularını paylaşıyor.
- Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence. Full bio

Double-click the English transcript below to play the video.

00:13
TodayBugün I'm going to talk
about technologyteknoloji and societytoplum.
0
1000
4080
Bugün, teknoloji ve toplum
hakkında konuşacağım.
00:19
The DepartmentBölümü of TransportTaşıma
estimatedtahmini that last yearyıl
1
7040
3696
Ulaştırma Bakanlığı verilere göre
geçen sene yalnızca ABD'de
35.000 insanın trafik kazalarında
yaşamını yitirdiğini bildirdi.
00:22
35,000 people diedvefat etti
from traffictrafik crashesçöker in the US aloneyalnız.
2
10760
4080
00:28
WorldwideDünya çapında, 1.2 millionmilyon people
dieölmek everyher yearyıl in traffictrafik accidentskazalar.
3
16040
4800
Dünya çapında, her yıl 1.2 milyon insan
trafik kazalarında hayatını kaybediyor.
00:33
If there was a way we could eliminateelemek
90 percentyüzde of those accidentskazalar,
4
21760
4096
Bu kazaların yüzde 90'ını ortadan
kaldırabileceğimiz bir yöntem olsaydı,
bunu destekler miydiniz?
00:37
would you supportdestek it?
5
25880
1200
00:39
Of coursekurs you would.
6
27720
1296
Elbette desteklerdiniz.
00:41
This is what driverlesssürücüsüz cararaba technologyteknoloji
promisessözler to achievebaşarmak
7
29040
3655
Sürücüsüz araba teknolojisi
işte bunu vadediyor;
kazaların ana sebebini,
yani insan hatasını
00:44
by eliminatingortadan kaldırarak the mainana
sourcekaynak of accidentskazalar --
8
32720
2816
ortadan kaldırmayı.
00:47
humaninsan errorhata.
9
35560
1200
00:49
Now pictureresim yourselfkendin
in a driverlesssürücüsüz cararaba in the yearyıl 2030,
10
37920
5416
Şimdi kendinizi 2030 yılında
sürücüsüz bir araba içerisinde hayal edin,
arkada oturuyor ve bu nostaljik
TEDxCambridge videosunu izliyorsunuz.
00:55
sittingoturma back and watchingseyretme
this vintageVintage TEDxCambridgeTEDxCambridge videovideo.
11
43360
3456
(Gülüşmeler)
00:58
(LaughterKahkaha)
12
46840
2000
01:01
All of a suddenani,
13
49520
1216
Aniden,
arabada mekanik bir arıza oluyor
ve duramıyor.
01:02
the cararaba experiencesdeneyimler mechanicalmekanik failurebaşarısızlık
and is unableaciz to stop.
14
50760
3280
01:07
If the cararaba continuesdevam ediyor,
15
55360
1520
Araba sürüşe devam ederse,
01:09
it will crashkaza into a bunchDemet
of pedestriansyayalar crossinggeçit the streetsokak,
16
57720
4120
yoldan geçen bir grup insana çarpacak,
01:15
but the cararaba mayMayıs ayı swerveDireksiyonu,
17
63080
2135
fakat araç direksiyon kırabilir,
görgü tanıklarından birine çarpar
01:17
hittingisabet one bystanderseyirci,
18
65239
1857
ve böylece daha çok yaya kurtulmuş olur.
01:19
killingöldürme them to savekayıt etmek the pedestriansyayalar.
19
67120
2080
01:22
What should the cararaba do,
and who should decidekarar ver?
20
70040
2600
Araba ne yapmalı
ve buna kim karar vermeli?
01:25
What if insteadyerine the cararaba
could swerveDireksiyonu into a wallduvar,
21
73520
3536
Farz edelim ki,
araba direksiyonu bir duvara kırıyor,
diğer yayaları kurtarmak adına,
01:29
crashinggürültüyle çarpmak and killingöldürme you, the passengeryolcu,
22
77080
3296
duvara çarparak arabadaki
yolcuyu yani sizi öldürüyor.
01:32
in ordersipariş to savekayıt etmek those pedestriansyayalar?
23
80400
2320
01:35
This scenariosenaryo is inspiredyaratıcı
by the trolleytramvay problemsorun,
24
83240
3080
Bu senaryo,
bundan 30-40 yıl önce
01:38
whichhangi was inventedicat edildi
by philosophersfilozoflar a fewaz decadeson yıllar agoönce
25
86960
3776
ahlak kuramını irdelemek adına
filozoflarca yaratılan tren ikileminden
esinlenerek ortaya konmuş.
01:42
to think about ethicsetik.
26
90760
1240
01:46
Now, the way we think
about this problemsorun mattershususlar.
27
94120
2496
Bu probleme bakış açımız önem taşıyor.
01:48
We mayMayıs ayı for exampleörnek
not think about it at all.
28
96640
2616
Mesela, hiç üzerine kafa yormayabiliriz.
Bu senaryonun gerçekçi olmadığını,
son derece olağan dışı olduğunu
01:51
We mayMayıs ayı say this scenariosenaryo is unrealisticgerçekçi olmayan,
29
99280
3376
veya aptalca olduğunu düşünebiliriz.
01:54
incrediblyinanılmaz unlikelyolası olmayan, or just sillysaçma.
30
102680
2320
01:57
But I think this criticismeleştiri
missesözlüyor the pointpuan
31
105760
2736
Fakat bu eleştirinin,
işin özünü kaçırdığını düşünüyorum,
çünkü senaryoyu
fazla direkt yorumluyorlar.
02:00
because it takes
the scenariosenaryo too literallyharfi harfine.
32
108520
2160
02:03
Of coursekurs no accidentkaza
is going to look like this;
33
111920
2736
Elbette hiçbir kaza bu şekilde olmaz,
herkesin o veya bu şekilde öldüğü
02:06
no accidentkaza has two or threeüç optionsseçenekleri
34
114680
3336
iki üç olasılığa indirgenemez.
02:10
where everybodyherkes dieskalıp somehowbir şekilde.
35
118040
2000
02:13
InsteadBunun yerine, the cararaba is going
to calculatehesaplamak something
36
121480
2576
Buna karşın araba,
vuracağı kişi sayısı gibi
kendi içinde hesaplamalara gidecek,
02:16
like the probabilityolasılık of hittingisabet
a certainbelli groupgrup of people,
37
124080
4896
direksiyonu çevireceği
yönleri kıyaslayarak
02:21
if you swerveDireksiyonu one directionyön
versuse karşı anotherbir diğeri directionyön,
38
129000
3336
yolcu veya diğer sürücülere
vereceği hasarı, yayalara oranla
02:24
you mightbelki slightlyhafifçe increaseartırmak the riskrisk
to passengersyolcu or other driverssürücüleri
39
132360
3456
nispeten arttırabilir.
02:27
versuse karşı pedestriansyayalar.
40
135840
1536
02:29
It's going to be
a more complexkarmaşık calculationhesaplama,
41
137400
2160
Çok daha karmaşık bir hesaplama olacaktır,
02:32
but it's still going
to involvedahil trade-offsdengelemeler,
42
140480
2520
ama yine de risk oranını
hesaba katmış olacaktır
02:35
and trade-offsdengelemeler oftensık sık requiregerektirir ethicsetik.
43
143840
2880
ve risk oranları,
sıklıkla ahlak kuramı içindedir.
02:39
We mightbelki say then,
"Well, let's not worryendişelenmek about this.
44
147840
2736
Şu şekilde düşünebiliriz,
''Peki, o hâlde daha fazla uzatmayalım.
02:42
Let's wait untila kadar technologyteknoloji
is fullytamamen readyhazır and 100 percentyüzde safekasa."
45
150600
4640
Teknolojinin tamamen hazır olmasını,
%100 güvenli hâle gelmesini bekleyelim.''
02:48
SupposeVarsayalım that we can indeedaslında
eliminateelemek 90 percentyüzde of those accidentskazalar,
46
156520
3680
Gelecek 10 yılda, bu kazaların %90'ını
02:53
or even 99 percentyüzde in the nextSonraki 10 yearsyıl.
47
161080
2840
ve hatta %99'unu
önleyebildiğimizi farz edelim.
02:56
What if eliminatingortadan kaldırarak
the last one percentyüzde of accidentskazalar
48
164920
3176
Peki ya diğer %10'luk
kaza dilimini önleyebilmek,
50 yıllık bir çalışma daha
gerektiriyor olsaydı?
03:00
requiresgerektirir 50 more yearsyıl of researchAraştırma?
49
168120
3120
03:04
Should we not adoptbenimsemek the technologyteknoloji?
50
172400
1800
Teknolojiyi uyarlamamız gerekmez mi?
03:06
That's 60 millionmilyon people
deadölü in cararaba accidentskazalar
51
174720
4776
Mevcut oranı korursak,
bu 60 milyon insanın araba kazalarında
canlarını yitirdiği anlamına geliyor.
03:11
if we maintainsürdürmek the currentşimdiki rateoran.
52
179520
1760
03:14
So the pointpuan is,
53
182760
1216
Demek istediğim şu ki,
tamamen güvenliği sağlamak için
beklemek bir seçenek,
03:16
waitingbekleme for fulltam safetyemniyet is alsoAyrıca a choiceseçim,
54
184000
3616
fakat aynı zamanda,
kendi içinde risk taşıyor.
03:19
and it alsoAyrıca involvesgerektirir trade-offsdengelemeler.
55
187640
2160
03:23
People onlineinternet üzerinden on socialsosyal mediamedya
have been cominggelecek up with all sortssıralar of waysyolları
56
191560
4336
Sosyal medyada insanlar,
bu problemi düşünmemek için
türlü fikirler öne sürüyorlar.
03:27
to not think about this problemsorun.
57
195920
2016
03:29
One personkişi suggestedönerdi
the cararaba should just swerveDireksiyonu somehowbir şekilde
58
197960
3216
Bir kişi arabanın bir şekilde,
yaya ile tanık arasından
geçmesi fikrini
03:33
in betweenarasında the passengersyolcu --
59
201200
2136
(Gülüşmeler)
03:35
(LaughterKahkaha)
60
203360
1016
öne sürdü.
03:36
and the bystanderseyirci.
61
204400
1256
03:37
Of coursekurs if that's what the cararaba can do,
that's what the cararaba should do.
62
205680
3360
Elbette araba eğer bunu yapabiliyorsa,
bunu yapması gerekir.
03:41
We're interestedilgili in scenariossenaryolar
in whichhangi this is not possiblemümkün.
63
209920
2840
Böyle bir çözümün mümkün
olmadığı senaryolardan bahsediyoruz.
03:45
And my personalkişisel favoritesevdiğim
was a suggestionöneri by a bloggerblogger
64
213280
5416
Bir blog yazarınca öne sürülen,
şahsen benim en sevdiğim öneride,
arabada basılabilen fırlatma tuşu ile
03:50
to have an ejectdışarı atmak buttondüğme in the cararaba
that you pressbasın --
65
218720
3016
(Gülüşmeler)
03:53
(LaughterKahkaha)
66
221760
1216
arabanın devamında
kendini imha etmesi çözümüydü.
03:55
just before the cararaba self-destructsDakik.
67
223000
1667
03:56
(LaughterKahkaha)
68
224691
1680
(Gülüşmeler)
03:59
So if we acknowledgekabul that carsarabalar
will have to make trade-offsdengelemeler on the roadyol,
69
227840
5200
Arabaların trafikte risk oranı tahlili
yapacağını kabul edecek olursak,
04:06
how do we think about those trade-offsdengelemeler,
70
234200
1880
bu risk oranı tahlilleri hakkında
nasıl düşüneceğiz
04:09
and how do we decidekarar ver?
71
237320
1576
ve nasıl karar vereceğiz?
04:10
Well, maybe we should runkoş a surveyanket
to find out what societytoplum wants,
72
238920
3136
Belki de toplumun ne istediğini
anlamak için bir anket düzenlemeliyiz,
04:14
because ultimatelyen sonunda,
73
242080
1456
çünkü nihayetinde,
04:15
regulationsyönetmelik and the lawhukuk
are a reflectionyansıma of societaltoplumsal valuesdeğerler.
74
243560
3960
düzenlemeler ve yasalar
toplumsal değerlerin bir yansımasıdır.
04:20
So this is what we did.
75
248040
1240
Böyle yaptık.
04:21
With my collaboratorsortak çalışanlar,
76
249880
1616
Ekip arkadaşlarım ile birlikte,
04:23
Jean-FranJean-FrançoisçoisOIS BonnefonBonnefon and AzimAzim ShariffShariff,
77
251520
2336
Jean-François Bonnefon ve Azim Shariff,
bir anket yaptık
04:25
we ranran a surveyanket
78
253880
1616
04:27
in whichhangi we presentedsunulan people
with these typestürleri of scenariossenaryolar.
79
255520
2855
ve bu ankette insanlara
bu tarz senaryolar sunduk.
04:30
We gaveverdi them two optionsseçenekleri
inspiredyaratıcı by two philosophersfilozoflar:
80
258399
3777
Onlara, iki filozoftan ilham aldığımız
iki seçenek sunduk:
04:34
JeremyJeremy BenthamBentham and ImmanuelImmanuel KantKant.
81
262200
2640
Jeremy Bentham ve Immanuel Kant.
04:37
BenthamBentham saysdiyor the cararaba
should followtakip et utilitarianfaydacı ethicsetik:
82
265600
3096
Bentham'a göre, araba faydacı
bir etiğe göre hareket etmeli:
04:40
it should take the actionaksiyon
that will minimizeküçültmek totalGenel Toplam harmzarar --
83
268720
3416
büyük çaptaki hasarı en aza
indirgeyecek şekilde hareket etmeli,
bu eylem bir tanığı öldürecek olsa da,
04:44
even if that actionaksiyon will killöldürmek a bystanderseyirci
84
272160
2816
bu eylem bir yolcuyu öldürecek olsa da.
04:47
and even if that actionaksiyon
will killöldürmek the passengeryolcu.
85
275000
2440
04:50
ImmanuelImmanuel KantKant saysdiyor the cararaba
should followtakip et duty-boundgörev bağlı principlesprensipler,
86
278120
4976
Immanuel Kant'a göre araba,
vazifesinin icabına göre hareket etmeli,
''Öldürmeyeceksin'' gibi.
04:55
like "ThouSen shaltkalktı not killöldürmek."
87
283120
1560
04:57
So you should not take an actionaksiyon
that explicitlyaçıkça harmsHarms a humaninsan beingolmak,
88
285480
4456
Bariz bir şekilde, bir insana
zarar verecek şekilde hareket etmemeli
ve araba kendi hâline bırakılmalı,
05:01
and you should let the cararaba take its coursekurs
89
289960
2456
daha fazla insana zarar verecek olsa bile.
05:04
even if that's going to harmzarar more people.
90
292440
1960
05:07
What do you think?
91
295640
1200
Siz ne düşünüyorsunuz?
05:09
BenthamBentham or KantKant?
92
297360
1520
Bentham mı, Kant mı?
05:11
Here'sİşte what we foundbulunan.
93
299760
1256
Bizim bulgumuzu paylaşayım.
05:13
MostÇoğu people sidedtaraflı with BenthamBentham.
94
301040
1800
Çoğu insan Bentham'a hak verdi.
05:16
So it seemsgörünüyor that people
want carsarabalar to be utilitarianfaydacı,
95
304160
3776
Öyle ki, insanlar arabaların faydacı
olmalarını istiyorlar gibi görünüyor,
toplam zararı en aza indirgemesini,
05:19
minimizeküçültmek totalGenel Toplam harmzarar,
96
307960
1416
05:21
and that's what we should all do.
97
309400
1576
ki bu hepimizin
yapması gereken şey aslında.
05:23
ProblemSorun solvedçözülmüş.
98
311000
1200
Sorun çözüldü.
05:25
But there is a little catchyakalamak.
99
313240
1480
Dikkat etmemiz gereken bir nokta var.
05:27
When we askeddiye sordu people
whetherolup olmadığını they would purchasesatın alma suchböyle carsarabalar,
100
315920
3736
İnsanlara bu tarz arabaları satın alma
durumlarını sorduğumuzda,
05:31
they said, "AbsolutelyKesinlikle not."
101
319680
1616
''Kesinlikle hayır.'' dediler.
(Gülüşmeler)
05:33
(LaughterKahkaha)
102
321320
2296
Kendilerini her an koruyan
arabalar satın almak isterken,
05:35
They would like to buysatın almak carsarabalar
that protectkorumak them at all costsmaliyetler,
103
323640
3896
05:39
but they want everybodyherkes elsebaşka
to buysatın almak carsarabalar that minimizeküçültmek harmzarar.
104
327560
3616
diğer herkesin zararı en aza indirgeyen
arabalardan almalarını istiyorlar.
05:43
(LaughterKahkaha)
105
331200
2520
(Gülüşmeler)
05:46
We'veBiz ettik seengörüldü this problemsorun before.
106
334720
1856
Bu problemle daha önce karşılaşmıştık.
05:48
It's calleddenilen a socialsosyal dilemmaikilem.
107
336600
1560
Buna ''toplumsal ikilem'' deniyor.
05:51
And to understandanlama the socialsosyal dilemmaikilem,
108
339160
1816
Toplumsal ikilemi anlayabilmek için,
biraz eskilere gitmemiz gerekir.
05:53
we have to go a little bitbit
back in historytarih.
109
341000
2040
05:56
In the 1800s,
110
344000
2576
1800'lerde,
05:58
Englishİngilizce economistiktisatçı WilliamWilliam ForsterForster LloydLloyd
publishedyayınlanan a pamphletBroşür
111
346600
3736
İngiliz iktisatçı William Forster Lloyd,
şu senaryoyu aktaran bir broşür yayınladı:
06:02
whichhangi describesaçıklar the followingtakip etme scenariosenaryo.
112
350360
2216
06:04
You have a groupgrup of farmersçiftçiler --
113
352600
1656
Bir grup çiftçi var,
06:06
Englishİngilizce farmersçiftçiler --
114
354280
1336
İngiliz çiftçiler,
koyunlarını otlatmak için
umumi bir araziyi paylaşıyorlar.
06:07
who are sharingpaylaşım a commonortak landarazi
for theironların sheepkoyun to grazeotlatmak.
115
355640
2680
06:11
Now, if eachher farmerçiftçi
bringsgetiriyor a certainbelli numbernumara of sheepkoyun --
116
359520
2576
Her bir çiftçi,
belirli sayıda koyun getirirse
- 3 koyun diyelim -
06:14
let's say threeüç sheepkoyun --
117
362120
1496
06:15
the landarazi will be rejuvenatedgençleşmek,
118
363640
2096
toprak yenilenmiş olacak,
çiftçiler mutlu,
06:17
the farmersçiftçiler are happymutlu,
119
365760
1216
koyunlar mutlu,
06:19
the sheepkoyun are happymutlu,
120
367000
1616
her şey iyi olacak.
06:20
everything is good.
121
368640
1200
06:22
Now, if one farmerçiftçi bringsgetiriyor one extraekstra sheepkoyun,
122
370440
2520
Fakat bir çiftçi,
fazladan bir koyun daha getirirse,
06:25
that farmerçiftçi will do slightlyhafifçe better,
and no one elsebaşka will be harmedzarar.
123
373800
4720
o çiftçinin işleri için daha iyi olacak
ve bu kimseye zarar vermeyecek.
06:31
But if everyher farmerçiftçi madeyapılmış
that individuallytek tek rationalakılcı decisionkarar,
124
379160
3640
Ama her bir çiftçi, bireysel olarak
bu mantıklı kararı verecek olursa,
06:35
the landarazi will be overruntaşması,
and it will be depletedtükenmiş
125
383840
2720
alan istilaya uğramış olacak
ve yeşillik tükenecek,
06:39
to the detrimentzarar of all the farmersçiftçiler,
126
387360
2176
bu da her çiftçinin zararına olacak
ve tabii ki koyunların da zararına olacak.
06:41
and of coursekurs,
to the detrimentzarar of the sheepkoyun.
127
389560
2120
06:44
We see this problemsorun in manyçok placesyerler:
128
392720
3680
Bu sorun ile birçok kez karşılaşıyoruz:
06:49
in the difficultyzorluk of managingyönetme overfishingaşırı avlanma,
129
397080
3176
aşırı balık avlanması hususunda,
06:52
or in reducingindirgen carbonkarbon emissionsemisyonları
to mitigateazaltmak climateiklim changedeğişiklik.
130
400280
4560
ya da iklim değişikliğini azaltmak adına
karbon salınımını azaltmada.
06:59
When it comesgeliyor to the regulationdüzenleme
of driverlesssürücüsüz carsarabalar,
131
407160
2920
Sürücüsüz araba hukukuna baktığımızda,
07:03
the commonortak landarazi now
is basicallytemel olarak publichalka açık safetyemniyet --
132
411080
4336
umumi alan toplum güvenliği oluyor
- yani kamu yararı -
07:07
that's the commonortak good --
133
415440
1240
07:09
and the farmersçiftçiler are the passengersyolcu
134
417400
1976
ve çiftçiler yolcular oluyor
veya o arabaları kullanmayı
tercih eden araç sahipleri oluyor.
07:11
or the cararaba ownerssahipleri who are choosingSeçme
to ridebinmek in those carsarabalar.
135
419400
3600
07:16
And by makingyapma the individuallytek tek
rationalakılcı choiceseçim
136
424960
2616
Ve kendi güvenliklerine öncelik tanıyan,
bireysel mantıklı seçimlerini yaparak
07:19
of prioritizingöncelik theironların ownkendi safetyemniyet,
137
427600
2816
07:22
they mayMayıs ayı collectivelytopluca be
diminishingazalan the commonortak good,
138
430440
3136
hep birlikte genelin iyiliğini azaltarak
toplam zarar riskini aza indirgemeyi
düşürüyor olabilirler.
07:25
whichhangi is minimizingen aza indirme totalGenel Toplam harmzarar.
139
433600
2200
07:30
It's calleddenilen the tragedytrajedi of the commonsavam,
140
438320
2136
Buna bilindiği üzere
ortak malların trajedisi
07:32
traditionallygeleneksel,
141
440480
1296
deniyor,
07:33
but I think in the casedurum
of driverlesssürücüsüz carsarabalar,
142
441800
3096
fakat bana kalırsa,
sürücüsüz araba hususunda
sorun biraz daha derin olabilir,
07:36
the problemsorun mayMayıs ayı be
a little bitbit more insidioussinsi
143
444920
2856
çünkü temelde bu kararları veren
07:39
because there is not necessarilyzorunlu olarak
an individualbireysel humaninsan beingolmak
144
447800
3496
bir insan söz konusu değil.
07:43
makingyapma those decisionskararlar.
145
451320
1696
07:45
So cararaba manufacturersüreticileri
mayMayıs ayı simplybasitçe programprogram carsarabalar
146
453040
3296
Araba imalatçıları, müşterileri için
üst düzey güvenlik önlemleri alan
07:48
that will maximizeen üst düzeye çıkarmak safetyemniyet
for theironların clientsistemciler,
147
456360
2520
araba programlayabilirler
07:52
and those carsarabalar mayMayıs ayı learnöğrenmek
automaticallyotomatik olarak on theironların ownkendi
148
460080
2976
ve bu arabalar, otomatik olarak
bu seçimleri yapmanın
yayalar için riskleri bir nebze de olsa
arttırdığını öğrenebilir.
07:55
that doing so requiresgerektirir slightlyhafifçe
increasingartan riskrisk for pedestriansyayalar.
149
463080
3520
Koyun benzetmesine dönecek olursak,
07:59
So to use the sheepkoyun metaphormecaz,
150
467520
1416
08:00
it's like we now have electricelektrik sheepkoyun
that have a mindus of theironların ownkendi.
151
468960
3616
şu anda kendi fikirlerini verebilen
elektrikli koyunlara sahibiz diyebiliriz.
(Gülüşmeler)
08:04
(LaughterKahkaha)
152
472600
1456
Ve kendi başlarına kaçıp
çiftçinin haberi olmadan otlanabilirler.
08:06
And they mayMayıs ayı go and grazeotlatmak
even if the farmerçiftçi doesn't know it.
153
474080
3080
08:10
So this is what we mayMayıs ayı call
the tragedytrajedi of the algorithmicalgoritmik commonsavam,
154
478640
3976
Bunu da şu şekilde ifade edebiliriz:
algoritmik ortak malların trajedisi.
Beraberinde yeni zorluklar getiriyor.
08:14
and if offersteklifler newyeni typestürleri of challengeszorluklar.
155
482640
2360
08:22
TypicallyGenellikle, traditionallygeleneksel,
156
490520
1896
Genellikle, çoğunlukla,
08:24
we solveçözmek these typestürleri
of socialsosyal dilemmasikilemler usingkullanma regulationdüzenleme,
157
492440
3336
bu tür toplumsal ikilemleri
yasalar nezdinde çözüme kavuştururuz;
ya hükümet ya da topluluklar
bir araya gelir
08:27
so eitherya governmentshükümetler
or communitiestopluluklar get togetherbirlikte,
158
495800
2736
ve hep birlikle ne tür bir sonuç
elde etmek istediklerine karar verirler
08:30
and they decidekarar ver collectivelytopluca
what kindtür of outcomesonuç they want
159
498560
3736
ve bireysel davranışlarda,
ne tür kısıtlamalara gidilmesi gerektiğini
08:34
and what sortçeşit of constraintskısıtlamaları
on individualbireysel behaviordavranış
160
502320
2656
08:37
they need to implementuygulamak.
161
505000
1200
kararlaştırırlar.
08:39
And then usingkullanma monitoringizleme and enforcementzorlama,
162
507600
2616
Gözlem ve yürürlülüğü kullanarak
kamu yararının korunduğuna emin olurlar.
08:42
they can make sure
that the publichalka açık good is preservedkorunmuş.
163
510240
2559
08:45
So why don't we just,
164
513440
1575
Düzenleyiciler olarak,
08:47
as regulatorsdüzenleyiciler,
165
515039
1496
neden bütün arabalara
08:48
requiregerektirir that all carsarabalar minimizeküçültmek harmzarar?
166
516559
2897
zararı en aza indirgeme statüsü
kazandırmıyoruz?
08:51
After all, this is
what people say they want.
167
519480
2240
Nihayetinde,
herkes bunu istediğini dile getiriyor.
08:55
And more importantlyönemlisi,
168
523200
1416
Daha da önemlisi,
08:56
I can be sure that as an individualbireysel,
169
524640
3096
bir birey olarak eminim ki
çok nadir bir durumda beni
gözden çıkarabilecek bir araba alırsam,
08:59
if I buysatın almak a cararaba that mayMayıs ayı
sacrificekurban me in a very rarenadir casedurum,
170
527760
3856
diğer herkes
09:03
I'm not the only suckerenayi doing that
171
531640
1656
koşulsuz korumanın keyfini çıkarırken
bunu yapan tek keriz ben olmam.
09:05
while everybodyherkes elsebaşka
enjoyssahiptir unconditionalkoşulsuz protectionkoruma.
172
533320
2680
09:09
In our surveyanket, we did asksormak people
whetherolup olmadığını they would supportdestek regulationdüzenleme
173
537120
3336
Ankette insanlara, yasal düzenlemeye
destek verip vermeyeceklerini sorduk
09:12
and here'sburada what we foundbulunan.
174
540480
1200
ve sonuç şu şekildeydi.
09:14
First of all, people
said no to regulationdüzenleme;
175
542360
3760
İlk önce, insanlar yasaya hayır dediler
09:19
and secondikinci, they said,
176
547280
1256
ve sonra dediler ki,
''Arabaları bunun için ve toplam zararı
en aza indirgemek için düzenlersek,
09:20
"Well if you regulatedüzenleyen carsarabalar to do this
and to minimizeküçültmek totalGenel Toplam harmzarar,
177
548560
3936
bu arabaları satın almam.''
09:24
I will not buysatın almak those carsarabalar."
178
552520
1480
09:27
So ironicallyironik,
179
555400
1376
İşe bakın ki,
09:28
by regulatingdüzenleyen carsarabalar to minimizeküçültmek harmzarar,
180
556800
3496
zararı en aza indirgemek için
arabaları düzenleyerek
daha fazla zarara sebebiyet verebiliriz,
09:32
we mayMayıs ayı actuallyaslında endson up with more harmzarar
181
560320
1840
09:35
because people mayMayıs ayı not
optseçmek into the saferdaha güvenli technologyteknoloji
182
563040
3656
çünkü insanlar daha güvenli olan bu
teknolojiye dahil olmak istemeyebilirler,
insan sürücülerden daha güvenli olsa bile.
09:38
even if it's much saferdaha güvenli
than humaninsan driverssürücüleri.
183
566720
2080
09:42
I don't have the finalnihai
answerCevap to this riddlebilmece,
184
570360
3416
Bu bilmeceye nihai bir cevabım yok,
ama başlangıç noktası olarak,
09:45
but I think as a startingbaşlangıç pointpuan,
185
573800
1576
toplumun bir araya gelip
09:47
we need societytoplum to come togetherbirlikte
186
575400
3296
risk oranı dengesinde ortak bir noktada
karara varması gerekir
09:50
to decidekarar ver what trade-offsdengelemeler
we are comfortablerahat with
187
578720
2760
09:54
and to come up with waysyolları
in whichhangi we can enforcezorlamak those trade-offsdengelemeler.
188
582360
3480
ve bu denge unsurunun uygulamasında
izleyeceğimiz yol belirlenebilir.
09:58
As a startingbaşlangıç pointpuan,
my brilliantparlak studentsöğrencilerin,
189
586520
2536
Başlangıç noktası olarak,
benim parlak öğrencilerim
10:01
EdmondEdmond AwadAwad and SohanSohan DsouzaDsouza,
190
589080
2456
Edmond Awad ve Sohan Dsouza,
Ahlak Makinesi internet sitesini kurdu.
10:03
builtinşa edilmiş the MoralAhlaki MachineMakine websiteWeb sitesi,
191
591560
1800
10:06
whichhangi generatesüretir randomrasgele scenariossenaryolar at you --
192
594200
2680
Bu site size rastgele senaryolar sunuyor,
10:10
basicallytemel olarak a bunchDemet
of randomrasgele dilemmasikilemler in a sequencesıra
193
598080
2456
bir dizi ikilemler yöneltiyor
ve verilen bu senaryoda, arabanın ne
yapması gerektiğine karar veriyorsun.
10:12
where you have to chooseseçmek what
the cararaba should do in a givenverilmiş scenariosenaryo.
194
600560
3920
10:17
And we varyfarklılık göstermek the agesyaşlar and even
the speciesTürler of the differentfarklı victimskurbanlar.
195
605040
4600
Yaşları ve hatta farklı kurbanların
türlerini bile çeşitlendirdik.
10:23
So faruzak we'vebiz ettik collectedtoplanmış
over fivebeş millionmilyon decisionskararlar
196
611040
3696
Şu ana kadar, site üzerinden
dünya genelinde
bir milyonu aşkın insan tarafından
beş milyonun üzerinde
10:26
by over one millionmilyon people worldwideDünya çapında
197
614760
2200
10:30
from the websiteWeb sitesi.
198
618400
1200
karar topladık.
Bu bulgular, kültürler arası bile
10:32
And this is helpingyardım ediyor us
formform an earlyerken pictureresim
199
620360
2416
insanların neleri feda edebileceklerini
10:34
of what trade-offsdengelemeler
people are comfortablerahat with
200
622800
2616
ve onlar için
önem arz eden şeyleri anlayıp
10:37
and what mattershususlar to them --
201
625440
1896
bir temel oluşturmamızda yardımcı oluyor.
10:39
even acrosskarşısında cultureskültürler.
202
627360
1440
10:42
But more importantlyönemlisi,
203
630240
1496
Ama daha önemlisi,
10:43
doing this exerciseegzersiz
is helpingyardım ediyor people recognizetanımak
204
631760
3376
bu araştırma insanlara,
bu seçimleri yapmanın
ne kadar zor olduğunu
10:47
the difficultyzorluk of makingyapma those choicesseçimler
205
635160
2816
ve yasal düzenlemelerin, imkânsız
seçimler ile çevrelendiğini hatırlatıyor.
10:50
and that the regulatorsdüzenleyiciler
are taskedgörevli with impossibleimkansız choicesseçimler.
206
638000
3800
10:55
And maybe this will help us as a societytoplum
understandanlama the kindsçeşit of trade-offsdengelemeler
207
643360
3576
Bu belki de toplum olarak,
nihayetinde yasalara işlenecek türde
10:58
that will be implementeduygulanan
ultimatelyen sonunda in regulationdüzenleme.
208
646960
3056
risk oranı tahlilini
anlamamıza yardımcı olabilir.
Geçtiğimiz hafta,
11:02
And indeedaslında, I was very happymutlu to hearduymak
209
650040
1736
11:03
that the first setset of regulationsyönetmelik
210
651800
2016
Ulaştırma Bakanlığı tarafından yapılan
11:05
that camegeldi from
the DepartmentBölümü of TransportTaşıma --
211
653840
2136
ilk yasal düzenlemelerden
haberdar olduğuma çok sevindim.
11:08
announcedaçıkladı last weekhafta --
212
656000
1376
11:09
includeddahil a 15-point-Gelin checklistDenetim listesi
for all carmakerscarmakers to providesağlamak,
213
657400
6576
Tüm araba üreticilerinin sağlaması gereken
15 maddelik bir kontrol listesine sahip
ve 14. madde işin
ahlaki boyutu ile alakalıydı,
11:16
and numbernumara 14 was ethicalahlâki considerationdüşünce --
214
664000
3256
bu sorumluluğu
nasıl taşıyabileceğimizle alakalıydı.
11:19
how are you going to dealanlaştık mı with that.
215
667280
1720
11:23
We alsoAyrıca have people
reflectyansıtmak on theironların ownkendi decisionskararlar
216
671800
2656
İnsanlara, seçimlerinin sonuçlarını
özet şeklinde sunarak
11:26
by givingvererek them summariesözetleri
of what they choseseçti.
217
674480
3000
kendi kararlarının getirilerini gösterdik.
11:30
I'll give you one exampleörnek --
218
678440
1656
Sizlere bir örnek vereceğim.
11:32
I'm just going to warnuyarmak you
that this is not your typicaltipik exampleörnek,
219
680120
3536
Belirtmeliyim ki bu genel bir örnek,
genel bir kullanıcı değil.
11:35
your typicaltipik userkullanıcı.
220
683680
1376
Bu kişi için en çok kurtarılan (kedi)
ve feda edilen (bebek) görüldüğü gibi.
11:37
This is the mostçoğu sacrificedkurban and the mostçoğu
savedkaydedilmiş characterkarakter for this personkişi.
221
685080
3616
(Gülüşmeler)
11:40
(LaughterKahkaha)
222
688720
5200
11:46
Some of you mayMayıs ayı agreeanlaşmak with him,
223
694680
1896
Bazılarınız bu kişiye katılıyor olabilir,
11:48
or her, we don't know.
224
696600
1640
bilmiyoruz.
11:52
But this personkişi alsoAyrıca seemsgörünüyor to slightlyhafifçe
prefertercih etmek passengersyolcu over pedestriansyayalar
225
700480
6136
Bu kişi aynı zamanda seçimlerinde,
yayalara karşın yolcuları daha çok tutuyor
gibi gözüküyor
11:58
in theironların choicesseçimler
226
706640
2096
ve kırmızı ışıkta geçenleri
cezalandırmaktan memnuniyet duyuyor.
12:00
and is very happymutlu to punishcezalandırmak jaywalkingkırmızı ışıkta geçme cezası.
227
708760
2816
12:03
(LaughterKahkaha)
228
711600
3040
(Gülüşmeler)
12:09
So let's wrapsarmak up.
229
717320
1216
Konuyu toparlayalım.
12:10
We startedbaşladı with the questionsoru --
let's call it the ethicalahlâki dilemmaikilem --
230
718559
3416
Arabanın belirli bir senaryoda ne
yapması gerektiğini irdeleyen bir soruyla,
12:14
of what the cararaba should do
in a specificözel scenariosenaryo:
231
722000
3056
daha doğrusu ahlaki bir ikilemle başladık:
dönecek mi, kalacak mı?
12:17
swerveDireksiyonu or staykalmak?
232
725080
1200
12:19
But then we realizedgerçekleştirilen
that the problemsorun was a differentfarklı one.
233
727240
2736
Fakat sonra, sorunun farklı
bir şey olduğunu fark ettik.
12:22
It was the problemsorun of how to get
societytoplum to agreeanlaşmak on and enforcezorlamak
234
730000
4536
Toplum olarak, risk durumunda insanların
nelerden fedakarlık yapabileceklerine
uzlaşma ve uygulama sorunu.
12:26
the trade-offsdengelemeler they're comfortablerahat with.
235
734560
1936
Toplumsal bir ikilemden bahsediyoruz.
12:28
It's a socialsosyal dilemmaikilem.
236
736520
1256
12:29
In the 1940s, IsaacIsaac AsimovAsimov
wroteyazdı his famousünlü lawsyasalar of roboticsRobotik --
237
737800
5016
1940'larda, Isaac Asimov
o meşhur Üç Robot Yasasını
kaleme aldı.
12:34
the threeüç lawsyasalar of roboticsRobotik.
238
742840
1320
12:37
A robotrobot mayMayıs ayı not harmzarar a humaninsan beingolmak,
239
745240
2456
Robot, bir insana zarar veremez,
12:39
a robotrobot mayMayıs ayı not disobeyitaatsizlik a humaninsan beingolmak,
240
747720
2536
robot bir insana itaatsizlik edemez
12:42
and a robotrobot mayMayıs ayı not allowizin vermek
itselfkendisi to come to harmzarar --
241
750280
3256
ve robot kendisini gelecek zararlardan
korumakla yükümlüdür,
12:45
in this ordersipariş of importanceönem.
242
753560
1960
bu önem sırasına göre.
12:48
But after 40 yearsyıl or so
243
756360
2136
40 yıl kadar sonra,
12:50
and after so manyçok storieshikayeleri
pushingitme these lawsyasalar to the limitsınır,
244
758520
3736
bu yasaların sınırlarını zorlayan
birçok hikâyenin ardından Asimov,
diğer bütün yasalara üstünlük gösteren
12:54
AsimovAsimov introducedtanıtılan the zerothsıfırıncı lawhukuk
245
762280
3696
sıfırıncı yasasını yayınladı;
12:58
whichhangi takes precedenceöncelik aboveyukarıdaki all,
246
766000
2256
bu yasa bir robotun genel olarak
insanlığa zarar veremeyeceğini belirtiyor.
13:00
and it's that a robotrobot
mayMayıs ayı not harmzarar humanityinsanlık as a wholebütün.
247
768280
3280
13:04
I don't know what this meansanlamına geliyor
in the contextbağlam of driverlesssürücüsüz carsarabalar
248
772480
4376
Bu yasanın, sürücüsüz arabalar konusunda
veya belirli bir durumdaki
yerini bilmiyorum.
13:08
or any specificözel situationdurum,
249
776880
2736
Bunu nasıl yürürlüğe
koyacağımızı da bilmiyorum,
13:11
and I don't know how we can implementuygulamak it,
250
779640
2216
13:13
but I think that by recognizingtanıyan
251
781880
1536
fakat sürücüsüz araba düzenlemesinin,
13:15
that the regulationdüzenleme of driverlesssürücüsüz carsarabalar
is not only a technologicalteknolojik problemsorun
252
783440
6136
yalnızca bir teknolojik problem olduğunu
değil de, aynı zamanda toplumsal uzlaşma
13:21
but alsoAyrıca a societaltoplumsal cooperationişbirliği problemsorun,
253
789600
3280
problemi olduğunu kabul edersek,
13:25
I hopeumut that we can at leasten az beginbaşla
to asksormak the right questionssorular.
254
793800
2880
umuyorum ki, en azından sonunda
doğru soruları sormaya başlayabileceğiz.
Teşekkürler.
13:29
Thank you.
255
797200
1216
(Alkışlar)
13:30
(ApplauseAlkış)
256
798440
2920
Translated by Esra Çakmak
Reviewed by Ramazan Şen

▲Back to top

ABOUT THE SPEAKER
Iyad Rahwan - Computational social scientist
Iyad Rahwan's work lies at the intersection of the computer and social sciences, with a focus on collective intelligence, large-scale cooperation and the social aspects of artificial intelligence.

Why you should listen

Iyad Rahwan is the AT&T Career Development Professor and an associate professor of media arts & sciences at the MIT Media Lab, where he leads the Scalable Cooperation group. A native of Aleppo, Syria, Rahwan holds a PhD. from the University of Melbourne, Australia and is an affiliate faculty at the MIT Institute of Data, Systems and Society (IDSS). He led the winning team in the US State Department's Tag Challenge, using social media to locate individuals in remote cities within 12 hours using only their mug shots. Recently he crowdsourced 30 million decisions from people worldwide about the ethics of AI systems. Rahwan's work appeared in major academic journals, including Science and PNAS, and features regularly in major media outlets, including the New York Times, The Economist and the Wall Street Journal.

(Photo: Victoriano Izquierdo)

More profile about the speaker
Iyad Rahwan | Speaker | TED.com