ABOUT THE SPEAKER
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.

Why you should listen

Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.

According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.

More profile about the speaker
Janelle Shane | Speaker | TED.com
TED2019

Janelle Shane: The danger of AI is weirder than you think

자넬 셰인(Janelle Shane): 생각보다 이상한 AI의 위험성

Filmed:
376,501 views

AI 연구원 자넬 셰인은 인공지능이 위험한 이유가 그들이 우리에게 반역할 것이기 때문이 아니라, 우리가 말한 것을 아주 그대로 할 것이기 때문이라고 말합니다. 새로운 아이스크림 맛을 만들거나 도로에서 차들을 인식하는 것과 같은 문제를 풀 때 발생하는, 이상하고 때때로 놀라운 AI 알고리즘의 터무니없는 행동들을 소개하면서 셰인은 왜 AI가 실제 인간의 뇌에 미치지 못하는지 보여줍니다.
- AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms. Full bio

Double-click the English transcript below to play the video.

00:13
So, artificial인공의 intelligence지성
0
1765
3000
인공지능은
00:16
is known알려진 for disrupting혼란
all kinds종류 of industries산업.
1
4789
3529
온갖 종류의 산업을
와해시키는 것으로 알려져 있죠.
00:20
What about ice얼음 cream크림?
2
8961
2043
아이스크림 시장은 어떨까요?
00:23
What kind종류 of mind-blowing마음이 날리는
new새로운 flavors풍미 could we generate일으키다
3
11879
3639
어떤 새롭고 놀라운 맛들을
고도의 인공지능으로 만들 수 있을까요?
00:27
with the power of an advanced많은
artificial인공의 intelligence지성?
4
15542
2976
00:31
So I teamed팀을 이룬 up with a group그룹 of coders코더
from Kealing케일링 (것)들 Middle중간 School학교
5
19011
4161
그래서 저는 킬링 중학교 학생들과
00:35
to find out the answer대답 to this question문제.
6
23196
2241
이 문제의 답을 찾아 보고자 했습니다.
00:37
They collected모은 over 1,600
existing기존의 ice얼음 cream크림 flavors풍미,
7
25461
5081
현재 존재하는 1600가지가 넘는
아이스크림 맛들을 모으고,
00:42
and together함께, we fed먹이는 them to an algorithm연산
to see what it would generate일으키다.
8
30566
5522
어떤 것을 만들 수 있는지 보기 위해
알고리즘을 적용했습니다.
00:48
And here are some of the flavors풍미
that the AIAI came왔다 up with.
9
36112
3753
그리고 여기 AI가 만들어낸
맛들이 있습니다.
00:52
[Pumpkin호박 Trash폐물 Break단절]
10
40444
1471
[호박 쓰레기 브레이크]
00:53
(Laughter웃음)
11
41939
1402
(웃음)
00:55
[Peanut땅콩 Butter버터 Slime더러운 것]
12
43365
2469
[땅콩 버터 슬라임]
00:58
[Strawberry딸기 Cream크림 Disease질병]
13
46822
1343
[딸기 크림 질병]
01:00
(Laughter웃음)
14
48189
2126
(웃음)
01:02
These flavors풍미 are not delicious맛있는,
as we might have hoped희망을 품은 they would be.
15
50339
4597
이 맛들은 저희가 바랐던 것 만큼
맛있지 않습니다.
01:06
So the question문제 is: What happened일어난?
16
54960
1864
무슨 일이 일어난 것일까요?
뭐가 잘못된 거죠?
01:08
What went갔다 wrong잘못된?
17
56848
1394
01:10
Is the AIAI trying견딜 수 없는 to kill죽이다 us?
18
58266
1959
AI가 우리를 죽이려고 하는 것일까요?
01:13
Or is it trying견딜 수 없는 to do what we asked물었다,
and there was a problem문제?
19
61027
4310
아니면 우리가 요청했던 걸 하려 했지만
문제가 있었던 걸까요?
01:18
In movies영화 산업, when something
goes간다 wrong잘못된 with AIAI,
20
66567
2464
영화에서 AI와 관련해 뭔가 잘못되면,
01:21
it's usually보통 because the AIAI has decided결정적인
21
69055
2712
보통은 AI가 인간에게 더 이상
복종하기 싫다고 결정하고
01:23
that it doesn't want to obey복종하다
the humans인간 anymore더 이상,
22
71791
2272
01:26
and it's got its own개인적인 goals목표,
thank you very much.
23
74087
2623
AI 스스로의 목표를 가지기 때문이죠,
아주 감사하게도요.
01:29
In real레알 life, though그래도,
the AIAI that we actually사실은 have
24
77266
3216
실제 상황에서는 그러나, 실제 AI는
01:32
is not nearly거의 smart똑똑한 enough충분히 for that.
25
80506
1863
전혀 그렇게 똑똑하지 않습니다.
01:34
It has the approximate근접한 computing컴퓨팅 power
26
82781
2982
AI의 연산 능력은 대략 지렁이 정도,
01:37
of an earthworm지렁이,
27
85787
1276
01:39
or maybe at most가장 a single단일 honeybee꿀벌,
28
87087
3403
아마 기껏해봐야 꿀벌 한마리,
01:42
and actually사실은, probably아마 maybe less적게.
29
90514
2215
사실, 아마 그것도 안 될 겁니다.
01:44
Like, we're constantly끊임없이 learning배우기
new새로운 things about brains두뇌
30
92753
2594
우리는 끊임없이 두뇌에 대해
새로운 것을 배워서
01:47
that make it clear명확한 how much our AIs인공 지능
don't measure법안 up to real레알 brains두뇌.
31
95371
4360
AI가 실제 두뇌에 얼마나 못미치는지
분명히 알 수 있죠.
01:51
So today's오늘의 AIAI can do a task태스크
like identify식별하다 a pedestrian보행자 in a picture그림,
32
99755
5663
오늘날의 AI는 사진 속의 행인을
식별하기 같은 일을 할 수 있죠.
01:57
but it doesn't have a concept개념
of what the pedestrian보행자 is
33
105442
2983
그러나 AI는 행인이 무엇이라는
개념은 가지고 있지 않습니다.
02:00
beyond...을 넘어서 that it's a collection수집
of lines윤곽 and textures텍스처 and things.
34
108449
4824
그것은 선과 질감같은 것들의
덩어리 너머의 것입니다.
02:05
It doesn't know what a human인간의 actually사실은 is.
35
113792
2521
AI는 실제 인간이라는 게
무엇인지 알지 못합니다.
02:08
So will today's오늘의 AIAI
do what we ask청하다 it to do?
36
116822
3282
그래서 오늘날의 AI는
우리가 요청한 것을 수행할까요?
02:12
It will if it can,
37
120128
1594
할 수 있다면 하겠죠,
02:13
but it might not do what we actually사실은 want.
38
121746
2726
그러나 우리가 진짜 원하는 것을
하지 않을 수도 있습니다.
02:16
So let's say that you
were trying견딜 수 없는 to get an AIAI
39
124496
2415
가령 여러분이 AI를 이용해서
이 로봇 부품들로
02:18
to take this collection수집 of robot기계 인간 parts부분품
40
126935
2619
02:21
and assemble모으다 them into some kind종류 of robot기계 인간
to get from Point포인트 A to Point포인트 B.
41
129578
4197
로봇을 조립해서 A에서 B로
간다고 생각해 봅시다.
02:25
Now, if you were going to try
and solve풀다 this problem문제
42
133799
2481
만약 여러분이 이 문제를 해결하기 위해
전통적인 방식의
컴퓨터 프로그래밍을 이용한다면,
02:28
by writing쓰기 a traditional-style전통적인 스타일
computer컴퓨터 program프로그램,
43
136304
2351
02:30
you would give the program프로그램
step-by-step단계별 instructions명령
44
138679
3417
이 프로그램에 단계별 지시를 주겠죠.
02:34
on how to take these parts부분품,
45
142120
1329
부품들은 다루는 방법이라든가,
다리가 있는 로봇으로 만드는 방법과,
02:35
how to assemble모으다 them
into a robot기계 인간 with legs다리
46
143473
2407
02:37
and then how to use those legs다리
to walk산책 to Point포인트 B.
47
145904
2942
그 다리로 B까지 걸어가는 방법을요.
02:41
But when you're using~을 사용하여 AIAI
to solve풀다 the problem문제,
48
149441
2340
그러나 AI를 이용해서
이 문제를 해결한다면,
02:43
it goes간다 differently다르게.
49
151805
1174
다른 이야기가 됩니다.
02:45
You don't tell it
how to solve풀다 the problem문제,
50
153003
2382
어떻게 문제를 해결하는지에 대해
AI에게 알려주지 않고
02:47
you just give it the goal,
51
155409
1479
여러분은 그냥 목표를 줍니다.
02:48
and it has to figure그림 out for itself그 자체
via통하다 trial시도 and error오류
52
156912
3262
그리고 그것은 시행착오를 통해 스스로
목표에 도달할 방법을 알아내는 것이죠.
02:52
how to reach범위 that goal.
53
160198
1484
02:54
And it turns회전 out that the way AIAI tends경향이있다
to solve풀다 this particular특별한 problem문제
54
162254
4102
AI가 이 특정한 문제를 푸는 방식은
02:58
is by doing this:
55
166380
1484
이렇습니다.
02:59
it assembles조립하다 itself그 자체 into a tower
and then falls폭포 over
56
167888
3367
스스로를 탑으로 조립한 다음에 쓰러져서
B에 떨어지는 것이죠.
03:03
and lands at Point포인트 B.
57
171279
1827
03:05
And technically기술적으로, this solves해결하다 the problem문제.
58
173130
2829
그리고, 따지고 보면,
이건 문제를 해결하긴 합니다.
03:07
Technically기술적으로, it got to Point포인트 B.
59
175983
1639
기술적으로는, B까지 도달한 것이죠.
03:09
The danger위험 of AIAI is not that
it's going to rebel반역자 against반대 us,
60
177646
4265
AI의 위험은 그것이
우리에게 맞설 것이라는 것이 아니라,
03:13
it's that it's going to do
exactly정확하게 what we ask청하다 it to do.
61
181935
4274
우리가 요청한 것을
아주 그대로 할 것이라는 겁니다.
03:18
So then the trick장난
of working with AIAI becomes된다:
62
186876
2498
따라서 AI를 사용할 때의 요점은
AI가 우리가 원하는 결과를 만들도록
어떻게 문제를 설정하느냐입니다.
03:21
How do we set세트 up the problem문제
so that it actually사실은 does what we want?
63
189398
3828
03:26
So this little robot기계 인간 here
is being존재 controlled통제 된 by an AIAI.
64
194726
3306
여기 이 조그만 로봇은
AI가 조종합니다.
03:30
The AIAI came왔다 up with a design디자인
for the robot기계 인간 legs다리
65
198056
2814
AI는 로봇다리의 디자인을 생각해냈고
03:32
and then figured문채 있는 out how to use them
to get past과거 all these obstacles장애물.
66
200894
4078
모든 장애물들을 지나가기 위해
다리를 이용할 방법을 알아냈습니다.
03:36
But when David데이비드 Ha하아 set세트 up this experiment실험,
67
204996
2741
그러나 데이비드 하씨가
이 실험을 고안할 때,
03:39
he had to set세트 it up
with very, very strict엄격한 limits제한
68
207761
2856
그는 아주, 아주 엄격한 제한을
설정해야만 했습니다.
03:42
on how big the AIAI
was allowed허용 된 to make the legs다리,
69
210641
3292
AI가 만들 수 있는 다리의 크기에요.
03:45
because otherwise그렇지 않으면 ...
70
213957
1550
그렇지 않았다면...
03:55
(Laughter웃음)
71
223058
3931
(웃음)
04:00
And technically기술적으로, it got
to the end종료 of that obstacle장애물 course코스.
72
228563
3745
그리고 엄밀히 말하면,
이것은 장애물 코스를 통과했습니다.
04:04
So you see how hard단단한 it is to get AIAI
to do something as simple단순한 as just walk산책.
73
232332
4942
이처럼 그냥 걷는 것 같은 간단한 일도
AI에게는 어렵습니다.
04:09
So seeing the AIAI do this,
you may할 수있다 say, OK, no fair공정한,
74
237298
3820
그래서 AI가 이러는 것을 보면,
여러분은 아마 이렇게 말할 겁니다.
규칙위반이야,
그냥 큰 탑이 돼서 넘어지면 안돼.
04:13
you can't just be
a tall tower and fall가을 over,
75
241142
2580
04:15
you have to actually사실은, like,
use legs다리 to walk산책.
76
243746
3435
걸으려면 다리같은 걸 써야지.
04:19
And it turns회전 out,
that doesn't always work, either어느 한 쪽.
77
247205
2759
그런데 그 방법도 항상 되지는 않죠.
04:21
This AI's인공 지능의 job was to move움직임 fast빠른.
78
249988
2759
이 AI의 목표는
빠르게 움직이는 것입니다.
04:25
They didn't tell it that it had
to run운영 facing면함 forward앞으로
79
253115
3593
그들은 AI에게 앞으로 달려야 하고,
04:28
or that it couldn't할 수 없었다 use its arms무기.
80
256732
2258
팔을 사용하면 안된다고
알려주지 않았습니다.
04:31
So this is what you get
when you train기차 AIAI to move움직임 fast빠른,
81
259487
4618
AI에게 빨리 움직이는 것을 훈련시키면
이런 결과를 얻을 것입니다.
04:36
you get things like somersaulting천재 폭동
and silly바보 walks걷다.
82
264129
3534
공중제비를 하거나
바보같은 걸음같은 것을 볼 수 있죠.
04:39
It's really common공유지.
83
267687
1400
이건 아주 흔합니다.
04:41
So is twitching경련 along...을 따라서 the floor바닥 in a heap더미.
84
269667
3179
바닥에서 웅크리고 씰룩거리는 것도요.
04:44
(Laughter웃음)
85
272870
1150
(웃음)
04:47
So in my opinion의견, you know what
should have been a whole완전한 lot weirder더 이상한
86
275241
3254
그래서 제 생각에는,
더 이상했어야 했던 것은
04:50
is the "Terminator터미네이터" robots로봇.
87
278519
1396
“터미네이터” 로봇입니다.
04:52
Hacking해킹 "The Matrix매트릭스" is another다른 thing
that AIAI will do if you give it a chance기회.
88
280256
3755
“매트릭스”를 해킹하는 것은
기회를 주면 AI가 할 또다른 일이죠.
04:56
So if you train기차 an AIAI in a simulation시뮬레이션,
89
284035
2517
만약 여러분이 시뮬레이션에서
AI를 훈련시킨다면,
04:58
it will learn배우다 how to do things like
hack마구 자르기 into the simulation's시뮬레이션 math수학 errors오류
90
286576
4113
시뮬레이션의 수학적 오류들을
해킹하는 것과 같은 방법을 배워서
05:02
and harvest수확 them for energy에너지.
91
290713
2207
그것들을 통해 에너지를 얻을 것입니다.
05:04
Or it will figure그림 out how to move움직임 faster더 빠른
by glitchingGlitching repeatedly자꾸 into the floor바닥.
92
292944
5475
아니면 반복적으로 바닥에 고장을 내
더 빨리 움직이는 방법을 알아내겠죠.
05:10
When you're working with AIAI,
93
298443
1585
AI와 일하는 것은
사람과 일하는 것과 다르고,
05:12
it's less적게 like working with another다른 human인간의
94
300052
2389
05:14
and a lot more like working
with some kind종류 of weird기묘한 force of nature자연.
95
302465
3629
자연의 어떤 이상한 힘과
일하는 것과 더 유사합니다.
05:18
And it's really easy쉬운 to accidentally우윤히
give AIAI the wrong잘못된 problem문제 to solve풀다,
96
306562
4623
실수로 AI에게 잘못된 문제를
주는 것도 쉬운 일입니다.
05:23
and often자주 we don't realize깨닫다 that
until...까지 something has actually사실은 gone지나간 wrong잘못된.
97
311209
4538
보통 실제로 일이 잘못될 때까지
우리는 그걸 알아채지 못하죠.
05:28
So here's여기에 an experiment실험 I did,
98
316242
2080
제가 진행한 실험이 하나 있습니다.
05:30
where I wanted the AIAI
to copy paint페인트 colors그림 물감,
99
318346
3182
저는 AI가 물감 색들을 복사해서
05:33
to invent꾸미다 new새로운 paint페인트 colors그림 물감,
100
321552
1746
새로운 물감을 만들어내기를 원했습니다.
05:35
given주어진 the list명부 like the ones그들
here on the left.
101
323322
2987
여기 왼쪽에 있는 목록을 주고요.
05:38
And here's여기에 what the AIAI
actually사실은 came왔다 up with.
102
326798
3004
이게 AI가 실제로 만들어낸 것입니다.
05:41
[Sindis신디스 (주) Poop고물, Turdly터들리 (것)들, Suffer고통을, Gray회색 Pubic음모]
103
329826
3143
[신디스 똥, 똥덩어리같은,
고생하다, 회색 음부]
05:44
(Laughter웃음)
104
332993
4230
(웃음)
05:51
So technically기술적으로,
105
339177
1886
그래서 엄밀히 말하면,
05:53
it did what I asked물었다 it to.
106
341087
1864
제가 요청한 것을 하긴 했습니다.
05:54
I thought I was asking질문 it for,
like, nice좋은 paint페인트 color색깔 names이름,
107
342975
3308
저는 제가 멋진 물감 이름들을
요청했다고 생각했는데
05:58
but what I was actually사실은 asking질문 it to do
108
346307
2307
실제로 제가 요청했던 것은
06:00
was just imitate본뜨다 the kinds종류
of letter편지 combinations조합
109
348638
3086
원래에 있던 것들에 보이는 문자조합을
그냥 모방하는 것이었습니다.
06:03
that it had seen in the original실물.
110
351748
1905
06:05
And I didn't tell it anything
about what words mean,
111
353677
3098
그 단어들의 뜻이 무엇인지에 대해
알려주지 않았습니다.
06:08
or that there are maybe some words
112
356799
2560
혹은 물감에 사용하면 안되는 단어도
있을 수 있다는 것도요.
06:11
that it should avoid기피 using~을 사용하여
in these paint페인트 colors그림 물감.
113
359383
2889
06:15
So its entire완전한 world세계
is the data데이터 that I gave it.
114
363141
3494
AI가 알고 있는 세계는
제가 준 데이터가 전부였지요.
06:18
Like with the ice얼음 cream크림 flavors풍미,
it doesn't know about anything else그밖에.
115
366659
4028
아이스크림 맛처럼, 다른 것에 대해서는
전혀 아는 것이 없었습니다.
06:24
So it is through...을 통하여 the data데이터
116
372491
1638
그래서 이 데이터를 통해서
06:26
that we often자주 accidentally우윤히 tell AIAI
to do the wrong잘못된 thing.
117
374153
4044
우리는 AI에게 잘못된 것을 하라고
종종 실수로 말합니다.
06:30
This is a fish물고기 called전화 한 a tench텐치 (주).
118
378694
3032
이건 잉어라고 불리는 물고기입니다.
06:33
And there was a group그룹 of researchers연구원
119
381750
1815
연구자들이 AI를 훈련시켜 사진에서
잉어를 식별하도록 했습니다.
06:35
who trained훈련 된 an AIAI to identify식별하다
this tench텐치 (주) in pictures영화.
120
383589
3874
06:39
But then when they asked물었다 it
121
387487
1296
그러나 그들이 AI에게
사진의 어떤 부분을
06:40
what part부품 of the picture그림 it was actually사실은
using~을 사용하여 to identify식별하다 the fish물고기,
122
388807
3426
물고기를 식별하는데 썼는지 물어보자
이것이 나타났습니다.
06:44
here's여기에 what it highlighted강조 표시된.
123
392257
1358
06:47
Yes, those are human인간의 fingers손가락.
124
395203
2189
네, 저것들은 사람의 손가락입니다.
06:49
Why would it be looking for human인간의 fingers손가락
125
397416
2059
왜 물고기를 식별하는데
사람의 손가락을 찾고 있을까요?
06:51
if it's trying견딜 수 없는 to identify식별하다 a fish물고기?
126
399499
1921
06:54
Well, it turns회전 out that the tench텐치 (주)
is a trophy트로피 fish물고기,
127
402126
3164
잉어는 기념사진으로
남길만한 물고기여서,
06:57
and so in a lot of pictures영화
that the AIAI had seen of this fish물고기
128
405314
3811
AI가 훈련동안 보았던
이 물고기의 사진들은
07:01
during...동안 training훈련,
129
409149
1151
이러했습니다.
07:02
the fish물고기 looked보았다 like this.
130
410324
1490
07:03
(Laughter웃음)
131
411838
1635
(웃음)
07:05
And it didn't know that the fingers손가락
aren't있지 않다. part부품 of the fish물고기.
132
413497
3330
손가락이 물고기의 일부가
아니라는 것을 몰랐죠.
07:10
So you see why it is so hard단단한
to design디자인 an AIAI
133
418808
4120
그래서 여러분은 진짜로
무엇을 찾고 있는지 이해할 수 있는
07:14
that actually사실은 can understand알다
what it's looking at.
134
422952
3319
AI를 디자인하는 것이
왜 어려운지 알 수 있을 것입니다.
07:18
And this is why designing설계
the image영상 recognition인식
135
426295
2862
그리고 이것이 자율주행 자동차에서의
이미지 인식을
07:21
in self-driving자가 운전 cars자동차 is so hard단단한,
136
429181
2067
디자인하는 것이 왜 그렇게
힘든 일인 지에 대한 이유이고
07:23
and why so many많은 self-driving자가 운전 car failures실패
137
431272
2205
많은 자율주행 자동차의 실패들의 이유는
AI가 혼란스러워했기 때문입니다.
07:25
are because the AIAI got confused혼란스러워하는.
138
433501
2885
07:28
I want to talk about an example from 2016.
139
436410
4008
2016년에 있었던 한 예에 대해
이야기해보고 싶습니다.
07:32
There was a fatal치명적인 accident사고 when somebody어떤 사람
was using~을 사용하여 Tesla's테슬라 autopilot자동 조종 장치 AIAI,
140
440442
4455
테슬라 자동조종 AI를 이용하던 사람이
아주 치명적인 사고를 당했습니다.
07:36
but instead대신에 of using~을 사용하여 it on the highway고속도로
like it was designed디자인 된 for,
141
444921
3414
원래 고속도로에서 사용하도록
디자인되었는데
07:40
they used it on city시티 streets시가.
142
448359
2205
도시 도로에서 사용되었습니다.
07:43
And what happened일어난 was,
143
451239
1175
그리고 어떤 일이 일어났냐면,
07:44
a truck트럭 drove운전했다 out in front of the car
and the car failed실패한 to brake브레이크.
144
452438
3396
어떤 트럭이 차 앞으로 나왔는데,
그 차는 서지 못했습니다.
07:48
Now, the AIAI definitely명확히 was trained훈련 된
to recognize인정하다 trucks트럭 in pictures영화.
145
456507
4762
AI는 분명히 사진들에서
트럭을 인식하도록 훈련되었습니다.
07:53
But what it looks외모 like happened일어난 is
146
461293
2145
그러나 좀더 들여다 보면
07:55
the AIAI was trained훈련 된 to recognize인정하다
trucks트럭 on highway고속도로 driving운전,
147
463462
2931
AI가 고속도로에 있는 트럭들을
인식하도록 훈련된 거 같아 보였습니다.
07:58
where you would expect배고 있다
to see trucks트럭 from behind뒤에.
148
466417
2899
트럭의 뒷모습을 볼 것이라고
생각하도록 말이죠.
08:01
Trucks트럭 on the side측면 is not supposed가정의
to happen우연히 있다 on a highway고속도로,
149
469340
3420
트럭의 옆모습을 보는 것은
고속도로에는 일어나지 않는 일이었고,
08:04
and so when the AIAI saw this truck트럭,
150
472784
3455
이 AI가 이 트럭을 봤을 땐,
08:08
it looks외모 like the AIAI recognized인정 된 it
as most가장 likely아마도 to be a road도로 sign기호
151
476263
4827
아마도 트럭을 도로 표지판으로 인식하고
08:13
and therefore따라서, safe안전한 to drive드라이브 underneath아래에.
152
481114
2273
따라서 운전을 해도
안전하다고 판단한 것이죠.
08:16
Here's여기에 an AIAI misstep실책
from a different다른 field.
153
484114
2580
여기, 다른 분야에서
AI의 실수가 있습니다.
08:18
Amazon아마존 recently요새 had to give up
on a résum합집합é-sorting- 정렬 algorithm연산
154
486718
3460
아마존은 이력서분류 알고리즘을
포기해야만 했습니다.
08:22
that they were working on
155
490202
1220
실제 적용에서 이 알고리즘이
여성을 차별한다는 것을 발견한 것이죠.
08:23
when they discovered발견 된 that the algorithm연산
had learned배운 to discriminate차별하다 against반대 women여자들.
156
491446
3908
그들이 AI 훈련용으로 사용한 이력서는
08:27
What happened일어난 is they had trained훈련 된 it
on examplesum합집합és
157
495378
2716
08:30
of people who they had hired고용 된 in the past과거.
158
498118
2242
과거에 고용한 사람들의 것이었습니다.
08:32
And from these examples예제들, the AIAI learned배운
to avoid기피 the résum합집합és of people
159
500384
4023
그 예시들로부터, AI는 이런 사람들을
기피하는 것을 배웠습니다.
08:36
who had gone지나간 to women's여자 colleges대학
160
504431
2026
여대를 나온 사람들,
08:38
or who had the word워드 "women여자들"
somewhere어딘가에 in their그들의 resume이력서,
161
506481
2806
이력서 어딘가에
‘여성’이라는 단어가 있는 사람들,
08:41
as in, "women's여자 soccer축구 team"
or "Society사회 of Women여자들 Engineers엔지니어."
162
509311
4576
예를 들어 '여자 축구팀',
'여성공학자협회'같은 단어말이죠.
08:45
The AIAI didn't know that it wasn't아니었다. supposed가정의
to copy this particular특별한 thing
163
513911
3974
AI는 이 특정한 행동을 따라 해선
안된다는 것을 모르고 있었죠.
08:49
that it had seen the humans인간 do.
164
517909
1978
인간들이 하는 걸 봤더라도요.
08:51
And technically기술적으로, it did
what they asked물었다 it to do.
165
519911
3177
그리고 엄밀히 말하자면,
AI는 아마존이 요청한 것을 했습니다.
08:55
They just accidentally우윤히 asked물었다 it
to do the wrong잘못된 thing.
166
523112
2797
그들은 그저 실수로
잘못된 일을 시킨 것이죠.
08:58
And this happens일이 all the time with AIAI.
167
526653
2895
AI에게 이런 일은 항상 일어납니다.
09:02
AIAI can be really destructive파괴적인
and not know it.
168
530120
3591
AI는 아주 해로운 일을 하는 와중에,
해롭다는 것을 모를 수 있습니다.
09:05
So the AIs인공 지능 that recommend권하다
new새로운 content함유량 in Facebook페이스 북, in YouTubeYouTube,
169
533735
5078
페이스북, 유튜브에서
새로운 콘텐츠를 추천해주는 AI들은
09:10
they're optimized최적화 된 to increase증가하다
the number번호 of clicks클릭 수 and viewsviews.
170
538837
3539
클릭 수와 조회 수를 늘리도록
최적화되어 있습니다.
09:14
And unfortunately운수 나쁘게, one way
that they have found녹이다 of doing this
171
542400
3436
그리고 불행하게도, 그들이 찾은 방법은
09:17
is to recommend권하다 the content함유량
of conspiracy음모 theories이론들 or bigotry편협한 신앙.
172
545860
4503
음모론이나 심한 편견이 있는
콘텐츠를 추천하는 것입니다.
09:22
The AIs인공 지능 themselves그들 자신 don't have any concept개념
of what this content함유량 actually사실은 is,
173
550902
5302
AI들 자체에는 이 콘텐츠들이 실제로
무엇인지에 대한 개념이 없습니다.
09:28
and they don't have any concept개념
of what the consequences결과 might be
174
556228
3395
그리고 그들은 결과가 어떨 것인지에
대한 개념도 없습니다.
09:31
of recommending추천하는 this content함유량.
175
559647
2109
이러한 콘텐츠를 추천해줌으로써
발생될 결과요.
09:34
So, when we're working with AIAI,
176
562296
2011
그래서 우리가 AI와 일할 때,
09:36
it's up to us to avoid기피 problems문제들.
177
564331
4182
문제들을 피하는 것은
우리에게 달려있습니다.
09:40
And avoiding피하는 things going wrong잘못된,
178
568537
2323
일들이 잘못되는 것을 피하는 것은,
09:42
that may할 수있다 come down to
the age-old노년의 problem문제 of communication통신,
179
570884
4526
아주 오래된 소통의 문제로 이어집니다.
09:47
where we as humans인간 have to learn배우다
how to communicate소통하다 with AIAI.
180
575434
3745
인간인 우리가 AI와 소통하는
방법을 배워야하는 거죠.
09:51
We have to learn배우다 what AIAI
is capable유능한 of doing and what it's not,
181
579203
4039
AI가 할 수 있는 일과 없는 일이
무엇인지 알아야 합니다.
09:55
and to understand알다 that,
with its tiny작은 little worm벌레 brain,
182
583266
3086
또한 AI는 그 조그만 지렁이같은 뇌로
09:58
AIAI doesn't really understand알다
what we're trying견딜 수 없는 to ask청하다 it to do.
183
586376
4013
우리가 어떤 것을 요청하려고 하는지
이해하지 못한다는 것을 알아야합니다.
10:03
So in other words, we have
to be prepared준비된 to work with AIAI
184
591148
3321
다시 말해, 우리는 준비해야 합니다.
10:06
that's not the super-competent슈퍼 유능한,
all-knowing모든 것을 아는 AIAI of science과학 fiction소설.
185
594493
5258
우리가 사용할 AI는 공상과학에나 있는
전지전능한 AI가 아닙니다.
10:11
We have to prepared준비된 to work with an AIAI
186
599775
2862
현재 우리가 실제로 갖고 있는 AI와
함께 일하도록 준비해야 합니다.
10:14
that's the one that we actually사실은 have
in the present선물 day.
187
602661
2938
10:17
And present-day현재의 AIAI is plenty많은 weird기묘한 enough충분히.
188
605623
4205
그리고 오늘날의 AI는
대단히 이상합니다.
10:21
Thank you.
189
609852
1190
감사합니다.
10:23
(Applause박수 갈채)
190
611066
5225
(박수)
Translated by Chaelim Lee
Reviewed by DK Kim

▲Back to top

ABOUT THE SPEAKER
Janelle Shane - AI researcher
While moonlighting as a research scientist, Janelle Shane found fame documenting the often hilarious antics of AI algorithms.

Why you should listen

Janelle Shane's humor blog, AIweirdness.com, looks at, as she tells it, "the strange side of artificial intelligence." Her upcoming book, You Look Like a Thing and I Love You: How AI Works and Why It's Making the World a Weirder Place, uses cartoons and humorous pop-culture experiments to look inside the minds of the algorithms that run our world, making artificial intelligence and machine learning both accessible and entertaining.

According to Shane, she has only made a neural network-written recipe once -- and discovered that horseradish brownies are about as terrible as you might imagine.

More profile about the speaker
Janelle Shane | Speaker | TED.com