ABOUT THE SPEAKER
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.

Why you should listen

"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.

Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)

As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."

Read an excerpt of Bad Pharma >>

More profile about the speaker
Ben Goldacre | Speaker | TED.com
TEDGlobal 2011

Ben Goldacre: Battling bad science

벤 골드에이커 (Ben Goldacre): 부정적인 과학과 씨름하는것

Filmed:
2,713,579 views

매일 새로운 건강에 대한 조언의 뉴스 리포트가 있지만, 그것이 맞는지 어떻게 알 수 있을까요? 의사이고 역학자인 벤 골드에이커 (Ben Goldacre)는 맹목적이고 명백한 영양관련 주장에서부터 제약 산업의 아주 미묘한 속임수까지 증거가 변조될 수 있게하는 방법을 우리에게 아주 빠른 속도로 보여줍니다.
- Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks. Full bio

Double-click the English transcript below to play the video.

00:15
So I'm a doctor의사, but I kind종류 of slipped미끄러 진 sideways샛길 into research연구,
0
0
3000
그래서요, 저는 의사랍니다, 하지만 저는 연구계로 미끄러져 들어와
00:18
and now I'm an epidemiologist역학자.
1
3000
2000
이제는 역학자(epidemiologist)가 되었답니다
00:20
And nobody아무도 really knows알고있다 what epidemiology역학 is.
2
5000
2000
실제로는 아무도 역학이 뭔지를 몰라요
00:22
Epidemiology역학 is the science과학 of how we know in the real레알 world세계
3
7000
3000
역학 (epidemiology)은 이 세계의 무언가가 우리에게 이로운지 해로운지
00:25
if something is good for you or bad나쁜 for you.
4
10000
2000
우리가 아는 방법에 대한 과학입니다
00:27
And it's best베스트 understood이해 된 through...을 통하여 example
5
12000
2000
그건 말도 안되고 괴짜같은 뉴스 헤드라인의 과학과 같은
00:29
as the science과학 of those crazy미친, wacky엉뚱한 newspaper신문 headlines헤드 라인.
6
14000
5000
예를 통해 잘 이해될 수 있습니다
00:34
And these are just some of the examples예제들.
7
19000
2000
이건 몇가지의 예입니다
00:36
These are from the Daily매일 Mail우편. Every마다 country국가 in the world세계 has a newspaper신문 like this.
8
21000
3000
이건 데일리 메일 (Daily Mail)에 난 기사입니다. 모든 나라들은 이것과 비슷한 신문이 있죠
00:39
It has this bizarre기괴한, ongoing전진 philosophical철학적 인 project계획
9
24000
3000
그건 이 세계의 움직이지 않는 물체들을
00:42
of dividing나누기 all the inanimate무생물의 objects사물 in the world세계
10
27000
2000
암을 야기시키거나 방지하는 물체로
00:44
into the ones그들 that either어느 한 쪽 cause원인 or prevent막다 cancer.
11
29000
3000
분류하는 것인 괴상하면서도 지속적인 철학 프로젝트입니다
00:47
So here are some of the things they said cause원인 cancer recently요새:
12
32000
2000
여기 그들이 최근에 암을 야기시킨다고 말한 몇가지가 있습니다:
00:49
divorce이혼, Wi-Fi와이파이, toiletries세면 용품 and coffee커피.
13
34000
2000
이혼, 와이-파이 (Wi-Fi), 세면도구, 그리고 커피
00:51
Here are some of the things they say prevents예방하다 cancer:
14
36000
2000
여기 그들이 암을 예방한다고 말한 몇가지가 있습니다
00:53
crusts딱지, red빨간 pepper후추, licorice감초 and coffee커피.
15
38000
2000
빵껍질, 고추, 감초, 그리고 커피
00:55
So already이미 you can see there are contradictions모순.
16
40000
2000
여러분은 이미 모순이 있다는걸 볼 수 있습니다
00:57
Coffee커피 both양자 모두 causes원인 and prevents예방하다 cancer.
17
42000
2000
커피는 암을 야기시키기도 하고 예방하기도 합니다
00:59
And as you start스타트 to read독서 on, you can see
18
44000
2000
계속 기사를 읽어감에 따라,
01:01
that maybe there's some kind종류 of political주재관 valence원자가 behind뒤에 some of this.
19
46000
3000
이 배경에는 정치적 베일같은게 드리워져 있을 수 있다는것을 알게되죠
01:04
So for women여자들, housework안일 prevents예방하다 breast유방 cancer,
20
49000
2000
여성을 위해서는, 가사일이 유방암을 예방하지만,
01:06
but for men남자, shopping쇼핑 could make you impotent무력한.
21
51000
3000
남성에 대해서는, 쇼핑이 발기부전을 일으킬 수 있습니다
01:09
So we know that we need to start스타트
22
54000
3000
그래서 우리는 이 배경의 과학을 후벼
01:12
unpickingunpicking the science과학 behind뒤에 this.
23
57000
3000
잘못짜진 바늘땀을 풀기 시작해야 할 필요가 있습니다
01:15
And what I hope기대 to show보여 주다
24
60000
2000
제가 보여드리고 싶은것은
01:17
is that unpickingunpicking dodgy교활한 claims청구,
25
62000
2000
책략적인 주장을 후벼 바늘땀을 푸는 것,
01:19
unpickingunpicking the evidence증거 behind뒤에 dodgy교활한 claims청구,
26
64000
2000
책략적인 주장 배경의 증거를 후벼 바늘땀을 푸는 것은,
01:21
isn't a kind종류 of nasty추잡한 carping카핑 activity활동;
27
66000
3000
형편없이 트집잡는 활동의 종류가 아니라는 것입니다;
01:24
it's socially사회적으로 useful유능한,
28
69000
2000
그건 사회적으로 유용하지만,
01:26
but it's also또한 an extremely매우 valuable가치 있는
29
71000
2000
또한 극도로 가치있는
01:28
explanatory설명의 tool수단.
30
73000
2000
설명의 수단이라는 것입니다
01:30
Because real레알 science과학 is all about
31
75000
2000
왜냐하면 실제 과학은
01:32
critically비판적으로 appraising감정 the evidence증거 for somebody어떤 사람 else's다른 position위치.
32
77000
2000
누군가의 지위를 위한 증거를 비판적으로 평가하는 것이기 때문입니다
01:34
That's what happens일이 in academic학생 journals저널.
33
79000
2000
그게 학술 저널에서 일어나는 일이지요
01:36
That's what happens일이 at academic학생 conferences컨퍼런스.
34
81000
2000
그게 학술 컨퍼런스에서 일어나는 일이지요
01:38
The Q&A session세션 after a post-op수술 후 presents선물 data데이터
35
83000
2000
수술후 회복실 병실에서 보여주는 데이터 이후의 질의응답 (Q&A) 시간은
01:40
is often자주 a blood bath목욕.
36
85000
2000
종종 피바다를 이룹니다
01:42
And nobody아무도 minds마음 that. We actively활발히 welcome환영 it.
37
87000
2000
그리고 아무도 개의치 않습니다. 우리는 적극적으로 그걸 환영하죠
01:44
It's like a consenting동의하다 intellectual지적인 S&M activity활동.
38
89000
3000
그건 마치 지성적인 가학피학증 (Sado-Masochism) 활동을 동의하는 것과 같습니다
01:47
So what I'm going to show보여 주다 you
39
92000
2000
그래서 제가 보여드리고자 하는것은
01:49
is all of the main본관 things,
40
94000
2000
증거를 기반으로한 약제인
01:51
all of the main본관 features풍모 of my discipline징계 --
41
96000
2000
제 학문분야 원리의 주요 특징들의 전부인,
01:53
evidence-based증거 기반 medicine의학.
42
98000
2000
주요점들입니다
01:55
And I will talk you through...을 통하여 all of these
43
100000
2000
저는 이 모든것들의 전 과정을 이야기해드릴 것이고
01:57
and demonstrate시연하다 how they work,
44
102000
2000
그것이 어떻게 작용하는지 보여드리겠습니다
01:59
exclusively독점적으로 using~을 사용하여 examples예제들 of people getting점점 stuff물건 wrong잘못된.
45
104000
3000
특별히 사람들이 잘못 이해하는 예를 이용해서요
02:02
So we'll start스타트 with the absolute순수한 weakest약한 form형태 of evidence증거 known알려진 to man,
46
107000
3000
사람들에게 알려진 증거의 절대적으로 가장 약한 형태부터 시작하겠는데,
02:05
and that is authority권위.
47
110000
2000
그건 권위입니다
02:07
In science과학, we don't care케어 how many많은 letters편지 you have after your name이름.
48
112000
3000
과학에서는, 사람의 이름에 글자가 몇개 들어있는지 상관하지 않습니다
02:10
In science과학, we want to know what your reasons원인 are for believing믿는 something.
49
115000
3000
과학에서는, 사람이 어떤것을 믿는 이유를 알고 싶어합니다
02:13
How do you know that something is good for us
50
118000
2000
뭔가가 우리에게 이득이 되는지♪
02:15
or bad나쁜 for us?
51
120000
2000
해로운지 어떻게 아십니까?
02:17
But we're also또한 unimpressed인상적이지 않은 by authority권위,
52
122000
2000
또한 권위가 대단하다고 생각하지 않는데,
02:19
because it's so easy쉬운 to contrive꾸미다.
53
124000
2000
왜냐면 그것은 쉽게 고안될 수 있는것이기 때문이죠
02:21
This is somebody어떤 사람 called전화 한 Dr박사. Gillian질리안 McKeith맥 키스 PhPh.D,
54
126000
2000
이 사람은 질리안 맥키스 (Gillian McKeith) 박사인데,
02:23
or, to give her full완전한 medical의료 title표제, Gillian질리안 McKeith맥 키스.
55
128000
3000
또는, 그녀의 의료계에서의 완전한 호칭은, 질리안 맥키스(Gillian McKeith)입니다
02:26
(Laughter웃음)
56
131000
3000
(웃음)
02:29
Again, every...마다 country국가 has somebody어떤 사람 like this.
57
134000
2000
다시 말하자면, 모든 국가에는 이 사람과 비슷한 어떤 사람이 있습니다
02:31
She is our TVTV diet다이어트 guru전문가.
58
136000
2000
그녀는 우리의 TV 식이요법 전문가입니다
02:33
She has massive거대한 five다섯 series시리즈 of prime-time프라임 타임 television텔레비전,
59
138000
3000
그녀는 텔레비젼 황금시간대의 거대한 5개 시리즈를 확보해
02:36
giving주는 out very lavish풍부한 and exotic이국적인 health건강 advice조언.
60
141000
3000
호화롭고 이국적인 건강조언을 베풉니다
02:39
She, it turns회전 out, has a non-accredited비 공인 correspondence일치 course코스 PhPh.D.
61
144000
3000
판명이 난것은, 그녀는 아메리카 어딘가에서 인증받지 않은
02:42
from somewhere어딘가에 in America미국.
62
147000
2000
통신과정의 박사학위를 땄습니다
02:44
She also또한 boasts자랑하다 that she's a certified인증 된 professional직업적인 member회원
63
149000
2000
그녀는 또한 그녀가 아주 화려하고 흥미로운
02:46
of the American미국 사람 Association협회 of Nutritional영양 Consultants컨설턴트,
64
151000
2000
미국의 영양 상담자 협회의
02:48
which어느 sounds소리 very glamorous매혹적인 and exciting흥미 진진한.
65
153000
2000
공인 전문 회원이라고 자랑합니다
02:50
You get a certificate증명서 and everything.
66
155000
2000
모든것에 자격증을 받습니다
02:52
This one belongs속하다 to my dead죽은 cat고양이 Hetti헤티. She was a horrible끔찍한 cat고양이.
67
157000
2000
이 자격증은 저의 죽은 고양이인 헤티 (Hetti) 가 받은 겁니다. 그녀는 끔찍한 고양이였습니다
02:54
You just go to the website웹 사이트, fill가득 따르다 out the form형태,
68
159000
2000
누구나 웹사이트로 가서, 양식을 적어넣고,
02:56
give them $60, and it arrives도착하다 in the post게시하다.
69
161000
2000
미화 60 달러를 지불하면, 우편으로 도착합니다
02:58
Now that's not the only reason이유 that we think this person사람 is an idiot백치.
70
163000
2000
그것만이 이 사람이 백치라고 생각하는것도 아닙니다
03:00
She also또한 goes간다 and says말한다 things like,
71
165000
2000
그녀는 또한 더 나아가서 말하기를,
03:02
you should eat먹다 lots of dark어두운 green녹색 leaves이파리,
72
167000
2000
진녹색의 이파리를 많이 먹어야 하는데,
03:04
because they contain있다 lots of chlorophyll엽록소, and that will really oxygenate옥시 게 네이트 your blood.
73
169000
2000
왜냐하면 그 안에는 엽록소가 많이 포함되서, 그게 피를 정말 산화시킨다구요
03:06
And anybody아무도 who's누가 done끝난 school학교 biology생물학 remembers기억하다
74
171000
2000
학교 생물학을 마친 사람이라면 누구라도 기억하듯
03:08
that chlorophyll엽록소 and chloroplasts엽록체
75
173000
2000
엽록소와 엽록체가
03:10
only make oxygen산소 in sunlight햇빛,
76
175000
2000
햇빛에서만 산소를 만들고
03:12
and it's quite아주 dark어두운 in your bowels창자 after you've eaten먹은 spinach시금치.
77
177000
3000
시금치를 먹고난 다음에 대변은 상당히 진합니다
03:15
Next다음 것, we need proper적절한 science과학, proper적절한 evidence증거.
78
180000
3000
다음, 우리는 적절한 과학, 적절한 증거가 필요합니다
03:18
So, "Red빨간 wine포도주 can help prevent막다 breast유방 cancer."
79
183000
2000
그래서, "적포도는 유방암을 예방할 수 있습니다."
03:20
This is a headline표제 from the Daily매일 Telegraph전신 in the U.K.
80
185000
2000
이것은 데일리 영국연방의 텔레그라프에서 헤드라인에서 따온것입니다
03:22
"A glass유리 of red빨간 wine포도주 a day could help prevent막다 breast유방 cancer."
81
187000
3000
"하루에 적포도주 한잔은 유방암 예방에 도움이 된다."
03:25
So you go and find this paper종이, and what you find
82
190000
2000
그래서 이 기사를 찾아가지만, 거기서 발견하는것은
03:27
is it is a real레알 piece조각 of science과학.
83
192000
2000
한쪼가리의 실제 과학이죠
03:29
It is a description기술 of the changes변화들 in one enzyme효소
84
194000
3000
그건 어떤 연구소에 있는 벤치위의 접시에다가
03:32
when you drip똑똑 떨어지는 물방울 소리 a chemical화학 물질 extracted추출 된 from some red빨간 grape포도 skin피부
85
197000
3000
조금의 적포도 껍질에서 추출한 화학물을
03:35
onto~에 some cancer cells세포들
86
200000
2000
약간의 암세포에 떨어뜨렸을때
03:37
in a dish요리 on a bench벤치 in a laboratory실험실 somewhere어딘가에.
87
202000
3000
한개의 효소의 변화의 설명이죠
03:40
And that's a really useful유능한 thing to describe기술하다
88
205000
2000
그건 과학적인 기사에
03:42
in a scientific과학적 paper종이,
89
207000
2000
설명하는 것이 정말로 유용한 것일지는 모르지만,
03:44
but on the question문제 of your own개인적인 personal개인적인 risk위험
90
209000
2000
만일 적포도주를 마시면
03:46
of getting점점 breast유방 cancer if you drink음주 red빨간 wine포도주,
91
211000
2000
유방암에 걸리는것에 대한 개인적 위험에 대한 의문에 대해
03:48
it tells말하다 you absolutely전혀 bugger도청 전문가 all.
92
213000
2000
알려주느냐 하는것은 절대적으로 코딱지 같이 하찮은 겁니다
03:50
Actually사실은, it turns회전 out that your risk위험 of breast유방 cancer
93
215000
2000
실제로, 판명이 된 바로는
03:52
actually사실은 increases증가 slightly약간
94
217000
2000
매번 마시는 술의 양에 따라
03:54
with every...마다 amount of alcohol알코올 that you drink음주.
95
219000
2000
유방암의 위험은 약간씩 증가합니다
03:56
So what we want is studies연구 in real레알 human인간의 people.
96
221000
4000
우리가 원하는것은 실제 인간에게서의 연구죠
04:00
And here's여기에 another다른 example.
97
225000
2000
여기 다른 예가 있습니다
04:02
This is from Britain's영국의 leading주요한 diet다이어트 and nutritionist영양사 in the Daily매일 Mirror거울,
98
227000
3000
이것은 데일리 미러 (Daily Mirror)에 있는 영국의 선발적 식이요법과 영양사인데
04:05
which어느 is our second둘째 biggest가장 큰 selling판매 newspaper신문.
99
230000
2000
그건 두번째로 잘 팔리는 신문입니다
04:07
"An Australian오스트레일리아 사람 study연구 in 2001
100
232000
2000
"2001년의 호주 연구는
04:09
found녹이다 that olive올리브 oil기름 in combination콤비네이션 with fruits과일, vegetables야채 and pulses펄스
101
234000
2000
과일, 야채와 두류와 더불어 올리브유를 조합하는것은
04:11
offers제안 measurable측정 가능한 protection보호 against반대 skin피부 wrinklings주름살."
102
236000
2000
피부 노화에 대해 측정할만한 보로를 제공합니다"
04:13
And then they give you advice조언:
103
238000
2000
그 다음에 신문이 조언을 베푸는것은:
04:15
"If you eat먹다 olive올리브 oil기름 and vegetables야채, you'll have fewer적은 skin피부 wrinkles주름."
104
240000
2000
"만일 올리브유와 야채를 먹으면, 여러분은 더 적은 피부주름을 가지게 됩니다"
04:17
And they very helpfully유익하게 tell you how to go and find the paper종이.
105
242000
2000
그리고는 아주 유익하게 신문을 찾는 방법에 대해 말합니다
04:19
So you go and find the paper종이, and what you find is an observational관측의 study연구.
106
244000
3000
그래서 그 기사를 찾으면, 알게 되는것은 관측연구입니다
04:22
Obviously명백하게 nobody아무도 has been able할 수 있는
107
247000
2000
명백히 그 누구도
04:24
to go back to 1930,
108
249000
2000
1930년대로 되돌아갈 수 없죠
04:26
get all the people born타고난 in one maternity임산부 unit단위,
109
251000
3000
산부인과 병동하나에서 태어난 모든 사람들을 찾아서
04:29
and half절반 of them eat먹다 lots of fruit과일 and veg채식주의 자 and olive올리브 oil기름,
110
254000
2000
그들 절반은 다량의 과일과 야채와 올리브유를 먹고
04:31
and then half절반 of them eat먹다 McDonald's맥도날드,
111
256000
2000
그 나머지 절반은 맥도널드를 먹일 수 없습니다
04:33
and then we see how many많은 wrinkles주름 you've got later후에.
112
258000
2000
그다음 우리가 보는것은 그 이후에 얼마나 많은 주름을 얻게 되었는지에 대한 것이죠
04:35
You have to take a snapshot스냅 사진 of how people are now.
113
260000
2000
현재 사람들이 어떤 모습인지 스냅샷을 찍을 필요가 있어요
04:37
And what you find is, of course코스,
114
262000
2000
알게 되는것은, 물론
04:39
people who eat먹다 veg채식주의 자 and olive올리브 oil기름 have fewer적은 skin피부 wrinkles주름.
115
264000
3000
야채와 올리브유를 먹는 사람들은 더 적은 양의 주름을 지녔습니다
04:42
But that's because people who eat먹다 fruit과일 and veg채식주의 자 and olive올리브 oil기름,
116
267000
3000
하지만 그것은 과일과 야채와 올리브유를 먹는 사람들은
04:45
they're freaks괴물, they're not normal표준, they're like you;
117
270000
3000
괴짜들이기 때문입니다, 그들은 정상이 아니예요, 그들은 여러분 같습니다,
04:48
they come to events사건 like this.
118
273000
2000
그들은 TED와 같은 이런 이벤트에 옵니다
04:50
They are posh우아한, they're wealthy풍부한, they're less적게 likely아마도 to have outdoor집 밖의 jobs일자리,
119
275000
3000
그들은 사치스럽고, 부자이고, 옥외의 직업을 가지는 확률이 적고,
04:53
they're less적게 likely아마도 to do manual조작 labor노동,
120
278000
2000
육체 노동을 하는 확률이 적고,
04:55
they have better social사회적인 support지원하다, they're less적게 likely아마도 to smoke연기 --
121
280000
2000
더 나은 사회지원을 받고, 담배를 피울 확률이 적죠
04:57
so for a whole완전한 host숙주 of fascinating매혹적인, interlocking연동하는
122
282000
2000
그래서 전체적 무리의 매력적이고, 서로 맞물려있는
04:59
social사회적인, political주재관 and cultural문화적 reasons원인,
123
284000
2000
사회적, 정치적, 그리고 문화적인 이유들로,
05:01
they are less적게 likely아마도 to have skin피부 wrinkles주름.
124
286000
2000
그들은 피부 주름을 가질 확률이 낮죠
05:03
That doesn't mean that it's the vegetables야채 or the olive올리브 oil기름.
125
288000
2000
그건 야채와 올리브유라는 것을 의미하는 것은 아닙니다
05:05
(Laughter웃음)
126
290000
2000
(웃음)
05:07
So ideally이상적으로 what you want to do is a trial시도.
127
292000
3000
그래서 이상적으로 사람들이 하고자 원하는 것은 실험입니다
05:10
And everybody각자 모두 thinks생각해. they're very familiar익숙한 with the idea생각 of a trial시도.
128
295000
2000
모두다 자신들이 실험에 대한 개념에 친숙하다고 생각합니다
05:12
Trials예심 are very old늙은. The first trial시도 was in the Bible성경 -- Daniel다니엘 1:12.
129
297000
3000
실험은 아주 오래되었습니다. 첫번째 실험은 다니엘서 1장 12절에 나오는 성경책에서였죠
05:15
It's very straightforward똑바로 -- you take a bunch다발 of people, you split스플릿 them in half절반,
130
300000
2000
그건 아주 간단합니다, 많은 사람들을 데려다가, 절반으로 가르고,
05:17
you treat one group그룹 one way, you treat the other group그룹 the other way,
131
302000
2000
하나의 그룹을 한가지 방식으로 처리하고, 나머지 하나의 그룹을 다른 방식으로 처리하고
05:19
and a little while later후에, you follow따르다 them up
132
304000
2000
시간이 약간 흐른후, 그들을 추적해서
05:21
and see what happened일어난 to each마다 of them.
133
306000
2000
그들 각각에게 무슨일이 일어났는지 알아보는 겁니다
05:23
So I'm going to tell you about one trial시도,
134
308000
2000
제가 하나의 실험에 대해 이야기를 해드리려 하는데
05:25
which어느 is probably아마 the most가장 well-reported잘 보도 된 trial시도
135
310000
2000
그것은 지난 10년동안 영국연방 뉴스 미디아에서
05:27
in the U.K. news뉴스 media미디어 over the past과거 decade로사리오 염주.
136
312000
2000
필경 가장 잘 보고된 기사일겁니다
05:29
And this is the trial시도 of fish물고기 oil기름 pills의사.
137
314000
2000
이건 생선오일 약의 실험입니다
05:31
And the claim청구 was fish물고기 oil기름 pills의사 improve돌리다 school학교 performance공연 and behavior행동
138
316000
2000
그 주장은 생선유약이 중심이 되는 어린이들의
05:33
in mainstream주류 children어린이.
139
318000
2000
학교 수행과 행동을 향상시켰다는 것이었습니다
05:35
And they said, "We've우리는 done끝난 a trial시도.
140
320000
2000
그들이 말하길, "우리는 실험을 마쳤습니다
05:37
All the previous너무 이른 trials시련 were positive, and we know this one's사람의 gonna be too."
141
322000
2000
이전의 모든 실험들이 긍정적이었고, 우리는 이 실험도 긍정적이라는 것을 알고 있지요"
05:39
That should always ring반지 alarm경보 bells.
142
324000
2000
그 말은 항상 경고가 울린다는 것을 알아야 합니다
05:41
Because if you already이미 know the answer대답 to your trial시도, you shouldn't해서는 안된다. be doing one.
143
326000
3000
왜냐하면 실험의 대답을 이미 알고 있다면, 그 실험은 하지 않아야 하기 때문이죠
05:44
Either어느 한 쪽 you've rigged조작 된 it by design디자인,
144
329000
2000
디자인으로 그 실험을 조작했거나,
05:46
or you've got enough충분히 data데이터 so there's no need to randomize무작위로 추출하다 people anymore더 이상.
145
331000
3000
충분한 데이터가 있어서 더이상 사람들을 임의추출할 필요가 없습니다
05:49
So this is what they were going to do in their그들의 trial시도.
146
334000
3000
그래서 그들이 그들의 실험에서 하려 했던것은 이겁니다
05:52
They were taking취득 3,000 children어린이,
147
337000
2000
3,000 명의 어린이들을 데려다가,
05:54
they were going to give them all these huge거대한 fish물고기 oil기름 pills의사,
148
339000
2000
많은 생선오일 약을 줄 예정이었죠,
05:56
six of them a day,
149
341000
2000
하루에 6개씩,
05:58
and then a year later후에, they were going to measure법안 their그들의 school학교 exam시험 performance공연
150
343000
3000
그리고 1년후, 학생들의 학교시험 수행을 측정하려는 예정이었고
06:01
and compare비교 their그들의 school학교 exam시험 performance공연
151
346000
2000
이 학교 시험 수행을
06:03
against반대 what they predicted예언 된 their그들의 exam시험 performance공연 would have been
152
348000
2000
만일 학생들이 약을 먹지 않았다면
06:05
if they hadn't~하지 않았다 had the pills의사.
153
350000
3000
학생들의 시험수행의 결과가 되었음직하게 예상되는것과 비교할 예정이었습니다
06:08
Now can anybody아무도 spot자리 a flaw결점 in this design디자인?
154
353000
3000
이 디자인에 헛점을 짚을 수 있는 사람이 계신가요?
06:11
And no professors교수 of clinical객관적인 trial시도 methodology방법론
155
356000
3000
임상실험방법론 교수는
06:14
are allowed허용 된 to answer대답 this question문제.
156
359000
2000
이 질문에 대답하도록 허락되지 않습니다
06:16
So there's no control제어; there's no control제어 group그룹.
157
361000
2000
통제가 없어요; 통제 그룹이 없습니다;
06:18
But that sounds소리 really techie기술자.
158
363000
2000
그렇지만 그것은 굉장히 기술적으로 들리죠
06:20
That's a technical전문인 term기간.
159
365000
2000
그건 기술적인 용어입니다
06:22
The kids아이들 got the pills의사, and then their그들의 performance공연 improved개선 된.
160
367000
2000
어린이들이 약을 먹었고, 그 다음에 그들의 수행이 향상되었습니다
06:24
What else그밖에 could it possibly혹시 be if it wasn't아니었다. the pills의사?
161
369000
3000
만일 그 약이 아니었다면 다른 어떤것일 수 있겠습니까?
06:27
They got older더 오래된. We all develop나타나게 하다 over time.
162
372000
3000
그 아이들이 자라났습니다. 우리 모두는 시간이 흐르면서 발달하지요
06:30
And of course코스, also또한 there's the placebo위약 effect효과.
163
375000
2000
그리고 물론, 플라시보 (placebo) 효과도 있습니다
06:32
The placebo위약 effect효과 is one of the most가장 fascinating매혹적인 things in the whole완전한 of medicine의학.
164
377000
2000
이 플라시보(placebo)효과는 제약의 전체에서 가장 매력적인 것중의 하나입니다
06:34
It's not just about taking취득 a pill알약, and your performance공연 and your pain고통 getting점점 better.
165
379000
3000
그건 약을먹어서 수행과 고통이 더 나아지는것이 아니예요
06:37
It's about our beliefs신념 and expectations기대.
166
382000
2000
그건 우리의 믿음과 예상입니다
06:39
It's about the cultural문화적 meaning의미 of a treatment치료.
167
384000
2000
그건 치료의 문화적인 의미입니다
06:41
And this has been demonstrated시연 된 in a whole완전한 raft뗏목 of fascinating매혹적인 studies연구
168
386000
3000
이것은 한 종류의 플라시보 (placebo) 효과를 다른것에 비교한
06:44
comparing비교 one kind종류 of placebo위약 against반대 another다른.
169
389000
3000
대단히 많은 매력적인 연구들에서 제시되어진 바 있습니다
06:47
So we know, for example, that two sugar설탕 pills의사 a day
170
392000
2000
그래서 우리는, 예를 들어, 하루에 두개의 설탕약이
06:49
are a more effective유효한 treatment치료 for getting점점 rid구하다 of gastric위의 ulcers궤양
171
394000
2000
한개의 설탕약보다 위궤양을 제거하는데
06:51
than one sugar설탕 pill알약.
172
396000
2000
더 효과적인 지료법이라는것을 알지요
06:53
Two sugar설탕 pills의사 a day beats박자 one sugar설탕 pill알약 a day.
173
398000
2000
두개의 설탕약은 한개의 설탕약을 이깁니다
06:55
And that's an outrageous터무니없는 and ridiculous어리석은 finding발견, but it's true참된.
174
400000
3000
그건 터무니없고 허무맹랑한 결과지만, 그건 사실입니다
06:58
We know from three different다른 studies연구 on three different다른 types유형 of pain고통
175
403000
2000
우리는 세가지 다른 종류의 고통에서 세가지 다른 종류의 연구를 아는데
07:00
that a saltwater소금물 injection주입 is a more effective유효한 treatment치료 for pain고통
176
405000
3000
그건 소금물 주사가 설탕약을 복용하는 것보다,
07:03
than taking취득 a sugar설탕 pill알약, taking취득 a dummy더미 pill알약 that has no medicine의학 in it --
177
408000
4000
그 안에 약이 들어 있지 않은 가짜 약을 복용하는것이 더 효과적입니다
07:07
not because the injection주입 or the pills의사 do anything physically육체적으로 to the body신체,
178
412000
3000
그 주사나 약이 신체에 물리적으로 어떤 작용을 해서가 아니라
07:10
but because an injection주입 feels느낀다. like a much more dramatic극적인 intervention중재.
179
415000
3000
그 주사는 훨씬 더 극적인 개입으로 느껴지기 때문입니다
07:13
So we know that our beliefs신념 and expectations기대
180
418000
2000
그래서 우리는 우리의 믿음과 기대가
07:15
can be manipulated조작 된,
181
420000
2000
조작될 수 있다는 걸 압니다
07:17
which어느 is why we do trials시련
182
422000
2000
그건 우리가 플라시보에 대해서 통제하여
07:19
where we control제어 against반대 a placebo위약 --
183
424000
2000
사람들의 절반은 진짜 치료를 받고
07:21
where one half절반 of the people get the real레알 treatment치료
184
426000
2000
다른 절반은 플라시보(placebo) 치료를 받는
07:23
and the other half절반 get placebo위약.
185
428000
2000
실험을 하는 이유입니다
07:25
But that's not enough충분히.
186
430000
3000
그러나 그것만으로는 충분하지 않아요
07:28
What I've just shown표시된 you are examples예제들 of the very simple단순한 and straightforward똑바로 ways
187
433000
3000
제가 막 여러분께 보여드린것은
07:31
that journalists언론인 and food식품 supplement보충 pill알약 peddlers행상인들
188
436000
2000
저널리스트와 음식 보조약품 행상인과
07:33
and naturopaths자연 자연 요법
189
438000
2000
신경증환자들이
07:35
can distort왜곡하다 evidence증거 for their그들의 own개인적인 purposes목적.
190
440000
3000
그들 자신의 목적을 위해 증거를 왜곡시킬 수 있는 아주 단순하고 직접적인 예들입니다
07:38
What I find really fascinating매혹적인
191
443000
2000
제가 발견한 정말 매력적인 것은
07:40
is that the pharmaceutical제약 industry산업
192
445000
2000
제약 산업은
07:42
uses용도 exactly정확하게 the same같은 kinds종류 of tricks속임수 and devices장치들,
193
447000
2000
정확히 똑같은 속임수와 책략이지만,
07:44
but slightly약간 more sophisticated매우 복잡한 versions버전 of them,
194
449000
3000
그것들의 약간 더 세련된 판을
07:47
in order주문 to distort왜곡하다 the evidence증거 that they give to doctors의사들 and patients환자,
195
452000
3000
그들이 의사들과 환자들에게 제공하는 증거를 왜곡하기 위해서 사용하고
07:50
and which어느 we use to make vitally활발히 important중대한 decisions결정들.
196
455000
3000
그리고 우리는 그것을 치명적으로 중요한 결정을 하는데 사용한다는 겁니다
07:53
So firstly첫째로, trials시련 against반대 placebo위약:
197
458000
2000
그래서 먼저, 실험은 플라시보 (placebo)에 반합니다:
07:55
everybody각자 모두 thinks생각해. they know that a trial시도 should be
198
460000
2000
모든이들이 생각하기를 그 실험은
07:57
a comparison비교 of your new새로운 drug against반대 placebo위약.
199
462000
2000
새로운 약을 플라시보(placebo)에 반하는 비교여야한다는 걸 안다고 생각합니다
07:59
But actually사실은 in a lot of situations상황 that's wrong잘못된.
200
464000
2000
하지만 실제로 대단히 많은 상황에서 그건 옳지 않습니다
08:01
Because often자주 we already이미 have a very good treatment치료 that is currently현재 available유효한,
201
466000
3000
왜냐면 종종 우리는 이미 현재 사용할 수 있는 대단히 좋은 치료가 있어서
08:04
so we don't want to know that your alternative대안 new새로운 treatment치료
202
469000
2000
우리는 새로운 대안 치료가
08:06
is better than nothing.
203
471000
2000
전무인것보다 낫다는 걸 알고 싶어하지 않습니다
08:08
We want to know that it's better than the best베스트 currently현재 available유효한 treatment치료 that we have.
204
473000
3000
우리는 그 새로운 대안치료가 우리가 가진 현재 가능한 가장 좋은 치료인지 알고 싶어합니다
08:11
And yet아직, repeatedly자꾸, you consistently일관되게 see people doing trials시련
205
476000
3000
하지만 여전히, 반복해서 우리는 사람들이
08:14
still against반대 placebo위약.
206
479000
2000
여전히 플라시보(placebo)에 반해서 실험을 하는것을 보게됩니다
08:16
And you can get license특허 to bring가져오다 your drug to market시장
207
481000
2000
의사결정을 하려고 하는 저같은 의사를 위해서는 쓸모없는
08:18
with only data데이터 showing전시 that it's better than nothing,
208
483000
2000
전무한것보다 더 낫다는 것을 보여주는 데이터를 가지면
08:20
which어느 is useless편치 않은 for a doctor의사 like me trying견딜 수 없는 to make a decision결정.
209
485000
3000
누구든 자격증을 받아서 자신의 약을 시장으로 가져갈 수 있습니다
08:23
But that's not the only way you can rig도구 your data데이터.
210
488000
2000
하지만 그것만이 데이터를 조작할 수 있는 방법은 아닙니다
08:25
You can also또한 rig도구 your data데이터
211
490000
2000
데이터는 새로운 약에 반대해서
08:27
by making만들기 the thing you compare비교 your new새로운 drug against반대
212
492000
2000
비교하는 약을 완전히 폐기물로 만드는것으로
08:29
really rubbish쓰레기.
213
494000
2000
조작할 수 있습니다
08:31
You can give the competing경쟁하는 drug in too low낮은 a dose정량,
214
496000
2000
경쟁하는 약의 1회 복용량을 아주 조금만 줘서
08:33
so that people aren't있지 않다. properly정확히 treated치료 된.
215
498000
2000
사람들이 적절하게 치료받지 않게 할 수 있습니다
08:35
You can give the competing경쟁하는 drug in too high높은 a dose정량,
216
500000
2000
경쟁하는 약의 1회 복용량을 아주 많이 줘서
08:37
so that people get side측면 effects효과.
217
502000
2000
사람들이 부작용이 있게 할 수 있습니다
08:39
And this is exactly정확하게 what happened일어난
218
504000
2000
그리고 이것이 정신분열증을 위한
08:41
which어느 antipsychotic정신병 치료제 medication약물 치료 for schizophrenia정신 분열증.
219
506000
2000
항정신병약에 일어난 바로 그 일입니다
08:43
20 years연령 ago...전에, a new새로운 generation세대 of antipsychotic정신병 치료제 drugs약제 were brought가져온 in
220
508000
3000
20년전에, 항 정신병약의 새로운 세대가 도입되었고
08:46
and the promise약속 was that they would have fewer적은 side측면 effects효과.
221
511000
3000
약속은 그것들에는 더 적은 부작용이 있을거라는 것이었습니다
08:49
So people set세트 about doing trials시련 of these new새로운 drugs약제
222
514000
2000
그래서 사람들은 이 새로운 약을
08:51
against반대 the old늙은 drugs약제,
223
516000
2000
오래된 약에 반해서 실험하려고 착수했지만
08:53
but they gave the old늙은 drugs약제 in ridiculously말도 안되게 high높은 doses복용량 --
224
518000
2000
오래된 약에는 터무니없이 높은 1회 복용량을,
08:55
20 milligrams밀리그램 a day of haloperidol할로 페리돌.
225
520000
2000
할로페리돌(holoperidol) 을 하루에 20밀리그램씩 주었습니다
08:57
And it's a foregone끝내다 conclusion결론,
226
522000
2000
그것은 이미 정해진 결론이었죠,
08:59
if you give a drug at that high높은 a dose정량,
227
524000
2000
그렇게 높은 1회 복용량의 약을 주면
09:01
that it will have more side측면 effects효과 and that your new새로운 drug will look better.
228
526000
3000
더 많은 부작용이 있을것이고 새로운 약이 더 좋게 보이겠지요
09:04
10 years연령 ago...전에, history역사 repeated반복 된 itself그 자체, interestingly재미있게,
229
529000
2000
10년전, 흥미롭게도 역사는 스스로 반복하죠
09:06
when risperidone리스페리돈, which어느 was the first of the new-generation새로운 세대 antipscyhotic항시 적성의 drugs약제,
230
531000
3000
최초의 새로운 세대의 한정신병 약이었던, 리스페리돈(risperidone) 이
09:09
came왔다 off copyright저작권, so anybody아무도 could make copies사본들.
231
534000
3000
복제권이 방면되어서, 누구라도 복제할 수 있었습니다
09:12
Everybody각자 모두 wanted to show보여 주다 that their그들의 drug was better than risperidone리스페리돈,
232
537000
2000
모든이가 자기들의 약이 리스페리돈(risperidone)보다 더 낫다고 보여주길 바랬습니다
09:14
so you see a bunch다발 of trials시련 comparing비교 new새로운 antipsychotic정신병 치료제 drugs약제
233
539000
3000
그래서 여러개의 실험이 하루에 8 밀리그램 (milligrams)을 리스페리돈(risperidone)에 반해서
09:17
against반대 risperidone리스페리돈 at eight여덟 milligrams밀리그램 a day.
234
542000
2000
새로운 항정신병 약에 반해서 비교하는것을 볼 수 있습니다
09:19
Again, not an insane미친 것 같은 dose정량, not an illegal불법 dose정량,
235
544000
2000
다시말하면, 정신이상의 1회 복용량은 아니고, 불법적인 1회 복용량은 아니지만,
09:21
but very much at the high높은 end종료 of normal표준.
236
546000
2000
정상의 아주 높은 마지막 범위에 있죠
09:23
And so you're bound경계 to make your new새로운 drug look better.
237
548000
3000
반드시 새로운 약이 더 좋게 보이도록 만들게 될 겁니다
09:26
And so it's no surprise놀람 that overall사무용 겉옷,
238
551000
3000
그래서 그건 산업기금의 실험이 전체적으로
09:29
industry-funded산업 기금 trials시련
239
554000
2000
독립적으로 지원받은 실험보다
09:31
are four times타임스 more likely아마도 to give a positive result결과
240
556000
2000
네 배가 긍정적인 결과를 낳을 확률이 있다는것은
09:33
than independently독립적으로 sponsored스폰서 한 trials시련.
241
558000
3000
전혀 놀랄만한 사실이 아닌것이죠
09:36
But -- and it's a big but --
242
561000
3000
하지만 (but)--또 그건 아주 큰 하지만 (but: 이 단어는 궁둥이라는 단어, butt과 발음이 같은 동음이의어) 인데
09:39
(Laughter웃음)
243
564000
2000
(웃음)
09:41
it turns회전 out,
244
566000
2000
판명된 바로는,
09:43
when you look at the methods행동 양식 used by industry-funded산업 기금 trials시련,
245
568000
3000
산업기금의 실험에 이용된 방법을 보면
09:46
that they're actually사실은 better
246
571000
2000
독립적으로 지원받은 실험보다
09:48
than independently독립적으로 sponsored스폰서 한 trials시련.
247
573000
2000
실제로 더 낫습니다
09:50
And yet아직, they always manage꾸리다 to to get the result결과 that they want.
248
575000
3000
그럼에도, 그들은 항상 그들이 원하는 결과를 얻도록 관리합니다
09:53
So how does this work?
249
578000
2000
이렇게 작용하는 방법은 뭘까요?
09:55
How can we explain설명 this strange이상한 phenomenon현상?
250
580000
3000
이 이상한 현상을 우리가 설명할 방법은 무엇일까요?
09:58
Well it turns회전 out that what happens일이
251
583000
2000
어떤일이 일어나는지 판명이 된것은
10:00
is the negative부정 data데이터 goes간다 missing있어야 할 곳에 없는 in action동작;
252
585000
2000
부정적인 데이터가 행방불명이 되는겁니다
10:02
it's withheld원천 징수 된 from doctors의사들 and patients환자.
253
587000
2000
그건 의사들과 환자들에게서 억제당합니다
10:04
And this is the most가장 important중대한 aspect양상 of the whole완전한 story이야기.
254
589000
2000
그리고 이것이 전체적인 이야기에서 가장 중요한 요점입니다
10:06
It's at the top상단 of the pyramid피라미드 of evidence증거.
255
591000
2000
그건 증거 피라미드의 꼭대기에 있습니다
10:08
We need to have all of the data데이터 on a particular특별한 treatment치료
256
593000
3000
우리는 그것이 진정으로 효과적인지 아닌지 인지하기 위해
10:11
to know whether인지 어떤지 or not it really is effective유효한.
257
596000
2000
특정한 치료에서 모든 데이터를 입수해야만 합니다
10:13
And there are two different다른 ways that you can spot자리
258
598000
2000
약간의 데이터가 행방불명이 되었는지 아닌지를
10:15
whether인지 어떤지 some data데이터 has gone지나간 missing있어야 할 곳에 없는 in action동작.
259
600000
2000
점찍을 수 있는 2 가지 다른 방법이 있습니다
10:17
You can use statistics통계, or you can use stories이야기.
260
602000
3000
통계학을 이용할 수 있고, 또는 이야기를 이용할 수 있지요
10:20
I personally몸소 prefer취하다 statistics통계, so that's what I'm going to do first.
261
605000
2000
저는 개인적으로 확률을 선호합니다, 그래서 그걸 먼저 하겠습니다
10:22
This is something called전화 한 funnel깔때기 plot음모.
262
607000
2000
이것은 깔대기 플롯이라고 부르는 겁니다
10:24
And a funnel깔때기 plot음모 is a very clever영리한 way of spotting스포팅
263
609000
2000
이 깔대기 플롯은 만일 작은 부정적 실험이 행방불명이 된 경우, 사라진 경우
10:26
if small작은 negative부정 trials시련 have disappeared사라진, have gone지나간 missing있어야 할 곳에 없는 in action동작.
264
611000
3000
점찍는 아주 영리한 방법입니다
10:29
So this is a graph그래프 of all of the trials시련
265
614000
2000
그래서 특정한 치료에서 행해진
10:31
that have been done끝난 on a particular특별한 treatment치료.
266
616000
2000
모든 실험의 그래프입니다
10:33
And as you go up towards...쪽으로 the top상단 of the graph그래프,
267
618000
2000
그래프의 위쪽으로 올라감에 따라
10:35
what you see is each마다 dot is a trial시도.
268
620000
2000
보게 되는것은 각각의 점이 실험이라는 겁니다
10:37
And as you go up, those are the bigger더 큰 trials시련, so they've그들은 got less적게 error오류 in them.
269
622000
3000
그리고 위로 올라감에 따라, 규모가 더 큰 실험에는, 더 적은 오류가 있습니다
10:40
So they're less적게 likely아마도 to be randomly무작위로 false그릇된 positives긍정적 인, randomly무작위로 false그릇된 negatives음화.
270
625000
3000
그래서 그것들은 무작위적으로 잘못된 긍정적이 될 확률과, 무작위적으로 잘못된 부정적이 될 확률이 적습니다.
10:43
So they all cluster클러스터 together함께.
271
628000
2000
그것들은 모두 함께 그룹 지어집니다
10:45
The big trials시련 are closer더 가까운 to the true참된 answer대답.
272
630000
2000
큰 규모의 실험은 참 대답에 가깝습니다
10:47
Then as you go further더욱이 down at the bottom바닥,
273
632000
2000
그다음 바닥의 아래쪽으로 더 내려가면,
10:49
what you can see is, over on this side측면, the spurious가짜의 false그릇된 negatives음화,
274
634000
3000
보이는것은 이쪽 위에, 위조의 틀린 부정적 결과가 있고
10:52
and over on this side측면, the spurious가짜의 false그릇된 positives긍정적 인.
275
637000
2000
이쪽 위에, 위조의 틀린 긍정적인 결과가 있습니다
10:54
If there is publication출판 bias바이어스,
276
639000
2000
만일 출판의 편견이 있는경우,
10:56
if small작은 negative부정 trials시련 have gone지나간 missing있어야 할 곳에 없는 in action동작,
277
641000
3000
작은 부정적 실험이 행방불명이 된 경우
10:59
you can see it on one of these graphs그래프.
278
644000
2000
이 그래프중 하나에서 볼 수 있습니다
11:01
So you can see here that the small작은 negative부정 trials시련
279
646000
2000
그래서 여기서 볼 수 있는것은
11:03
that should be on the bottom바닥 left have disappeared사라진.
280
648000
2000
아래 왼쪽에서 사라진 작은 부정적인 실험입니다
11:05
This is a graph그래프 demonstrating시연하는 the presence존재 of publication출판 bias바이어스
281
650000
3000
이것은 출판편견의 연구에서
11:08
in studies연구 of publication출판 bias바이어스.
282
653000
2000
출판편견의 현존을 제시하는 그래프입니다
11:10
And I think that's the funniest우스운 epidemiology역학 joke농담
283
655000
2000
그래서 제 생각에는 그건 여러분이 평생 듣게 될
11:12
that you will ever hear듣다.
284
657000
2000
가장 웃기는 역학 농담입니다
11:14
That's how you can prove알다 it statistically통계적으로,
285
659000
2000
그것이 확률적으로 증명하는 방법입니다
11:16
but what about stories이야기?
286
661000
2000
하지만 이야기는 어떨까요?
11:18
Well they're heinous흉악한, they really are.
287
663000
2000
글쎄요 그것은 가증스럽습니다, 그건 정말 그래요
11:20
This is a drug called전화 한 reboxetine레복 세틴.
288
665000
2000
이것은 레복세틴(reboxetine)이라 부르는 약입니다
11:22
This is a drug that I myself자기 have prescribed처방 된 to patients환자.
289
667000
2000
이것은 제 자신이 환자들에게 처방한 약입니다
11:24
And I'm a very nerdy얼간이 doctor의사.
290
669000
2000
저는 아주 괴상한 의사입니다
11:26
I hope기대 I try to go out of my way to try and read독서 and understand알다 all the literature문학.
291
671000
3000
저는 제 방식으로 나가는 건 시도해보고 읽어서 모든 연구자료를 읽고 싶어하지요
11:29
I read독서 the trials시련 on this. They were all positive. They were all well-conducted잘 수행 된.
292
674000
3000
저는 이것에 관한 실험을 읽었습니다. 실험들은 모두 긍정적이었습니다
11:32
I found녹이다 no flaw결점.
293
677000
2000
실험들은 모두 잘 실행되었어요. 저는 헛점을 발견하지 못했습니다
11:34
Unfortunately운수 나쁘게, it turned돌린 out,
294
679000
2000
불행하게도, 판명된것은,
11:36
that many많은 of these trials시련 were withheld원천 징수 된.
295
681000
2000
이 실험중 많은 숫자가 억제되었었습니다
11:38
In fact, 76 percent퍼센트
296
683000
2000
사실, 이 약으로 행해졌던 모든 실험의
11:40
of all of the trials시련 that were done끝난 on this drug
297
685000
2000
76퍼센트가
11:42
were withheld원천 징수 된 from doctors의사들 and patients환자.
298
687000
2000
의사와 환자들에게서 억제되었었습니다
11:44
Now if you think about it,
299
689000
2000
자, 이제 그것에 대해 생각해 볼 경우,
11:46
if I tossed던지다 a coin동전 a hundred times타임스,
300
691000
2000
제가 동전을 100번 던져서
11:48
and I'm allowed허용 된 to withhold억누르다 from you
301
693000
2000
여러분에게서 절반만큼의 그 대답을
11:50
the answers답변 half절반 the times타임스,
302
695000
2000
억제하도록 허락받았다면
11:52
then I can convince납득시키다 you
303
697000
2000
그러면 저는 머리가 두개있는 동전이 제게 있다고
11:54
that I have a coin동전 with two heads머리.
304
699000
2000
설득할 수 있습니다
11:56
If we remove풀다 half절반 of the data데이터,
305
701000
2000
만일 우리가 데이터의 절반을 제거할 경우,
11:58
we can never know what the true참된 effect효과 size크기 of these medicines의약품 is.
306
703000
3000
우리는 이러한 의약의 실제 효과정도를 절대로 알 수 없습니다
12:01
And this is not an isolated외딴 story이야기.
307
706000
2000
그리고 이것은 산발적인 이야기가 아닙니다
12:03
Around half절반 of all of the trial시도 data데이터 on antidepressants항우울제 has been withheld원천 징수 된,
308
708000
4000
항우울증에 관한 실험 데이터 전부의 절반정도는 억제되었지만
12:07
but it goes간다 way beyond...을 넘어서 that.
309
712000
2000
그것은 그 이상을 넘어섭니다
12:09
The Nordic북유럽 인 Cochrane코크 레인 Group그룹 were trying견딜 수 없는 to get a hold보류 of the data데이터 on that
310
714000
2000
노르틱 코크레인 그룹 (Nordic Cochrane Group)은 데이터를
12:11
to bring가져오다 it all together함께.
311
716000
2000
모두 수집하기 위한 입수에 노력하고 있습니다
12:13
The Cochrane코크 레인 Groups여러 떼 are an international국제 노동자 동맹 nonprofit비영리 단체 collaboration협동
312
718000
3000
코크레인 그룹(Cochrane Group)은 한번이라도 보여진 데이터 전부의
12:16
that produce생기게 하다 systematic체계적인 reviews리뷰 of all of the data데이터 that has ever been shown표시된.
313
721000
3000
조직적인 리뷰를 제공하는 국제적 비영리 협동단체입니다
12:19
And they need to have access접속하다 to all of the trial시도 data데이터.
314
724000
3000
그리고 그들은 실험 데이터의 전보에 접근할 필요가 있습니다
12:22
But the companies회사들 withheld원천 징수 된 that data데이터 from them,
315
727000
3000
하지만 회사들은 그들에게서 데이터를 억제하고
12:25
and so did the European유럽 ​​사람 Medicines의약품 Agency대리점
316
730000
2000
유럽 제약 대리기관 (European Medicines Agency)도
12:27
for three years연령.
317
732000
2000
3년동안 그렇게 했습니다
12:29
This is a problem문제 that is currently현재 lacking부족한 a solution해결책.
318
734000
3000
이것은 현재 해결책을 결여하는 문제입니다
12:32
And to show보여 주다 how big it goes간다, this is a drug called전화 한 Tamiflu타미 플루,
319
737000
3000
그래서 그게 어느정도가 크게 가는지 보여드리자면, 이것은
12:35
which어느 governments정부 around the world세계
320
740000
2000
전 세계의 정부들이 몇십억의 돈을 썼던
12:37
have spent지출하다 billions수십억 and billions수십억 of dollars불화 on.
321
742000
2000
아미플루 (Tamiflu)라고 하는 약입니다
12:39
And they spend보내 that money on the promise약속
322
744000
2000
그들은 이 약이 독감 합병증의
12:41
that this is a drug which어느 will reduce줄이다 the rate
323
746000
2000
비율을 줄여줄것이라는 약속에서
12:43
of complications합병증 with flu독감.
324
748000
2000
그 돈을 씁니다
12:45
We already이미 have the data데이터
325
750000
2000
우리는 그것이 몇시간으로 독감 기간을 줄이는
12:47
showing전시 that it reduces줄이다 the duration지속 of your flu독감 by a few조금 hours시간.
326
752000
2000
것을 보여주는 데이터를 이미 가지고 있습니다
12:49
But I don't really care케어 about that. Governments정부 don't care케어 about that.
327
754000
2000
하지만 저는 그것을 개의치 않습니다. 정부는 그것을 개의치 않습니다
12:51
I'm very sorry if you have the flu독감, I know it's horrible끔찍한,
328
756000
3000
만약 여러분이 독감을 앓으신다면 아주 죄송합니다, 제가 그게 끔찍하다는걸 알지요
12:54
but we're not going to spend보내 billions수십억 of dollars불화
329
759000
2000
하지만 우리는 여러분의 독감 증상의 기간을
12:56
trying견딜 수 없는 to reduce줄이다 the duration지속 of your flu독감 symptoms조짐
330
761000
2000
한나절로 줄이기 위한 노력으로 수십억 달러를
12:58
by half절반 a day.
331
763000
2000
소비하지는 않을것입니다
13:00
We prescribe처방하다 these drugs약제, we stockpile비축 물 them for emergencies비상 사태
332
765000
2000
우리는 죽음을 의미하는 폐렴의
13:02
on the understanding이해 that they will reduce줄이다 the number번호 of complications합병증,
333
767000
2000
합병증의 숫자를 그들이 줄일것이라는 이해에서
13:04
which어느 means방법 pneumonia폐렴 and which어느 means방법 death죽음.
334
769000
3000
이 약들을 처방하고, 비상시를 위해 비축합니다
13:07
The infectious전염성의 diseases질병 Cochrane코크 레인 Group그룹, which어느 are based기반 in Italy이탈리아,
335
772000
3000
이 전염성이 있는 질병을, 이탈리아에 근거를 둔, 코크레인 그룹(Cochrane Group)이
13:10
has been trying견딜 수 없는 to get
336
775000
2000
이 약이 효과적인지 아닌지의
13:12
the full완전한 data데이터 in a usable쓸 수 있는 form형태 out of the drug companies회사들
337
777000
3000
완전한 결정을 위해서 제약회사에서 나온
13:15
so that they can make a full완전한 decision결정
338
780000
3000
이용할 수 있는 형태의
13:18
about whether인지 어떤지 this drug is effective유효한 or not,
339
783000
2000
완전한 데이터를 입수하려고 노력하고 있는데
13:20
and they've그들은 not been able할 수 있는 to get that information정보.
340
785000
3000
그들은 그 정보를 입수할 수가 없었습니다
13:23
This is undoubtedly의심 할 여지없이
341
788000
2000
이것은 의심할 바 없이
13:25
the single단일 biggest가장 큰 ethical윤리적 인 problem문제
342
790000
3000
오늘날 제약계가 당면한
13:28
facing면함 medicine의학 today오늘.
343
793000
2000
가장 큰 단 하나의 도덕적 문제입니다
13:30
We cannot~ 할 수 없다. make decisions결정들
344
795000
3000
우리는 모든 정보가 부재된 상태에서는
13:33
in the absence부재 of all of the information정보.
345
798000
4000
의사결정을 할 수 없습니다
13:37
So it's a little bit비트 difficult어려운 from there
346
802000
3000
그래서 긍정적인 결론같은 걸로 돌리기에는
13:40
to spin회전 in some kind종류 of positive conclusion결론.
347
805000
4000
약간 힘이 듭니다
13:44
But I would say this:
348
809000
4000
그렇지만 저는 이렇게 말하겠습니다:
13:48
I think that sunlight햇빛
349
813000
3000
제 생각에는 햇살이
13:51
is the best베스트 disinfectant살균제.
350
816000
2000
가장 최고의 살균제입니다
13:53
All of these things are happening사고 in plain평원 sight시각,
351
818000
3000
이런 모든일들이 명백한 시야에서 일어나고 있고,
13:56
and they're all protected보호 된
352
821000
2000
그것들은 전부 따분함의 동력 분야로
13:58
by a force field of tediousness지루함.
353
823000
3000
모두 보호받습니다
14:01
And I think, with all of the problems문제들 in science과학,
354
826000
2000
그리고 저는, 과학에서의 모든 문제들과 함께,
14:03
one of the best베스트 things that we can do
355
828000
2000
우리가 할 수 있는 가장 최고의 것들중 하나는
14:05
is to lift승강기 up the lid뚜껑,
356
830000
2000
뚜껑을 들어올려
14:07
finger손가락 around in the mechanics역학 and peer같은 패 in.
357
832000
2000
역학의 주변에 손을 대고 내부를 응시하는 겁니다
14:09
Thank you very much.
358
834000
2000
대단히 감사합니다
14:11
(Applause박수 갈채)
359
836000
3000
(박수)
Translated by Jeong-Lan Kinser
Reviewed by Bianca Lee

▲Back to top

ABOUT THE SPEAKER
Ben Goldacre - Debunker
Ben Goldacre unpicks dodgy scientific claims made by scaremongering journalists, dubious government reports, pharmaceutical corporations, PR companies and quacks.

Why you should listen

"It was the MMR story that finally made me crack," begins the Bad Science manifesto, referring to the sensationalized -- and now-refuted -- link between vaccines and autism. With that sentence Ben Goldacre fired the starting shot of a crusade waged from the pages of The Guardian from 2003 to 2011, on an addicitve Twitter feed, and in bestselling books, including Bad Science and his latest, Bad Pharma, which puts the $600 billion global pharmaceutical industry under the microscope. What he reveals is a fascinating, terrifying mess.

Goldacre was trained in medicine at Oxford and London, and works as an academic in epidemiology. Helped along by this inexhaustible supply of material, he also travels the speaking circuit, promoting skepticism and nerdish curiosity with fire, wit, fast delivery and a lovable kind of exasperation. (He might even convince you that real science, sober reporting and reason are going to win in the end.)

As he writes, "If you're a journalist who misrepresents science for the sake of a headline, a politician more interested in spin than evidence, or an advertiser who loves pictures of molecules in little white coats, then beware: your days are numbered."

Read an excerpt of Bad Pharma >>

More profile about the speaker
Ben Goldacre | Speaker | TED.com