과학과 연구: 연구를 올리고 비판적으로 읽는 법 (연구 설계, 임상시험, 통계)

이 하위 게시판은 대마와 내인성 카나비노이드 시스템에 관해 발표된 연구를 다루는 곳입니다. 내인성 카나비노이드 시스템은 몸이 원래 갖고 있는 신호 전달 체계입니다. 대마 성분은 바로 이 체계에 작용합니다. 또한 그런 연구를 시간을 들여 제대로 읽어 내는 곳이기도 합니다.

이 글을 읽고 나면 세 가지를 알 수 있습니다. 첫째, 연구 유형마다 증명할 수 있는 것과 없는 것이 무엇인지 알게 됩니다. 둘째, 접시에서 키운 세포로 얻은 결과를 어디까지 믿어도 되는지 알게 됩니다. 셋째, 대마 연구를 소개하는 대중적인 요약 글이 왜 그렇게 자주 연구 결과보다 더 많은 것을 주장하는지 알게 됩니다.

여기에 올릴 수 있는 것

  • 논문: 과학 학술지에 게재된 연구입니다.
  • 프리프린트(preprint): 다른 과학자들이 검토하기 전에(동료 심사, peer review 전에) 온라인에 먼저 공개된 연구입니다. 프리프린트는 아직 검증되지 않은 연구로 여기세요.
  • 임상시험 등록 정보: 연구팀이 임상시험을 시작하기 전에 제출하는 공개 기록입니다. 연구팀이 무엇을 측정할 계획인지 적혀 있습니다. 그래서 이 계획을 나중에 연구팀이 발표한 내용과 비교해 볼 수 있습니다.
  • 종설 논문(review article): 한 가지 질문에 대한 여러 기존 연구를 모아 요약한 논문입니다.

연구를 소개한 뉴스 기사가 아니라 연구 원문에 링크하세요. 뉴스 기사는 결과를 줄여서 전하는 경우가 많습니다. 연구진이 밝힌 한계도 빠뜨리기 쉽습니다.

논문을 내 말로 요약해도 좋습니다. 다만 내 요약과 논문 자체의 결론은 분명히 나눠 주세요. 저자들은 X라는 결론을 내린 적이 없는데 회원이 "이 연구는 X를 보여 준다"고 쓰는 경우가 있습니다. 이런 실수를 찾아내는 것이 이 게시판의 가장 중요한 역할입니다.

할 일: 모든 게시글에 논문이나 등록 정보로 바로 가는 링크를 넣으세요. 어느 문장이 내 요약이고 어느 문장이 저자의 결론인지 표시하세요.

글을 올리기 전 두 가지 습관

습관 1: 연구 설계를 밝히기

증례 보고, 관찰 연구, 무작위 대조 시험은 뒷받침할 수 있는 결론이 서로 크게 다릅니다. 이 게시판의 논쟁은 대부분 그 연구가 어떤 설계였는지 모두가 알게 되면 끝납니다. 그래서 설계는 독자가 가장 먼저 알아야 할 정보입니다.

할 일: 글 첫머리에 "설계: … ; 참가자 수: …"라는 한 줄을 쓰세요. 두 가지 모두 논문의 연구 방법(methods) 부분에서 그대로 옮겨 오세요.

습관 2: 기전과 결과를 구분하기

기전(mechanism)은 어떤 것이 작용할 수 있는 방식입니다. 실험실에서 키운 조직에서 어떤 성분이 수용체에 결합하는 것이 한 예입니다. 결과(outcome)는 환자에게, 또는 재배실의 식물에게 실제로 일어나는 일입니다.

조직에서 그럴듯해 보이는 작용 경로는 임상시험을 해 볼 좋은 이유가 됩니다. 하지만 그 시험에서 특정한 결과가 나오리라 기대할 이유는 되지 않습니다.

그 이유를 가상의 예로 설명하겠습니다. 연구자들이 접시 속 암세포에 카나비노이드를 넣었더니 세포가 죽었습니다. 접시에서는 세포가 성분에 직접 잠겨 있습니다. 농도도 높은 경우가 많습니다. 사람 몸에서는 이 성분이 간에서 분해되고 혈액을 타고 퍼집니다. 그래서 종양까지 닿는 양은 훨씬 적을 수 있습니다. 면역 체계와 다른 장기들도 결과를 바꿉니다. 이런 실험실 결과는 검증해 볼 단서일 뿐입니다. 치료 효과가 있다는 증거는 아닙니다.

할 일: 글에 두 줄을 추가하세요. "밝혀진 기전:"과 "사람(또는 식물)에서 밝혀진 결과:"입니다. 두 번째 줄에 쓸 내용이 없으면 없다고 분명히 적으세요.

연구 설계: 가장 약한 근거부터 가장 강한 근거까지

설계 어떤 연구인가 보여 줄 수 있는 것 보여 줄 수 없는 것
세포 배양(in vitro) 접시에서 키운 세포나 조직으로 하는 연구 가능한 기전 몸 전체에서 일어나는 일
동물 연구 생쥐, 랫드(rat) 등 동물을 대상으로 한 시험 살아 있는 동물에서 나타나는 효과 사람에게서도 같은 효과가 나는지(용량과 대사가 다르기 때문)
증례 보고 / 증례 시리즈 환자 한 명 또는 몇 명의 사례를 기술한 것 어떤 일이 일어날 수 있다는 것, 검증해 볼 만한 질문 치료가 그 변화를 일으켰다는 것(비교군이 없기 때문)
관찰 연구 연구자가 집단을 지켜볼 뿐 치료를 배정하지 않는 연구 두 가지 사이의 연관성(association) 한쪽이 다른 쪽의 원인이라는 것
무작위 대조 시험 연구자가 우연에 따라 사람들에게 치료를 배정하는 연구 시험이 잘 수행되었다면 원인과 결과 시험이 매우 작거나 부실하면 거의 아무것도 보여 주지 못함
체계적 문헌고찰 / 메타분석 미리 밝힌 방법으로 한 질문에 대한 모든 시험을 종합한 연구 가장 좋은 전체 요약 포함된 시험들의 질을 넘어서는 결론

개인 체험담은 증례 보고보다 아래에 놓입니다. 개인의 이야기는 누구도 그 세부 내용을 체계적으로 확인하지 않았기 때문입니다.

이 순위는 고정된 규칙이 아니라 길잡이로 받아들이세요. 크고 꼼꼼한 관찰 연구가 아주 작고 부실한 시험보다 더 많은 것을 알려 줄 수도 있습니다.

임상시험 단계

의약품은 단계(phase)라고 부르는 여러 과정을 거쳐 시험합니다.

  • 1상: 소규모 집단을 대상으로 하며, 건강한 자원자인 경우가 많습니다. 안전성, 몸이 약을 처리하는 방식, 용량 범위를 확인합니다.
  • 2상: 더 많은 환자를 대상으로 합니다. 약이 효과가 있는지, 어떤 용량에서 효과가 있는지를 처음으로 살펴봅니다.
  • 3상: 약을 위약이나 표준 치료와 비교하는 대규모 시험입니다. 승인 결정은 대개 이 결과를 근거로 합니다.
  • 4상: 승인 이후에 하는 연구입니다. 일상적인 사용에서 나타나는 부작용을 추적합니다.

할 일: 임상시험을 올릴 때는 몇 상 시험인지 밝히세요. 1상이나 2상 결과는 약이 효과가 있다는 증거가 아닙니다.

무작위 대조 시험 읽는 법

무작위 대조 시험(흔히 RCT로 줄여 부름)은 제비뽑기처럼 우연에 따라 참가자를 집단에 배정하는 연구입니다. 그래서 집단끼리 나이, 건강 상태, 생활 습관이 비슷해집니다. 그러면 집단 사이에 남는 주된 차이는 치료뿐입니다. 결과를 얼마나 믿을 수 있는지는 다섯 가지 특징이 결정합니다.

위약. 위약(placebo)은 진짜 치료와 똑같아 보이는 가짜 치료입니다. 위약을 쓰면 나아진 정도 가운데 얼마만큼이 ‘치료를 받았으니 나아지겠지’ 하는 기대에서 오는지 알 수 있습니다. 대마 임상시험은 여기서 특별한 어려움이 있습니다. THC의 효과를 느낀 참가자는 자신이 진짜 약을 받았다고 짐작할 수 있습니다.

눈가림. 단일 눈가림 시험에서는 참가자가 자신이 어떤 치료를 받았는지 모릅니다. 이중 눈가림 시험에서는 참가자도, 결과를 측정하는 연구자도 모릅니다. 눈가림이 중요한 이유는 기대가 통증, 수면, 기분을 보고하는 방식을 바꾸기 때문입니다.

교차 설계. 참가자 한 명이 두 가지 치료를 차례로 모두 받습니다. 두 치료 사이에는 휴약기(washout period)라는 간격을 둡니다. 첫 번째 치료가 몸에서 빠져나가게 하기 위해서입니다. 각자가 자기 자신의 비교 대상이 되므로 필요한 참가자 수가 줄어듭니다. 단, 휴약기가 너무 짧으면 첫 번째 치료의 효과가 다음 치료 기간까지 이어질 위험이 있습니다.

일차 결과 변수. 연구자가 시험을 시작하기 전에 정해 두는 하나의 주요 측정 항목입니다. 보통 임상시험 등록 정보에 적어 둡니다. 이차 결과 변수는 추가로 측정하는 항목입니다. 시험에서 여러 가지를 측정하면 우연만으로도 몇 가지는 좋은 결과처럼 보입니다. 그래서 가장 중요하게 봐야 할 결과는 일차 결과 변수입니다.

흔한 패턴 하나를 조심하세요. 일차 결과 변수에서는 차이가 없었는데, 보도자료는 차이가 난 이차 결과 변수를 내세웁니다. 이런 경우는 약한 결과로 보세요.

할 일: 임상시험을 올리기 전에 다섯 가지 질문에 답하세요. 무작위 배정이었나요? 위약이나 다른 비교 대상이 있었나요? 누가 눈가림되었나요? 교차 설계였나요? 일차 결과 변수는 무엇이었고, 그 변수에서 차이가 나타났나요?

통계: "유의하다"는 "중요하다"와 같은 말이 아닙니다

p값. 치료에 실제 효과가 없다고 가정했을 때, 적어도 이만큼 큰 차이가 나타날 가능성이 얼마인지를 알려 주는 숫자입니다. 관례상 p값이 0.05보다 작으면 "통계적으로 유의하다"고 합니다. p값이 낮으면 우연으로는 설명하기 어렵다는 뜻입니다. 하지만 효과가 얼마나 크고 쓸모 있는지는 알려 주지 않습니다.

통계적 유의성과 임상적 유의성. 아주 큰 시험은 아주 작은 차이도 잡아내서 통계적으로 유의하다고 보고할 수 있습니다. 가상의 예를 들면, 0–10점 척도에서 통증 점수가 1점의 몇 분의 1만큼 떨어진 경우입니다. 환자는 이렇게 작은 변화를 느끼지 못할 수 있습니다. 임상적으로 유의한 결과란 환자에게 실제로 의미가 있을 만큼 큰 결과를 말합니다.

신뢰구간. 데이터와 들어맞는 값의 범위이며, 보통 95% 구간으로 제시합니다. 범위가 좁으면 추정치가 꽤 정밀하다는 뜻입니다. 범위가 넓으면 불확실성이 크다는 뜻입니다. 이 구간 안에 "효과 없음"에 해당하는 값이 들어 있을 수 있습니다. 차이라면 0, 비율이라면 1이 그 값입니다. 이 값이 들어 있으면 그 결과는 통계적으로 유의하지 않습니다.

효과 크기. 집단 사이의 차이가 실제로 얼마나 큰지를 나타냅니다. p값을 볼 때는 항상 효과 크기도 함께 찾아보세요. 효과 크기 없이 "유의하다"고만 보고한 연구는 이야기를 절반만 들려준 셈입니다.

할 일: 결과를 요약할 때는 논문에서 세 가지 숫자를 옮겨 오세요. 효과 크기, 그 신뢰구간, p값입니다. 그 결과가 일차 결과 변수에서 나왔는지 이차 결과 변수에서 나왔는지도 밝히세요.

관찰 연구: 연관성은 원인이 아닙니다

관찰 연구에서는 연구자가 치료를 배정하지 않습니다. 사람들이 이미 하고 있는 행동을 지켜볼 뿐입니다. 코호트 연구는 한 집단을 오랜 기간 추적하면서 대마를 사용한 사람과 사용하지 않은 사람을 비교합니다. 환자-대조군 연구는 이미 어떤 질환이 있는 사람들에서 출발합니다. 그리고 그들의 과거 습관을 그 질환이 없는 사람들의 습관과 비교합니다.

오즈비. 두 집단에서 어떤 결과가 나타날 오즈(odds)를 비교하는 숫자입니다. 오즈비가 1이면 차이가 없다는 뜻입니다. 2이면 첫 번째 집단의 오즈가 두 배, 0.5이면 절반이라는 뜻입니다. 결과가 드물게 나타날 때는 오즈와 위험도가 비슷합니다. 결과가 흔할 때는 오즈비가 실제 위험도 변화보다 차이를 더 크게 보이게 만듭니다.

교란. 교란 변수란 습관과 결과 양쪽에 모두 연관된 제3의 요인입니다. 가상의 예를 들어 보겠습니다. 어떤 연구에서 대마 사용자에게 폐 질환이 더 많다는 결과가 나왔습니다. 그런데 그 사용자들이 담배도 더 많이 피운다면, 결과의 일부는 담배 때문일 수 있습니다. 연구자는 측정해 둔 교란 변수는 보정합니다. 하지만 아예 기록하지 않은 요인은 보정할 수 없습니다.

역인과. 결과가 먼저 나타나는 경우도 있습니다. 예를 들어 만성 통증이 있는 사람은 그 통증 때문에 대마를 쓰기 시작할 수 있습니다. 그러면 대마가 통증을 일으킨 것이 아닌데도, 연구에서는 대마 사용자가 통증을 더 많이 호소하는 것으로 나올 수 있습니다.

이런 문제 때문에 관찰 연구가 보여 주는 것은 원인이 아니라 연관성입니다. 표현을 잘 보세요. “~와 관련이 있다”, "~와 연관된다"는 정확한 표현입니다. “~을 일으킨다”, "~을 예방한다"는 임상시험이 뒷받침하지 않는 한 정확하지 않은 표현입니다.

할 일: 관찰 연구를 올릴 때는 저자가 보정한 교란 변수를 적으세요. 저자가 측정하지 않은 중요한 요인도 하나 짚어 주세요.

재배 연구에도 같은 습관을

역자 주: 이 포럼 회원은 대부분 재배자입니다. 빛, 습도, 양분 공급, 해충에 관한 연구에도 같은 읽기 습관을 적용하면 됩니다. 재배 연구 중 상당수는 한 시설에서 재배품종(cultivar) 하나 또는 몇 가지로만 진행한 소규모 시험입니다. 한 재배품종에서 나온 결과가 다른 재배품종에서도 똑같이 나오지 않을 수 있습니다.

역자 주: 기후도 중요합니다. 태국의 재배실은 쉽게 더워지고, 우기에는 습도가 높습니다. 정전도 일어납니다. 어떤 연구를 믿고 따르기 전에, 그 연구가 어떤 온도와 습도에서 진행되었는지 확인하세요. 더 서늘하고 건조한 재배실에서 나온 결과는 내 농장에서 그대로 재현되지 않을 수 있습니다.

역자 주: 내가 키운 두 번의 재배 결과를 비교하는 것은 관찰 비교이지, 시험이 아닙니다. 재배 회차마다 계절, 클론 배치, 물, 정전 여부가 다를 수 있습니다. 이 가운데 어느 것이든 결과를 교란할 수 있습니다.

변화를 직접 시험해 보려면 모주 한 그루에서 클론을 받으세요. 클론을 두 집단으로 나눠 같은 방에서 같은 시기에 키우세요. 한 집단에서만 한 가지 요인을 바꾸세요. 수확량, 수확까지 걸린 일수, 발생한 문제를 기록하고, 이 과정을 두 회차 이상 반복하세요. 이렇게 하는 목적은 재배실 전체에 적용하기 전에, 그 변화가 내 환경에서도 효과가 있는지 알아보는 것입니다.

할 일: 논문 한 편을 보고 재배실 전체를 바꾸기 전에, 위의 분할 시험을 작은 배치로 먼저 해 보세요. 결과는 재배 일지에 올려 주세요.

태국과 동남아시아에서 임상시험을 찾고 연구를 읽는 법

역자 주: 임상시험 등록 사이트(registry)를 검색하면 어떤 시험이 시작 전에 등록되었는지 확인할 수 있습니다. 등록 정보에는 계획된 일차 결과 변수도 나와 있습니다. 쓸 만한 등록 사이트로는 ClinicalTrials.gov, WHO 국제 임상시험 등록 플랫폼(ICTRP), 태국 임상시험 등록소(Thai Clinical Trials Registry, TCTR, thaiclinicaltrials.org)가 있습니다. TCTR은 WHO 1차 등록소(primary registry)입니다.

할 일: 누군가 태국에서 진행된 대마 임상시험을 올리면, 등록 사이트에서 그 시험을 찾아보세요. 등록할 때 정한 일차 결과 변수와 실제로 보고된 일차 결과 변수를 비교하세요.

역자 주: 대마 논문은 대부분 영어로 발표됩니다. 논문을 태국어, 베트남어 또는 다른 언어로 요약할 때는 연구 설계, 숫자, 단위를 정확히 그대로 옮기세요. 다른 사람이 번역을 확인할 수 있도록 원 논문 링크를 항상 함께 넣으세요.

역자 주: 연구 결과가 나왔다고 태국 법이 바뀌지는 않습니다. 대마 꽃은 공중보건부 고시 「통제 약초(대마)」(불기 2568년)에 따라 통제 약초로 지정되어 있습니다. 이 고시는 불기 2542년 태국 전통의학 보호법에 근거해 공포되었으며, 2025년 6월 26일부터 시행되고 있습니다. 꽃은 PT 33(ภ.ท.33) 처방전이 있을 때만 판매할 수 있으며, 최대 30일분까지만 가능합니다. 꽃의 광고와 온라인 판매는 금지되어 있습니다.

할 일: 이곳에는 토론 목적으로만 연구를 올리세요. 특정 품종이나 제품이 어떤 질환을 "치료한다"는 주장을 연구와 엮어서 올리지 마세요. 꽃 판매 제안과 함께 올려서도 안 됩니다.

어디서부터 시작할까

  • 위 첫 문단에 링크한 내인성 카나비노이드 시스템 글을 읽어 보세요. 대부분의 대마 연구가 언급하는 수용체와 신호 전달 과정을 설명합니다.
  • 포럼의 다른 게시판에 있는 관련 글: 유전학·씨앗 게시판의 케모타입에 따른 대마 분류. 케모타입은 카나비노이드 함량에 따라 식물을 묶은 분류입니다(예: THC 우세형, CBD 우세형). 많은 연구가 이 방식으로 시료를 분류합니다.

특정 논문을 어떻게 읽어야 할지 잘 모르겠다면, 이 게시판에 링크를 붙여 새 글을 여세요. 연구 설계를 밝히고 그 아래에 질문을 적어 주세요. 그러면 다른 회원들이 함께 살펴봐 줄 수 있습니다.