세 가지 값을 헷갈리지 않기
| 개념 | 무엇을 말해 주나 | 무엇은 말해 주지 않나 |
|---|---|---|
| p값 | 차이가 없다는 가정 아래 이 정도 이상의 결과가 나올 확률 | 가설이 참일 확률, 효과의 크기 |
| 유의수준(α) | 연구 전에 정한 판단 기준(관습적으로 0.05) | 결과가 맞는지 여부 |
| 효과 크기 | 실제 차이가 얼마나 큰가 | 그 차이가 우연이 아닌지 |
미국통계학회(ASA)는 2016년 성명(Wasserstein & Lazar, 『The American Statistician』)에서 p값은 연구 가설이 참일 확률이나 데이터가 우연만으로 생겼을 확률을 측정하지 않으며, 효과의 크기나 중요성도 재지 않는다고 밝혔습니다(위키백과 인용 기준). 또 이후 2019년 같은 학회 관련 글(Wasserstein, Schirm & Lazar)은 'p < 0.05'라는 문턱에 의존하는 관행을 넘어서자고 제안했습니다.
가상 예시: 같은 p값, 전혀 다른 의미
아래는 이해를 돕기 위한 가상 예시이며 실제 임상 시험이 아닙니다. 새로운 혈압약 A가 기존 약보다 혈압을 더 낮추는지 비교한다고 합시다. 모든 환자의 혈압 변화는 표준편차 15mmHg 정도로 흩어져 있다고 가정하고, 정규분포 근사(z 검정)로 대략 계산했습니다.
| 상황 | 그룹당 인원 | 평균 차이 | p값(근사) | 해석 |
|---|---|---|---|---|
| 가상 시험 1 | 50,000명 | 0.3mmHg | 약 0.0016 | 통계적으로 유의미하지만 차이가 매우 작음 |
| 가상 시험 2 | 12명 | 8mmHg | 약 0.10 | 차이는 커 보이나 표본이 작아 유의미하지 않음 |
시험 1은 p값이 0.05보다 훨씬 작아 '유의미하다'고 하지만, 평균 0.3mmHg 차이는 환자가 체감할 수 없는 수준입니다. 반대로 시험 2는 8mmHg라는 큰 차이가 있는데도 표본이 작아 우연과 구분되지 않습니다. 시험 2에서 "효과 없음"이 증명된 것은 아니며, 표본을 늘려 다시 확인해야 한다는 신호일 뿐입니다. (p값은 정규분포 근사로 계산한 값이어서, 표본이 작은 시험 2는 t검정을 쓰면 값이 조금 더 커집니다.) 이 예시가 보여 주는 핵심은 p값 하나로 '효과가 있다/없다'와 '효과가 크다/작다'를 동시에 판단할 수 없다는 것입니다.
실제 사례
사례 1. 재현성 프로젝트: 유의미했던 결과 중 일부만 되풀이됐다 (재검토의 사례)
2015년 오픈 사이언스 협업체(Open Science Collaboration)는 저명한 심리학 학술지 세 곳에 실린 연구 100편을 다시 실험했습니다. 원 연구 중 유의미한 효과를 보고했던 97편 가운데 재실험에서도 유의미한 결과가 나온 것은 약 36%였고, 재현 연구에서 측정된 효과 크기는 평균적으로 원 연구의 절반 수준이었다고 정리됩니다(위키백과 기준). 일부 재현 실패는 재현 연구의 표본이 원 연구의 약 40% 수준으로 작아 결과가 불확정으로 남은 탓이기도 합니다. 이 사례에서 배울 점은 한 번의 'p < 0.05'는 확정이 아니라 후속 검증을 기다리는 단서라는 것이며, 재현율 수치를 곧바로 "심리학 연구의 64%는 가짜"라고 읽어서도 안 된다는 것입니다.
사례 2. 여러 번 검정하면 우연히 유의미해진다 (다중 비교의 사례)
유의수준 0.05는 "실제로 차이가 없는데도 유의미하다고 판단하는 오류를 약 5% 허용한다"는 뜻입니다. 이 확률은 검정 한 번에 대한 것입니다. 서로 독립인 검정을 20번 하면, 모두 실제 차이가 없더라도 하나 이상이 유의미하게 나올 확률은 1 - 0.95^20 으로 약 64%입니다(직접 계산한 값). 그래서 많은 변수를 훑으며 유의미한 것만 골라 보고하는 관행은 위험하며, 이를 흔히 p-해킹이라 부릅니다. 이 계산은 단순화된 이론값이고, 검정들이 서로 연관되어 있으면 실제 확률은 달라집니다. 배울 점은 "몇 번 검정했는가"를 같이 밝히지 않은 유의미한 결과는 의심해 볼 만하다는 것입니다.
사례 3. 학회가 직접 나서서 p값의 용법을 정리하다 (학계 대응의 사례)
p값의 오용이 널리 문제로 지적되자 미국통계학회가 2016년 p값에 관한 공식 성명을 냈습니다. 성명은 p값이 무엇을 측정하고 무엇을 측정하지 않는지 짚었습니다. 한편 위키백과가 소개하는 2019년 학회 관련 글은 p값과 유의성 검정이 "올바르게 적용·해석되면 결론의 엄밀성을 높인다"는 입장도 함께 전합니다. 즉 학계의 입장은 'p값을 버리자'가 아니라 '맥락과 효과 크기, 연구 설계와 함께 신중히 쓰자'에 가깝습니다.
뉴스나 논문에서 유의성을 읽는 체크리스트
- 효과 크기: 평균 차이나 비율 차이가 실생활에서 의미 있는 크기인지 확인합니다.
- 표본의 크기와 대표성: 표본조사와 전수조사의 차이를 떠올리며 누구를 대상으로 했는지 봅니다.
- 검정 횟수: 여러 항목 중 유의미한 것만 골라 보도한 것은 아닌지 봅니다.
- 상관인지 인과인지: 유의미한 연관이 곧 원인이라는 뜻은 아닙니다. 상관관계와 인과관계를 구분합니다.
- 재현 여부: 다른 연구팀이 같은 결과를 얻었는지 확인합니다.
흔한 오해와 정정
- 오해: p = 0.03이면 가설이 참일 확률이 97%다. 실제: p값은 가설이 참일 확률이 아니며, 차이가 없다는 가정 아래서의 결과에 관한 확률입니다.
- 오해: p > 0.05면 효과가 없음이 증명됐다. 실제: 증거가 부족하다는 뜻일 수 있으며, 표본이 작으면 큰 효과도 놓칠 수 있습니다.
- 오해: 0.049는 유의미하고 0.051은 아무것도 아니다. 실제: 두 값은 증거의 강도가 거의 같고, 0.05는 관습적 선일 뿐입니다.
- 오해: 유의미하면 중요한 발견이다. 실제: 유의성은 우연 가능성에 관한 것이고 중요성은 효과 크기와 맥락의 문제입니다.
한계와 논쟁
유의성 검정은 데이터를 해석하는 여러 도구 중 하나일 뿐입니다. 학계에서는 기준을 0.05에서 더 엄격하게 바꾸자는 제안, 기준을 연구마다 정당화하자는 주장 (위키백과는 Lakens 등의 2018년 반론 논문을 소개합니다), 신뢰구간과 효과 크기를 중심으로 보고하자는 의견이 공존합니다. 어느 쪽이 정답인지는 합의되지 않았습니다. 또 이 글의 설명은 가장 기본적인 빈도주의 검정을 기준으로 하며, 베이즈 통계 등 다른 접근에서는 해석이 달라집니다.
자주 묻는 질문
p값이 낮을수록 결과가 더 중요하다는 뜻인가요?
아닙니다, p값이 낮다는 것은 결과가 우연일 가능성이 낮다는 뜻일 뿐, 그 차이의 크기나 실질적인 중요성을 나타내는 것은 아닙니다.
통계적으로 유의미하지 않으면 아무 차이가 없다는 뜻인가요?
꼭 그런 것은 아니며, 표본 크기가 작거나 데이터가 충분하지 않아 실제로는 차이가 있어도 통계적으로 유의미하게 나타나지 않을 수 있습니다.
유의수준은 왜 하필 0.05인가요?
1925년 로널드 피셔가 0.05를 기준으로 쓸 것을 제안한 이후 관습으로 굳어졌다고 설명됩니다. 수학적으로 정해진 값은 아니며, 분야에 따라 더 엄격한 기준을 쓰기도 합니다.
신뢰구간은 p값과 무엇이 다른가요?
p값은 '차이 없음' 가정과의 불일치 정도를 하나의 숫자로 보여 주고, 신뢰구간은 차이가 어느 범위에 있을 수 있는지를 보여 줘서 효과의 크기까지 짐작하게 합니다. 그래서 두 가지를 함께 보라는 권고가 많습니다.
표본이 클수록 항상 좋은가요?
표본이 크면 작은 차이도 유의미해지기 쉽습니다. 그래서 크기가 큰 연구일수록 유의성뿐 아니라 효과 크기와 실질적 의미를 함께 살펴야 합니다. 또 표본이 커도 뽑는 방식이 치우쳐 있으면 결과는 믿기 어렵습니다.
이어서 읽어 보세요
- 표본조사와 전수조사 차이: 표본이 결과에 미치는 영향
- 상관관계와 인과관계: 유의미한 연관을 원인으로 읽지 않기
- 정규분포 알아보기: p값 계산의 바탕이 되는 분포
- 과학적 방법: 가설을 세우고 검증하는 전체 흐름