통계 검정을 하면 자주 듣게 되는 말이 있다. “유의미한 차이가 있다.” 그런데 정말로 궁금한 건 이거다. “그 차이가 실제로도 중요한가?”
p값은 단지 “차이가 있는지 없는지”를 말해줄 뿐이다. 그 차이가 실제로 얼마나 큰지 의미가 있는 수준인지는 알려주지 않는다. 이때 필요한 것이 바로 효과크기(effect size)라는 개념이다.
효과크기는 말 그대로 차이의 크기를 수치로 표현한 것이다. 예를 들어, 두 집단의 평균 차이가 있는 건 알겠는데, 그 차이가 실제로도 무게감 있는 차이인지 알고 싶을 때 쓰인다.
단일표본 t검정에서는 대표적으로 Cohen’s d라는 효과크기를 사용한다. 이 지표는 이렇게 계산된다:
Cohen’s d = (표본 평균 – 기준값) ÷ 표준편차
즉, 차이가 표준편차의 몇 배인지 보는 것이다. 이 값이 클수록 “기준값에서 멀리 떨어져 있다”, 즉 실제로도 큰 차이라는 뜻이다.
일반적으로 해석 기준은 다음과 같다.
- 0.2 = 작은 효과
- 0.5 = 중간효과
- 0.8 = 큰 효과
이 기준은 통계적으로 정해진 것이 아니라 미국의 심리학자(통계학자) 제이콥 코헨(Jacob Cohen)이 경험적으로 제안한 값이다. 따라서 해석할 때는 맥락도 함께 고려해야 한다. 효과크기 0.5는 수치상 ‘중간’이지만 연구 주제에 따라선 실제로 매우 크거나 의미 없을 수도 있다.
퀴즈(quiz)
Q. 어느 연구자가 p값이 0.001인 통계적으로 유의미한 결과를 얻었다고 보고했다. 그리고 이 연구의 효과크기(Cohen’s d)는 0.15였다. 이 상황에 대한 해석으로 가장 적절한 것은 무엇인가?
- p값이 매우 작으므로 효과크기가 작더라도 실제로 중요한 차이일 가능성이 높다.
- 효과크기가 작으므로 p값이 유의하더라도 실제로는 의미 없는 차이일 수 있다.
- p값이 유의하다는 것은 항상 효과크기도 크다는 뜻이므로 연구 결과는 신뢰할 수 있다.
- 효과크기가 작다는 것은 차이가 없다는 뜻이므로 p값은 무시해도 된다.
정답: 2
해설: p값은 단지 표본에서 관찰된 차이가 우연일 확률이 낮다는 것을 말해줄 뿐이다. 그러나 실제로 그 차이가 ‘얼마나 큰가’ ‘의미 있는가’를 알려주진 않는다. 이 역할을 하는 것이 효과크기다. 이 문제에서는 효과크기(Cohen’s d)가 0.15로 ‘작은 효과’ 수준에 해당한다. 즉 매우 많은 표본으로 아주 미세한 차이를 검출했을 가능성이 있다. 따라서 p값이 유의하다고 해서 곧바로 실제로 중요한 차이라고 해석하면 오류이며 해석에는 반드시 맥락과 효과크기를 함께 고려해야 한다.
참고문헌(reference)
- Moore, D. S., & Notz, W. I. (2022). 통계학 (이병락, 역) (제9판, pp. 371–372). 시그마프레스. http://www.sigmapress.co.kr/shop/m_mall_detail.php?ps_ctid=01000000&ps_goid=3007&depth_2_display=none
- Nolan, S. A., & Heinzen, T. E. (2021). 행동과학을 위한 기초 통계학 (신현정, 역) (제4판, pp. 225–231). 시그마프레스. http://www.sigmapress.co.kr/shop/m_mall_detail.php?ps_ctid=01031400&ps_goid=2980&depth_2_display=none
효과크기는 코헨의 d만 있는 게 아니다 – 95개 효과크기와 계산 앱은 여기를 클릭!
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 저작자에 의해 제작된 창작물이며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스
(Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하시면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.
통계 검정을 하면 자주 듣게 되는 말이 있다. “유의미한 차이가 있다.” 그런데 정말로 궁금한 건 이거다. “그 차이가 실제로도 중요한가?”
p값은 단지 “차이가 있는지 없는지”를 말해줄 뿐이다. 그 차이가 실제로 얼마나 큰지 의미가 있는 수준인지는 알려주지 않는다. 이때 필요한 것이 바로 효과크기(effect size)라는 개념이다.
효과크기는 말 그대로 차이의 크기를 수치로 표현한 것이다. 예를 들어, 두 집단의 평균 차이가 있는 건 알겠는데, 그 차이가 실제로도 무게감 있는 차이인지 알고 싶을 때 쓰인다.
단일표본 t검정에서는 대표적으로 Cohen’s d라는 효과크기를 사용한다. 이 지표는 이렇게 계산된다:
Cohen’s d = (표본 평균 – 기준값) ÷ 표준편차
즉, 차이가 표준편차의 몇 배인지 보는 것이다. 이 값이 클수록 “기준값에서 멀리 떨어져 있다”, 즉 실제로도 큰 차이라는 뜻이다.
일반적으로 해석 기준은 다음과 같다.
이 기준은 통계적으로 정해진 것이 아니라 미국의 심리학자(통계학자) 제이콥 코헨(Jacob Cohen)이 경험적으로 제안한 값이다. 따라서 해석할 때는 맥락도 함께 고려해야 한다. 효과크기 0.5는 수치상 ‘중간’이지만 연구 주제에 따라선 실제로 매우 크거나 의미 없을 수도 있다.
퀴즈(quiz)
Q. 어느 연구자가 p값이 0.001인 통계적으로 유의미한 결과를 얻었다고 보고했다. 그리고 이 연구의 효과크기(Cohen’s d)는 0.15였다. 이 상황에 대한 해석으로 가장 적절한 것은 무엇인가?
정답: 2
해설: p값은 단지 표본에서 관찰된 차이가 우연일 확률이 낮다는 것을 말해줄 뿐이다. 그러나 실제로 그 차이가 ‘얼마나 큰가’ ‘의미 있는가’를 알려주진 않는다. 이 역할을 하는 것이 효과크기다. 이 문제에서는 효과크기(Cohen’s d)가 0.15로 ‘작은 효과’ 수준에 해당한다. 즉 매우 많은 표본으로 아주 미세한 차이를 검출했을 가능성이 있다. 따라서 p값이 유의하다고 해서 곧바로 실제로 중요한 차이라고 해석하면 오류이며 해석에는 반드시 맥락과 효과크기를 함께 고려해야 한다.
참고문헌(reference)
효과크기는 코헨의 d만 있는 게 아니다 – 95개 효과크기와 계산 앱은 여기를 클릭!
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 저작자에 의해 제작된 창작물이며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스
(Creative Commons Attribution-NonCommercial-NoDerivatives 4.0 International License, CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하시면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.