팩트체크는 정말 효과 없을까? Nature Human Behaviour 논문을 분석해 통계 착시가 만들어낸 오해를 짚습니다.
정정 정보는 실제로 효과가 있었습니다.
📚 목 차 📚
- 팩트체크는 정말 효과 없을까?
- 메타분석의 결론은 왜 '효과 없음'이 되었나?
- 정정 정보는 실제로 효과가 있다.
- 숫자만 보면 안 된다.
- 결론 : 팩트체크는 효과 있다.
- 참고문헌
1. 팩트체크는 정말 효과 없을까?
사람들은 잘못된 정보를 접했을 때 정확한 사실을 알려주면 과연 생각이 바뀔까?
2023년 Nature Human Behaviour에 실린 한 메타분석 논문은 이 질문에 대해 꽤 냉정한 결론을 내린다.
“과학 관련 허위정보를 정정하려는 시도는, 평균적으로 효과가 없었다.”
(효과크기 d = 0.11, p = .142)
만약 이 말을 그대로 받아들인다면, 팩트체크나 정정보도 같은 시도들이 별 효과 없는 일이라는 뜻이 된다.
하지만 이 결론은 ‘통계에서 평균을 어떻게 냈는지’를 들여다보면 달라진다.
2. 메타분석의 결론은 왜 '효과 없음'이 되었나?
이 메타분석은 여러 연구 결과를 모아 평균 효과를 계산했는데, 사실 그 평균은 서로 성격이 전혀 다른 두 종류의 결과를 섞어서 만든 것이었다.
- 첫째는, 정정 정보를 들은 뒤 사람들이 기존 생각을 얼마나 바꿨는지를 측정한 연구들
- 둘째는, 정정 정보를 들은 뒤에도 여전히 잘못된 생각이 얼마나 남아 있었는지를 측정한 연구들
이 두 방식은 방향이 정반대다.
- 생각이 바뀐 정도를 측정한 경우 : 점수가 높을수록 정정 효과가 크다는 뜻이다 (‘+’ 방향)
- 틀린 생각이 남아 있는 정도를 측정한 경우 : 점수가 낮을수록 정정 효과가 크다는 뜻이다 (‘–’ 방향)
그런데 이 서로 다른 방향의 수치를 구분하지 않고 그냥 평균을 내버리면 숫자상으로 서로 상쇄되어 결과적으로 “거의 변화 없음”이라는 결론이 나와버린다.
예를 들어
- 어떤 연구에서는 정정 정보를 듣고 생각이 많이 바뀌었다 (효과크기 d = +0.48).
- 다른 연구에서는 거의 변화가 없거나, 오히려 잘못된 생각을 그대로 유지했다 (효과크기 d = –0.39).
이 둘을 단순 평균하면 d = 0.11이라는 애매한 숫자가 남는다.
하지만 이건 실제 변화를 반영한 숫자라기보다는 전혀 다른 성격의 데이터를 억지로 섞은 결과다.
3. 정정 정보는 실제로 효과가 있다.
심리학자 조 시먼스(Joe Simmons)는 이 논문의 원자료를 바탕으로 두 효과를 따로 나눠 다시 분석했다.
그 결과는 다음과 같다:
- 생각을 바꾼 효과: 평균 d = 0.48 → 꽤 크고 유의미
- 틀린 생각이 남은 정도: 평균 d = –0.39 → 부정 방향으로 유의미
하지만 이 둘을 섞으면 d = 0.11이 되고, p값도 .142로 통계적으로 의미 없는 수치가 되어버린다.
정정 정보 후 믿음 변화 요약 : 생각을 바꿈(d = 0.48), 거의 안 바꿈(d = –0.39), 평균(d = 0.11)
즉, 사람들은 정정해주는 설명을 들으면 어느 정도는 생각을 바꾸고, 어느 정도는 그대로 남는다.
하지만 이걸 구분하지 않고 단순 평균을 내면, 변화가 거의 없는 것처럼 보인다.
4. 숫자만 보면 안 된다.
조 시먼스(Joe Simmons)가 지적한 건 바로 이 점이다.
서로 다른 현상을 같은 숫자에 넣고 평균을 내는 메타분석 방식은 그럴듯해 보일지 몰라도 오히려 중요한 의미를 놓치게 만든다.
이 논문이 실린 Nature Human Behaviour는 심리학 분야에서 신뢰도 높은 저널이고 해당 논문의 저자들도 펜실베이니아대, 홍콩대 등에서 활동하는 검증된 연구자들이다.
하지만 저널과 저자가 아무리 훌륭해도 분석 방식 자체가 모든 걸 말해주진 않는다.
5. 결론 : 팩트체크는 효과 있다.
정리하면, 정정 정보(팩트체크)는 실제로 효과가 있다.
문제는, 그 효과가 ‘없는 것처럼 보이게 만든 숫자 처리 방식’에 있었다.
그래서 통계를 볼 땐 숫자 하나만 보지 말고 그 숫자가 어떤 연구들을 모아서 어떻게 계산된 건지도 함께 봐야 한다.
6. 참고문헌
- Simmons, J. P. (2023, July 31). Meaningless Means #4: Correcting Scientific Misinformation. Data Colada.
https://datacolada.org/127 - Swire-Thompson, B., DeGutis, J., Leslie, S. J., Grady, R. H., Lewandowsky, S., & Lazer, D. (2023).
A meta-analysis of correction effects in science-relevant misinformation. Nature Human Behaviour, 7, 1052–1063.
https://doi.org/10.1038/s41562-023-01623-8
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 르네의 심리통계에서 제작하였으며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스(CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.
팩트체크는 정말 효과 없을까? Nature Human Behaviour 논문을 분석해 통계 착시가 만들어낸 오해를 짚습니다.
정정 정보는 실제로 효과가 있었습니다.
📚 목 차 📚
1. 팩트체크는 정말 효과 없을까?
사람들은 잘못된 정보를 접했을 때 정확한 사실을 알려주면 과연 생각이 바뀔까?
2023년 Nature Human Behaviour에 실린 한 메타분석 논문은 이 질문에 대해 꽤 냉정한 결론을 내린다.
“과학 관련 허위정보를 정정하려는 시도는, 평균적으로 효과가 없었다.”
(효과크기 d = 0.11, p = .142)
만약 이 말을 그대로 받아들인다면, 팩트체크나 정정보도 같은 시도들이 별 효과 없는 일이라는 뜻이 된다.
하지만 이 결론은 ‘통계에서 평균을 어떻게 냈는지’를 들여다보면 달라진다.
2. 메타분석의 결론은 왜 '효과 없음'이 되었나?
이 메타분석은 여러 연구 결과를 모아 평균 효과를 계산했는데, 사실 그 평균은 서로 성격이 전혀 다른 두 종류의 결과를 섞어서 만든 것이었다.
이 두 방식은 방향이 정반대다.
그런데 이 서로 다른 방향의 수치를 구분하지 않고 그냥 평균을 내버리면 숫자상으로 서로 상쇄되어 결과적으로 “거의 변화 없음”이라는 결론이 나와버린다.
예를 들어
이 둘을 단순 평균하면 d = 0.11이라는 애매한 숫자가 남는다.
하지만 이건 실제 변화를 반영한 숫자라기보다는 전혀 다른 성격의 데이터를 억지로 섞은 결과다.
3. 정정 정보는 실제로 효과가 있다.
심리학자 조 시먼스(Joe Simmons)는 이 논문의 원자료를 바탕으로 두 효과를 따로 나눠 다시 분석했다.
그 결과는 다음과 같다:
하지만 이 둘을 섞으면 d = 0.11이 되고, p값도 .142로 통계적으로 의미 없는 수치가 되어버린다.
정정 정보 후 믿음 변화 요약 : 생각을 바꿈(d = 0.48), 거의 안 바꿈(d = –0.39), 평균(d = 0.11)
즉, 사람들은 정정해주는 설명을 들으면 어느 정도는 생각을 바꾸고, 어느 정도는 그대로 남는다.
하지만 이걸 구분하지 않고 단순 평균을 내면, 변화가 거의 없는 것처럼 보인다.
4. 숫자만 보면 안 된다.
조 시먼스(Joe Simmons)가 지적한 건 바로 이 점이다.
서로 다른 현상을 같은 숫자에 넣고 평균을 내는 메타분석 방식은 그럴듯해 보일지 몰라도 오히려 중요한 의미를 놓치게 만든다.
이 논문이 실린 Nature Human Behaviour는 심리학 분야에서 신뢰도 높은 저널이고 해당 논문의 저자들도 펜실베이니아대, 홍콩대 등에서 활동하는 검증된 연구자들이다.
하지만 저널과 저자가 아무리 훌륭해도 분석 방식 자체가 모든 걸 말해주진 않는다.
5. 결론 : 팩트체크는 효과 있다.
정리하면, 정정 정보(팩트체크)는 실제로 효과가 있다.
문제는, 그 효과가 ‘없는 것처럼 보이게 만든 숫자 처리 방식’에 있었다.
그래서 통계를 볼 땐 숫자 하나만 보지 말고 그 숫자가 어떤 연구들을 모아서 어떻게 계산된 건지도 함께 봐야 한다.
6. 참고문헌
https://datacolada.org/127
A meta-analysis of correction effects in science-relevant misinformation. Nature Human Behaviour, 7, 1052–1063.
https://doi.org/10.1038/s41562-023-01623-8
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 르네의 심리통계에서 제작하였으며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스(CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.