온라인 설문조사는 시간과 비용을 아낄 수 있는 강력한 연구 도구로 주목받고 있지만 실제 데이터의 질은 생각보다 신뢰하기 어렵다는 지적이 많습니다. 이 글에서는 구글폼 등 널리 쓰이는 플랫폼을 통해 수집된 설문 데이터에 어떤 문제가 생길 수 있는지 그리고 연구자가 이를 방지하기 위해 어떤 전략을 취해야 하는지 최신 해외 사례를 중심으로 정리해보았습니다.
📚 목 차 📚
- 왜 다들 온라인 설문조사를 택하는가 – 효율성에 대한 기대와 오해
- 온라인 설문조사의 진짜 장점 – 연구자가 말하는 실용적 이유들
- 응답자의 30%는 왜 가짜인가 – 실패하는 설문 데이터의 구조
- 신뢰할 수 있는 설문 데이터를 만드는 4가지 전략
- 참고문헌
1. 왜 다들 온라인 설문조사를 택하는가 – 효율성에 대한 기대와 오해
심리과학자들에게 온라인 연구는 새로운 가능성을 열어주었다. Amazon Mechanical Turk(온라인 인력 중개 플랫폼), Prolific(프로리픽, 학술연구 참여자 모집 전문 플랫폼), Qualtrics(퀄트릭스, 설문지 작성 및 분석 플랫폼), CloudResearch(클라우드리서치, Amazon Mechanical Turk(MTurk) 기반 데이터 수집 보완 도구)와 같은 해외 플랫폼뿐 아니라 한국의 구글 폼 설문지, 네이버폼, 오픈서베이, 패널나우 등도 널리 사용되며 실험실 밖에서도 참여자를 모집할 수 있는 경로가 다양해졌다. 시간과 비용 면에서도 효율성이 높아졌고 특히 대학생 중심의 제한된 표본에서 벗어나 더 다양한 사람들에게 접근할 수 있다는 점은 큰 장점으로 평가된다.
하지만 이러한 장점 뒤에는 연구자가 반드시 고려해야 할 문제들도 존재한다. 사람처럼 보이지만 실제로는 자동화된 프로그램이 설문에 응답하는 경우가 있으며 이는 봇(bot)으로 알려져 있다. 봇은 무작위로 또는 미리 설정된 방식으로 문항에 응답해 설문을 제출하며 보상만을 목적으로 작동하기 때문에 데이터의 신뢰성을 크게 떨어뜨릴 수 있다. 또한 설문 내용을 제대로 읽지 않는 참여자, 참여자 구성이 특정 연령대나 특성에 치우친 표본, 그리고 응답자가 자신에 대해 거짓 정보를 제공하는 경우 등도 온라인 환경에서 자주 보고되는 문제다.
캐나다 출신의 인지신경과학자 이자벨 고티에(Isabel Gauthier)는 15년 넘게 온라인 실험을 활용해 왔고 그동안 수집한 데이터는 실험실 환경에서 얻은 것과 비교해도 충분히 신뢰할 만하다고 평가해왔다. 그러나 그녀가 최근 연구팀과 함께 진행한 쌍둥이 대상 연구에서는 사전 선별 과정에서 대부분의 참여자가 실제 쌍둥이가 아닌 것으로 드러났다. 고티에는 "그들이 플랫폼에 가입할 때 거짓 정보를 입력했거나 연구자에게 직접 거짓말을 했을 가능성이 있다"고 말하며 온라인에서 특수한 모집단을 다룰 때 자기보고에만 의존하는 방식의 한계를 지적했다. 이후 그녀는 플랫폼을 변경하고 데이터 품질을 확보하기 위한 절차를 강화했다.
한국의 경우에도 온라인 설문 및 모바일 기반 실험이 다양한 분야에서 활용되고 있으며 특히 공공기관, 대학, 민간 조사기관이 구글 폼 설문지, 네이버폼, 오픈서베이 등을 통해 대규모 조사를 수행하는 사례가 늘고 있다. 다만 표본의 대표성과 응답 품질을 검증하는 절차는 여전히 미흡한 경우가 많아, 이에 대한 표준화된 가이드라인 마련이 요구된다.
본 글에서는 2024년 7월 미국심리과학협회(APS)의 공식 매체 옵서버(Observer)에 실린 「온라인 연구의 장점과 함정(The Pluses and Pitfalls of Online Research)」 기사를 바탕으로 온라인 연구의 가능성과 한계 그리고 연구자가 데이터의 질을 유지하기 위해 고려해야 할 실제적인 문제들을 살펴본다.
💡 Amazon Mechanical Turk(MTurk)란?
인터넷을 통해 간단한 일을 여러 사람에게 나눠서 맡기는 온라인 작업 중개 플랫폼. 설문조사, 이미지 분류처럼 사람이 직접 해야 하는 작업을 전 세계 사람들이 소액을 받고 수행함
2. 온라인 설문조사의 진짜 장점 – 연구자가 말하는 실용적 이유들
온라인 연구가 빠르게 확산된 데는 그만한 이유가 있다. 연구자가 가장 먼저 체감하는 장점은 단연 참여자 모집이 쉽고 빠르다는 점이다. 과거처럼 실험실에서 정해진 시간에 참여자를 받지 않아도 되고 일일이 일정을 조율하지 않아도 된다.
Amazon Mechanical Turk, Prolific, Qualtrics 같은 플랫폼을 이용하면 클릭 몇 번으로 수십 명의 참여자를 단시간에 모집할 수 있고, 시간대나 지역에 관계없이 연구를 진행할 수 있다.
비용 면에서도 온라인은 훨씬 부담이 적다. 공간을 대여하거나 실험 장비를 준비하거나 실험보조 인력을 따로 둘 필요가 없다. 설문지를 만들고 플랫폼에 업로드하고 응답을 수집한 뒤 파일을 내려받아 분석하면 끝이다. 이처럼 간단하고 반복이 쉬운 구조 덕분에 온라인 연구는 설계 단계에서부터 파일럿 테스트와 수정 과정을 훨씬 유연하게 운영할 수 있게 해준다.
또한, 응답 데이터는 대부분 자동으로 저장되고 정리되기 때문에 연구자의 기술적 부담도 줄어든다. 표면적으로는 설문이 중심이지만 간단한 자극 제시나 반응 기록도 가능한 플랫폼이 많아져서 온라인 환경에서 구현할 수 있는 실험 유형도 점점 다양해지고 있다.
정리하자면, 온라인 연구는 참여자 접근성, 시간과 비용의 효율성, 반복 가능성 등 현장 연구자들이 실제로 체감하는 실용적 장점이 뚜렷하다. 그래서 지금도 많은 심리과학자들이 가장 먼저 고려하는 연구 방식 중 하나로 온라인 실험을 꼽고 있다.
3. 응답자의 30%는 왜 가짜인가 – 실패하는 설문 데이터의 구조
온라인 연구의 문제는 단순한 예외가 아니라 반복되는 경향을 보인다. 연구 설계는 간단하고 데이터 수집은 빠르지만 그 과정이 제대로 통제되지 않으면 응답의 질은 급격히 낮아질 수 있다. 이 문제는 주의 깊지 않은 참여자, 허위 응답, 자동화된 봇, 표본의 편향성 등 다양한 요소가 복합적으로 작용한 결과다.
주의력 검사는 일반적으로 문항 중간에 다음과 같은 방식으로 삽입된다. 예를 들어, "이 문항은 응답을 확인하기 위한 것입니다. 반드시 '전혀 그렇지 않다'를 선택해 주세요" 같은 문장을 포함시켜 문항을 제대로 읽지 않은 참여자를 가려내는 것이다. 이러한 주의력 검사를 통과하지 못한 응답자가 전체의 30% 이상에 달한다는 연구도 있다. 또한 동일한 참여자가 여러 번 실험에 응한 경우나 시간당 보상을 극대화하기 위해 무성의하게 응답한 사례도 자주 보고된다. MTurk 사용자 중 일부는 실제 인구집단보다 정신건강 문제를 더 많이 보고하며 이는 표본의 대표성과 일반화 가능성에 의문을 제기한다.
플랫폼 자체의 안정성도 일정하지 않다. 특정 시기에는 참여자 수가 급격히 줄거나 새로운 사용자 유입이 일시적으로 증가하면서 데이터의 일관성이 떨어질 수 있다. 또한 정책 변경, 보상 체계 변화, 사용자 인터페이스 개편 등이 데이터 응답 패턴에 영향을 미칠 수 있으며 이러한 변화가 연구자에게 사전에 충분히 공지되지 않는 경우도 있다. 그 결과, 동일한 플랫폼에서 수행된 연구라도 시기나 설정에 따라 전혀 다른 결과가 나올 수 있다.
결국 문제는 데이터 자체가 아니라 연구자가 플랫폼의 구조와 참여자 행동을 충분히 고려하지 않은 데서 비롯된다.
4. 신뢰할 수 있는 설문 데이터를 만드는 4가지 전략
온라인 연구의 질은 플랫폼이 아닌 연구자의 설계에 달려 있다. 단순히 설문지를 올리고 응답을 수집하는 것으로 끝내서는 안 되며, 온라인 환경에 맞는 설계 전략과 품질 관리 장치가 필요하다.
첫째, 참여자의 몰입과 집중을 끌어낼 수 있는 실험 구조를 설계해야 한다. 40분 이상 걸리는 반복적인 과제는 대부분의 참여자에게 피로감을 유발하며 응답의 질을 떨어뜨린다. 가능한 한 짧고 명확한 문항, 이해하기 쉬운 인터페이스, 모바일 최적화 같은 요소들이 중요하다.
둘째, 응답의 진위 여부를 확인할 수 있는 절차가 필요하다. 예를 들어 주의력 확인 문항은 "다음 문항에는 '매우 그렇다'를 선택해 주세요"처럼 명확한 지시를 포함하고 비논리적 응답 필터링은 나이와 교육 수준 등 기본 인구정보에서 모순을 찾아내는 방식이다. 동일 문항을 문장 표현만 바꿔 두 번 제시하여 응답의 일관성을 평가하는 것도 좋은 방법이다.
셋째, 보상은 단순히 참여를 유도하는 수단이 아니라 성실한 응답을 이끌어내는 핵심 조건이다. 지나치게 낮은 보상은 무응답, 대충 응답, 중복 참여 등을 유도할 수 있으며 이는 데이터 정제 과정에서 대부분 폐기될 가능성이 높다. 연구자는 응답 시간과 과제 난이도에 비례한 적절한 보상 기준을 미리 설정하고 이를 투명하게 안내해야 한다.
넷째, 연구 설계와 데이터 제외 기준을 사전에 명확히 설정하고 이를 공개하는 것이 중요하다. 사전등록(preregistration)은 OSF(Open Science Framework)와 같은 공개 저장소를 통해 수행할 수 있으며 참여자 선별 기준, 제외 조건, 분석 계획 등을 미리 명시함으로써 연구 결과에 대한 투명성과 재현 가능성을 확보할 수 있다.
온라인 실험은 누구에게나 열려 있는 도구이지만 그 결과가 신뢰할 수 있으려면 연구자의 판단과 설계가 핵심이라는 사실은 변하지 않는다. 결국 품질 높은 데이터는 플랫폼이 아니라 그것을 다루는 연구자의 선택에서 비롯된다.
5. 참고문헌
Sleek, S., & Armstrong, K. (2024, July 22). The pluses and pitfalls of online research. Observer. Association for Psychological Science. https://www.psychologicalscience.org/publications/observer/pluses-pitfalls-online-research.html
[이어서 읽기]
설문 결과가 뒤죽박죽인가요? 무턱대고 지우면 논문 심사에서 문제가 됩니다. 정확한 '불성실 응답' 삭제 기준과 데이터 정제법을 확인하세요.
학위논문 설문조사 데이터 정리: '불성실 응답' 삭제 기준과 근거
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 르네의 심리통계에서 제작하였으며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스(CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.
온라인 설문조사는 시간과 비용을 아낄 수 있는 강력한 연구 도구로 주목받고 있지만 실제 데이터의 질은 생각보다 신뢰하기 어렵다는 지적이 많습니다. 이 글에서는 구글폼 등 널리 쓰이는 플랫폼을 통해 수집된 설문 데이터에 어떤 문제가 생길 수 있는지 그리고 연구자가 이를 방지하기 위해 어떤 전략을 취해야 하는지 최신 해외 사례를 중심으로 정리해보았습니다.
📚 목 차 📚
1. 왜 다들 온라인 설문조사를 택하는가 – 효율성에 대한 기대와 오해
심리과학자들에게 온라인 연구는 새로운 가능성을 열어주었다. Amazon Mechanical Turk(온라인 인력 중개 플랫폼), Prolific(프로리픽, 학술연구 참여자 모집 전문 플랫폼), Qualtrics(퀄트릭스, 설문지 작성 및 분석 플랫폼), CloudResearch(클라우드리서치, Amazon Mechanical Turk(MTurk) 기반 데이터 수집 보완 도구)와 같은 해외 플랫폼뿐 아니라 한국의 구글 폼 설문지, 네이버폼, 오픈서베이, 패널나우 등도 널리 사용되며 실험실 밖에서도 참여자를 모집할 수 있는 경로가 다양해졌다. 시간과 비용 면에서도 효율성이 높아졌고 특히 대학생 중심의 제한된 표본에서 벗어나 더 다양한 사람들에게 접근할 수 있다는 점은 큰 장점으로 평가된다.
하지만 이러한 장점 뒤에는 연구자가 반드시 고려해야 할 문제들도 존재한다. 사람처럼 보이지만 실제로는 자동화된 프로그램이 설문에 응답하는 경우가 있으며 이는 봇(bot)으로 알려져 있다. 봇은 무작위로 또는 미리 설정된 방식으로 문항에 응답해 설문을 제출하며 보상만을 목적으로 작동하기 때문에 데이터의 신뢰성을 크게 떨어뜨릴 수 있다. 또한 설문 내용을 제대로 읽지 않는 참여자, 참여자 구성이 특정 연령대나 특성에 치우친 표본, 그리고 응답자가 자신에 대해 거짓 정보를 제공하는 경우 등도 온라인 환경에서 자주 보고되는 문제다.
캐나다 출신의 인지신경과학자 이자벨 고티에(Isabel Gauthier)는 15년 넘게 온라인 실험을 활용해 왔고 그동안 수집한 데이터는 실험실 환경에서 얻은 것과 비교해도 충분히 신뢰할 만하다고 평가해왔다. 그러나 그녀가 최근 연구팀과 함께 진행한 쌍둥이 대상 연구에서는 사전 선별 과정에서 대부분의 참여자가 실제 쌍둥이가 아닌 것으로 드러났다. 고티에는 "그들이 플랫폼에 가입할 때 거짓 정보를 입력했거나 연구자에게 직접 거짓말을 했을 가능성이 있다"고 말하며 온라인에서 특수한 모집단을 다룰 때 자기보고에만 의존하는 방식의 한계를 지적했다. 이후 그녀는 플랫폼을 변경하고 데이터 품질을 확보하기 위한 절차를 강화했다.
한국의 경우에도 온라인 설문 및 모바일 기반 실험이 다양한 분야에서 활용되고 있으며 특히 공공기관, 대학, 민간 조사기관이 구글 폼 설문지, 네이버폼, 오픈서베이 등을 통해 대규모 조사를 수행하는 사례가 늘고 있다. 다만 표본의 대표성과 응답 품질을 검증하는 절차는 여전히 미흡한 경우가 많아, 이에 대한 표준화된 가이드라인 마련이 요구된다.
본 글에서는 2024년 7월 미국심리과학협회(APS)의 공식 매체 옵서버(Observer)에 실린 「온라인 연구의 장점과 함정(The Pluses and Pitfalls of Online Research)」 기사를 바탕으로 온라인 연구의 가능성과 한계 그리고 연구자가 데이터의 질을 유지하기 위해 고려해야 할 실제적인 문제들을 살펴본다.
💡 Amazon Mechanical Turk(MTurk)란?
인터넷을 통해 간단한 일을 여러 사람에게 나눠서 맡기는 온라인 작업 중개 플랫폼. 설문조사, 이미지 분류처럼 사람이 직접 해야 하는 작업을 전 세계 사람들이 소액을 받고 수행함
2. 온라인 설문조사의 진짜 장점 – 연구자가 말하는 실용적 이유들
온라인 연구가 빠르게 확산된 데는 그만한 이유가 있다. 연구자가 가장 먼저 체감하는 장점은 단연 참여자 모집이 쉽고 빠르다는 점이다. 과거처럼 실험실에서 정해진 시간에 참여자를 받지 않아도 되고 일일이 일정을 조율하지 않아도 된다.
Amazon Mechanical Turk, Prolific, Qualtrics 같은 플랫폼을 이용하면 클릭 몇 번으로 수십 명의 참여자를 단시간에 모집할 수 있고, 시간대나 지역에 관계없이 연구를 진행할 수 있다.
비용 면에서도 온라인은 훨씬 부담이 적다. 공간을 대여하거나 실험 장비를 준비하거나 실험보조 인력을 따로 둘 필요가 없다. 설문지를 만들고 플랫폼에 업로드하고 응답을 수집한 뒤 파일을 내려받아 분석하면 끝이다. 이처럼 간단하고 반복이 쉬운 구조 덕분에 온라인 연구는 설계 단계에서부터 파일럿 테스트와 수정 과정을 훨씬 유연하게 운영할 수 있게 해준다.
또한, 응답 데이터는 대부분 자동으로 저장되고 정리되기 때문에 연구자의 기술적 부담도 줄어든다. 표면적으로는 설문이 중심이지만 간단한 자극 제시나 반응 기록도 가능한 플랫폼이 많아져서 온라인 환경에서 구현할 수 있는 실험 유형도 점점 다양해지고 있다.
정리하자면, 온라인 연구는 참여자 접근성, 시간과 비용의 효율성, 반복 가능성 등 현장 연구자들이 실제로 체감하는 실용적 장점이 뚜렷하다. 그래서 지금도 많은 심리과학자들이 가장 먼저 고려하는 연구 방식 중 하나로 온라인 실험을 꼽고 있다.
3. 응답자의 30%는 왜 가짜인가 – 실패하는 설문 데이터의 구조
온라인 연구의 문제는 단순한 예외가 아니라 반복되는 경향을 보인다. 연구 설계는 간단하고 데이터 수집은 빠르지만 그 과정이 제대로 통제되지 않으면 응답의 질은 급격히 낮아질 수 있다. 이 문제는 주의 깊지 않은 참여자, 허위 응답, 자동화된 봇, 표본의 편향성 등 다양한 요소가 복합적으로 작용한 결과다.
주의력 검사는 일반적으로 문항 중간에 다음과 같은 방식으로 삽입된다. 예를 들어, "이 문항은 응답을 확인하기 위한 것입니다. 반드시 '전혀 그렇지 않다'를 선택해 주세요" 같은 문장을 포함시켜 문항을 제대로 읽지 않은 참여자를 가려내는 것이다. 이러한 주의력 검사를 통과하지 못한 응답자가 전체의 30% 이상에 달한다는 연구도 있다. 또한 동일한 참여자가 여러 번 실험에 응한 경우나 시간당 보상을 극대화하기 위해 무성의하게 응답한 사례도 자주 보고된다. MTurk 사용자 중 일부는 실제 인구집단보다 정신건강 문제를 더 많이 보고하며 이는 표본의 대표성과 일반화 가능성에 의문을 제기한다.
플랫폼 자체의 안정성도 일정하지 않다. 특정 시기에는 참여자 수가 급격히 줄거나 새로운 사용자 유입이 일시적으로 증가하면서 데이터의 일관성이 떨어질 수 있다. 또한 정책 변경, 보상 체계 변화, 사용자 인터페이스 개편 등이 데이터 응답 패턴에 영향을 미칠 수 있으며 이러한 변화가 연구자에게 사전에 충분히 공지되지 않는 경우도 있다. 그 결과, 동일한 플랫폼에서 수행된 연구라도 시기나 설정에 따라 전혀 다른 결과가 나올 수 있다.
결국 문제는 데이터 자체가 아니라 연구자가 플랫폼의 구조와 참여자 행동을 충분히 고려하지 않은 데서 비롯된다.
4. 신뢰할 수 있는 설문 데이터를 만드는 4가지 전략
온라인 연구의 질은 플랫폼이 아닌 연구자의 설계에 달려 있다. 단순히 설문지를 올리고 응답을 수집하는 것으로 끝내서는 안 되며, 온라인 환경에 맞는 설계 전략과 품질 관리 장치가 필요하다.
첫째, 참여자의 몰입과 집중을 끌어낼 수 있는 실험 구조를 설계해야 한다. 40분 이상 걸리는 반복적인 과제는 대부분의 참여자에게 피로감을 유발하며 응답의 질을 떨어뜨린다. 가능한 한 짧고 명확한 문항, 이해하기 쉬운 인터페이스, 모바일 최적화 같은 요소들이 중요하다.
둘째, 응답의 진위 여부를 확인할 수 있는 절차가 필요하다. 예를 들어 주의력 확인 문항은 "다음 문항에는 '매우 그렇다'를 선택해 주세요"처럼 명확한 지시를 포함하고 비논리적 응답 필터링은 나이와 교육 수준 등 기본 인구정보에서 모순을 찾아내는 방식이다. 동일 문항을 문장 표현만 바꿔 두 번 제시하여 응답의 일관성을 평가하는 것도 좋은 방법이다.
셋째, 보상은 단순히 참여를 유도하는 수단이 아니라 성실한 응답을 이끌어내는 핵심 조건이다. 지나치게 낮은 보상은 무응답, 대충 응답, 중복 참여 등을 유도할 수 있으며 이는 데이터 정제 과정에서 대부분 폐기될 가능성이 높다. 연구자는 응답 시간과 과제 난이도에 비례한 적절한 보상 기준을 미리 설정하고 이를 투명하게 안내해야 한다.
넷째, 연구 설계와 데이터 제외 기준을 사전에 명확히 설정하고 이를 공개하는 것이 중요하다. 사전등록(preregistration)은 OSF(Open Science Framework)와 같은 공개 저장소를 통해 수행할 수 있으며 참여자 선별 기준, 제외 조건, 분석 계획 등을 미리 명시함으로써 연구 결과에 대한 투명성과 재현 가능성을 확보할 수 있다.
온라인 실험은 누구에게나 열려 있는 도구이지만 그 결과가 신뢰할 수 있으려면 연구자의 판단과 설계가 핵심이라는 사실은 변하지 않는다. 결국 품질 높은 데이터는 플랫폼이 아니라 그것을 다루는 연구자의 선택에서 비롯된다.
5. 참고문헌
Sleek, S., & Armstrong, K. (2024, July 22). The pluses and pitfalls of online research. Observer. Association for Psychological Science. https://www.psychologicalscience.org/publications/observer/pluses-pitfalls-online-research.html
[이어서 읽기]
설문 결과가 뒤죽박죽인가요? 무턱대고 지우면 논문 심사에서 문제가 됩니다. 정확한 '불성실 응답' 삭제 기준과 데이터 정제법을 확인하세요.
학위논문 설문조사 데이터 정리: '불성실 응답' 삭제 기준과 근거
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 르네의 심리통계에서 제작하였으며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스(CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.