최근 실제로 출판된 한 논문은 제목에조차 오탈자가 있으며 본문에 챗GPT 버튼 문구가 포함돼 있었다.
챗GPT가 작성한 문장을 거의 그대로 복사해 사용한 이 논문은 심리학적 검토 없이 기술만 적용된 피상적 연구였고 심사자나 저널 시스템 누구도 이를 걸러내지 못했다.
이 글은 해당 사례를 통해 오늘날 논문 읽기에서 어떤 기준이 필요한지를 짚어본다.
📚 목 차 📚
- 황당한 아래의 논문 사례를 보겠다.
- 좋은 논문을 읽으려면?
- 핵심요약
- 퀴즈
- 참고문헌
1. 황당한 아래의 논문 사례를 보겠다.
- 제목 : Deperssion Detection in Naturalistic Environmental Condition(자연환경에서의 우울증 탐지)
- 게재일 : 2023년 4월 7일
- 투고일 : 2023년 2월 10일
- 게재 승인일 : 2023년 3월 16일
- 저자
- T. R. Dineshkumar (교신저자, 조교수)
- U. Savitha (조교수)
- T. Haritha Vellam (학부생), R. Krishika (학부생), A. Juneha Jabeen (학부생), Aravind Ramesh (학부생), Purushothaman (학부생)
- 소속 : Vel Tech High Tech Dr. Rangarajan Dr. Sakunthala Engineering College (인도)
- 소속 학과 : 전자통신공학과 (Department of Electronics and Communication Engineering)
- 논문보기 ➡ https://www.jptcp.com/index.php/jptcp/article/view/1759/1874 (논문 원문은 나중에 삭제될수도 있음)
이 논문은 인도 첸나이에 있는 Vel Tech 공과대학 소속 교수 및 학부생들이 공동 작성한 것으로, 제목은 “Deperssion Detection in Naturalistic Environmental Condition(자연환경에서의 우울증 탐지)”이다.
정확한 영어 표기는 “Depression Detection”이 되어야 하지만, 논문 제목부터 오탈자가 있다.
이 논문이 실제로 챗GPT(ChatGPT)를 활용해 작성된 게 아니냐는 의심은 본문 곳곳에 있는 부자연스러운 표현들에서 구체적으로 드러난다.
먼저, 본문 중간에 “Regenerate Response”라는 문구가 등장한다.
이 표현은 일반적인 논문 작성에서 절대 나올 수 없는 단어다.
챗GPT를 써본 사람이라면 바로 알겠지만, 이건 그 인터페이스에 있는 버튼 이름이다.
즉, 작성자가 챗GPT의 출력 결과를 그대로 복사하면서, 버튼 문구까지 함께 붙여 넣은 흔적이다.
또한, “The The suggested technique…” 같은 문장은 자동 생성된 문장이 잘못 이어붙여졌을 때 자주 나오는 오류다.
관사가 중복된 채로 넘어간 건데, 사람이 직접 썼다면 아무리 급해도 교정 단계에서 충분히 걸러졌을 표현이다.
이런 식의 반복 오류는 챗GPT가 작성했을 가능성을 강하게 시사한다.
그리고 “aspects blend and compliment every other”라는 문장은 표현은 그럴듯해 보이지만 실제 의미가 어긋나 있다.
여기서 “compliment”(칭찬하다) 대신 문맥상 필요한 단어는 “complement”(보완하다)다.
이건 챗GPT가 자주 혼동하는 동음이의어 오류의 전형이다.(철자 하나가 다름)
이런 표현들이 누적된다는 건, 단순한 실수 이상의 문제다.
게다가 우울증 탐지라는 주제는 인간의 정서 상태를 다루는 고도의 심리학적 개념이자, 임상적 맥락을 전제로 해야 하는 분야다. 이 논문은 전자공학적 관점에서 AI 모델을 적용했지만 정작 감정 상태를 정의하거나 해석하는 과정에는 심리학적 전문성이 개입되지 않았다. 심리학자 없이도 가능한 연구였는지 의문이며 그렇지 않다면 이는 단순한 기술 응용이 아니라 심리학이라는 전문 영역을 깊이 이해하지 못한 채 겉으로만 끌어다 쓴 사례라고 볼 수 있다.
챗GPT가 작성한 문장을 거의 그대로 복사해 넣었고, 공동 저자, 편집자, 심사자 누구도 그걸 잡아내지 못한 채 논문이 출판됐다는 사실 자체가 지금 학계 시스템의 허술함을 드러낸다. 특히 이번 사례처럼 학부생이 포함된 논문에서는 이런 문제가 더 자주 드러나는 경향이 있다. 연구 경험이 부족하고, 글쓰기 능력을 보완하려다 보니 챗GPT 같은 도구에 의존하게 되는 경우가 많다. 논문 작성 구조나 표현 방식에 익숙하지 않은 상태에서 챗GPT가 써준 문장을 그대로 옮겨 붙이면서도 그것이 이상하다는 판단을 못 하는 것이다. (석박사 논문도 예외는 아니다. 오히려 일부 상업 저널에선 박사/교수급 저자 논문이 더 치밀하게 인공지능(AI)으로 작성되어 “그럴듯해 보이지만 내용이 허술한” 경우가 많다고 지적됨)
물론, 그렇다고 해서 모든 저널이 다 허술하다는 뜻은 아니다. 네이처(Nature), 사이언스(Science), Psychological Bulletin(심리학 회보) 같은 저널은 여전히 높은 기준을 유지하고 있고, 인공지능(AI) 흔적이 보이면 반려될 수도 있고 철저한 수정을 요구한다. 실제로 네이처는 2023년부터 아예 "챗GPT는 공저자로 인정하지 않는다"는 공식 방침을 밝히기도 했다. (기사원문)
문제는 이런 최상위 저널이 아닌, 중간급 이하의 저널들 -- 특히 논문 수익 구조에 기대는 상업적 저널이나 심사 체계가 허술한 컨퍼런스 논문(학술대회 발표용 논문, 심사가 약한 경우가 많음)들 -- 이 인공지능(AI) 텍스트를 걸러내지 못하고 있다는 점이다. 즉, 심사 기준의 차이는 원래부터 존재했지만, 챗GPT 같은 생성형 인공지능(AI)의 등장 이후 그 격차가 훨씬 더 뚜렷하게 드러나고 있다. 같은 인공지능(AI) 문장을 두고도 어떤 저널은 철저히(?) 걸러내지만, 어떤 곳은 그대로 통과시키는 일이 벌어지면서 연구자 입장에서는 어떤 저널에 투고하고, 어떤 논문을 읽는지가 이전보다 훨씬 더 큰 차이를 만들어내는 시대가 됐다.
인공지능(AI)이 써준 문장을 ‘베이스’로 쓰는 건 괜찮지만 ‘완성본’으로 쓰는 순간 그건 곧 티가 난다!
챗GPT는 지능이 매우 높은 사기꾼(?)이 될 수 있다는 걸 명심하자!!
2. 좋은 논문을 읽으려면?
3. 핵심요약(summary)
인도 공대 교수들과 학부생들이 공동으로 작성한 우울증 탐지 논문이 2023년 정식 게재됐다.
제목부터 오탈자(Deperssion)가 있으며 본문에는 챗GPT의 버튼 문구인 Regenerate Response가 그대로 포함돼 있다.
관사 중복(The The), 단어 오용(compliment), 어색한 문장 등 챗GPT가 자주 만드는 오류들이 다수 발견된다.
챗GPT 출력 결과를 거의 그대로 복사해 넣은 흔적이 뚜렷하지만 연구자도 심사자도 이를 걸러내지 못했다.
주제는 우울증 탐지지만 정작 감정 상태에 대한 정의나 해석은 빠져 있고 기술적 모델만 적용되어 있다.
심리학적 전문성이 전혀 개입되지 않은 상태에서 정서와 정밀 진단을 다루는 연구를 시도했다는 점에서 접근 자체가 피상적이다.
논문 자체보다 이런 원고가 출판에 이르렀다는 사실이 학계 시스템의 허술함을 드러낸다.
학부생 논문에서 이런 일이 더 자주 벌어지며 글쓰기 경험 부족과 AI 도구 의존이 결합해 의미도 확인하지 않고 문장을 붙여넣는 사례가 많다.
중간급 이하 저널이나 상업적 학술지는 챗GPT 생성 문장을 걸러내지 못하고 있고 이로 인해 저널 간 품질 격차가 AI 등장 이후 더 두드러지고 있다.
AI 문장을 초안으로 쓰는 건 가능하지만 그것을 그대로 제출하는 순간 내용의 허술함이 그대로 드러난다.
챗GPT는 좋은 보조 도구일 수 있지만 그럴듯한 문장 뒤에 비어 있는 논리와 맥락까지 채워주지는 않는다.
4. 퀴즈(quiz)
- 다음 중 위에서 인용된 논문 사례의 주요 문제로 지적되지 않은 것은?
- 챗GPT 인터페이스 문구가 그대로 본문에 포함되어 있음
- 심리학적 개념 없이 기술적 모델만으로 감정 상태를 해석함
- 동료평가 과정을 거친 후 게재되었음
- 문장 구조나 단어 선택에서 챗GPT 특유의 오류가 반복됨
- 저자와 심사자가 모두 AI 생성 문장을 문제 삼지 않음
정답 : 3
5. 참고문헌(reference)
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 르네의 심리통계에서 제작하였으며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스(CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.
최근 실제로 출판된 한 논문은 제목에조차 오탈자가 있으며 본문에 챗GPT 버튼 문구가 포함돼 있었다.
챗GPT가 작성한 문장을 거의 그대로 복사해 사용한 이 논문은 심리학적 검토 없이 기술만 적용된 피상적 연구였고 심사자나 저널 시스템 누구도 이를 걸러내지 못했다.
이 글은 해당 사례를 통해 오늘날 논문 읽기에서 어떤 기준이 필요한지를 짚어본다.
📚 목 차 📚
1. 황당한 아래의 논문 사례를 보겠다.
이 논문은 인도 첸나이에 있는 Vel Tech 공과대학 소속 교수 및 학부생들이 공동 작성한 것으로, 제목은 “Deperssion Detection in Naturalistic Environmental Condition(자연환경에서의 우울증 탐지)”이다.
정확한 영어 표기는 “Depression Detection”이 되어야 하지만, 논문 제목부터 오탈자가 있다.
이 논문이 실제로 챗GPT(ChatGPT)를 활용해 작성된 게 아니냐는 의심은 본문 곳곳에 있는 부자연스러운 표현들에서 구체적으로 드러난다.
먼저, 본문 중간에 “Regenerate Response”라는 문구가 등장한다.
이 표현은 일반적인 논문 작성에서 절대 나올 수 없는 단어다.
챗GPT를 써본 사람이라면 바로 알겠지만, 이건 그 인터페이스에 있는 버튼 이름이다.
즉, 작성자가 챗GPT의 출력 결과를 그대로 복사하면서, 버튼 문구까지 함께 붙여 넣은 흔적이다.
또한, “The The suggested technique…” 같은 문장은 자동 생성된 문장이 잘못 이어붙여졌을 때 자주 나오는 오류다.
관사가 중복된 채로 넘어간 건데, 사람이 직접 썼다면 아무리 급해도 교정 단계에서 충분히 걸러졌을 표현이다.
이런 식의 반복 오류는 챗GPT가 작성했을 가능성을 강하게 시사한다.
그리고 “aspects blend and compliment every other”라는 문장은 표현은 그럴듯해 보이지만 실제 의미가 어긋나 있다.
여기서 “compliment”(칭찬하다) 대신 문맥상 필요한 단어는 “complement”(보완하다)다.
이건 챗GPT가 자주 혼동하는 동음이의어 오류의 전형이다.(철자 하나가 다름)
이런 표현들이 누적된다는 건, 단순한 실수 이상의 문제다.
게다가 우울증 탐지라는 주제는 인간의 정서 상태를 다루는 고도의 심리학적 개념이자, 임상적 맥락을 전제로 해야 하는 분야다. 이 논문은 전자공학적 관점에서 AI 모델을 적용했지만 정작 감정 상태를 정의하거나 해석하는 과정에는 심리학적 전문성이 개입되지 않았다. 심리학자 없이도 가능한 연구였는지 의문이며 그렇지 않다면 이는 단순한 기술 응용이 아니라 심리학이라는 전문 영역을 깊이 이해하지 못한 채 겉으로만 끌어다 쓴 사례라고 볼 수 있다.
챗GPT가 작성한 문장을 거의 그대로 복사해 넣었고, 공동 저자, 편집자, 심사자 누구도 그걸 잡아내지 못한 채 논문이 출판됐다는 사실 자체가 지금 학계 시스템의 허술함을 드러낸다. 특히 이번 사례처럼 학부생이 포함된 논문에서는 이런 문제가 더 자주 드러나는 경향이 있다. 연구 경험이 부족하고, 글쓰기 능력을 보완하려다 보니 챗GPT 같은 도구에 의존하게 되는 경우가 많다. 논문 작성 구조나 표현 방식에 익숙하지 않은 상태에서 챗GPT가 써준 문장을 그대로 옮겨 붙이면서도 그것이 이상하다는 판단을 못 하는 것이다. (석박사 논문도 예외는 아니다. 오히려 일부 상업 저널에선 박사/교수급 저자 논문이 더 치밀하게 인공지능(AI)으로 작성되어 “그럴듯해 보이지만 내용이 허술한” 경우가 많다고 지적됨)
물론, 그렇다고 해서 모든 저널이 다 허술하다는 뜻은 아니다. 네이처(Nature), 사이언스(Science), Psychological Bulletin(심리학 회보) 같은 저널은 여전히 높은 기준을 유지하고 있고, 인공지능(AI) 흔적이 보이면 반려될 수도 있고 철저한 수정을 요구한다. 실제로 네이처는 2023년부터 아예 "챗GPT는 공저자로 인정하지 않는다"는 공식 방침을 밝히기도 했다. (기사원문)
문제는 이런 최상위 저널이 아닌, 중간급 이하의 저널들 -- 특히 논문 수익 구조에 기대는 상업적 저널이나 심사 체계가 허술한 컨퍼런스 논문(학술대회 발표용 논문, 심사가 약한 경우가 많음)들 -- 이 인공지능(AI) 텍스트를 걸러내지 못하고 있다는 점이다. 즉, 심사 기준의 차이는 원래부터 존재했지만, 챗GPT 같은 생성형 인공지능(AI)의 등장 이후 그 격차가 훨씬 더 뚜렷하게 드러나고 있다. 같은 인공지능(AI) 문장을 두고도 어떤 저널은 철저히(?) 걸러내지만, 어떤 곳은 그대로 통과시키는 일이 벌어지면서 연구자 입장에서는 어떤 저널에 투고하고, 어떤 논문을 읽는지가 이전보다 훨씬 더 큰 차이를 만들어내는 시대가 됐다.
2. 좋은 논문을 읽으려면?
좋은 저널부터 찾는다.
심리학에서 공신력 있는 저널은 다음과 같다.
Psychological Review, Psychological Bulletin, Journal of Personality and Social Psychology (JPSP), Journal of Experimental Psychology 시리즈, Developmental Psychology, Psychological Science 등.
이 저널들이 APA, APS, Elsevier, Springer 같은 기관에서 발행되는지 확인하면 된다.
한국 논문의 경우 KCI 등재 여부는 하나의 참고 기준이 될 수 있지만 등재 여부만으로 논문 품질을 완전히 보장하긴 어렵다.
학술 데이터베이스에서 찾는다.
논문 검색은 PsycINFO, PubMed, Google Scholar, Scopus 같은 곳에서 한다.
네이버에서 검색하는 것보다 학술 DB에서 찾는 게 훨씬 정확하고 신뢰할 수 있다.
논문 제목만 보지 말고, 실제 저널명을 확인한다.
제목이 멋져 보여도 저널 이름이 낯설고 출처가 불분명하면 일단 걸러야 한다.
논문 첫 페이지나 DOI 링크에서 저널 이름과 발행 기관을 반드시 확인한다.
발표 시기를 확인한다.
실험이나 통계 기반 논문은 보통 최신일수록 좋다.
5년 이상 된 논문은 옛날 방식이나 구식 이론일 수 있으니 최근 2~3년 사이 논문 위주로 본다.
초록과 결론만 읽지 말고 방법과 참고문헌까지 본다.
좋은 논문은 방법 섹션이 자세하고 구체적이다.
참고문헌도 수준 높은 논문들을 인용했는지 보면 해당 논문의 신뢰도를 가늠할 수 있다.
오픈액세스 여부도 확인한다.
논문이 무료로 공개돼 있는 오픈액세스 저널이면 접근이 쉬워 좋다.
APS, PLOS, Frontiers 계열은 비교적 신뢰할 만한 오픈 저널이 많다.
인공지능(AI)으로 1차 검증을 한다.
논문 제목이나 PDF를 보여주면 인공지능(AI)이 저널 수준, 문장 흐름, 인공지능(AI) 작성 흔적 등을 빠르게 파악해준다.
어느 정도 퀄리티가 되는 논문인지 초반에 감 잡을 때 유용하다.
하지만 여기서 걸러지지 않았다고 ‘괜찮은 논문’은 아니다.
인공지능(AI)은 논리적 타당성은 검토할 수 있지만 논문이 가진 진짜 문제 -- 이론적 빈틈, 왜곡된 해석, 최신 흐름과의 어긋남-- 까지 다 잡아내진 못한다.
보조 수단이지 판단을 대체하는 도구는 아니다.
3. 핵심요약(summary)
인도 공대 교수들과 학부생들이 공동으로 작성한 우울증 탐지 논문이 2023년 정식 게재됐다.
제목부터 오탈자(Deperssion)가 있으며 본문에는 챗GPT의 버튼 문구인 Regenerate Response가 그대로 포함돼 있다.
관사 중복(The The), 단어 오용(compliment), 어색한 문장 등 챗GPT가 자주 만드는 오류들이 다수 발견된다.
챗GPT 출력 결과를 거의 그대로 복사해 넣은 흔적이 뚜렷하지만 연구자도 심사자도 이를 걸러내지 못했다.
주제는 우울증 탐지지만 정작 감정 상태에 대한 정의나 해석은 빠져 있고 기술적 모델만 적용되어 있다.
심리학적 전문성이 전혀 개입되지 않은 상태에서 정서와 정밀 진단을 다루는 연구를 시도했다는 점에서 접근 자체가 피상적이다.
논문 자체보다 이런 원고가 출판에 이르렀다는 사실이 학계 시스템의 허술함을 드러낸다.
학부생 논문에서 이런 일이 더 자주 벌어지며 글쓰기 경험 부족과 AI 도구 의존이 결합해 의미도 확인하지 않고 문장을 붙여넣는 사례가 많다.
중간급 이하 저널이나 상업적 학술지는 챗GPT 생성 문장을 걸러내지 못하고 있고 이로 인해 저널 간 품질 격차가 AI 등장 이후 더 두드러지고 있다.
AI 문장을 초안으로 쓰는 건 가능하지만 그것을 그대로 제출하는 순간 내용의 허술함이 그대로 드러난다.
챗GPT는 좋은 보조 도구일 수 있지만 그럴듯한 문장 뒤에 비어 있는 논리와 맥락까지 채워주지는 않는다.
4. 퀴즈(quiz)
정답 : 3
5. 참고문헌(reference)
ⓒ 르네의 심리통계 | jamovi.ai
본 콘텐츠는 르네의 심리통계에서 제작하였으며 크리에이티브 커먼즈 저작자표시-비영리-변경금지 4.0 국제 라이선스(CC BY-NC-ND 4.0)에 따라 보호됩니다. 출처를 명시하면 비영리 목적에 한해 공유가 가능하며 내용의 수정 또는 영리적 활용은 허용되지 않습니다.