AI 탐지기 정확도, 한국어 글에서는 얼마나 맞을까: 연구 결과와 탐지기 대신 확인할 것

한국어로 쓴 학생 글에서 AI 탐지기의 판별은 아직 믿을 만한 수준이 아닙니다. 초·중·고 학생의 한국어 논설문으로 시험한 연구에서 기존 탐지 방법은 동전 던지기와 비슷하거나 그보다 못한 결과를 냈어요.¹ 교육부도 대학에 보낸 가이드라인에서 탐지 도구의 판정을 "결정적 증거로 인정하지 않는다"고 밝혔습니다.²

Cognity는 학생이 AI와 함께 과제를 하는 과정을 기록하는 AI 가시화 도구입니다. 이 글에서는 한국어 AI 탐지에 관한 연구 결과와 교육부·대학의 기준을 정리하고, 학교와 대학에서 탐지기 점수 대신 확인할 수 있는 것을 소개해요.

한국어 글에서 AI 탐지기는 얼마나 맞히나요?

한국어 글을 직접 시험한 연구들은 모두 낮은 정확도를 보고했습니다. 영어로 학습한 탐지 방법이 한국어에서는 제대로 작동하지 않는다는 것이 공통된 결론이에요.

연구	시험한 글	결과
연세대 연구진, ACL 2025¹	초·중·고 학생의 한국어 논설문	기존 탐지 방법의 AUC-ROC가 DetectGPT 45.80, LLM에게 판별시키기 50.07, 미세조정 모델 65.93 (50이면 무작위 수준)
고려대 연구진, HCLT 2023³	한국어 문서	ZeroGPT의 정확도 56.00. 한국어 문서를 대부분 AI가 쓴 글로 예측하는 경향
경희대 연구진, 2025⁴	ChatGPT가 쓴 한국어 에세이	GPTZero가 92%를 사람이 쓴 글로 판정

같은 연세대 연구에서 한국어에 맞춘 새 방법은 정확도를 크게 높였어요.¹ 다만 이는 연구용 모델이고, 학교에서 쓰는 탐지 서비스의 정확도를 보여주는 결과는 아닙니다. 경희대 연구는 에세이 세 편으로 한 작은 연구라는 점도 함께 봐야 해요.

사람이 읽으면 더 잘 가려낼 수 있나요?

사람도 크게 낫지 않습니다. 경희대 연구에서 응답자 104명이 ChatGPT의 글을 가려낸 비율은 59.6%, 하이퍼클로바X의 글은 54.8%였어요.⁴ 한국어 능통자 18명이 참여한 다른 연구에서는, ChatGPT의 답을 바꿔 쓴 글을 맞힌 비율이 41.67%에 그쳤습니다.⁵

글만 읽고 판단하는 방식은 탐지기든 사람이든 한계가 분명합니다. 그래서 판단의 근거를 완성된 글이 아니라 글을 쓴 과정에서 찾아야 해요.

GPT킬러의 '표절률'은 무엇을 뜻하나요?

AI가 썼을 가능성을 확률로 추정한 값이지, 실제로 베꼈다는 뜻이 아닙니다. 제작사인 무하유도 FAQ에서 이렇게 설명해요.⁶

• 문장이 AI가 작성했을 가능성을 "확률적으로 분석"하는 보조 도구
• 직접 작성한 문서도 표현 방식이 AI와 비슷하면 "탐지될 수 있으며"
• 생성형 AI로 교정하거나 번역한 경우에도 같은 현상이 나타남
• 분석 결과는 "참고 자료로 활용하실 것을 권장"

제작사는 평균 98% 이상의 정확도를 내세우지만, 사람이 쓴 글을 AI로 잘못 판정하는 비율(오탐률)은 공개하지 않았어요.⁶ 독립적인 기관이 GPT킬러를 검증한 학술 연구도 찾을 수 없었습니다(2026년 10월 6일 확인).

교육부와 대학은 탐지기를 어떻게 보나요?

탐지 결과는 참고자료일 뿐, 단독 근거가 될 수 없다는 것이 공통된 입장입니다.

기관	탐지기에 대한 기준
교육부 「대학 AI 활용 윤리 가이드라인」(2026)²	판정 결과는 "참고자료로만 활용"하고, 학술적 부정행위 징계에서 "결정적 증거로 인정하지 않는다"
교육부 「수행평가 시, AI 활용 관리 방안」(2025)⁷	탐지기를 언급하지 않음. 대신 AI 활용 기록, 필요할 때 구술 설명, 수업 중 관찰을 제시
고려대 학부대학(2025)⁸	"성적 평가나 징계 판단의 단독 근거로 삼지 않는다"
서울대(2026)⁹	교수자는 "AI 탐지 도구의 불완전성을 이해"하고, 대학은 탐지 도구에 의존하지 않는 평가 방식을 지원
연세대(2024)¹⁰	학내 탐지 프로그램을 쓰되 "하나의 도구로서 참고"

서울대는 한 걸음 더 나아갔어요. 학내 구성원에게 제공하던 GPT킬러 제휴 계약을 2026년 7월 1일 종료해, 지금은 학생도 교수도 학교 계정으로 쓸 수 없습니다.¹¹ 학교 측은 탐지 서비스가 AI 사용 여부를 판단하지 못하고 가능성을 추정하는 데 그쳐, 정확도가 떨어지는 상황에서는 부작용이 더 클 수 있다고 설명했어요.

중·고등학교 수행평가 규정에는 탐지기가 아예 등장하지 않아요. 교육부 방안이 교사에게 요구하는 것은 학생의 AI 활용 기록과, 필요할 때 받는 구술 설명입니다.⁷ 학생이 기록 없이 AI 생성물을 그대로 내거나 교사의 질문에 답하지 못하면, 해당 내용은 "채점에서 제외될 수 있음"으로 정했어요.

탐지기 점수가 높게 나왔을 때는 무엇을 확인할까요?

점수는 확인할 부분을 고르는 데만 쓰고, 판단은 기록과 학생의 설명으로 합니다. 교육부 대학 가이드라인도 "면담이나 소명 절차"로 학생에게 충분한 소명 기회를 보장하라고 했어요.²

탐지기 점수가 높게 나왔을 때 확인할 것

• AI 활용 기록: 사용한 AI, 입력한 질문, 결과물에 반영한 방식과 부분
• 학생의 구술 설명: 글의 주장과 근거를 선택한 이유를 직접 설명하게 하기
• 수업 중 쓴 글과의 비교: 같은 학생이 교실에서 쓴 글과 어휘·문체가 크게 다른지
• 작성 과정: 초안과 수정 이력이 남아 있는지
• 출처: 본문에 인용한 자료를 실제로 찾을 수 있는지

탐지기 제작사도 억울한 판정을 받은 학생에게 문서 편집기의 수정 이력과 AI 사용 기록을 소명 자료로 제시하라고 안내합니다.⁶ 결국 판단의 근거는 점수가 아니라 과정 기록이에요. 다만 학생이 다른 곳에서 AI를 쓰고 글만 옮겨 왔다면, 교사가 볼 수 있는 기록은 거의 남지 않아요.

과정 기록은 어떻게 남길 수 있나요?

AI를 쓰는 곳과 글을 쓰는 곳을 하나로 모으면 기록이 저절로 남아요. Cognity에서는 학생이 과제를 하는 동안 AI 튜터 Jello와 나눈 대화와 글쓰기 과정이 함께 기록됩니다. 그래서 탐지기처럼 확률을 추정하는 대신, 앞에서 정리한 확인 항목을 실제 기록으로 볼 수 있어요.

먼저 '작성 과정'이 어떻게 보이는지부터 볼게요. 아래 학생은 759자를 모두 직접 썼어요. Jello에게는 주로 자료 조사를 물었고, 피드백을 받은 뒤 한 번 고쳤습니다.

다른 학생은 Jello의 답변 일부를 글에 옮겨 적었어요. Cognity는 Jello의 말과 20자 이상 연속으로 일치하는 부분을 본문에 표시합니다. "AI일 확률"이 아니라, 어느 문장이 어디서 왔는지가 보여요.

글 전체를 붙여넣은 학생도 있었어요. Cognity는 이 글을 AI가 썼다고 판정하지 않고 "출처를 알 수 없습니다"라고만 표시합니다.

Cognity는 AI 점수를 내지 않습니다. 탐지 점수 대신 과정을 보는 방법은 AI 탐지의 대안, AI 가시화에서 자세히 볼 수 있어요.

Cognity는 무료로 시작할 수 있어요. 다음 수행평가나 레포트 과제 하나를 Cognity로 운영해보시는 건 어떠세요?

무료로 시작하기

자주 묻는 질문

수행평가에서 AI 탐지기를 써도 되나요?

쓸 수는 있지만 근거로 삼기는 어렵습니다. 교육부 수행평가 방안에는 탐지기에 관한 내용이 없고, 활용 기록과 구술 설명을 기준으로 제시했어요.⁷ 학교 학업성적관리규정을 먼저 확인하고, 점수는 확인할 부분을 고르는 데만 쓰는 것이 안전합니다.

학생이 직접 썼는데 탐지기에 걸렸다고 하면 어떻게 하나요?

충분한 소명 기회를 주세요. 제작사도 직접 쓴 글이 탐지될 수 있다고 밝혔고,⁶ 교육부 대학 가이드라인은 판정 전에 면담이나 소명 절차를 거치도록 했습니다.² 초안, 수정 이력, 구술 설명을 함께 보면 판단이 훨씬 분명해져요.

영어 글에서는 탐지기가 더 정확한가요?

영어에서도 단독 근거로 쓰기는 어렵습니다. 영어권 대학 여러 곳이 같은 이유로 탐지 기능을 껐어요. 자세한 내용은 Are AI detectors accurate?에 정리했습니다.

탐지기보다 먼저 확인할 것은 챗GPT로 쓴 과제, 탐지기보다 먼저 확인할 3가지에, 구술로 확인하는 방법은 수행평가 구술 설명, 학생에게 물어볼 질문 5가지에 정리해 두었습니다.

참고 자료

1. Park, Kim, Kim, Han(연세대학교), "KatFishNet: Detecting LLM-Generated Korean Text through Linguistic Feature Analysis", ACL 2025.
2. 교육부, 「대학 AI 활용 윤리 가이드라인」, 2026년 8월 배포, 27쪽. 배포 안내
3. Kang 외(고려대학교), "KoCheckGPT: 한국어 초거대언어모델 작성 글 판별기", 제35회 한글 및 한국어 정보처리 학술대회, 2023.
4. Minjun Shim, Baek Jeong(경희대학교), "Can People Detect AI-Generated Essays in Non-English Languages?", International Journal of Advanced Smart Convergence 14(1), 2025.
5. Roh, Kumar, Ngo, "LLM-Assisted Cheating Detection in Korean Language via Keystrokes", IEEE IJCB 2025 (arXiv 2507.22956).
6. 무하유 카피킬러, FAQ "직접 작성한 문서인데 왜 GPT킬러 표절률이 나오나요?", FAQ "GPT킬러 활용", 2025년 9월 24일.
7. 교육부, 수행평가 시, 인공지능(AI) 활용 관리 방안, 2025년 12월 23일 보도자료.
8. 고려대학교 학부대학, 「AI 활용 가이드라인」, 2025년 8월 25일.
9. 서울대학교, 「서울대학교 AI 가이드라인」, 2026년 1월 1일 제정.
10. 연세대학교, 「생성형 AI 활용 가이드라인」, 2024년 5월.
11. 김송현, 「[단독] 서울대, AI 탐지기 사용 중단…"부정행위 잡으려다 교육 놓쳐"」, 매일경제, 2026년 8월 30일.