학생 AI 대화 기록 읽는 법: AI에게 묻는 학생, AI에게 시키는 학생
「대학 AI 활용 윤리 가이드라인」 이후 레포트와 함께 프롬프트, 화면 캡처, AI 활용 보고서 같은 AI 활용 내역을 받는 강의가 늘었어요.¹ 받은 내역에서 볼 것은 AI를 얼마나 썼는지보다 학생이 AI에게 무엇을 묻고 무엇을 시켰는지입니다. 자기 주장을 먼저 내놓고 근거와 반론을 물은 학생은 자기 생각을 AI로 점검한 것이고, 과제 문장을 통째로 넘겨 완성된 글을 받아 간 학생은 과제를 AI에게 시킨 것이에요.
Cognity는 학생이 AI와 함께 과제를 하는 과정을 기록하는 AI 가시화 도구입니다. 이 글에서는 AI에게 묻는 대화와 AI에게 시키는 대화를 가르는 신호를 예시와 함께 정리하고, 이를 루브릭 기준 하나로 바꾸는 방법까지 담았어요. Cognity는 무료로 시작할 수 있어요. 무료로 시작하기
학생의 AI 대화 기록에서 무엇을 봐야 하나요?
학생이 AI에게 묻고 있는지, 시키고 있는지를 봅니다. 학생이 자기 생각을 내놓고 AI에게 확인과 설명을 받으면 묻는 대화, 과제를 넘기고 결과물을 받아 가면 시키는 대화입니다. 가르는 기준은 두 가지예요. 대화가 학생 자신의 생각에서 출발했는지, 마지막 결정을 학생이 내렸는지입니다. Cognity에서는 학생이 과제 안에서 AI 튜터 Jello와 나눈 대화가 단계별로 기록돼, 이 두 가지를 학생별로 바로 확인할 수 있어요.
이 구분은 학습 결과와도 이어집니다. 유럽 대학생의 프로그래밍 학습을 본 연구에서 연습 문제의 풀이를 AI에게 맡긴 학생은 다룬 주제는 늘었지만 주제마다 이해도가 낮아졌고, 설명을 청한 학생은 이해도가 높아졌어요.² 대학생의 AI 대화 57만여 건을 분석한 보고서에서는 약 47%가 깊이 관여하지 않고 답이나 결과물만 구하는 대화였습니다.³
같은 AI, 같은 과제라도 어떻게 물었는지에 따라 이해도가 달라지는 셈이에요. AI를 썼는지 가려내는 탐지기는 이 차이를 보여 주지 못합니다. 한국어 글에서 탐지기가 얼마나 맞는지는 AI 탐지기 정확도, 한국어 글에서는 얼마나 맞을까에, 서울대가 탐지기를 끊은 이유는 서울대 AI 탐지기 중단, 우리 대학도 따라야 할까에 정리해 두었어요.
가이드라인은 AI 활용 내역을 어떻게 다루나요?
교수는 AI 활용 과정의 공개를 요구할 수 있고, 가이드라인이 든 공개 내용 예시에 프롬프트가 들어 있습니다.¹ (10~11쪽)
가이드라인이 예로 든 공개 내용은 여섯 가지예요.¹ (11쪽)
- 사용 도구
- 사용 단계(과정의 어느 부분)
- 프롬프트
- 생성물을 어떻게 재구성했는지
- AI를 활용한 학습 과정에 대한 소감
- AI 출력 화면 캡처
여기에 AI 활용 과정·방법·기여도를 적은 'AI 활용 보고서'를 선택 항목으로 받을 수 있고(23쪽), 과제 평가 기준에 "AI 활용 여부, 활용 방식"을 넣으라고 했습니다(22쪽).¹ 무엇을 받을지는 정해졌지만, 받은 프롬프트를 어떻게 읽을지는 가이드라인에 없어요. 아래 신호는 그 빈칸을 채우기 위한 것입니다. 내역을 어떤 방식으로 받을지는 학생 AI 활용 내역 제출받는 법에서 다섯 가지 방법으로 비교했어요.
AI 대화 기록을 따로 받지 않고 보려면 어떻게 하나요?
신호를 읽으려면 대화가 빠짐없이 기록돼 있어야 합니다. 학생이 따로 붙여 낸 캡처나 보고서는 학생이 고른 장면이고, 다른 창에서 나눈 대화는 빠져요. 수강생이 많으면 파일을 모으는 일만으로도 시간이 듭니다.
AI와 대화하는 곳과 글을 쓰는 곳을 하나로 모으면 대화가 과제 안에서 기록돼요. Cognity에서 학생은 과제 안에서 AI 튜터 Jello와 대화하며 내 생각 · 작성하기 · 발전시키기 · 제출하기 단계로 과제를 합니다. 교수는 학생별로 대화 · 활동 · 루브릭 탭에서 그 과정을 확인할 수 있어요. 아래 신호 예시마다 실제 화면을 함께 넣었어요.
활동 탭의 저작률 “이 글이 어디서 왔나”에서는 최종 글을 글자 기준으로 학생이 직접 작성 · AI 사용 · 복사·붙여넣기로 나눠 볼 수 있어요. Jello의 발화와 20자 이상 연속으로 겹치는 부분을 AI 사용으로 셉니다. 대화 탭에서 읽은 내용이 최종 글의 어디로 이어졌는지 함께 확인할 수 있습니다.
Cognity는 확률 점수를 내지 않고, 가이드라인이 말하는 프롬프트와 AI 활용 과정을 학생이 따로 정리한 자료 대신 실제 대화로 보여 줘요. 대학 수업에서 쓰는 방법은 대학을 위한 Cognity에서 볼 수 있어요.
AI에게 묻는 대화는 어떤 모습인가요?
학생이 자기 생각을 먼저 내놓고, AI의 답을 따져 묻고, 마지막에 스스로 고르는 대화입니다. 아래 학생의 말은 이해를 돕기 위해 만든 예시이고, 대학글쓰기 수업의 논증문 과제 「기숙사 거주가 1학년 학업 성취에 미치는 영향」을 기준으로 했어요.
AI에게 묻는 대화의 신호 5가지
| 신호 | 학생이 AI에게 한 말(예시) | 이렇게 읽으세요 |
|---|---|---|
| 1. 자기 주장을 먼저 내놓는다 | "제 주장은 '기숙사에 살면 1학년 성적이 오른다'예요. 이 문장을 인과로 쓰기에 근거가 약한 부분이 어디인지 짚어 주세요." | 출발점이 학생의 생각입니다. AI는 검토자 역할을 해요 |
| 2. 근거와 출처를 확인한다 | "방금 말한 연구가 실제 논문인지, 표본이 어느 나라 대학생인지 확인할 수 있게 저자와 연도를 알려 주세요." | 가이드라인이 학생에게 요구하는 검증(18쪽)을 대화 안에서 하고 있어요 |
| 3. 반론을 청한다 | "이 주장에 가장 강한 반론 하나만 들어 주세요. 제가 둘째 문단에서 답할 수 있는지 보려고요." | 반론을 피하지 않고 글 안에서 답하려는 학생입니다 |
| 4. 개념과 이유를 묻는다 | "기숙사 신청자의 특성에서 생기는 선택 편향이 여기서 왜 문제인지, 예를 들어 설명해 주세요." | 답이 아니라 설명을 청했어요. 무엇을 모르는지 학생이 알고 있습니다 |
| 5. AI의 답을 고르고 버린다 | "두 번째 제안은 제 논지와 맞지 않아서 빼겠습니다. 첫 번째는 제 문장으로 다시 써 볼 테니 논리만 봐 주세요." | 마지막 결정을 학생이 내렸고, 그 이유까지 대화에 적혀 있어요 |
다섯 가지가 모두 나올 필요는 없어요. 한 대화에서 두세 가지가 이어진다면, 그 학생은 AI에게 묻고 판단은 스스로 하고 있는 것입니다.
Cognity 대화 탭에서는 실제로 이렇게 보여요.
Cognity의 “AI 활용 역량” 카드는 이 신호를 학생별로 정리해 보여 줘요. 학생이 Jello와 어떻게 협업했는지를 문장으로 적고, 위임·설명·분별·성실 네 항목의 수준을 표시합니다. 항목별 평가 근거는 카드 아래 링크의 학생 리포트에서 볼 수 있어요.
AI에게 시키는 대화는 어떤 모습인가요?
과제의 판단을 AI에게 넘기고 결과물만 받아 가는 대화입니다. 같은 과제에서 이런 모습으로 나타나요.
AI에게 시키는 대화의 신호 5가지
| 신호 | 학생이 AI에게 한 말(예시) | 이렇게 읽으세요 |
|---|---|---|
| 1. 과제 문장을 통째로 넘긴다 | "다음 조건에 맞춰 1,500자 논증문 써 줘. [과제 안내문 붙여넣기]" | 학생의 생각이 대화에 한 번도 나오지 않아요 |
| 2. 완성된 문단을 요구한다 | "서론 한 문단 완성해 줘. 학술적인 문체로." | 무엇을 쓸지가 아니라 다 쓴 글을 청했습니다 |
| 3. 근거를 만들어 달라고 한다 | "이 주장을 뒷받침하는 통계랑 논문 세 개 넣어 줘." | 확인하지 않은 출처가 글에 들어갈 수 있어요. 가이드라인도 검색되지 않는 참고문헌을 짚습니다(26쪽) |
| 4. 결정을 넘긴다 | "찬성이랑 반대 중에 뭐로 쓰는 게 점수 받기 좋아?" | 논증문의 핵심인 입장 선택을 AI가 했어요 |
| 5. 다듬기만 반복한다 | "더 자연스럽게." "조금 더 매끄럽게." "한 번만 더." | AI에게 묻는 말이 없습니다. 학생이 직접 고친 문장도 없어요 |
같은 과제를 Cognity에서 낸 박준호 학생은 첫 단계에서 Jello에게 “기숙사 의무 입사 찬성하는 레포트 1500자로 써주세요”라고 했고, 최종 글 601자는 모두 붙여넣기로 들어왔어요.
한 줄로 판정하지 마세요. 가이드라인도 이런 징후만으로 부정행위로 볼 수 없고 결과물과 정황을 함께 봐야 한다고 했어요.¹ (26쪽) 서론을 받아 본 뒤 자기 문장으로 다시 쓰는 학생도 있으니, 한 줄이 아니라 대화의 흐름을 보세요. 이 신호는 판정의 근거가 아니라 피드백할 곳을 찾는 표시입니다.
다음 수업에서 무료로 Cognity 과제를 사용해 보세요
다음 레포트 과제를 Cognity로 내면 학생이 Jello와 나눈 대화가 단계별로 기록되고, 학생은 제출 뒤 AI 활용 역량 카드를 받아요. 무료로 부담 없이 써 보세요.
수강생이 많을 때는 어디부터 읽나요?
대화 전체를 처음부터 읽지 말고 세 지점만 보세요. 학생 한 명의 기록에서 이해한 곳과 막힌 곳이 가장 잘 드러나는 곳이에요.
- 첫마디: 학생의 생각으로 시작했는지, 과제 문장으로 시작했는지 봅니다.
- AI가 반론이나 오류를 내놓은 직후: 학생의 다음 말이 이해한 곳과 막힌 곳을 가릅니다. 반박하거나 주장을 좁혔다면 이해한 것이고, 같은 질문을 되풀이하거나 "그럼 그냥 고쳐 줘"로 넘어갔다면 그곳이 막힌 곳이에요.
- 최종 글과 겹치는 곳: AI가 제안한 내용이 글의 어디에 들어갔고, 학생이 무엇을 버렸는지 봅니다.
가이드라인이 말하는 "중간 산출 단계" 검토(25쪽)와 "단계별 산출물 검토" 같은 정성적 검토(9쪽)를 프롬프트 기록으로 하는 방법이기도 해요.¹
Cognity에서는 대화 탭이 내 생각 · 작성하기 · 발전시키기 · 제출하기 단계로 나뉘어 있어, 학생의 첫마디는 “내 생각” 단계 맨 앞에서 바로 찾을 수 있어요. 활동 탭에서는 AI에 대필을 요청한 대화에 플래그가 붙어 있어, 그 대화부터 읽으면 됩니다.
AI 대화를 루브릭 기준 하나로 만들려면 어떻게 하나요?
기존 루브릭에 “AI와 함께 생각한 과정” 기준 하나를 더하고, 과제를 내기 전에 학생에게 공개하세요. 가이드라인은 AI 활용을 고려한 평가 기준을 미리 학생에게 공유하라고 합니다.¹ (24쪽)
루브릭 기준: AI와 함께 생각한 과정
| 수준 | 기술 |
|---|---|
| 4 우수 | 자기 주장이나 초안을 먼저 제시하고 AI에게 근거·반론을 따져 묻는다. AI 제안을 고르거나 버린 이유가 대화나 글에 드러나고, 핵심 문장은 학생이 직접 썼다. |
| 3 충분 | 개념이나 근거를 묻는 질문이 있고 주요 결정을 학생이 내렸다. AI 답의 확인은 한두 곳에 그친다. |
| 2 부족 | AI에게 한 말이 주로 요약·문장 다듬기 요청이다. AI의 답을 확인하지 않고 쓴 곳이 있다. |
| 1 미흡 | 과제 문장을 넘겨 완성된 글을 받았고, 학생의 판단이 대화와 글 어디에도 보이지 않는다. |
과제 안내문에는 이렇게 적어 두면 돼요.
이 과제는 AI 사용을 허용합니다. AI에게 무엇을 물었는지도 평가합니다. 답을 받아 가는 대화보다, 내 생각을 먼저 말하고 근거와 반론을 따져 묻는 대화가 높은 점수를 받습니다.
배점은 논증·근거·글쓰기 같은 기존 기준과 나란히 두고, 수업 목표에 맞게 정하세요. AI 사용을 금지한 과제라면 이 기준은 쓰지 않습니다.
Cognity에서는 이 기준을 처음부터 쓰지 않아도 됩니다. 위 안내문을 과제 설명에 넣고 루브릭 화면에서 AI 제안을 누르면, 설명에 적힌 대로 기준 초안이 만들어져요. 저희가 “Jello와 나눈 대화도 평가합니다. AI에게 무엇을 묻고, AI의 답을 어떻게 판단했는지를 봅니다”라는 문장으로 세 번 시험해 보니, 세 번 모두 “내용과 아이디어” 기준의 수준마다 Jello에게 한 질문과 답변 판단이 들어갔습니다. 초안을 위 표에 맞게 고쳐 쓰면 됩니다.
읽은 기록은 피드백과 과제 설계에 어떻게 쓰나요?
학생에게는 대화에서 짚은 한 지점을 피드백으로 돌려주고, 수업 전체에서 막힌 곳은 다음 수업과 다음 과제에 반영하세요.
- 학생별 피드백 한 줄: "세 번째 질문에서 반론을 직접 청한 덕분에 둘째 문단이 단단해졌어요." "선택 편향을 두 번 물었는데 글에는 반영되지 않았어요. 다음 수업 자료를 참고해 보세요." 점수만 받을 때보다 학생이 다음에 무엇을 물어야 할지 알 수 있어요.
- 수업 전체에서 막힌 곳: 여러 학생이 같은 개념을 되풀이해 물었다면, 설명이 더 필요한 곳은 학생이 아니라 수업이에요. 다음 수업 앞부분에서 그 개념을 다시 다루면 됩니다.
- 다음 과제 설계: AI에게 시키는 대화가 많았다면 과제가 요약이나 개념 정리에 가까웠을 수 있어요. 가이드라인은 이런 과제를 지양하고 "AI의 응답만으로 해결이 어려운 복합적이고 심층적인 질문"을 내라고 합니다.¹ (22~23쪽) 레포트 과제를 바꾸는 방법은 챗GPT 시대, 대학 레포트 과제는 어떻게 바뀔 수 있을까요?에 정리했어요.
자주 묻는 질문
학생에게 프롬프트 전체를 제출하라고 해도 되나요?
됩니다. 가이드라인은 교수가 AI 활용 과정의 공개를 요구할 수 있고 공개 내용도 교수가 정할 수 있다고 했으며, 그 예시에 프롬프트가 들어 있습니다.¹ (10~11쪽) 요구한다면 강의계획서에 적고 첫 수업에서 말로도 설명하세요. 학생에게 AI 활용 내역을 받는 양식은 레포트 AI 활용 내역 표기법에 있습니다.
AI에게 시키는 대화가 보이면 부정행위인가요?
그것만으로는 아닙니다. 가이드라인은 징후만으로 부정행위로 간주할 수 없다고 했고, 판단 전에 면담이나 소명 절차로 충분한 소명 기회를 주도록 했습니다.¹ (9쪽, 26쪽) AI 사용을 허용한 과제라면 더욱 판정보다 피드백과 루브릭 점수로 다루는 편이 맞습니다.
AI 활용 보고서와 대화 기록은 둘 다 받아야 하나요?
쓰임이 다릅니다. 대화 기록은 학생이 실제로 무엇을 물었는지 보여 주고, AI 활용 보고서는 학생이 그 과정을 어떻게 돌아보는지 보여 줍니다. 가이드라인에서 보고서는 선택 항목이니(23쪽),¹ 수강생이 많다면 기록을 받고 보고서는 짧은 성찰 몇 줄로 줄이는 방법도 있습니다.
AI에게 답을 물어보는 것 자체가 나쁜 활용인가요?
아닙니다. 사실 확인이나 개념 정의를 묻는 질문은 공부의 일부입니다. 문제는 답을 받은 뒤 학생의 판단이 이어지지 않을 때이고, 연구에서도 같은 AI를 설명 요청에 쓴 학생은 이해도가 높아졌습니다.²
참고 자료
- 교육부·한국대학교육협의회, 「대학 AI 활용 윤리 가이드라인」, 2026년 8월 21일 발행, 9·10~11·18·22~26쪽. 배포 안내(서울대학교 학과 공지)
- Lehmann, Cornelius, Sting, "AI Meets the Classroom: When Do Large Language Models Harm Learning?", arXiv 2409.09047, 2025년 3월 개정판(동료 심사 전 논문).
- Anthropic, "Anthropic Education Report: How university students use Claude", 2025년 4월 8일.
