AI 시험문제 출제 - 프롬프트와 검토 체크리스트
AI 시험문제 출제는 챗GPT 같은 생성형 AI에게 평가문항과 채점기준의 초안을 만들게 하고, 교사가 성취기준 정합성과 사실성을 검증해 완성하는 작업 방식입니다. 이 글에는 교육부·교육청 공식 자료를 바탕으로 다듬은 프롬프트 2종과 출력 전 검토 체크리스트를 정리했습니다.
평가는 학생의 성적과 직결되는 만큼, 교육에서 AI를 쓰는 일 중에서도 특히 조심스러운 영역입니다. 역할 구분을 먼저 표로 정리했습니다.
AI에게 맡기는 일 | 교사가 검증하는 일 |
|---|---|
문항·채점 루브릭 초안 생성 | 성취기준·인지수준 정합성 |
매력적 오답·변형 문항 제작 | 사실 오류·할루시네이션 여부 |
채점 유의점·예시 답안 정리 | 편향 표현·정답 유일성·개인정보 |
AI 시험문제 출제, 어디까지 맡길 수 있을까요?
초안 생산은 AI에게, 최종 검증은 교사에게 둔다는 구분이 출발점입니다. 교육부와 시도교육청 가이드라인들은 생성형 AI를 일률적으로 금지하지 않되, 최종 판단과 기록의 주체는 교사라는 원칙을 일관되게 강조합니다.
서울특별시교육청 가이드라인도 AI가 제안하는 평가 피드백을 어디까지나 참고 자료로 규정합니다. 교실 적용 방법은 서울시교육청 AI 에듀테크 학교 가이드라인 글에 정리되어 있습니다. 실무에서는 산출물을 성취기준 정합성, 사실 오류, 편향 표현의 세 기준으로 검토하는 방식이 쓰입니다.
서·논술형 문항과 채점 루브릭, 한 세트로 받는 프롬프트
문항을 만든 직후 같은 대화에서 채점 루브릭을 이어 요청하면 문항·배점·채점기준이 정렬된 세트를 받을 수 있습니다. 이때 성취기준은 AI의 기억에 맡기지 않고 KICE 학생평가지원포털(stas.moe.go.kr)에서 코드와 진술을 복사해 붙여넣는 방식이 안전합니다. 포털에 탑재된 서·논술형 평가도구 예시와 대조하면 검증도 한곳에서 마칠 수 있습니다.
프롬프트: 서·논술형 문항 + 채점 루브릭 세트
역할: 너는 고등학교 [과목명] 평가문항 출제 전문가다.
맥락: 다음 성취기준과 성취수준을 측정한다. [stas.moe.go.kr에서 복사한 성취기준 코드와 진술 붙여넣기] 성취수준 B에 도달한 학생을 변별하는 것이 목표다.
형식: (1) 서술형 문항 1개(발문, 조건, 예상 답안 분량 명시) (2) 채점 루브릭 - 평가요소 3개를 정하고 각 요소마다 상(3점), 중(2점), 하(1점) 도달 기준을 관찰 가능한 행동 동사로 진술하라. 루브릭은 표가 아니라 요소별 줄글 목록으로 출력하라. (3) 채점 시 유의점 2~3가지.
제약: 상, 중, 하 진술이 서로 명확히 구별되게 하고 '적절히, 충분히' 같은 모호한 표현을 쓰지 마라. 답안 예시에는 학생 실명 대신 'A학생'처럼 익명만 쓰고 실제 학생의 정보는 포함하지 마라. 확실하지 않은 내용은 '교사 확인 필요'로 표시하라.
받은 루브릭은 상·중·하 진술이 충분히 구별되는지 살피게 됩니다. 역할·맥락·형식·제약으로 나누는 구조가 낯설다면 프롬프트 작성 기본기 글이 도움이 됩니다.
선택형 문항, 매력적 오답까지 받으려면
AI는 정답지는 잘 만들지만 오답지의 완성도는 떨어지는 경우가 많습니다. 학생의 오개념을 반영한 매력적 오답이 선택형 문항의 핵심인데, 그냥 맡기면 명백히 틀린 들러리 오답만 나오기 쉽습니다. 그래서 각 오답이 어떤 오개념을 노렸는지 근거를 함께 쓰게 하는 방법이 쓰입니다.
프롬프트: 선택형 문항 + 오답 설계 근거
역할: 너는 고등학교 [과목명] 객관식 문항 출제자다.
맥락: 측정할 성취기준은 [stas.moe.go.kr에서 복사한 코드와 진술 붙여넣기]이고, 묻고자 하는 인지수준은 [이해/적용/분석 중 하나]이다. 대상은 [학년]이다.
형식: 5지선다 문항 2개를 만들어라. 각 문항마다 (1) 발문 (2) 보기 5개 (3) 정답 (4) 각 오답지가 어떤 오개념이나 흔한 실수를 노렸는지 괄호 안에 근거를 적어라.
제약: 정답은 하나만 명확하게 하고, 보기들의 길이와 형식을 균질하게 만들어 길이로 정답이 드러나지 않게 하라. 학생이 실제로 헷갈릴 매력적 오답을 만들라. 지문과 보기에 실제 학생의 실명이나 개인정보를 넣지 말고(필요하면 ○○○, A학생으로 치환), 불확실한 내용은 '검증 필요'로 표시하라.
산출물을 받은 뒤에는 정답이 하나로 명확한지, 보기 길이가 균질한지, 묻고자 한 인지수준과 맞는지를 확인하게 됩니다.
개인정보 보호와 출력 전 검토 체크리스트
학생의 이름·학번·성적 같은 개인정보를 범용 AI 입력창에 넣지 않는 것이 기본 수칙입니다. 입력 내용이 저장·학습에 쓰일 수 있어 개인정보보호법 위반 소지가 생기기 때문입니다. 실명은 ○○○이나 'A학생'으로 치환하고, 제출 파일 메타데이터의 작성자명도 점검 대상입니다.
교육부는 2025년 12월 시도교육청과 함께 수행평가 시 인공지능(AI) 활용 관리 방안을 발표했습니다. AI 활용 범위 설정, 활용 과정 표기, 학생 유의 사항 안내, 평가 설계 방향, 개인정보보호의 5가지 영역으로 구성되며, 각 교육청이 이를 바탕으로 2026학년도 시도 학업성적관리 시행지침을 개정할 예정입니다. 평가 설계로는 수업 중 산출 과정 관찰, 학교·지역 맥락 반영처럼 AI가 대신 답하기 어려운 과제를 권합니다.
출력물은 학생에게 나가기 전 다음 다섯 가지를 통과하는지 확인하게 됩니다.
사실성 - 인명·연도·개념 정의·수식에 오류나 환각이 없는가
성취기준 정합성 - 묻고자 한 성취기준과 인지수준에 부합하는가
편향성 - 특정 성별·지역·학습수준을 비하하거나 일반화하는 표현이 없는가
변별력과 명확성 - 채점기준이 채점자 간 일관되게 적용될 만큼 구체적인가
개인정보와 저작권 - 지문에 실명·식별정보가 없는가, 인용 출처가 분명한가
같은 작업, 학교용 도구로 하면
위 방법으로 범용 AI에서도 좋은 초안을 만들 수 있습니다. 다만 매번 성취기준을 붙여넣고 프롬프트를 다시 쓰는 일, 개인정보가 섞이지 않는지 살피는 일, 대화창에 흩어진 결과물을 정리하는 일은 학기 내내 반복하기 번거로운 부분으로 남습니다.
학교용 AI 에듀테크인 교풀AI에는 이런 반복 작업을 양식 입력 형태로 단순화한 도구가 있습니다. 채점 루브릭 같은 작업을 정해진 입력칸에 채우는 방식으로 진행할 수 있어, 프롬프트를 매번 새로 쓰는 부담을 더는 데 참고하실 수 있습니다. 실제 활용 모습은 중학교 교사용 AI 분석적 루브릭 도구 활용 가이드에서 확인하실 수 있습니다.
자주 묻는 질문
AI가 만든 문항을 그대로 시험에 써도 되나요?
그대로 쓰기보다 검증을 거치는 쪽이 권장됩니다. 공식 가이드라인들은 AI 산출물을 참고 자료로 규정하며, 최종 확정과 기록의 책임은 교사에게 있습니다.
성취기준 코드를 AI에게 물어봐도 되나요?
권하기 어렵습니다. AI가 존재하지 않는 코드나 진술을 그럴듯하게 지어내는 경우가 있어, stas.moe.go.kr에서 직접 복사해 붙여넣는 방식이 안전합니다.
학생 답안을 AI에 넣어 채점을 도와달라고 해도 되나요?
이름·학번 등 식별정보를 지운 뒤 피드백 초안을 받는 사례는 있습니다. 다만 AI 피드백은 참고 자료일 뿐, 최종 채점과 기록의 책임은 교사에게 있습니다.
학생이 수행평가에서 AI를 쓰면 어떻게 관리하나요?
교육부 관리 방안은 허용 범위를 사전에 안내하고, 활용 시 AI 종류·입력한 질문·반영 방식·출처를 결과물에 표기하게 하는 방향을 제시합니다.
참고 자료
#AI시험문제출제 #평가문항제작 #챗GPT문제만들기 #서논술형평가 #채점루브릭 #선택형문항 #매력적오답 #수행평가 #성취기준 #학생평가지원포털 #프롬프트작성 #개인정보보호 #AI활용교육 #교사업무 #생성형AI