대학생 AI 역량 향상이란: 교육부 AI 기본교육 성과지표의 정의와 평가 방법

Cognity

2026년 11월 4일17분 분량

그래프와 도넛 차트가 붙은 보드 앞에서 서류를 들고 추이를 설명하는 사람의 일러스트

교육부 문서를 모아 보면, 대학생 AI 역량은 AI의 원리를 이해하고, AI를 일상과 전공에서 학습 도구로 쓰고, 윤리적·비판적으로 활용하는 기본 능력입니다.¹ ² 「대학 AI 기본교육과정 개발 지원사업」은 이 역량이 얼마나 나아졌는지를 핵심성과지표 “AI 교육과정 수강 학생의 AI 역량 향상 정도”로 묻지만, 무엇으로 재는지는 정하지 않았어요.¹ 원리에 대한 지식은 시험으로 잴 수 있고, 활용과 판단은 학생이 실제 과제에서 AI를 쓰는 모습으로 봐야 합니다. 향상은 학기 중 과제에서 AI를 써 보고 피드백을 받고 다시 해 보는 사이에 생기므로, 그 과정이 기록돼 있어야 확인할 수 있어요.

그래서 이 글은 정부 문서가 말하는 세 요소를 수업에서 보이는 행동으로 풀고, 1회성 시험·설문과 학기 중 과제 기록을 비교한 뒤, 성과지표에 쓸 측정 설계표까지 정리했어요.

정부가 말하는 대학생 AI 역량은 무엇인가요?

정부 문서는 AI 역량을 한 문장으로 정의하지 않고 세 가지 요소로 나눠 씁니다. AI가 어떻게 작동하는지에 대한 이해, AI를 학습과 전공에 쓰는 기초 활용능력, 그리고 AI를 윤리적·비판적으로 쓰는 판단입니다. 사업 추진계획은 대학생이 “AI의 원리, 윤리적·비판적 활용 등에 대한 체계적 교육 없이” 이미 AI를 쓰고 있다고 짚고, AI 기초 교양이 “윤리·비판적사고 및 기초 활용능력”을 갖추게 하라고 합니다.¹ 「모두를 위한 AI 인재양성 방안」도 대학의 AI 기본 교육을 “AI 기본 소양”으로, 학교의 리터러시 교육을 “이해와 활용 역량”과 “AI 윤리”로 설명해요.²

세 요소를 수업에서 보이는 행동으로 풀면 재는 방법이 달라집니다.

정부 문서의 표현	수업에서 보이는 행동	재는 방법
AI의 원리 이해	AI가 답을 만드는 방식, 한계와 편향을 설명할 수 있다	퀴즈, 지식 시험
기초 활용능력, 전공에서 학습 도구로 활용	과제의 어느 부분을 AI에 맡길지 정하고, 목표와 맥락을 담아 요청하고, 부족한 답은 다시 요청한다	학기 중 과제 기록
비판적 활용	AI가 든 근거와 수치를 다른 자료로 확인하고, 맞지 않는 답은 고치거나 버린다	학기 중 과제 기록
윤리적 활용	개인정보를 넘기지 않고, AI를 어디에 썼는지 밝히고, 확인하지 못한 한계를 적는다	학기 중 과제 기록

활용과 판단은 학생이 과제에서 AI를 실제로 쓰는 모습을 봐야 알 수 있습니다. Cognity에서는 학생이 과제 안에서 AI 튜터 Jello와 대화하며 글을 쓰고, 제출하면 그 대화와 글을 바탕으로 AI 활용 역량 카드가 만들어져요. 학생과 교수가 같은 카드를 보고, 무엇을 잘했고 다음 과제에서 무엇을 해 볼지 확인합니다. 무료로 바로 써 볼 수 있어요. 무료로 시작하기

Cognity 검토 화면 활동 탭의 AI 활용 역량 카드. 학생이 Jello와 협업한 방식을 정리한 단락과 위임·설명·분별·성실 네 항목의 수준이 보인다 — 김서연 학생이 대학글쓰기 과제를 내고 받은 AI 활용 역량 카드입니다. 교수 화면에도 같은 카드가 보여요. 근거와 한국 적용의 한계를 먼저 물은 점이 정리돼 있고, Jello가 제안한 근거를 글에 쓰고도 그 도움을 밝히지 않아 성실 수준이 낮게 나왔어요.

정부 문서에 없는 세부 기준은 국제 기준으로 채울 수 있어요. OECD와 유럽연합 집행위원회(EC)가 만든 AI 리터러시 기준 AILit은 역량을 AI와 관계 맺기(Engage), AI로 만들기(Create), AI 관리하기(Manage), AI 설계하기(Shape) 네 영역으로 나눕니다.¹⁰ 초·중등 학생을 위한 기준이지만, 몇 년 뒤 대학에 들어올 학생들이 이 기준으로 배운다는 점에서 참고할 만합니다. 위 네 항목(Cognity PAIR)도 AILit에 맞춰 정리했어요.

“AI 역량 향상 정도”는 누가, 언제 보고하나요?

2026년 사업에는 80개교가 지원해 20곳이 선정됐고, 2년간 매년 교당 3억 원 이내를 받습니다.³ 성과는 공통 핵심성과지표와 대학별 자율성과지표로 분기마다 점검하고, 실적보고서로 사업 연장 여부를 심사해요.¹ 사업 전담기구는 교수학습개발센터나 교육혁신원이 맡을 수 있어서, 이 지표의 근거를 모으는 일은 대개 이 부서로 옵니다.¹ 선정되지 않은 대학도 같은 질문을 받아요. 거점국립대 9곳은 “AI 기본교육 필수 이수체계”를, SW중심대학과 AI중심대학은 “전교생 AI 기초교육 의무화”를 실시할 예정이고,¹ 아주대처럼 AI 리터러시를 교양필수로 정한 대학도 있습니다.⁴

1회성 시험과 설문으로는 왜 AI 역량 향상을 확인하기 어렵나요?

둘 다 한 시점을 잴 뿐, 학기 동안 학생이 무엇을 연습했고 어떤 피드백으로 바뀌었는지는 담지 못하기 때문입니다.

	자기보고 설문	1회성 AI 역량 시험	학기 중 과제 기록
근거	학생의 자기 평가	시험 과제 하나의 수행	과제마다 AI와 나눈 대화와 제출한 글
학기 중 연습	없음	없음	수업 과제가 곧 연습
피드백	없음	시험 뒤 결과 리포트 1회	과제마다 학생이 역량 카드와 서술 피드백을 받음
향상의 근거	사전·사후 점수 차이	두 번 응시한 점수 차이	지도 방향이 다음 과제에서 반영됐는지
맞는 쓰임	학생 인식·만족도	취업 준비, 직무 역량 확인	교과 성과, 형성평가

설문은 학생이 자신감을 얻었는지는 알려 주지만 실제로 잘 쓰게 됐는지는 알려 주지 못해요. 대학생 대상 수행형 시험(GLAT)을 만든 연구에서 시험 점수는 자기 평가보다 생성형 AI 과제 수행을 더 잘 예측했고,⁵ 자기보고와 객관식 측정의 상관이 낮다는 연구도 잇따라 나왔습니다(두 편 모두 동료 심사 전).⁶ ⁷

1회성 AI 역량 시험은 실제 수행을 봅니다. 정해진 시간 동안 AI와 함께 실무형 과제를 풀고 결과 리포트를 받는 방식으로, 대학 취업지원센터가 졸업생과 구직 청년에게 쓰는 사례가 늘고 있어요.⁸ ⁹ 특정 시점의 수행을 확인하기에는 맞지만, 학기 초와 말에 두 번 치러 점수가 올랐다면 그 사이 수업에서 무엇이 효과가 있었는지는 시험이 알려 주지 않습니다. 시험과 시험 사이에 학생이 연습하고 피드백을 받는 과정이 기록되지 않기 때문이에요.

학기 중 과제에서 AI 역량을 어떻게 키우고 기록하나요?

과제 하나가 ‘연습 → 항목별 피드백 → 다음 과제에서 다시 해 보기’의 한 바퀴가 되도록 운영하고, 바퀴마다 근거를 기록합니다. Cognity에서는 이렇게 돌아가요.

연습. 학생은 과제 안에서 Jello와 대화하며 내 생각 · 작성하기 · 발전시키기 · 제출하기 단계로 과제를 합니다. Jello는 교수가 정한 AI 튜터 지침대로 돕고, 글을 대신 써 달라는 요청에는 “학업 윤리 — AI에 대필 요청” 플래그가 붙어요.
역량 카드와 서술 피드백. 제출하면 학생과 교수 모두 앞에서 본 AI 활용 역량 카드를 봅니다. 학생이 Jello와 어떻게 협업했는지, 다음에는 무엇을 더 해 보면 좋을지를 한 단락의 서술 피드백으로 쓰고, 위임·설명·분별·성실 네 항목의 수준을 시작 단계부터 주도적까지 보여 줘요. 학생은 과제를 낼 때마다 자기 AI 활용을 이 카드로 돌아봅니다.
근거와 지도 방향. 학생 리포트에서는 항목마다 하위 요소를 충족·부분 충족·미충족으로 판정하고, 판정마다 학생의 대화나 글에서 원문을 인용해 붙입니다. 인용할 문장이 없으면 “관찰 기회 없음”으로 두고, 수준은 이 판정들을 정해진 규칙으로 합쳐 계산해요. 항목 끝에는 다음 과제에서 해 볼 지도 방향이 붙습니다.

Cognity 학생 리포트의 분별 항목. 핵심 사실 검증, 근거 있는 검토, 적절한 신뢰, 통합 네 하위 요소의 판정과 학생 대화·글에서 가져온 인용, 지도 방향이 보인다 — 같은 학생 리포트의 분별 항목입니다. 미국 연구를 한국 대학에 적용할 수 있는지 따진 질문은 “근거 있는 검토 · 충족”의 근거로, 수용률 자료를 찾겠다고만 하고 원문을 대조하지 않은 점은 “핵심 사실 검증 · 부분 충족”으로 기록됐어요. 아래는 그 항목에 붙은 지도 방향입니다.

교수 코멘트. 교수는 학생 리포트의 “최종 피드백”에 코멘트를 더할 수 있어요. 지도 방향 가운데 이번 학생에게 가장 필요한 한 가지를 골라 짚어 주면, 학생은 카드의 서술 피드백과 함께 받습니다.
다시 해 보기. 다음 과제의 역량 카드와 학생 리포트에서 그 항목이 달라졌는지 확인합니다. 김서연 학생이라면 “핵심 사실 검증”이 부분 충족에서 충족으로 바뀌었는지, 즉 Jello가 든 자료의 원문을 직접 확인했는지가 다음 과제에서 볼 지점이에요.

이 바퀴가 학기 동안 서너 번 돌면, 성과지표의 “향상 정도”는 두 점수의 차이가 아니라 ‘어떤 피드백을 받고 어떤 항목이 나아졌는지’로 설명할 수 있습니다. 대학 과제에는 기대치를 맞춰 적용해요. 핵심 사실 검증은 학술 자료와 1차 문헌 확인까지, AI 사용 공개는 대학의 AI 정책과 인용 규범에 맞춘 명시까지 봅니다.

대학에서 Cognity를 어떻게 쓰는지는 대학을 위한 Cognity에서 볼 수 있습니다.

다음 수업에서 무료로 Cognity 과제를 사용해 보세요

학기 초 과제부터 학기 말 과제까지 Cognity로 내 보면, 피드백을 받은 학생이 다음 과제에서 어떻게 달라지는지 확인할 수 있어요. 무료로 부담 없이 써 보시고, 학교 단위 도입이나 학교 로그인 연동은 도입 문의로 상담해 주세요.

무료로 시작하기 · 도입 문의

성과지표 “AI 역량 향상 정도”는 어떻게 설계하나요?

학기 초 과제의 역량 수준을 출발점으로 잡고, 과제마다 피드백을 준 뒤, 학기 말 과제에서 같은 항목을 다시 보는 구조로 설계합니다. 학기 초와 말 과제는 성격을 비슷하게 맞춰야 난이도가 아니라 역량의 차이가 보여요.

측정 설계표(AI 기초 교양 1개 과목 기준)

시점	과제	교수가 하는 일	성과지표에 쓰는 값
3~4주차	짧은 글(입장 정하기, 근거 찾기)	학생은 역량 카드를 받고, 교수는 지도 방향 하나를 코멘트로 짚음	학기 초 항목별 수준 분포
6~7주차	자료를 찾아 쓰는 과제	지난 피드백 항목이 나아졌는지 확인 후 다음 피드백	피드백 받은 항목의 변화(자율성과지표)
10~11주차	반론을 다루는 과제	같은 방식	같은 방식
13~14주차	학기 초와 성격이 같은 과제	최종 피드백	학기 말 항목별 수준 분포, 학생별 향상 비율
학기 내내	모든 과제	강좌 리포트 확인	AI 활용 방식 중 전체 대필 비율의 변화

Cognity 리포트 강좌 개요의 AI 활용 방식. 구상, 다듬기, 교정, 전체 대필의 비율이 막대와 숫자로 보인다 — 리포트 › 강좌 개요의 AI 활용 방식입니다. 기간을 정하면 그 기간 학생들이 AI에게 구상, 다듬기, 교정, 전체 대필 중 무엇을 요청했는지 메시지 빈도로 보여 줘요.

여러 교수가 같은 교양 과목을 나눠 맡는다면 과제 설명과 루브릭부터 맞추세요. Cognity에서는 과제 설명에 “Jello와 나눈 대화도 평가합니다”를 적고 루브릭 화면에서 AI 제안을 누르면, 대화 요건이 들어간 기준 초안이 만들어져요. 교수가 학생 대화를 직접 읽는 법은 학생 AI 대화 기록 읽는 법에 정리했습니다.

이 방식으로 재지 못하는 것은 무엇인가요?

세 가지는 과제 기록으로 재지 못합니다.

지식과 설계. AI가 어떻게 작동하는지, 어떤 편향이 있는지 같은 지식과 AI를 직접 설계하는 역량은 대화에 잘 드러나지 않아요. AILit의 AI 설계 영역(Shape AI)이 여기에 해당합니다. 퀴즈나 산출물 평가를 함께 쓰세요.
다른 창에서 쓴 AI. 학생이 과제 밖의 AI를 쓰면 그 대화는 기록되지 않습니다. 과제를 낼 때 쓰는 곳을 함께 안내하세요.
고부담 결정. PAIR는 다음 단계를 안내하는 형성평가입니다. 성적은 교수가 루브릭으로 정하고, PAIR 수준은 교과 성과와 피드백의 근거로 씁니다.

자주 묻는 질문

AI 기본교육 사업에 선정되지 않은 대학도 이 지표를 신경 써야 하나요?

사업 지표는 선정 대학에만 적용됩니다. 다만 거점국립대와 SW·AI중심대학은 AI 기초교육 필수화가 예정돼 있고, 자체적으로 교양필수를 정한 대학도 늘고 있어요.¹ ⁴ 필수 과목의 성과를 설명해야 하는 질문은 같습니다.

설문이나 시험은 쓰지 말아야 하나요?

함께 쓰면 됩니다. 설문은 학생 인식과 만족도를, 시험은 특정 시점의 수행을 보여 줘요. 학기 중 무엇이 효과가 있었는지는 과제 기록으로 설명합니다.

취업지원센터에서 쓰는 1회성 AI 역량 시험과 겹치지 않나요?

쓰임이 다릅니다. 1회성 시험은 졸업을 앞둔 학생의 직무 역량을 확인하고, 과제 기록은 교과에서 역량을 기르는 과정을 보여 줘요.

교수 부담은 얼마나 늘어나나요?

과제를 Cognity 안에서 내면, 학생은 제출 뒤 역량 카드와 서술 피드백을 바로 받습니다. 교수는 필요한 학생에게만 지도 방향을 골라 코멘트를 더하면 돼요. 하위 요소 판정과 인용은 제출 뒤 자동으로 정리됩니다.

AILit은 대학용 기준인가요?

초·중등 학생을 위한 기준입니다. 국제적으로 합의된 AI 리터러시 정의 가운데 가장 최근 것이고, 앞으로 대학에 들어올 학생들이 이 기준으로 배운다는 점에서 참고했어요.¹⁰

참고 자료

교육부·한국대학교육협의회, 「2026년 대학 인공지능(AI) 기본교육과정 개발 지원사업 추진계획」, 2026년 2월 24일, 2~4·9쪽. 교육부 공고
교육부, 「모두를 위한 인공지능(AI) 인재양성 방안」 브리핑, 2025년 11월 10일. korea.kr
정책브리핑, 「2026년 AI 기본교육과정 개발 20개교 신규 선정」, 2026년 4월 27일. korea.kr / 머니투데이, 「AI 기본교육과정 개발 대학 20곳 신규 선정...연간 3억 지원」, 2026년 4월 23일(80개교 지원). mt.co.kr
아주대학보, 「아주대, 2026학년도부터 ‘AI 리터러시’ 교양필수 지정」. press.ajou.ac.kr
Jin, Y., Martinez-Maldonado, R., Gašević, D., & Yan, L. (2025). GLAT: The Generative AI Literacy Assessment Test. Computers and Education: Artificial Intelligence, 9, 100436. doi.org/10.1016/j.caeai.2025.100436
Zhang, S. 외 (2026). How to Assess AI Literacy: Misalignment Between Self-Reported and Objective-Based Measures. arXiv 2601.06101(프리프린트). arxiv.org
Veri', D. (2026). Beyond AI Literacy: A Structured Review and Exploratory Meta-Analysis of Measures for Competent Generative-AI Use. arXiv 2609.15624(프리프린트). arxiv.org
한국경제, 「AI 진짜 쓸 줄 아나…CJ도 눈독 들인 80분 시험 뭐길래」, 2026년 10월 22일. hankyung.com / ZDNet Korea, 2026년 10월 22일. zdnet.co.kr
싱글리스트, 「캐치X원광대, 직무역량검사·유튜브라이브 취업 지원 프로그램 운영」. slist.kr / 매일일보, 「성신여대, 졸업생·지역 청년 대상 ‘AX 직무역량검사’ 무료 운영」. m-i.kr
OECD & European Commission, Empowering Learners for the Age of AI: An AI Literacy Framework for Primary and Secondary Education. ailiteracyframework.org, 2026년 10월 28일 확인.