미리보기
미리듣기
LLM과 음성 인식, 멀티모달 기술이 서논술·구술 평가를 어떻게 바꾸는지 195편의 최신 연구를 토대로 분석한다. 자동 채점의 성능뿐 아니라 타당성·공정성·편향·인간 감독과 거버넌스를 함께 다룬다. 생성형 AI와 함께 쓰고 말하는 시대, 정답과 결과물을 넘어 인간의 사고와 이해를 어떻게 평가할 것인지 묻는다.
서논술과 구술은 같은 구성ᐨ반응 평가지만, 평가자가 넘어야 할 문턱은 서로 다르다. 글은 지면에 고정되어 있어, 평가자는 다시 읽거나 밑줄을 긋고 비교하며 판단을 다듬을 수 있다. 그래서 글의 핵심은 해석의 깊이에 있다. 논증의 비약을 알아채고 근거가 탄탄한지 가늠하는 일은, 어휘나 문법 같은 표면적인 요소를 검토하는 일과는 다르다. 반면, 말의 기준은 성격이 다르다. 한 구술형 연구가 언급한 바와 같이, 발화는 일시적이고 소리로만 존재해 붙잡아 두고 되짚으며 개별 피드백을 주기가 유난히 어렵다. 교사들이 말하기 지도를 버거워한 나머지 교실의 말하기 평가가 뒷전으로 밀린다는 지적도 있고, 반대로 대규모 시험에 말하기 평가가 더해지자 교실의 말하기 연습이 늘었다는 관찰도 있다. 즉, 평가가 사라지면 연습도 사라질 수 있다. 시험이 거꾸로 교육의 내용을 규정하는 일종의 환류 효과다.
－01_“서논술·구술 평가” 중에서
구술형 AI 평가는 채용을 비롯한 다양한 평가 맥락으로도 확장되었다. 지원자의 영상과 음성, 텍스트를 함께 분석하는 시도가 상용화 수준에서 다뤄지고, 민감 정보 수집이 제한되는 환경에서도 집단 간 형평성을 지키려는 보정 장치가 연구되어 왔다(Putra et al., 2024). 발화 기반 평가가 채용이라는 고부담 결정의 영역까지 들어온 만큼, 정확도만이 아니라 공정성과 투명성의 설계가 강조된다. 그 질문에 기술이 내놓는 답이 공정성 알고리즘이고, 기술만으로 닿지 못하는 부분은 윤리와 제도가 맡는다.
－03_“구술형 AI 평가” 중에서
한 교실 내에서 모든 학습자에게 맞춤화된 좋은 피드백을 각각 주는 일은 교사 한 사람이 감당할 수 없는, 오래된 과제였다. 그러나 최신의 고도화된 AI 기술은 그동안 이론과 실험실에 머물던 논의를 상용화 수준으로 옮겨왔다. 다만 여전히 AI 피드백의 효과에는 명확한 조건과 한계가 존재한다. 이와 관련해 실험 연구 36편을 메타분석한 한 연구에 따르면, 생성형 AI 피드백이 학업 성취를 일정 수준으로 향상시킨 바는 확인되었지만, 주요한 효과는 도구가 아니라 교수 방법에 따라 나타났음을 보고했다. AI 피드백은 협력 및 자기주도 학습에서는 높은 효과를 보고한 반면, 일방향적 교수 방식에서는 그 효과가 사라졌고, 성과의 유형에 따라서도 편차가 있었다. 인지적 성취에서 가장 컸고, 메타인지에서는 가능성은 보였으나 근거가 부족했으며 동기 같은 비인지 영역에서는 미미했다. 그렇다면 남는 질문은 그 수업을 어떻게 설계하느냐다.
－06_“학습 분석과 피드백” 중에서
국내의 AI 거버넌스 또한 선제적으로 추진되며, 권고 수준의 자율 가이드라인 논의에 머물지 않고 다음 단계로 접어들었다. 2026년 1월 시행된 인공지능기본법은 유럽연합에 이어 포괄적 AI 규율 체계를 갖춘 선진 사례로, 사람의 생명과 신체의 안전, 기본권에 중대한 영향을 미치는 고영향 인공지능을 별도로 규정한 바 있다. 채용과 교육이 그 범주에 포함되면서 AI 평가는 국내에서도 법적 규율의 대상이 되었다. 사업자에게는 설명 방안의 수립과 시행, 안전성·신뢰성 확보 조치의 문서 작성과 보관이 책무로 부과된다. 다만 영향 평가는 성격이 다르다. 기본법은 이를 사전에 실시하도록 노력할 것을 요구하고, 국가기관 등이 영향 평가를 거친 제품을 우선 고려하도록 하는 유인을 언급해 두었다.
－09_“AI 평가 거버넌스” 중에서
교보문고: