Region 10의 K-12 고위험 텍사스 학업 준비 상태 평가 시험은 내용 개선이 필요했지만, 오직 Prometric AI만이 90,000개의 항목을 신속하게 비용 효율적으로 정리하고 정렬할 수 있었습니다.
배경
텍사스의 10지역 교육 서비스 센터(ESC)는 학생의 성공을 촉진하고 주 전역의 교육 환경을 형성하는 데 중요한 역할을 합니다. 20개의 다른 ESC와 파트너 관계를 맺고 있는 10지역은 120개의 공립 및 차터 학교 구역, 3,000개 이상의 학교, 그리고 900,000명 이상의 학생을 지원합니다. ESC는 600개의 학교 구역과 차터에서 사용하고, 5,000개 이상의 학교와 300만 명 이상의 학생이 이용하는 항목 은행인 TEKSbank를 생성하고 배포하며 지원합니다. 커리큘럼 개발과 교육 지원부터 리더십 훈련 및 특수 교육 서비스에 이르기까지, 10지역은 교육자를 지원하고, 학습 경험을 풍부하게 하며, 모든 배경과 능력을 가진 학생들에게 긍정적인 결과를 이끌어내기 위해 최선을 다하고 있습니다.
도전 과제
Region 10은 학생들이 고위험 시험인 텍사스 주 학업 준비도 평가(State of Texas Assessments of Academic Readiness, STAAR®)를 준비할 수 있도록 학교 구역을 위한 항목 은행인 TEKSbank를 발행합니다. 90,000개의 TEKSbank 시험 질문은 주의 교육 과정 기준인 텍사스 필수 지식 및 기술(Texas Essential Knowledge and Skills)에 정렬되어 있으며, Webb의 지식 깊이(Webb’s Depth of Knowledge, DOK) 및 Bloom의 분류학(Bloom’s Taxonomy)과 같은 다른 태그와도 일치합니다.
교육 트렌드가 변화하고 주에서 기준을 업데이트함에 따라, Region 10은 은행이 정렬되고 관련성이 있도록 많은 노력을 기울이고 있습니다.
내용이 주의 교육 과정 기준과 일치하고 다양한 난이도 수준을 포함하도록 보장하기 위해, Region 10은 매년 여러 정렬 프로젝트를 수행합니다. 계약자가 각 항목을 수동으로 분석하도록 고용됩니다. 일부 프로젝트는 각 12학년 수준에 대해 커리큘럼 전문가 한 명이 최대 2,000개 항목을 검토하도록 요구합니다. 이러한 검토 과정은 시간 소모가 클 뿐만 아니라, 수동 검토 과정은 업데이트된 항목 간의 정확성과 일관성 부족으로 이어졌습니다.
Region 10은 콘텐츠 정렬 유지를 위해 상당한 시간과 자원을 소비하고 있었으며, 콘텐츠 성장과 개선에 우선순위를 둘 시간이 거의 없었습니다. 기존 콘텐츠의 기준이나 태그를 업데이트하는 데 매년 $150,000를 지출하는 것은 드문 일이 아니었습니다. 이는 2023년에 기술 향상 항목(TEIs) 및 온라인 평가 도입으로 텍사스의 교육 환경이 중대한 변화를 겪으면서 더욱 중요해졌습니다. 이는 전통적인 평가 방법에서 벗어난 것이며, 교육자들에게 비판적 사고와 정교한 지식 시연을 강조하는 새로운 패러다임에 학생들을 준비시킬 것을 도전하게 했습니다. 교사를 지원하고 이 새로운 영역으로 이끌기 위해, Region 10은 20,000개의 고품질 TEI를 만드는 도전에 직면하게 되었습니다.
“Finetune은 K-12 콘텐츠와 기준에 대해 정말 잘 이해하고 있었습니다. 우리가 원하는 것에 대해 대화하는 것이 쉬웠습니다. 비록 우리가 그것을 설명하는 기술적인 AI 지식은 없었지만요.”
Jim Newhouse
전 지역 10 데이터 솔루션 부국장
파트너십 전략
Region 10은 새로운 파트너를 찾기 위해 달성하려는 네 가지 주요 목표를 처음으로 설명했습니다.
최신 주(state) 기준에 맞추기
지식 격차 식별
지식의 깊이(DOK) 할당 및 문화적 관련성을 가진 콘텐츠 업데이트
“우리는 AI를 인간이 프로그래밍하고, 인간이 감독하며, 인간이 분석하는 도구로 생각합니다.”
- Jim Newhouse, 전 Region 10 데이터 솔루션 보조 이사
ESC는 새로운 기술을 구현하여 관행을 간소화하기 전에 몇 가지 중요한 요소를 고려해야 했습니다:
프로세스 전반에 걸쳐 인간의 감독 유지 필요
콘텐츠의 지속적인 조정 및 개선
더 많은 질문을 향상하고 개발할 수 있도록 정렬 프로젝트의 시간을 줄임
Region 10은 2023년 3월 Prometric의 Finetune 팀과 연결되었습니다. Finetune은 ESC의 도전을 신속하게 이해하고, 항목 은행 및 학습 자료 전반에 걸쳐 심층 통찰력을 제공하는 콘텐츠 정렬을 위한 AI-인간 하이브리드 도구인 Finetune Catalog™의 구현 작업을 시작했습니다.
“카탈로그의 구현은 예상했던 6개월이 아닌 단 몇 주 만에 완료되었고, 필요한 계약자 수가 10명에서 단 3명으로 줄어들었습니다. Finetune Catalog를 사용하여 정렬 작업을 수행함으로써 시간과 비용을 절감하고 전체 생산성을 증가시켰습니다.”
Jim Newhouse
전 지역 10 데이터 솔루션 부국장
결과
지역 10은 Finetune에 시험 청사진, 기준, 항목 은행 등과 같은 학습 자료를 제공했습니다. Finetune은 이 콘텐츠를 사용하여 그들의 콘텐츠를 분석하고 Webb의 지식 깊이와 얼마나 잘 일치하는지를 확인하는 맞춤형 Catalog AI 모델을 구축했습니다. 첫 번째 정렬 후, Catalog는 96%의 정확도를 보고했으며, 이는 지역 10 팀을 흥분하고 미래의 콘텐츠 개발 및 개선에 대한 기대감으로 가득 차게 했습니다. 정렬 개선이 필요한 그 "짚더미 속의 바늘"은 수정 가능했으며, 그들은 이전보다 더 빠르고 저렴하며 정확하게 이를 할 수 있을 것입니다.
첫 번째 정렬의 정확성과 함께, ESC는 미래 평가 구축에 유용할 수 있는 근거를 제공받았습니다. 이 복잡한 근거는 그들이 평가 플랫폼을 통해 시험 제작자와 교사에게 제공할 수 있는 혁신적인 새로운 데이터 모음이 되었습니다.
이제 수학, 영어 언어 예술 및 독서(ELAR), 과학, 사회 과목을 포함하여 각 핵심 콘텐츠 영역당 약 100,000달러의 절약을 통해, 지역 10은 현재 항목 은행을 성장시키기 위해 새로운 콘텐츠 제작에 재투자할 수 있습니다. TEKSbank는 이제 25% (20,000) 최첨단 기술 강화 질문을 갖추고 있어, 더 깊은 지식 평가와 학생 기술의 더 정확한 평가를 제공합니다.