Historias de Éxito/Texas Región 10 Transforma la Educación con IA Personalizada
Texas Región 10 Transforma la Educación con IA Personalizada
La evaluación de preparación académica del Estado de Texas de K-12 de la Región 10 requería mejoras en el contenido, pero solo Prometric AI pudo almacenar y alinear rápidamente los 90,000 ítems de manera rentable.
Antecedentes
El Centro de Servicios Educativos de la Región 10 (ESC) en Texas juega un papel fundamental en la promoción del éxito estudiantil y en la configuración del panorama educativo en todo el estado. Como socio de otros veinte ESCs, la Región 10 sirve a 120 distritos escolares públicos y charter, más de 3,000 escuelas y más de 900,000 estudiantes en todo el estado de Texas. El ESC crea, distribuye y apoya un banco de ítems, TEKSbank, que es utilizado por 600 distritos escolares y charters, más de 5,000 escuelas y más de 3 millones de estudiantes. Desde el desarrollo curricular y el apoyo instruccional hasta la capacitación en liderazgo y los servicios de educación especial, la Región 10 está comprometida a empoderar a los educadores, enriquecer las experiencias de aprendizaje y generar resultados positivos para estudiantes de todos los orígenes y habilidades.
El Desafío
La Región 10 publica un banco de ítems, TEKSbank, para los distritos escolares para ayudar a preparar a los estudiantes para el examen de alto riesgo, Evaluaciones del Estado de Texas de Preparación Académica (STAAR®). Las 90,000 preguntas de prueba de TEKSbank están alineadas con los estándares del currículo del estado, Conocimientos y Habilidades Esenciales de Texas, así como con otras etiquetas como la Profundidad de Conocimiento (DOK) de Webb y la Taxonomía de Bloom.
A medida que las tendencias educativas cambian y el estado actualiza sus estándares, la Región 10 pone mucho esfuerzo para asegurarse de que el banco esté alineado y sea relevante.
Para garantizar que el contenido esté alineado con los estándares del currículo del estado y contenga varios niveles de dificultad, la Región 10 lleva a cabo múltiples proyectos de alineación por año. Se contratan a expertos para analizar manualmente cada ítem. Algunos proyectos requieren un solo experto en currículo para cada uno de los 12 niveles de grado para revisar hasta 2,000 ítems. No solo estos procesos de revisión son que consumen tiempo, sino que el proceso de revisión manual llevó a una falta de precisión y consistencia entre los ítems actualizados.
La Región 10 estaba gastando una cantidad significativa de tiempo y recursos en mantener la alineación del contenido, con poco tiempo para priorizar el crecimiento y la mejora del contenido. No era raro gastar $150,000 anualmente solo para actualizar estándares o etiquetas en el contenido existente. Esto se volvió aún más importante en 2023 cuando el panorama educativo de Texas experimentó una transformación significativa con la introducción de ítems mejorados tecnológicamente (TEIs) y evaluación en línea. Esto fue un alejamiento de los métodos de evaluación tradicionales y desafió a los educadores a preparar a los estudiantes para un nuevo paradigma que enfatizaba el pensamiento crítico y una demostración sofisticada del conocimiento. Para apoyar a los docentes y guiarlos hacia esta nueva frontera, la Región 10 se enfrentó al desafío de crear 20,000 TEIs de alta calidad.
“Finetune tenía una muy buena comprensión del contenido K-12 y los estándares. Era fácil tener conversaciones con ellos sobre lo que queríamos, aunque no teníamos el conocimiento técnico de IA sobre cómo describirlo.”
Jim Newhouse
Anterior Director Asistente de Soluciones de Datos de la Región 10
Estrategia de Asociación
La Región 10 inicialmente delineó cuatro objetivos principales que estaban tratando de alcanzar al buscar un nuevo socio.
Asegurar la alineación con los últimos estándares estatales
Identificar brechas de conocimiento
Asignar profundidad de conocimiento (DOK) Actualizar contenido con relevancia cultural
“Pensamos en la IA como una herramienta que es programada por humanos, supervisada por humanos y analizada por humanos.”
- Jim Newhouse, Ex Director Asistente de Soluciones de Datos de la Región 10
El ESC también necesitaba considerar varios factores importantes antes de comenzar la implementación de nueva tecnología para optimizar prácticas:
La necesidad de mantener supervisión humana durante todo el proceso
Ajuste y perfeccionamiento constante del contenido
Reducir el tiempo de los proyectos de alineación para permitir más tiempo para mejorar y desarrollar más preguntas
La Región 10 se conectó con el equipo de Finetune de Prometric en marzo de 2023. Finetune entendió rápidamente los desafíos del ESC y comenzó a trabajar en la implementación de Finetune Catalog™, una herramienta híbrida de IA-humano para la alineación de contenido con información detallada a través de bancos de ítems y materiales de aprendizaje.
“La implementación de Catalog tomó solo unas pocas semanas en lugar de los seis meses proyectados y redujo el número de contratistas necesarios de diez a solo tres. Usar Finetune Catalog para realizar tareas de alineación ha liberado tiempo y dinero y ha aumentado la productividad general.”
Jim Newhouse
Antiguo Director Asistente de Soluciones de Datos de la Región 10
Resultado
La Región 10 proporcionó a Finetune materiales de aprendizaje como planos de examen, estándares, bancos de ítems y más. Finetune tomó este contenido y construyó un modelo de IA de Catálogo personalizado que trabajaría para analizar su contenido y ver qué tan bien se alineaba con la Profundidad de Conocimiento de Webb. Después de la primera alineación, el Catálogo reportó una tasa de precisión del 96%, dejando al equipo de la Región 10 emocionado y optimista por el desarrollo y la mejora futuros de su contenido. Esos “agujas en un pajar” que necesitaban mejora en la alineación eran solucionables, y podrían hacerlo más rápido, más barato y más precisamente que nunca.
Junto con la precisión de la primera alineación, se proporcionó al ESC una justificación que sería útil en la construcción de futuras evaluaciones. La compleja justificación se ha convertido en una nueva colección transformadora de datos que pueden suministrar a los creadores de pruebas y maestros a través de la plataforma de evaluación.
Ahora, con ahorros de alrededor de $100,000 por área de contenido central, incluyendo matemáticas, artes del lenguaje inglés y lectura (ELAR), ciencias y estudios sociales, la Región 10 puede reinvertir en la producción de nuevo contenido para hacer crecer su banco de ítems actual. TEKSbank ahora está equipado con 25% (20,000) preguntas de vanguardia mejoradas tecnológicamente, lo que proporciona una evaluación de conocimientos más profunda y una evaluación más precisa de las habilidades de los estudiantes.
