Histoires de réussite/Texas Region 10 transforme l'éducation avec une IA personnalisée
Texas Region 10 transforme l'éducation avec une IA personnalisée
L'examen de l'État du Texas sur l'évaluation de la préparation académique K-12 de la région 10 nécessitait des améliorations de contenu, mais seul Prometric AI pouvait rapidement stocker et aligner les 90 000 éléments de manière rentable.
Contexte
Le Centre de services éducatifs de la région 10 (ESC) au Texas joue un rôle crucial dans la promotion du succès des élèves et dans la façonner le paysage éducatif à travers l'État. En tant que partenaire de vingt autres ESC, la région 10 dessert 120 districts scolaires publics et charters, plus de 3 000 écoles et plus de 900 000 élèves à travers l'État du Texas. L'ESC crée, distribue et soutient une banque d'articles, TEKSbank, qui est utilisée par 600 districts scolaires et charters, plus de 5 000 écoles, et plus de 3 millions d'élèves. Du développement de programmes d'études et du soutien pédagogique à la formation en leadership et aux services d'éducation spécialisée, la région 10 s'engage à autonomiser les éducateurs, à enrichir les expériences d'apprentissage et à favoriser des résultats positifs pour les élèves de tous horizons et de toutes capacités.
Le Défi
La région 10 publie une banque d'items, TEKSbank, pour les districts scolaires afin d'aider à préparer les élèves à l'examen à enjeux élevés, les évaluations académiques de l'État du Texas (STAAR®). Les 90 000 questions d'examen de TEKSbank sont alignées sur les normes du programme de l'État, les Connaissances et Compétences Essentielles du Texas, ainsi que sur d'autres balises comme la profondeur des connaissances de Webb (DOK) et la taxonomie de Bloom.
Alors que les tendances éducatives évoluent et que l'État met à jour ses normes, la région 10 consacre beaucoup d'efforts à s'assurer que la banque est alignée et pertinente.
Pour garantir que le contenu soit en accord avec les normes du programme de l'État et contienne divers niveaux de difficulté, la région 10 réalise plusieurs projets d'alignement par an. Des contractuels sont engagés pour analyser chaque item manuellement. Certains projets nécessitent un expert en curriculum pour chacun des 12 niveaux de classe afin de passer en revue jusqu'à 2 000 items. Non seulement ces processus de révision sont chronophages, mais le processus de révision manuel a conduit à un manque de précision et de cohérence parmi les items mis à jour.
La région 10 dépensait un montant significatif de temps et de ressources pour maintenir l'alignement du contenu, avec peu de temps pour prioriser la croissance et l'amélioration du contenu. Il n'était pas rare de dépenser 150 000 $ par an juste pour mettre à jour les normes ou les balises sur le contenu existant. Cela est devenu encore plus important en 2023 lorsque le paysage éducatif du Texas a subi une transformation significative avec l'introduction d'items améliorés par la technologie (TEIs) et l'évaluation en ligne. Cela marquait une rupture avec les méthodes d'évaluation traditionnelles et mettait au défi les éducateurs de préparer les élèves à un nouveau paradigme qui mettait l'accent sur la pensée critique et une démonstration sophistiquée des connaissances. Pour soutenir les enseignants et les guider dans cette nouvelle frontière, la région 10 était confrontée au défi de créer 20 000 TEIs de haute qualité.
“Finetune avait une très bonne compréhension du contenu K-12 et des normes. Il était facile d'avoir des conversations avec eux sur ce que nous voulions même si nous n'avions pas les connaissances techniques en IA pour le décrire.”
Jim Newhouse
Ancien directeur adjoint des solutions de données de la région 10
Stratégie de Partenariat
La région 10 a initialement défini quatre objectifs principaux qu'elle essayait d'atteindre en recherchant un nouveau partenaire.
Assurer l'alignement aux dernières normes de l'État
Identifier les lacunes de connaissance
Attribuer une profondeur de connaissance (DOK) Mettre à jour le contenu avec une pertinence culturelle
“Nous considérons l'IA comme un outil programmé par des humains, supervisé par des humains et analysé par des humains.”
- Jim Newhouse, Ancien Directeur Adjoint des Solutions de Données de la Région 10
Le ESC devait également prendre en compte plusieurs facteurs importants avant de commencer la mise en œuvre de nouvelles technologies pour rationaliser les pratiques :
Un besoin de maintenir une supervision humaine tout au long du processus
Ajustement constant et perfectionnement du contenu
Réduire le temps des projets d'alignement pour permettre plus de temps pour améliorer et développer plus de questions
La région 10 a contacté l'équipe Finetune de Prometric en mars 2023. Finetune a rapidement compris les défis de l'ESC et a commencé à travailler à la mise en œuvre de Finetune Catalog™, un outil hybride IA-humain pour l'alignement de contenu avec des insights approfondis à travers les banques d'items et les matériaux d'apprentissage.
"L'implémentation de Catalog n'a pris que quelques semaines au lieu des six mois prévus et a réduit le nombre de sous-traitants nécessaires de dix à seulement trois. L'utilisation de Finetune Catalog pour réaliser des tâches d'alignement a libéré du temps et de l'argent et a augmenté la productivité globale."
Jim Newhouse
Ancien directeur adjoint des solutions de données de la région 10
Résultat
La région 10 a fourni à Finetune des matériaux d'apprentissage tels que des plans d'examen, des normes, des banques d'items, et plus encore. Finetune a pris ce contenu et a construit un modèle d'IA Catalog sur mesure qui travaillerait à analyser leur contenu et à voir dans quelle mesure il était aligné avec la profondeur de connaissance de Webb. Après le premier alignement, Catalog a rapporté un taux de précision de 96 %, laissant l'équipe de la région 10 excitée et optimiste pour le développement futur et l'amélioration de leur contenu. Ces "aiguilles dans une botte de foin" qui nécessitaient une amélioration de l'alignement étaient réparables, et ils seraient en mesure de le faire plus rapidement, moins cher et plus précisément que jamais auparavant.
En plus de la précision du premier alignement, l'ESC a reçu un raisonnement qui serait utile dans la construction des évaluations futures. Le raisonnement complexe est devenu une nouvelle collection de données transformative qu'ils peuvent fournir aux concepteurs de tests et aux enseignants via la plateforme d'évaluation.
Maintenant, avec des économies d'environ 100 000 $ par domaine de contenu de base, y compris les mathématiques, les arts de la langue anglaise et la lecture (ELAR), les sciences et les études sociales, la région 10 peut réinvestir dans la production de nouveau contenu pour développer sa banque d'items actuelle. TEKSbank est désormais équipé de 25 % (20 000) de questions à la pointe de la technologie, ce qui fournit une évaluation des connaissances plus approfondie et une évaluation plus précise des compétences des élèves.
