Erfolgsgeschichten/Texas Region 10 verwandelt Bildung mit maßgeschneiderter KI
Texas Region 10 transformiert Bildung mit maßgeschneideter KI
Die K-12-Prüfung der Region 10, die von den State of Texas Assessments of Academic Readiness durchgeführt wird, erforderte Inhaltsverbesserungen, aber nur Prometric AI konnte die 90.000 Elemente schnell und kosteneffektiv erfassen und ausrichten.
Hintergrund
Das Region 10 Education Service Center (ESC) in Texas spielt eine entscheidende Rolle bei der Förderung des Schülererfolgs und der Gestaltung der Bildungslandschaft im gesamten Bundesstaat. Als Partner von zwanzig anderen ESCs bedient Region 10 120 öffentliche und Charter-Schulbezirke, über 3.000 Schulen und mehr als 900.000 Schüler im Bundesstaat Texas. Das ESC erstellt, verteilt und unterstützt eine Materialbank, TEKSbank, die von 600 Schulbezirken und Charter-Schulen, über 5.000 Schulen und mehr als 3 Millionen Schülern genutzt wird. Von der Lehrplanentwicklung und Unterrichtsunterstützung bis hin zu Führungsschulungen und Dienstleistungen für Sonderpädagogik engagiert sich Region 10 dafür, Pädagogen zu stärken, Lernerfahrungen zu bereichern und positive Ergebnisse für Schüler aller Hintergründe und Fähigkeiten zu fördern.
Die Herausforderung
Region 10 veröffentlicht eine Fragenbank, TEKSbank, für Schulbezirke, um Schüler auf die anspruchsvolle Prüfung, State of Texas Assessments of Academic Readiness (STAAR®), vorzubereiten. Die 90.000 TEKSbank-Testfragen sind auf die Lehrplanstandards des Staates, Texas Essential Knowledge and Skills, sowie auf andere Tags wie Webbs Depth of Knowledge (DOK) und Blooms Taxonomie ausgerichtet.
Da sich die Bildungsrichtlinien ändern und der Staat seine Standards aktualisiert, investiert Region 10 viel Mühe, um sicherzustellen, dass die Bank ausgerichtet und relevant ist.
Um sicherzustellen, dass die Inhalte mit den Lehrplanstandards des Staates übereinstimmen und verschiedene Schwierigkeitsgrade enthalten, führt Region 10 jährlich mehrere Abstimmungsprojekte durch. Auftragnehmer werden eingestellt, um jedes Element manuell zu analysieren. Einige Projekte erfordern einen einzelnen Curriculum-Experten für jede der 12 Klassenstufen, um bis zu 2.000 Elemente zu überprüfen. Diese Überprüfungsprozesse sind nicht nur zeitaufwendig, sondern der manuelle Überprüfungsprozess führte auch zu einem Mangel an Genauigkeit und Konsistenz unter den aktualisierten Elementen.
Region 10 gab einen erheblichen Teil seiner Zeit und Ressourcen für die Aufrechterhaltung der Inhaltsanpassung aus, mit wenig Zeit, um das Wachstum und die Verbesserung der Inhalte zu priorisieren. Es war nicht ungewöhnlich, jährlich 150.000 US-Dollar nur für die Aktualisierung von Standards oder Tags auf bestehenden Inhalten auszugeben. Dies wurde 2023 noch wichtiger, als sich die Bildungslandschaft von Texas mit der Einführung von technologieunterstützten Elementen (TEIs) und Online-Bewertungen erheblich veränderte. Dies stellte eine Abkehr von traditionellen Bewertungsmethoden dar und stellte die Pädagogen vor die Herausforderung, die Schüler auf ein neues Paradigma vorzubereiten, das kritisches Denken und eine anspruchsvolle Demonstration von Wissen betonte. Um die Lehrer zu unterstützen und sie in diese neue Grenze zu führen, sah sich Region 10 der Herausforderung gegenüber, 20.000 hochwertige TEIs zu erstellen.
“Finetune hatte ein wirklich gutes Verständnis für K-12-Inhalte und die Standards. Es war einfach, mit ihnen über das zu sprechen, was wir wollten, auch wenn wir nicht das technische KI-Wissen hatten, um es zu beschreiben.”
Jim Newhouse
Ehemaliger stellvertretender Direktor für Datenlösungen der Region 10
Partnerschaftsstrategie
Region 10 skizzierte zunächst vier Hauptziele, die sie durch die Beschaffung eines neuen Partners erreichen wollten.
Sicherstellen der Übereinstimmung mit den neuesten staatlichen Standards
Identifizierung von Wissenslücken
Zuordnung der Tiefe des Wissens (DOK) Aktualisierung des Inhalts mit kultureller Relevanz
„Wir betrachten KI als ein Werkzeug, das von Menschen programmiert, von Menschen überwacht und von Menschen analysiert wird.“
- Jim Newhouse, ehemaliger stellvertretender Direktor für Datenlösungen bei Region 10
Die ESC musste auch mehrere wichtige Faktoren berücksichtigen, bevor sie mit der Implementierung neuer Technologien zur Optimierung der Praktiken begann:
Notwendigkeit, menschliche Aufsicht während des gesamten Prozesses aufrechtzuerhalten
Ständige Anpassung und Perfektionierung des Inhalts
Reduzierung der Zeit für Abstimmungsprojekte, um mehr Zeit für die Verbesserung und Entwicklung weiterer Fragen zu ermöglichen
Region 10 trat im März 2023 mit dem Finetune-Team von Prometric in Kontakt. Finetune verstand schnell die Herausforderungen der ESC und begann mit der Implementierung von Finetune Catalog™, einem KI-menschlichen Hybridwerkzeug zur Inhaltsabstimmung mit tiefgreifenden Einblicken in Item-Banken und Lernmaterialien.
„Die Implementierung von Catalog dauerte nur wenige Wochen statt der geplanten sechs Monate und reduzierte die Anzahl der benötigten Auftragnehmer von zehn auf nur drei. Die Verwendung von Finetune Catalog zur Durchführung von Abstimmungsaufgaben hat Zeit und Geld eingespart und die Gesamtproduktivität gesteigert.“
Jim Newhouse
Ehemaliger stellvertretender Direktor der Datenlösungen der Region 10
Ergebnis
Region 10 stellte Finetune Lernmaterialien wie Prüfungsrahmen, Standards, Fragenbanken und mehr zur Verfügung. Finetune nahm diesen Inhalt und entwickelte ein maßgeschneidertes Catalog AI-Modell, das dazu dient, ihren Inhalt zu analysieren und zu sehen, wie gut er mit Webbs Depth of Knowledge übereinstimmte. Nach der ersten Abstimmung berichtete Catalog von einer Genauigkeitsrate von 96%, was das Team von Region 10 begeistert und optimistisch für die zukünftige Entwicklung und Verbesserung ihrer Inhalte zurückließ. Diese „Nadeln im Heuhaufen“, die eine Verbesserung der Abstimmung benötigten, waren reparierbar, und sie würden in der Lage sein, dies schneller, kostengünstiger und präziser als je zuvor zu tun.
Neben der Genauigkeit der ersten Abstimmung erhielt die ESC eine Begründung, die nützlich sein würde für den Aufbau zukünftiger Bewertungen. Die komplexe Begründung ist zu einer transformierenden neuen Sammlung von Daten geworden, die sie Testentwicklern und Lehrern über die Bewertungsplattform zur Verfügung stellen können.
Jetzt, mit Einsparungen von rund 100.000 US-Dollar pro Kerninhaltsbereich, einschließlich Mathematik, Englischsprache und -literatur (ELAR), Naturwissenschaften und Sozialwissenschaften, kann Region 10 wieder in die Produktion neuer Inhalte investieren, um ihre aktuelle Fragenbank auszubauen. TEKSbank ist nun mit 25% (20.000) hochmodernen, technologieverbesserten Fragen ausgestattet, was eine tiefere Wissensbewertung und eine genauere Bewertung der Schülerfähigkeiten ermöglicht.
