Succesverhalen/Texas Regio 10 Transformeert Onderwijs met Aangepaste AI
Texas Regio 10 Transformeert Onderwijs met Aangepaste AI
Region 10's K-12 high-stakes State of Texas Assessments of Academic Readiness-examen vereiste inhoudelijke verbeteringen, maar alleen Prometric AI kon snel de 90.000 items kosteneffectief verzamelen en afstemmen.
Achtergrond
Region 10 Education Service Center (ESC) in Texas speelt een cruciale rol in het bevorderen van het succes van studenten en het vormgeven van het onderwijslandschap in de staat. Als partner van twintig andere ESC's bedient Region 10 120 openbare en charterscholen, meer dan 3.000 scholen en meer dan 900.000 studenten in de staat Texas. De ESC creëert, distribueert en ondersteunt een itembank, TEKSbank, die wordt gebruikt door 600 schooldistricten en charterscholen, meer dan 5.000 scholen en meer dan 3 miljoen studenten. Van curriculumontwikkeling en onderwijsondersteuning tot leiderschapstraining en speciale onderwij diensten, Region 10 is toegewijd aan het versterken van educatoren, het verrijken van leerervaringen en het stimuleren van positieve resultaten voor studenten van alle achtergronden en vaardigheden.
De Uitdaging
Regio 10 publiceert een itembank, TEKSbank, voor schooldistricten om studenten voor te bereiden op het examen met hoge inzet, State of Texas Assessments of Academic Readiness (STAAR®). De 90.000 TEKSbank toetsvragen zijn afgestemd op de curriculumstandaarden van de staat, Texas Essential Knowledge and Skills, evenals andere tags zoals Webb’s Depth of Knowledge (DOK) en Bloom’s Taxonomy.
Naarmate onderwijs trends veranderen en de staat zijn standaarden bijwerkt, steekt Regio 10 veel moeite in het zorgen dat de bank afgestemd en relevant is.
Om ervoor te zorgen dat de inhoud in overeenstemming is met de curriculumstandaarden van de staat en verschillende niveaus van moeilijkheid bevat, voert Regio 10 meerdere afstemmingsprojecten per jaar uit. Aannemers worden ingehuurd om elk item handmatig te analyseren. Sommige projecten vereisen een enkele curriculumexpert voor elk van de 12 leerjaren om tot wel 2.000 items te beoordelen. Niet alleen zijn deze beoordelingsprocessen tijdrovend, maar het handmatige beoordelingsproces leidde ook tot een gebrek aan nauwkeurigheid en consistentie onder de bijgewerkte items.
Regio 10 gaf een aanzienlijk deel van de tijd en middelen uit aan het onderhouden van inhoudsafstemming, met weinig tijd om prioriteit te geven aan inhoudsgroei en verbetering. Het was niet ongebruikelijk om jaarlijks $150.000 uit te geven alleen om standaarden of tags op bestaande inhoud bij te werken. Dit werd nog belangrijker in 2023 toen het onderwijslandschap van Texas een aanzienlijke transformatie onderging met de introductie van technologie-verbeterde items (TEI's) en online beoordeling. Dit was een afwijking van traditionele beoordelingsmethoden en stelde docenten voor de uitdaging om studenten voor te bereiden op een nieuw paradigma dat kritisch denken en een geavanceerde demonstratie van kennis benadrukte. Om leraren te ondersteunen en hen in deze nieuwe frontier te leiden, stond Regio 10 voor de uitdaging om 20.000 hoogwaardige TEI's te creëren.
“Finetune had een echt goed begrip van K-12 content en de normen. Het was gemakkelijk om gesprekken met hen te voeren over wat we wilden, ook al hadden we niet de technische AI-kennis om het te beschrijven.”
Jim Newhouse
Voormalig Assistent Directeur van Gegevensoplossingen van Regio 10
Partnerschap Strategie
Regio 10 schetste aanvankelijk vier primaire doelen die ze probeerden te bereiken door een nieuwe partner te zoeken.
Zorg voor afstemming op de nieuwste staatsnormen
Identificeer kennishiaten
Wijs diepte van kennis (DOK) toe Werk inhoud bij met culturele relevantie
“We beschouwen AI als een hulpmiddel dat is geprogrammeerd door mensen, gecontroleerd door mensen, en geanalyseerd door mensen.”
- Jim Newhouse, Voormalig Assistent Directeur Dataoplossingen van Regio 10
De ESC moest ook verschillende belangrijke factoren overwegen voordat ze begonnen met de implementatie van nieuwe technologie om de praktijken te stroomlijnen:
Een behoefte om menselijke controle gedurende het hele proces te behouden
Constante aanpassing en perfectionering van de inhoud
Verminder de tijd van afstemmingsprojecten om meer tijd toe te staan voor het verbeteren en ontwikkelen van meer vragen
Regio 10 nam in maart 2023 contact op met het Finetune-team van Prometric. Finetune begreep snel de uitdagingen van de ESC en begon te werken aan de implementatie van Finetune Catalog™, een AI-mens hybride hulpmiddel voor inhoudsafstemming met diepgaande inzichten in itembanken en leermaterialen.
“De implementatie van Catalog heeft slechts enkele weken geduurd in plaats van de verwachte zes maanden en het aantal benodigde aannemers is verminderd van tien naar slechts drie. Het gebruik van Finetune Catalog voor het uitvoeren van afstemtaken heeft tijd en geld vrijgemaakt en de algehele productiviteit verhoogd.”
Jim Newhouse
Voormalig Region 10 Assistent Directeur van Gegevensoplossingen
Outcome
Regio 10 heeft Finetune voorzien van leermaterialen zoals examen blauwdrukken, standaarden, vraagbanken en meer. Finetune heeft deze inhoud genomen en een op maat gemaakt Catalog AI-model gebouwd dat zou werken om hun inhoud te analyseren en te zien hoe goed het in lijn was met Webb’s Depth of Knowledge. Na de eerste afstemming meldde Catalog een nauwkeurigheid van 96%, wat het team van Regio 10 enthousiast en optimistisch maakte voor de toekomstige ontwikkeling en verbetering van hun inhoud. Die “naalden in de hooiberg” die verbetering in afstemming nodig hadden, waren op te lossen, en ze zouden het sneller, goedkoper en nauwkeuriger kunnen doen dan ooit tevoren.
Samen met de nauwkeurigheid van de eerste afstemming, kreeg de ESC een rationale die nuttig zou zijn bij het opbouwen van toekomstige beoordelingen. De complexe rationale is een transformerende nieuwe verzameling gegevens geworden die ze kunnen aanbieden aan toetsbouwers en docenten via het beoordelingsplatform.
Nu, met besparingen van ongeveer $100.000 per kerninhoudgebied, inclusief wiskunde, Engelse taalvaardigheden en lezen (ELAR), wetenschap en sociale studies, kan Regio 10 opnieuw investeren in het produceren van nieuwe inhoud om hun huidige vraagbank uit te breiden. TEKSbank is nu uitgerust met 25% (20.000) geavanceerde, technologie-verbeterde vragen, die een diepere kennisbeoordeling en een nauwkeurigere evaluatie van studentvaardigheden bieden.
