德克薩斯州第10區用定制化AI改變教育

第10區的K-12高風險德克薩斯州學業準備評估考試需要內容改進,但只有Prometric AI能夠快速且具成本效益地儲存和對齊90,000項目。

Transforming Education with the Power of Customized AI Solutions

背景

德克薩斯州第10區教育服務中心(ESC)在促進學生成功和塑造全州教育環境方面扮演著至關重要的角色。作為其他20個ESC的合作夥伴,第10區服務於120個公立和特許學校學區、超過3,000所學校以及超過900,000名學生。該ESC創建、分發和支持一個題庫TEKSbank,該題庫被600個學校學區和特許學校、超過5,000所學校以及超過300萬名學生使用。從課程開發和教學支持到領導力培訓和特殊教育服務,第10區致力於賦能教育工作者、豐富學習體驗並為各種背景和能力的學生帶來積極的成果。

挑戰

第10區發布了一個題庫,TEKSbank,供學區使用,以幫助學生為高風險考試——德克薩斯州學業準備評估(STAAR®)做好準備。這90,000道TEKSbank測試題目與州的課程標準德克薩斯州基本知識和技能相一致,並標記了其他標籤,如韋伯的知識深度(DOK)和布魯姆的分類法。

隨著教育趨勢的變化和州標準的更新,第10區付出了大量努力,以確保題庫的一致性和相關性。

為了確保內容符合州的課程標準並包含不同難度級別,第10區每年進行多個對齊項目。雇用承包商手動分析每個項目。一些項目需要每個12年級的單一課程專家審查多達2,000個項目。這些審查過程不僅耗時,而且手動審查過程導致更新項目之間缺乏準確性和一致性。

第10區在維護內容對齊方面花費了大量時間和資源,幾乎沒有時間優先考慮內容的增長和改進。每年花費150,000美元僅用於更新現有內容上的標準或標籤並不罕見。在2023年,德克薩斯州的教育環境發生了重大變化,引入了技術增強項目(TEIs)和在線評估,這一點變得尤為重要。這是對傳統評估方法的一次偏離,挑戰教育工作者準備學生迎接一個強調批判性思維和知識高級表現的新範式。為了支持教師並引導他們進入這一新前沿,第10區面臨著創建20,000個高品質TEIs的挑戰。

“Finetune 對 K-12 內容和標準有很好的理解。即使我們沒有技術性的 AI 知識來描述我們想要的內容,與他們進行對話也很容易。”

Jim Newhouse

前區域10數據解決方案助理主任

夥伴策略

第10區最初列出了四個主要目標,旨在通過尋找新夥伴來實現這些目標。

  • 確保符合最新的州標準
  • 識別知識差距
  • 指定知識深度 (DOK) 更新具文化相關性的內容

“我們把人工智慧視為一種由人類編程、由人類監督和由人類分析的工具。”

- Jim Newhouse, 前第10區數據解決方案助理主任

ESC在開始實施新技術以簡化實踐之前,還需要考慮幾個重要因素:

  • 在整個過程中需要保持人類監督
  • 不斷調整和完善內容
  • 減少對齊項目的時間,以便有更多時間來增強和發展更多問題

第10區於2023年3月與Prometric的Finetune團隊取得了聯繫。Finetune迅速理解了ESC面臨的挑戰,並開始實施Finetune Catalog™,這是一種兼具人工智慧和人類的混合工具,用於內容對齊並提供有關題庫和學習材料的深入見解。

“Catalog 的實施僅花了幾週的時間,而不是預計的六個月,並且將所需的承包商人數從十人減少到僅三人。使用 Finetune Catalog 來完成對齊任務節省了時間和金錢,並提高了整體生產力。”

Jim Newhouse

前區域 10 數據解決方案助理主任

結果

第10區為Finetune提供了學習材料,例如考試藍圖、標準、題庫等。Finetune利用這些內容建立了一個定制的Catalog AI模型,該模型用於分析他們的內容並查看其與Webb的知識深度的對齊程度。在第一次對齊後,Catalog報告的準確率達到96%,讓第10區的團隊對未來內容的發展和改進感到興奮和樂觀。那些需要對齊改進的“針”是可以修正的,他們將能比以往更快、更便宜、更精確地完成這項工作。

除了第一次對齊的準確性外,ESC還提供了一個在未來評估建設中將有用的理由。這個複雜的理由已經成為一個變革性的數據新集合,他們能夠通過評估平台提供給考試建設者和教師。

現在,在每個核心內容領域(包括數學、英語語言藝術和閱讀(ELAR)、科學和社會研究)節省約$100,000的情況下,第10區可以重新投資於製作新內容,以增長其當前的題庫。TEKSbank現在配備了25%(20,000)尖端的技術增強問題,這提供了更深入的知識評估和對學生技能的更準確評估。

下載成功故事