CompTIA 利用 Finetune AI 迅速擴展而不妥協品質

CompTIA 透過使用 Finetune AI 創建高品質測試題目,加速評估開發,擴展其全球認證計劃以滿足勞動力需求。

Shutterstock 2463474777

背景

CompTIA 是全球領先的中立供應商 IT 培訓和認證機構。CompTIA 與數千家機構合作,通過一流的學習工具、受人尊敬的證書和全面的職業支持,為學習者提供職業準備技能。

為了滿足不斷增長的全球需求,特別是對其 A+ 考試的需求,CompTIA 與 Prometric 合作,利用 Finetune AI 開發定制的 AI 解決方案。這一合作關係使內容創建過程更快,同時保持質量、心理測量的嚴謹性和專家監督,推進 CompTIA 提供高效、職業準備證書的使命。

挑戰

隨著全球需求激增,CompTIA 需要加快 16 個核心計劃的內容創建。像 A+ 這樣的高容量認證尤其具有挑戰性。每個項目都必須符合公平性、可靠性和法律可辯護性的嚴格心理測量標準。

  • 維持質量的速度太慢
  • 通用 AI 限制了知識產權的擁有權
  • 專家需要更好地掌控

傳統的開發模型無法跟上。它雖然全面,但速度太慢——對於 CompTIA 不斷發展的需求來說,這太慢了。團隊需要一種方法,既能保持專家參與、編輯嚴謹性和完整的知識產權擁有權,又能實現更快的產出。

Shutterstock 2325628103

“專門化的模型不太容易產生幻覺,因為它已經訓練過以剔除那些,給我們純粹的好東西。”

Wendy Gavin

高級產品經理,Finetune AI

策略夥伴關係

CompTIA 與 Finetune AI 開展了為期多年的合作,以利用人工智慧進行題目開發。他們共同創建了一個 Finetune Generate® 領域專用的 AI 模型。

與 ChatGPT 或 Copilot 等通用工具不同,Finetune AI 是美國唯一由評估專業人士設計和開發的客製化專利 AI 模型,最小化幻覺並符合嚴格的編輯標準。由於內容結構化且題目數量龐大,A+ 認證被用作試點。

該項目聚集了 Finetune AI 專家、CompTIA 內容開發團隊和主題專家,為模型訓練提供專有藍圖、風格指南和目標。AI 支持但從不取代專家作者的創作,促進更快的草擬和迭代。

使用 Finetune Generate 創新

CompTIA 將 Finetune Generate® 嵌入設計用於擴展的混合工作流程中。該模型在 CompTIA 的專有材料上進行了訓練,確保輸出與語氣、結構和學習目標一致。專家通常對 AI 生成的草稿幾乎不進行任何修訂。

CompTIA 擁有 AI 輔助內容的完全所有權,保持控制和安全性。該工具在 Bloom 的第二和第三級目標上表現卓越,這在像 A+ 這樣的入門級認證中非常常見。

主要優勢:

  • 自訂模型訓練
  • 高效草擬
  • 安全的知識產權
  • 適合較低的認知水平

“我們使用 Generate 以獲得 QC 效率上的明顯優勢。”

- Danielle Castelli, Director, Exam Development, CompTIA

A+ 考試版本 1101 和 1102 的心理測量評估驗證了這一方法。專家每小時產出 5.7 個題目,比之前的 3.3 有所提高,大多數題目需要的編輯都很少。心理測量基準(難度、區分度、可靠性)保持在預期範圍內,並且題目在現場測試後成功從預測試轉為計分狀態。

“與 [Prometric] 合作,我們已經能夠增強我們的考試開發計劃,使這個過程變得更加高效,讓我們的考試開發者和專家都受益。”

Danielle Castelli

考試開發主管, CompTIA

結果

今天,CompTIA 繼續使用 Finetune Generate® 進行具有結構化、較低層次認知需求的認證——在這裡,速度和可擴展性是關鍵。這個增強的 AI 處理讓專家們可以專注於驗證,而不是初稿。

  • 產出增加
  • 編輯效率
  • 統計等價性
  • 內容可行性

展望未來,CompTIA 正在探索其他使用案例,在這些案例中,專注且負責任的 AI 可以在其認證組合中提供類似的價值——始終強調質量和控制。

下載成功故事