CompTIAは、品質を犠牲にすることなく急速にスケールするためにFinetune AIを活用しています。

CompTIAは、Finetune AIを使用して高品質なテストアイテムを作成し、グローバルな認定プログラムを拡大し、労働力の需要に対応してアセスメントの開発を加速させています。

Shutterstock 2463474777

背景

CompTIAは、ベンダー中立のITトレーニングと認定の世界的リーダーです。何千もの機関と提携し、CompTIAはベストインクラスの学習ツール、尊敬される資格、包括的なキャリアサポートを通じて、学習者にキャリアに必要なスキルを提供しています。

特にA+試験に対する世界的な需要の増加に対応するため、CompTIAはPrometricと提携し、カスタムAIソリューション用にFinetune AIを活用しました。このパートナーシップにより、品質、心理測定の厳密さ、専門家の監督を維持しながら、より迅速なコンテンツ作成プロセスが可能となり、CompTIAの使命である効率的でキャリアに備えた資格の提供が進められました。

挑戦

世界的な需要が高まる中、CompTIA は 16 の主要プログラム全体でコンテンツ作成を加速する必要がありました。A+ のような大量の認定資格は特に難しい課題でした。各アイテムが公正性、信頼性、法的弁護可能性の厳格な心理測定基準を満たさなければなりませんでした。

  • 品質を維持することは遅すぎる
  • 一般的なAIは知的所有権を制限する
  • SMEsはより多くの制御を必要としている

従来の開発モデルでは対応できませんでした。徹底的ではありましたが遅すぎました—CompTIA の変化するニーズには適していませんでした。チームは、SME の関与を維持し、編集の厳格さを保ちつつ、完全な知的所有権を確保し、より迅速な成果を出せるアプローチが必要でした。

Shutterstock 2325628103

特殊なモデルは、錯覚にかかりにくいです。それは、そのようなものを取り除くように訓練されているため、私たちに良いものだけを提供してくれます。

ウェンディ・ギャヴィン

シニアプロダクトマネージャー、Finetune AI

戦略的パートナーシップ

CompTIAは、Finetune AIとの多年にわたる協力を開始し、人工知能を活用したアイテム開発に取り組んでいます。二者は、Finetune Generate® ドメイン固有のAIモデルを共同で作成しました。

ChatGPTやCopilotなどの汎用ツールとは異なり、Finetune AIは、評価専門家によって設計および特許取得された唯一のカスタムAIモデルで、幻覚を最小限に抑え、厳格な編集基準に準拠しています。A+ 認定は、その構造化されたコンテンツと高いアイテム数のためにパイロットとして選ばれました。

このプロジェクトでは、Finetune AIの専門家、CompTIAのコンテンツ開発チーム、およびSMEsが、独自の設計図、スタイルガイド、目標に基づいてモデルをトレーニングするために協力しました。このAIはSMEの執筆をサポートする一方で、決して置き換えることはなく、より迅速な起案と繰り返し作業を可能にしました。

Finetune Generateで革新

CompTIAは、規模に合わせたハイブリッドワークフローにFinetune Generate®を組み込みました。このモデルはCompTIA独自の教材でトレーニングされ、トーン、構造、学習目標と整合した出力を保証しました。SME(Subject Matter Experts)はAIが生成した下書きに対してほとんど修正を加える必要がないことがよくありました。

CompTIAはAI支援コンテンツの完全な所有権を保持し、コントロールとセキュリティを維持しました。このツールはBloomのレベル2および3の目標で優れたパフォーマンスを発揮し、A+のような初級認定試験で頻繁に見られるものです。

主な利点:

  • カスタムモデルトレーニング
  • 効率的な下書き作成
  • 知的財産の保護
  • 低次元認知レベルに最適

「私たちはGenerateを使用することで、QCの効率で明確な利点を得ています。」

- Danielle Castelli、CompTIAのExam Developmentディレクター

A+試験バージョン1101および1102の心理測定レビューがこのアプローチを承認しました。SMEは1時間に5.7アイテムを生産し、ほとんどのアイテムには最小限の編集が必要でした。心理測定基準(難易度、識別性、信頼性)は予想される範囲内にとどまり、アイテムはフィールドテスト後にプレテストから採点されたステータスに正常に移動しました。

「Prometric」と協力することで、試験開発プログラムを強化し、テスト開発者と専門家両方が恩恵を受けられる効率的なプロセスにすることができました。

ダニエル・カステッリ

ディレクター、試験開発, CompTIA コンプティア

結果

今日、CompTIAは、構造化された、低次元の認知的要求を持つ認定において、スピードと拡張性が重要なFinetune Generate®を引き続き使用しています。このAI強化プロセスにより、SMEは最初の草案ではなく検証に集中できます。

  • 出力の増加
  • 編集効率
  • 統計的同等性
  • コンテンツの有効性

将来を見据えて、CompTIAは、焦点を絞った、責任あるAIが認定ポートフォリオ全体で同様の価値を提供できる追加のユースケースを検討しています。常に品質とコントロールを重視しています。

成功事例のダウンロード