Texas Region 10 Transforma a Educação com IA Personalizada
O exame de Avaliação de Prontidão Acadêmica do Estado do Texas de K-12 da Região 10 exigiu melhorias de conteúdo, mas apenas a Prometric AI conseguiu rapidamente agrupar e alinhar os 90.000 itens de forma econômica.
Antecedentes
O Centro de Serviços Educacionais da Região 10 (ESC) no Texas desempenha um papel fundamental na promoção do sucesso dos alunos e na formação do cenário educacional em todo o estado. Como parceiro de vinte outros ESCs, a Região 10 atende 120 distritos escolares públicos e charter, mais de 3.000 escolas e mais de 900.000 alunos em todo o estado do Texas. O ESC cria, distribui e apoia um banco de itens, TEKSbank, que é utilizado por 600 distritos escolares e charter, mais de 5.000 escolas e mais de 3 milhões de alunos. Desde o desenvolvimento curricular e suporte pedagógico até treinamento de liderança e serviços de educação especial, a Região 10 está comprometida em capacitar educadores, enriquecer experiências de aprendizado e promover resultados positivos para alunos de todas as origens e habilidades.
O Desafio
A Região 10 publica um banco de itens, o TEKSbank, para os distritos escolares ajudarem a preparar os alunos para o exame de alto risco, Avaliações Acadêmicas de Prontidão do Estado do Texas (STAAR®). As 90.000 questões de teste do TEKSbank estão alinhadas aos padrões curriculares do estado, Conhecimento e Habilidades Essenciais do Texas, bem como a outras classificações como a Profundidade do Conhecimento (DOK) de Webb e a Taxonomia de Bloom.
À medida que as tendências educacionais mudam e o estado atualiza seus padrões, a Região 10 se esforça para garantir que o banco esteja alinhado e relevante.
Para garantir que o conteúdo esteja alinhado com os padrões curriculares do estado e contenha vários níveis de dificuldade, a Região 10 realiza múltiplos projetos de alinhamento por ano. Contratados são contratados para analisar cada item manualmente. Alguns projetos exigem um único especialista curricular para cada um dos 12 níveis de série para revisar até 2.000 itens. Não apenas esses processos de revisão consomem tempo, mas o processo de revisão manual levou a uma falta de precisão e consistência entre os itens atualizados.
A Região 10 estava gastando uma quantidade significativa de tempo e recursos na manutenção do alinhamento do conteúdo, com pouco tempo para priorizar o crescimento e a melhoria do conteúdo. Não era incomum gastar $150.000 anualmente apenas para atualizar padrões ou classificações no conteúdo existente. Isso se tornou ainda mais importante em 2023, quando o cenário educacional do Texas passou por uma transformação significativa com a introdução de itens aprimorados por tecnologia (TEIs) e avaliação online. Isso representou uma mudança em relação aos métodos tradicionais de avaliação e desafiou os educadores a preparar os alunos para um novo paradigma que enfatizava o pensamento crítico e uma demonstração sofisticada de conhecimento. Para apoiar os professores e guiá-los nesta nova fronteira, a Região 10 enfrentou o desafio de criar 20.000 TEIs de alta qualidade.
“Finetune tinha uma boa compreensão do conteúdo K-12 e dos padrões. Era fácil ter conversas com eles sobre o que queríamos, mesmo que não tivéssemos o conhecimento técnico de IA sobre como descrevê-lo.”
Jim Newhouse
Antigo Diretor Adjunto de Soluções de Dados da Região 10
Estratégia de Parceria
A Região 10 inicialmente delineou quatro objetivos principais que estavam tentando alcançar ao buscar um novo parceiro.
Garantir alinhamento com os mais recentes padrões estaduais
Identificar lacunas de conhecimento
Atribuir profundidade de conhecimento (DOK) Atualizar conteúdo com relevância cultural
“Consideramos a IA como uma ferramenta que é programada por humanos, supervisionada por humanos e analisada por humanos.”
- Jim Newhouse, Antigo Diretor Assistente de Soluções de Dados da Região 10
A ESC também precisava considerar vários fatores importantes antes de iniciar a implementação de novas tecnologias para agilizar as práticas:
A necessidade de manter supervisão humana durante todo o processo
Ajustes e aperfeiçoamentos constantes do conteúdo
Reduzir o tempo de projetos de alinhamento para permitir mais tempo para aprimorar e desenvolver mais questões
A Região 10 conectou-se com a equipe Finetune da Prometric em março de 2023. A Finetune rapidamente compreendeu os desafios da ESC e começou a trabalhar na implementação do Finetune Catalog™, uma ferramenta híbrida de IA-humano para alinhamento de conteúdo com insights profundos em bancos de itens e materiais de aprendizagem.
“A implementação do Catalog levou apenas algumas semanas em vez dos seis meses projetados e reduziu o número de contratados necessários de dez para apenas três. Usar o Finetune Catalog para realizar tarefas de alinhamento liberou tempo e dinheiro e aumentou a produtividade geral.”
Jim Newhouse
Ex-Diretor Assistente de Soluções de Dados da Região 10
Resultado
A Região 10 forneceu à Finetune materiais de aprendizagem, como modelos de exames, padrões, bancos de itens e mais. A Finetune pegou esse conteúdo e construiu um modelo de IA do Catálogo personalizado que trabalharia para analisar seu conteúdo e ver quão bem ele se alinhava com a Profundidade de Conhecimento de Webb. Após o primeiro alinhamento, o Catálogo relatou uma taxa de precisão de 96%, deixando a equipe da Região 10 animada e otimista para o futuro desenvolvimento e melhoria de seu conteúdo. Aqueles “agulhas no palheiro” que precisavam de melhoria no alinhamento eram corrigíveis, e eles seriam capazes de fazê-lo mais rápido, mais barato e com mais precisão do que nunca.
Juntamente com a precisão do primeiro alinhamento, o ESC recebeu uma justificativa que seria útil na construção de futuras avaliações. A justificativa complexa tornou-se uma nova coleção transformadora de dados que eles podem fornecer aos construtores de testes e professores por meio da plataforma de avaliação.
Agora, com uma economia de cerca de $100.000 por área de conteúdo principal, incluindo matemática, artes da linguagem inglesa e leitura (ELAR), ciências e estudos sociais, a Região 10 pode reinvestir na produção de novo conteúdo para expandir seu banco de itens atual. O TEKSbank agora está equipado com 25% (20.000) de perguntas de ponta, aprimoradas por tecnologia, que proporcionam uma avaliação mais profunda do conhecimento e uma avaliação mais precisa das habilidades dos alunos.
