Avaliação de eficácia de treinamento em IA: guia prático

Avaliação de eficácia de treinamento em IA é o processo de medir, com dados e não com impressão, se a capacitação em inteligência artificial mudou o que o colaborador faz no trabalho — não apenas se ele gostou do curso. A maioria das empresas brasileiras para no primeiro nível dessa medição: sabe a nota do formulário de satisfação e não sabe se alguém mudou o comportamento ou entregou resultado. Este guia é para quem lidera T&D, RH ou um programa de capacitação em IA e precisa provar — para a diretoria e para si mesmo — que o investimento em treinar o time em IA está funcionando de verdade.

O problema que a maioria das empresas não vê

Segundo a Pesquisa Panorama do Treinamento no Brasil 2025/2026, da ABTD (19ª edição, 443 empresas, mais de 80 indicadores), o padrão nacional de avaliação de treinamento é este: 71% das empresas medem a reação dos participantes (gostou ou não gostou), 38% medem aprendizagem (o que foi absorvido), só 11% medem aplicação no trabalho, 3% medem resultados de negócio e apenas 1% calcula o ROI do treinamento (Twygo, resumo da pesquisa ABTD). O funil despenca a cada nível — e é exatamente aí que a maior parte dos programas de capacitação em IA se perde: sobra pesquisa de satisfação, falta prova de que o time passou a usar IA melhor no trabalho real.

O mesmo levantamento mostra que 69% das empresas brasileiras já usam IA para criar conteúdo de treinamento, um salto vindo de 8% em 2024. A ironia é dura: a IA virou ferramenta comum para produzir treinamento, mas a avaliação de se esse treinamento — inclusive o de IA — funciona continua estagnada nos níveis mais rasos.

Vale uma distinção antes de seguir: este guia mede se o programa gerou mudança de comportamento e resultado de negócio. Uma pergunta mais estreita e igualmente comum — quanto do conteúdo em si a pessoa ainda lembra semanas depois — é o assunto de retenção de conhecimento em capacitação de IA.

Isso custa caro em dois sentidos. Primeiro, financeiro: segundo a Association for Talent Development (ATD), empresas que medem sistematicamente a eficácia dos treinamentos obtêm ROI médio de 353%, contra resultado difícil de defender quando não há medição nenhuma — e uma pesquisa da Deloitte citada pela consultoria Eagles Flight aponta que só 12% das empresas brasileiras calculam ROI de treinamento de forma adequada (Eagles Flight). Segundo, um custo silencioso: sem avaliação de comportamento, a empresa não sabe se o time aprendeu a usar IA com segurança — e o shadow AI preenche esse vácuo. Um levantamento da Thomson Reuters (Future of Professionals 2026) mostra que 38% dos profissionais brasileiros já usam ferramentas de IA não fornecidas pela empresa, e 39,1% dizem não ter acesso a nenhum serviço de IA disponibilizado pela companhia (TI Inside). Nos Estados Unidos, uma pesquisa da Fractl para o American College of Education encontrou algo parecido: 63% dos trabalhadores usam IA para aprender habilidades para as quais nunca receberam treinamento formal da empresa (Fast Company Brasil). Quando a empresa não avalia se o treinamento formal funcionou, o colaborador não espera — aprende sozinho, do jeito que dá, sem revisão de risco.

O modelo Kirkpatrick aplicado à capacitação em IA

O framework mais usado no mundo para avaliar treinamento — e o único com certificação oficial no Brasil, pela Across, consultoria afiliada à Kirkpatrick Partners® (Across) — organiza a medição em quatro níveis. Aplicado à capacitação em IA, cada nível responde uma pergunta diferente:

Nível	Pergunta	O que medir na capacitação em IA	Quando medir
1. Reação	O time gostou e achou relevante?	Nota de utilidade percebida, clareza do conteúdo, relevância para a rotina	Logo após o treinamento
2. Aprendizagem	O que foi absorvido?	Teste prático antes/depois: escrever um prompt eficaz, identificar uma alucinação, reconhecer dado sensível	No fim do módulo
3. Comportamento	Mudou o que a pessoa faz?	% que usa a ferramenta aprovada na rotina real, qualidade do uso observada pelo gestor	30-60-90 dias depois
4. Resultados	Impactou o negócio?	Tempo poupado em tarefas específicas, redução de retrabalho, qualidade de output, casos de uso sustentados	Trimestral, ligado a KPI da área

O erro mais comum é parar no nível 1 — que é também o mais fácil de medir e o menos informativo. Satisfação com o workshop não prevê se alguém vai usar IA na terça-feira seguinte. Os dados da ABTD confirmam: é justamente nos níveis 3 e 4, os que provam mudança real, que a imensa maioria das empresas brasileiras não chega.

O quinto nível: ROI (modelo Phillips)

Quando a organização precisa justificar orçamento — típico em capacitações maiores, como imersões executivas ou programas de vários meses —, o modelo de Jack Phillips adiciona um quinto nível ao de Kirkpatrick: o retorno financeiro, comparando o valor gerado (tempo poupado convertido em custo, redução de erro, ganho de capacidade) contra o investimento total do programa. Segundo a ATD, treinamentos corporativos com metodologia experiencial (mão na massa, com casos reais) chegam a 300-500% de ROI, contra 50-150% de e-learning passivo (Eagles Flight) — um argumento a mais para desenhar capacitação em IA como prática aplicada, não como palestra.

Indicadores práticos por tipo de programa

Este guia assume que já existe um programa rodando ou em desenho — se você ainda está montando a capacitação do zero, comece pelo guia completo de capacitação em IA para colaboradores, que cobre currículo, formato e sequência antes de chegar à etapa de medição. Nem todo programa de capacitação em IA precisa dos cinco níveis. O nível de rigor certo depende do tamanho do investimento e de quem vai olhar o resultado:

1. Alfabetização geral em IA — foque nos níveis 1 e 2 (a pessoa entendeu o básico?) e num indicador simples de nível 3: % que ativou o uso na primeira semana. Veja o desenho completo em alfabetização em IA.
2. Trilhas por área (comercial, marketing, RH, operações) — aqui o nível 3 é obrigatório: sem medir aplicação real no trabalho da área, a trilha vira curso genérico com nome específico. O modelo de estruturação está em trilha de aprendizagem em IA.
3. Certificação em IA — a certificação em si já funciona como prova de nível 2 (aprendizagem), mas só tem valor se ligada a critério de aplicação prática, não só de presença; o guia completo está em certificação em IA para colaboradores.
4. Programas de liderança e capacitação técnica — aqui o investimento por pessoa é maior, e a diretoria vai cobrar nível 4 (e possivelmente ROI): resultado de negócio mensurável, não taxa de conclusão.

Um erro recorrente: tratar taxa de conclusão como indicador de eficácia. Ela mede se a pessoa terminou o curso, não se aprendeu, nem se aplicou. É útil como métrica operacional de entrega do programa — inútil como prova de impacto.

Como coletar os dados sem virar burocracia

A avaliação de eficácia falha na prática mais por excesso de processo do que por falta de metodologia. O que funciona:

• Teste rápido antes/depois no próprio módulo — 3 a 5 perguntas aplicadas, não uma prova formal. Mede aprendizagem sem gerar atrito.
• Check-in de 30/60/90 dias, curto (2-3 perguntas), perguntando o que a pessoa usou de verdade e onde travou — não "você gostou". Esse é o dado de nível 3 que a maioria pula.
• Observação do gestor direto, não do time de T&D — quem vê o trabalho no dia a dia percebe mudança de comportamento antes de qualquer pesquisa.
• Métrica de negócio já existente da área, em vez de criar um indicador novo — tempo de resposta, taxa de erro, volume de tarefas concluídas. Ligar a capacitação a um número que a área já acompanha é o que sustenta o argumento de nível 4 sem trabalho extra de coleta.

O papel do T&D na adoção de IA é justamente ser dono desse ciclo de medição — não só do currículo, mas da prova de que o currículo funcionou.

O que essa avaliação NÃO é

Vale separar dois conceitos que se confundem com frequência: avaliação de eficácia de treinamento não é o mesmo que medir a adoção de IA na empresa como um todo. A primeira mede se um programa específico de capacitação mudou comportamento e gerou resultado — é responsabilidade de T&D, e roda por turma, por trilha, por módulo. A segunda mede o uso de IA na organização inteira, para a diretoria, com painel contínuo de indicadores de negócio — é o tema de métricas de adoção de IA. Os dois se conectam (um programa eficaz alimenta a adoção geral), mas são perguntas diferentes, feitas por públicos diferentes, em momentos diferentes.

Erros comuns ao avaliar treinamento de IA

• Confiar só em autoavaliação. Perguntar "você se sente confiante usando IA?" mede percepção, não competência — e a percepção costuma estar desalinhada da prática real nos dois sentidos (subestimada por medo, superestimada por excesso de confiança).
• Avaliar no dia do treinamento e nunca mais. O nível 3 (comportamento) só aparece com distância de tempo. Medir só no fim do workshop captura entusiasmo passageiro, não mudança.
• Ignorar quem não aplicou nada. Entender por que uma pessoa não usou o que aprendeu é tão valioso quanto celebrar quem usou — geralmente revela problema de acesso à ferramenta, falta de caso de uso claro na função, ou insegurança residual que a alfabetização não resolveu.
• Misturar eficácia do treinamento com adoção geral de IA. Como explicado acima, são medições diferentes — misturá-las produz um número que não serve para decidir nada especificamente sobre o próprio programa.
• Não fechar o loop. Avaliar sem ajustar o próximo ciclo do programa é gasto de esforço. O dado do nível 3 e 4 deveria mudar o desenho do próximo módulo, não só virar slide de relatório.

Como a Jetpacks mede eficácia na prática

O método Flight Plan da Jetpacks embute a avaliação de eficácia em vez de tratá-la como etapa opcional no fim. Cada um dos quatro estágios gera um artefato verificável: o Launchpad produz um mapa de impacto (a base para o nível 2 e 3, já mostrando onde medir); o Flight Plan por área define a trilha e o critério de aplicação esperado; o Booster capacita e já embute o teste prático de aprendizagem; e o Mission Control é, por desenho, o estágio de acompanhamento — onde as métricas de adoção real por área são monitoradas depois da capacitação, não só na saída do curso. Isso é possível porque a Jetpacks é parceira oficial da Replit no Brasil e conduz as imersões oficiais de Vibecoding com governança, com experiência de campo em empresas como Hypera Pharma, Volvo, BMR Medical e C12 Brasil — o desenho de avaliação nasce de capacitação real, não de teoria de sala de aula.

FAQ

Como medir se o treinamento de IA realmente funcionou?

Combine pelo menos dois níveis: aprendizagem (teste prático antes/depois no próprio módulo) e comportamento (check-in de 30-60-90 dias perguntando o que a pessoa aplicou na rotina). Taxa de conclusão e nota de satisfação sozinhas não provam eficácia — só mostram entrega e reação.

Qual a diferença entre o modelo Kirkpatrick e o modelo Phillips ROI?

O Kirkpatrick tem quatro níveis: reação, aprendizagem, comportamento e resultados. O Phillips adiciona um quinto nível, o ROI, comparando o valor financeiro gerado pelo treinamento com o custo total do programa. Use Phillips quando precisar justificar orçamento de um programa maior para a diretoria.

Taxa de conclusão do curso é um bom indicador de eficácia?

Não sozinha. Taxa de conclusão mede se a pessoa terminou o conteúdo, não se aprendeu nem se aplicou o que aprendeu no trabalho. É um indicador operacional útil para gestão do programa, mas não substitui a medição de aprendizagem e comportamento.

Quanto tempo depois do treinamento devo avaliar mudança de comportamento?

O intervalo mais usado é 30, 60 e 90 dias após a capacitação. Avaliar só no dia do treinamento captura entusiasmo momentâneo; esperar de 30 a 90 dias mostra se o uso da IA virou hábito de trabalho de verdade ou se esfriou depois da novidade.

Por que a maioria das empresas brasileiras não mede a eficácia do treinamento em IA?

Porque medir os níveis mais profundos (comportamento e resultado) dá mais trabalho do que aplicar uma pesquisa de satisfação — exige acompanhamento no tempo, envolvimento do gestor direto e ligação com indicadores de negócio. A Pesquisa Panorama do Treinamento no Brasil 2025/2026 (ABTD) mostra que só 11% das empresas chegam ao nível de aplicação prática e 3% ao de resultados de negócio.

É possível usar IA para avaliar a eficácia de um treinamento em IA?

Sim, com cuidado. Ferramentas de IA ajudam a analisar padrões em respostas abertas, identificar lacunas de competência em volume e gerar feedback mais rápido em testes de aprendizagem. Mas a observação de comportamento real no trabalho — o nível mais importante — ainda depende de dados humanos: o que o gestor observa e o que o próprio colaborador reporta ter aplicado.

Preciso avaliar o ROI de todo programa de capacitação em IA?

Não. Reserve o cálculo de ROI (nível 5, modelo Phillips) para programas de maior investimento ou visibilidade — capacitação de liderança, imersões executivas, programas plurianuais. Para alfabetização geral e trilhas rotineiras, aprendizagem e comportorial (níveis 2 e 3) já bastam para provar que o programa funciona.

Conclusão: meça o que muda, não o que agrada

Avaliar a eficácia de um treinamento em IA não exige um sistema complexo — exige medir a pergunta certa. Satisfação prova que o time gostou da aula. Aprendizagem prova que absorveu o conteúdo. Comportamento prova que passou a usar IA no trabalho real. Resultado prova que isso importou para o negócio. A maioria dos programas brasileiros para no primeiro nível; os que avançam para o terceiro e o quarto são os que sobrevivem ao corte de orçamento do ano seguinte, porque têm prova, não impressão.

Se o seu programa de capacitação em IA ainda não tem essa camada de medição — ou se você quer desenhar um programa novo que já nasça mensurável, do Launchpad ao Mission Control —, o diagnóstico gratuito da Jetpacks mapeia isso numa conversa de 30-45 minutos, e os programas foram desenhados para gerar, em cada estágio, o dado que prova que a capacitação funcionou.