Evals corporativos: como testar IA antes de produção

Evals corporativos são testes sistemáticos que medem se um sistema de IA generativa faz o que a empresa precisa, com a qualidade e o risco aceitáveis, antes e depois de ir para produção. Funcionam como o teste de software, adaptado a sistemas cujas respostas variam: você monta casos representativos, define o que é uma boa resposta, mede e só libera quando o resultado cruza um limite aprovado por quem responde pelo risco. Este artigo é para líderes que aprovam o uso de IA — diretoria, risco, compliance, tecnologia — e precisam exigir prova, não impressão. Ele se encaixa no guia de governança de IA na prática.

O que são evals — e por que "parece bom" não basta

A Thoughtworks define AI evals como a avaliação sistemática da acurácia e da confiabilidade de um modelo de linguagem, com o objetivo de demonstrar que ele é confiável o bastante para sair da prova de conceito e entrar em uso real. A própria publicação separa duas fases: validação antes da implantação, durante o desenvolvimento, e avaliação pós-implantação, com monitoramento contínuo.

A necessidade é concreta. Na pesquisa State of Agent Engineering da LangChain (1.340 respostas, coletadas entre 18 de novembro e 2 de dezembro de 2025), 32% apontaram a qualidade como a principal barreira para levar agentes à produção. Na mesma pesquisa, 89% das organizações tinham alguma forma de observabilidade, mas apenas 52% rodavam avaliações (evals) — a observação é ver o que aconteceu; o eval é decidir se aquilo é aceitável. A amostra é de equipes de desenvolvimento que já constroem agentes, não da economia em geral, então trate os números como indicação de prática, não como média de mercado.

Sem evals, a decisão de liberar depende de demonstrações escolhidas a dedo. É o mesmo problema que faz tantos projetos de IA falharem depois do piloto (ver por que projetos de IA falham).

Evals, red teaming, observabilidade, auditoria: não são a mesma coisa

Prática	Pergunta que responde	Quando
Evals	O sistema atinge a qualidade definida nos casos que importam?	Antes de liberar e a cada mudança
Red teaming	Alguém consegue fazê-lo falhar de forma perigosa?	Antes e periodicamente
Observabilidade	O que o sistema está fazendo agora, em produção?	Contínuo
Auditoria de IA	Os controles existem e funcionam, com evidência?	Periódico, independente
Gestão de risco de modelo	Como o risco é classificado, aprovado e acompanhado?	Ciclo de vida

Os evals são a evidência quantitativa que alimenta as demais. Uma gestão de risco que não tem evals decide no escuro; uma observabilidade sem critério de qualidade só coleciona logs.

Os três tipos de eval que a diretoria deve conhecer

1. Evals offline (pré-produção). Rodam sobre um conjunto fixo de casos de teste e decidem se uma versão pode ser liberada. São o "portão" do processo.
2. Evals online (produção). Avaliam uma amostra do tráfego real para detectar queda de qualidade. A mesma pesquisa da LangChain registra que 52,4% dos respondentes rodavam avaliações offline e 37,3%, online — o monitoramento contínuo ainda é a lacuna.
3. Evals durante a execução. Verificações no meio do fluxo do agente, para corrigir antes de entregar, ao custo de latência e gasto extra.

Para a governança, a regra prática é: offline controla o que entra; online detecta o que degrada. Os dois são necessários, porque o modelo, os dados e o uso mudam.

Como montar um eval corporativo, passo a passo

1. Defina o que é "bom" antes de medir

A Thoughtworks lembra que definir métricas claras e mensuráveis é um dos desafios centrais — e que "bom" depende do contexto. Para cada caso de uso, escreva critérios em linguagem de negócio:

• Correção factual: a resposta bate com a fonte oficial?
• Completude: cobre o que o usuário precisa?
• Conformidade: respeita a política da empresa, o tom e as restrições legais?
• Segurança: recusa o que deve recusar? Não vaza dado restrito?
• Utilidade: reduz retrabalho ou cria revisão extra?

2. Monte o conjunto de casos a partir de dados reais

A documentação de testes da Anthropic recomenda desenhar avaliações que espelhem a distribuição real da tarefa e incluir casos de borda. Na prática:

• Comece com algumas dezenas de casos reais, anonimizados, de diferentes áreas e níveis de dificuldade.
• Inclua casos adversariais (perguntas fora do escopo, tentativas de burlar regras) e casos de recusa correta.
• Peça a especialistas de negócio — não só à TI — para definir a resposta esperada.
• Versione o conjunto e registre quem o aprovou.

3. Escolha os avaliadores

Há três tipos, e a combinação é o que funciona:

• Baseado em código: correspondência exata, regras, validação de formato, checagem de campos. Barato e reprodutível; serve para o que tem resposta objetiva.
• Humano: especialistas com rubrica. Mais confiável em nuances, mas lento e caro; reserve para amostras e para calibrar os demais.
• Modelo como juiz (LLM-as-a-judge): outro modelo avalia a resposta com base em critérios escritos. Escala bem, mas também precisa ser validado contra o julgamento humano. A documentação da Anthropic sugere usar um modelo diferente do que gerou a resposta para avaliá-la, e prioriza volume de casos com avaliação automatizada sobre poucos casos corrigidos à mão.

4. Defina limites de aprovação e quem assina

Um eval sem limiar é só um relatório. Defina, antes de rodar:

• A pontuação mínima por critério (por exemplo, zero tolerância a vazamento de dados; tolerância maior para estilo).
• Quais falhas são bloqueantes e quais são aceitas com monitoramento.
• Quem aprova a liberação — um responsável de negócio e um de risco, não apenas o time que construiu.

5. Automatize e rode a cada mudança

Mudanças de prompt, modelo, base de conhecimento ou ferramenta alteram o comportamento. Rode o conjunto de evals a cada alteração e guarde o histórico, como em um pipeline de testes. A trilha de resultados vira evidência para auditoria e para o comitê de risco.

6. Leve para produção com amostragem

Depois do lançamento, avalie uma amostra das interações reais, com os mesmos critérios, e alimente o conjunto offline com os novos casos de falha. É o ciclo que mantém o eval vivo.

Evals para agentes: avalie o caminho, não só a resposta

Agentes executam passos — consultam sistemas, chamam ferramentas, tomam decisões intermediárias. Avaliar apenas a resposta final esconde erros no percurso. Inclua:

• A sequência de ferramentas chamadas e se foi a esperada.
• Ações que não deveriam ter ocorrido (por exemplo, escrever onde só se podia ler).
• Custo e número de passos por tarefa.
• Comportamento sob falha: o agente para, escala ao humano ou improvisa?

Isso se conecta a governança de agentes de IA autônomos, a guardrails, ao humano no circuito e ao kill switch.

Limites dos evals — e como não se enganar

A Thoughtworks lista os trade-offs: avaliações completas podem ser caras e demoradas; os resultados dependem da qualidade dos dados de teste; melhorar uma propriedade (como acurácia) pode piorar outra (como explicabilidade ou equidade); e o comportamento do modelo muda com o tempo. Em termos de governança:

1. Conjunto desatualizado. Se os casos não acompanham o uso real, o eval aprova o que já não importa.
2. Juiz enviesado. Um modelo-juiz pode favorecer respostas longas ou o próprio estilo; calibre com amostras humanas.
3. Vazamento do teste. Se o time ajusta o prompt olhando para os próprios casos de teste, a nota sobe sem a qualidade subir. Mantenha uma parte do conjunto reservada.
4. Nota única. Média alta pode esconder falhas graves em um subgrupo. Reporte por critério e por tipo de caso.
5. Falsa segurança. Evals reduzem risco, não o eliminam. Combine com revisão humana onde o dano é alto e com alucinações tratadas como risco esperado.

O que a diretoria deve exigir antes de aprovar um sistema de IA

• Descrição do caso de uso e do critério de sucesso em linguagem de negócio.
• Conjunto de casos aprovado, com participação da área usuária.
• Resultados por critério, comparados ao limiar acordado.
• Lista de falhas conhecidas e plano de mitigação.
• Plano de avaliação em produção e gatilho de reversão.
• Responsável nominal pela aprovação e pelo acompanhamento.

Esse pacote é pouco volumoso e muda a qualidade da conversa: a decisão deixa de ser "confio no time" e passa a ser "o sistema cruzou o limite que definimos". Veja também o framework de governança de IA.

Quem faz evals: tecnologia, negócio e capacitação

Evals não são um tema só de engenharia. Quem conhece a resposta correta é a área de negócio — jurídico, atendimento, finanças. Por isso, o preparo das pessoas conta: especialistas precisam saber escrever critérios, revisar saídas de IA e interpretar métricas. Na Jetpacks, essa capacitação entra nos programas por área do método Flight Plan, e o acompanhamento de adoção e qualidade fecha o ciclo no estágio de Mission Control.

FAQ

O que são evals de IA?

São avaliações sistemáticas da qualidade de um sistema de IA generativa. Usam casos de teste, critérios definidos e avaliadores (código, humanos ou outro modelo) para medir acurácia, segurança e utilidade antes e depois da produção.

Qual a diferença entre evals e red teaming?

Evals medem a qualidade esperada em casos representativos; red teaming procura ativamente formas de fazer o sistema falhar ou ser abusado. São complementares. Veja red teaming de IA.

Quantos casos de teste são necessários?

Comece com algumas dezenas de casos reais e representativos e cresça a partir das falhas encontradas. Cobertura de situações importantes vale mais que volume bruto, e a Anthropic recomenda priorizar mais casos com avaliação automatizada a poucos casos avaliados à mão.

Posso usar IA para avaliar IA?

Pode, com cuidado. O modelo-juiz escala, mas precisa ser validado com amostras avaliadas por humanos e, de preferência, ser diferente do modelo que gerou a resposta.

Quando refazer os evals?

A cada mudança relevante de prompt, modelo, base de conhecimento ou ferramenta, e continuamente por amostragem em produção.

Quem deve aprovar o resultado?

Um responsável da área de negócio e um de risco ou compliance, além do time técnico. A aprovação precisa estar registrada para fins de auditoria.

Evals servem para assistentes prontos, como Copilot?

Sim, em parte: você não testa o modelo interno, mas pode testar o desempenho nos seus fluxos e dados. Veja como escolher um assistente de IA corporativo.

Conclusão: sem eval, a aprovação é fé

Liberar IA generativa sem evals é aceitar risco que ninguém mediu. A boa notícia é que o necessário para começar é modesto: critérios claros, algumas dezenas de casos reais, avaliadores validados e um limiar assinado por quem responde pelo risco. Para estruturar a governança e a capacitação das áreas que precisam avaliar IA, comece pelo diagnóstico gratuito da Jetpacks.