FUNDAMENTOS · AGENT INFRASTRUCTURE · 05
Evals
Medir se modelos e agentes fazem o que deveriam — com qualidade, segurança e consistência.
8 min de leituraSem avaliação, melhoria vira opinião.
Evals são testes e métricas usados para medir comportamento de sistemas de IA. Eles podem avaliar respostas de modelos, uso de ferramentas, cumprimento de políticas ou sucesso de uma tarefa completa.
Ao contrário de software determinístico, muitas saídas de IA admitem variação. Por isso, avaliação precisa combinar métricas automáticas, datasets representativos e, quando necessário, revisão humana.
CAMADAS
Avaliar componente e sistema
É possível testar isoladamente retrieval, classificação, tool calling e geração, além do resultado end-to-end.
Datasets fixos permitem comparar versões antes do deploy.
Métricas de produção mostram comportamento sob uso real.
Especialistas avaliam critérios difíceis de automatizar.
Modelos podem apoiar avaliação, desde que também sejam validados.
CRITÉRIOS
Qualidade é multidimensional
Correção, grounding, segurança, custo, latência e sucesso da tarefa podem apontar em direções diferentes.
A avaliação deve refletir o objetivo do produto e o risco do processo.
CICLO
Evals fazem parte do desenvolvimento contínuo
Toda mudança de modelo, prompt, tool, retrieval ou política pode alterar comportamento. Suites de evals ajudam a detectar regressões antes que cheguem aos usuários.
Em produção, feedback real deve alimentar novos testes.
NA PRÁTICA
Avaliação antes do deploy
Uma suite pode medir task success, groundedness, segurança, tool use, custo e latência.
PRINCÍPIO
Evals transformam qualidade de IA em algo mensurável, comparável e melhorável.