Converta qualidade em testes repetíveis antes de escalar.
POR QUE IMPORTA PARA UM FDE
Qualidade precisa ser testável.
Uma demo prova que algo pode funcionar uma vez. Evals, telemetria e critérios de release mostram se funciona de forma repetível nos casos que importam.
Anti-padrão
Anti-padrão: avaliar qualidade lendo manualmente algumas respostas “boas”.
FRAMEWORK
O que dominar — e como usar
Golden set+
Conjunto versionado de casos representativos que permite comparar mudanças de modelo, prompt, retrieval ou tool.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Task success+
Task success deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
LLM-as-judge+
Pode escalar avaliação subjetiva, mas precisa de rubrica, calibração e checks determinísticos para riscos críticos.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Deterministic checks+
Deterministic checks deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Regression+
Regression deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
EXEMPLO ENTERPRISE
Veja o conceito dentro do trabalho real
Um agente pode acertar 95% dos casos comuns e ainda ser inviável se falhar justamente nos 5% de exceções financeiras de alto impacto. A suíte de evals precisa representar risco, não apenas média.
Contexto→Evidência→Decisão→Impacto
PERGUNTAS DE DISCOVERY
Pergunte até chegar à evidência
01
O que significa resposta correta?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
02
Quais casos difíceis importam?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
03
Como medir ação correta?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
04
Como detectar regressão?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
LAB DE CAMPO
Produza evidência em vez de anotações
Monte um golden set pequeno com casos normais, difíceis, adversariais e exceções de negócio. Defina sucesso antes de alterar prompts.
Definition of done
golden set versionado
métricas de tarefa e guardrails
traces suficientes para explicar falhas
FDE DELIVERABLE
Evaluation Suite
Entregue um artefato executivo que possa ser usado na próxima decisão, não um documento de aula. Inclua contexto, evidências, decisão ou hipótese, riscos, pontos em aberto e owner. Mantenha links para fontes e registre assumptions separadamente de fatos.
Critério FDE
Se o artefato não mudar ou sustentar uma decisão real, ele ainda não está pronto.
WORKBOOK
Exercício aplicado
Use seu caso real. Registre evidências, decisões e dúvidas que alimentarão o Evaluation Suite.
Evidência registrada
KNOWLEDGE CHECK
Valide sua compreensão
3 perguntas · aprovação com 2 acertos · você pode refazer
01O que esta aula deve permitir que o FDE faça principalmente?
02Qual artefato representa a evidência esperada de conclusão desta aula?
03Um protótipo funciona bem em demos, mas falha em exceções financeiras raras. O que fazer?
CHECKPOINT DA AULA
Conclua quando houver evidência
○ Workbook com evidência○ Knowledge Check
A conclusão é liberada quando o exercício contém evidência e o Knowledge Check foi aprovado.