Use falhas reais para melhorar prompts, contexto, tools e arquitetura.
POR QUE IMPORTA PARA UM FDE
Qualidade precisa ser testável.
Uma demo prova que algo pode funcionar uma vez. Evals, telemetria e critérios de release mostram se funciona de forma repetível nos casos que importam.
Anti-padrão
Anti-padrão: avaliar qualidade lendo manualmente algumas respostas “boas”.
FRAMEWORK
O que dominar — e como usar
Error taxonomy+
Classifique falhas por origem para evitar corrigir retrieval com prompt ou tool com troca de modelo.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Root cause+
Root cause deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Prompt iteration+
Prompt iteration deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Retrieval tuning+
Retrieval tuning deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Release threshold+
Release threshold deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
EXEMPLO ENTERPRISE
Veja o conceito dentro do trabalho real
Um agente pode acertar 95% dos casos comuns e ainda ser inviável se falhar justamente nos 5% de exceções financeiras de alto impacto. A suíte de evals precisa representar risco, não apenas média.
Contexto→Evidência→Decisão→Impacto
PERGUNTAS DE DISCOVERY
Pergunte até chegar à evidência
01
Quais falhas se repetem?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
02
São de modelo, dados ou tool?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
03
Qual mudança melhora o eval?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
04
Qual threshold libera produção?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
LAB DE CAMPO
Produza evidência em vez de anotações
Monte um golden set pequeno com casos normais, difíceis, adversariais e exceções de negócio. Defina sucesso antes de alterar prompts.
Definition of done
golden set versionado
métricas de tarefa e guardrails
traces suficientes para explicar falhas
FDE DELIVERABLE
Quality Release Report
Entregue um artefato executivo que possa ser usado na próxima decisão, não um documento de aula. Inclua contexto, evidências, decisão ou hipótese, riscos, pontos em aberto e owner. Mantenha links para fontes e registre assumptions separadamente de fatos.
Critério FDE
Se o artefato não mudar ou sustentar uma decisão real, ele ainda não está pronto.
WORKBOOK
Exercício aplicado
Use seu caso real. Registre evidências, decisões e dúvidas que alimentarão o Quality Release Report.
Evidência registrada
KNOWLEDGE CHECK
Valide sua compreensão
3 perguntas · aprovação com 2 acertos · você pode refazer
01O que esta aula deve permitir que o FDE faça principalmente?
02Qual artefato representa a evidência esperada de conclusão desta aula?
03Um protótipo funciona bem em demos, mas falha em exceções financeiras raras. O que fazer?
CHECKPOINT DA AULA
Conclua quando houver evidência
○ Workbook com evidência○ Knowledge Check
A conclusão é liberada quando o exercício contém evidência e o Knowledge Check foi aprovado.