Instrumente traces, prompts, tools, latência, custo e falhas.
POR QUE IMPORTA PARA UM FDE
Qualidade precisa ser testável.
Uma demo prova que algo pode funcionar uma vez. Evals, telemetria e critérios de release mostram se funciona de forma repetível nos casos que importam.
Anti-padrão
Anti-padrão: avaliar qualidade lendo manualmente algumas respostas “boas”.
FRAMEWORK
O que dominar — e como usar
Tracing+
Registre a cadeia de decisão: entrada, contexto, modelo, tool, resultado, latência e erro.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Logs+
Logs deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Token usage+
Token usage deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Latency+
Latency deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Tool errors+
Tool errors deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
EXEMPLO ENTERPRISE
Veja o conceito dentro do trabalho real
Um agente pode acertar 95% dos casos comuns e ainda ser inviável se falhar justamente nos 5% de exceções financeiras de alto impacto. A suíte de evals precisa representar risco, não apenas média.
Contexto→Evidência→Decisão→Impacto
PERGUNTAS DE DISCOVERY
Pergunte até chegar à evidência
01
Onde o agente falhou?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
02
Qual contexto recebeu?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
03
Qual tool chamou?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
04
Quanto custou?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
LAB DE CAMPO
Produza evidência em vez de anotações
Monte um golden set pequeno com casos normais, difíceis, adversariais e exceções de negócio. Defina sucesso antes de alterar prompts.
Definition of done
golden set versionado
métricas de tarefa e guardrails
traces suficientes para explicar falhas
FDE DELIVERABLE
Observability Dashboard Spec
Entregue um artefato executivo que possa ser usado na próxima decisão, não um documento de aula. Inclua contexto, evidências, decisão ou hipótese, riscos, pontos em aberto e owner. Mantenha links para fontes e registre assumptions separadamente de fatos.
Critério FDE
Se o artefato não mudar ou sustentar uma decisão real, ele ainda não está pronto.
WORKBOOK
Exercício aplicado
Use seu caso real. Registre evidências, decisões e dúvidas que alimentarão o Observability Dashboard Spec.
Evidência registrada
KNOWLEDGE CHECK
Valide sua compreensão
3 perguntas · aprovação com 2 acertos · você pode refazer
01O que esta aula deve permitir que o FDE faça principalmente?
02Qual artefato representa a evidência esperada de conclusão desta aula?
03Um protótipo funciona bem em demos, mas falha em exceções financeiras raras. O que fazer?
CHECKPOINT DA AULA
Conclua quando houver evidência
○ Workbook com evidência○ Knowledge Check
A conclusão é liberada quando o exercício contém evidência e o Knowledge Check foi aprovado.