Teste o agente com casos reais, adicione controles de segurança e instrumente traces, erros, custo e latência.
POR QUE IMPORTA PARA UM FDE
Descubra o problema real, não o pedido inicial.
Pedidos chegam em formato de solução: “queremos um chatbot”, “automatize esta etapa”, “coloque IA aqui”. O FDE precisa voltar ao trabalho real, observar evidências e definir qual problema merece ser resolvido.
Anti-padrão
Anti-padrão: transformar a primeira descrição do stakeholder em backlog sem observar o workflow.
FRAMEWORK
O que dominar — e como usar
Evals+
Evals deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Guardrails+
Guardrails deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Tracing+
Registre a cadeia de decisão: entrada, contexto, modelo, tool, resultado, latência e erro.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Fallback+
Defina comportamento seguro quando modelo, retrieval, tool ou dependência estiver indisponível.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Cost & latency+
Cost & latency deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
EXEMPLO ENTERPRISE
Veja o conceito dentro do trabalho real
Uma área pede um agente para responder chamados. O shadowing revela que 40% do tempo não está na resposta, mas na busca de contexto em três sistemas e na correção de cadastros incompletos. O problema muda — e a solução também.
Contexto→Evidência→Decisão→Impacto
PERGUNTAS DE DISCOVERY
Pergunte até chegar à evidência
01
Quais casos entram no golden set?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
02
Qual threshold mínimo libera a demo?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
03
Qual falha exige fallback?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
04
Quais sinais precisam ser monitorados?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
LAB DE CAMPO
Produza evidência em vez de anotações
Acompanhe três casos reais, incluindo uma exceção. Cronometre espera, execução e retrabalho e compare com o processo oficial.
Definition of done
casos reais observados
baseline mensurável
causa separada de sintoma
FDE DELIVERABLE
Agent Evaluation & Safety Report
Entregue um artefato executivo que possa ser usado na próxima decisão, não um documento de aula. Inclua contexto, evidências, decisão ou hipótese, riscos, pontos em aberto e owner. Mantenha links para fontes e registre assumptions separadamente de fatos.
Critério FDE
Se o artefato não mudar ou sustentar uma decisão real, ele ainda não está pronto.
WORKBOOK
Exercício aplicado
Use seu caso real. Registre evidências, decisões e dúvidas que alimentarão o Agent Evaluation & Safety Report.
Evidência registrada
KNOWLEDGE CHECK
Valide sua compreensão
3 perguntas · aprovação com 2 acertos · você pode refazer
01O que esta aula deve permitir que o FDE faça principalmente?
02Qual artefato representa a evidência esperada de conclusão desta aula?
03O agente funciona na demo, mas ainda não possui evals, guardrails nem fallback. Qual deve ser a decisão do FDE?
CHECKPOINT DA AULA
Conclua quando houver evidência
○ Workbook com evidência○ Knowledge Check
A conclusão é liberada quando o exercício contém evidência e o Knowledge Check foi aprovado.