Antecipe abuso, prompt injection, vazamento, ações indevidas e falhas.
POR QUE IMPORTA PARA UM FDE
Produção exige controles proporcionais à autonomia.
Quanto mais um sistema pode ver, decidir e agir, maior a necessidade de identidade, least privilege, validação, auditoria, fallback e resposta a incidentes.
Anti-padrão
Anti-padrão: tratar guardrails como uma camada adicionada depois que o agente já está pronto.
FRAMEWORK
O que dominar — e como usar
Threat modeling+
Modele ativos, atores, superfícies de ataque, abuso e impacto antes de definir controles.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Prompt injection+
Considere conteúdo externo como não confiável; separe instrução de dados e restrinja ações disponíveis.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Data leakage+
Data leakage deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Tool abuse+
Tool abuse deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
Failure modes+
Failure modes deve ser ligado a uma decisão concreta do workflow. Defina owner, evidência, exceções e o que mudaria a decisão.
Decisão que suporta
Use o conceito para reduzir uma incerteza que altera escopo, workflow, arquitetura, controle ou prioridade.
Evidências mínimas
um caso real
uma fonte ou métrica
uma exceção relevante
Teste de qualidade
Outra pessoa deve conseguir revisar a conclusão e chegar à mesma interpretação usando as evidências registradas.
EXEMPLO ENTERPRISE
Veja o conceito dentro do trabalho real
Um copiloto que apenas sugere texto tem blast radius diferente de um agente que bloqueia transações ou altera cadastros. O nível de controle precisa acompanhar o impacto potencial.
Contexto→Evidência→Decisão→Impacto
PERGUNTAS DE DISCOVERY
Pergunte até chegar à evidência
01
O que um atacante tentaria?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
02
Que dados podem vazar?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
03
Qual ação seria perigosa?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
04
Como limitar blast radius?
+
Como aprofundar
Peça o último exemplo concreto. Depois pergunte frequência, impacto, variações, owner e qual dado poderia confirmar a resposta. Compare o caso normal com uma exceção.
Sinal de boa resposta
A resposta deixa de ser “normalmente” ou “acho que” e passa a conter caso, número, fonte, responsável e consequência.
LAB DE CAMPO
Produza evidência em vez de anotações
Faça um pre-mortem: suponha que a solução causou um incidente grave. Liste como ocorreu, como seria detectado e qual controle o impediria.
Definition of done
threat model revisado
owner e runbook definidos
rollback testável
FDE DELIVERABLE
AI Threat Model
Entregue um artefato executivo que possa ser usado na próxima decisão, não um documento de aula. Inclua contexto, evidências, decisão ou hipótese, riscos, pontos em aberto e owner. Mantenha links para fontes e registre assumptions separadamente de fatos.
Critério FDE
Se o artefato não mudar ou sustentar uma decisão real, ele ainda não está pronto.
WORKBOOK
Exercício aplicado
Use seu caso real. Registre evidências, decisões e dúvidas que alimentarão o AI Threat Model.
Evidência registrada
KNOWLEDGE CHECK
Valide sua compreensão
3 perguntas · aprovação com 2 acertos · você pode refazer
01O que esta aula deve permitir que o FDE faça principalmente?
02Qual artefato representa a evidência esperada de conclusão desta aula?
03Um agente passará a alterar registros em um sistema crítico. O que deve mudar em relação a um copiloto somente de leitura?
CHECKPOINT DA AULA
Conclua quando houver evidência
○ Workbook com evidência○ Knowledge Check
A conclusão é liberada quando o exercício contém evidência e o Knowledge Check foi aprovado.