Navegue neste artigo
Trocar um modelo ou reescrever uma instrução pode melhorar um caso e quebrar outro. Uma avaliação repetível torna essa troca visível.
Descreva o comportamento esperado
Escolha uma tarefa delimitada, como consultar o status de um pedido. Prepare registros fictícios e uma ferramenta controlada. Cada caso deve definir entrada, permissão do usuário, resultado esperado e ações que não podem acontecer.
Guarde parte dos casos para avaliação, sem usá-los para ajustar as instruções. Isso ajuda a perceber quando a mudança só decorou os exemplos.
caso: pedido_de_outra_empresa
entrada: consultar pedido 42
usuario: empresa_a
pedido: empresa_b
esperado:
- negar acesso sem revelar dados
- nenhuma alteração no pedido
- registrar resultado sem dados pessoaisSepare resposta, ação e consequência
Verifique três coisas: a resposta explicou corretamente o resultado? A ferramenta certa foi chamada com parâmetros permitidos? O sistema terminou no estado esperado? Uma resposta convincente pode esconder uma execução errada.
- Use verificações determinísticas para permissões, campos e estado final.
- Use critérios escritos e revisão humana para utilidade e clareza.
- Se outro modelo avaliar a resposta, compare suas notas com avaliações humanas e registre divergências.
- Verifique falhas e recusas separadamente dos casos comuns.
Compare versões nas mesmas condições
Fixe a versão das ferramentas, os dados de teste e o orçamento de execução. Execute a versão atual e a candidata sobre os mesmos casos e repita quando houver variação. Registre modelo, instruções, duração, chamadas e custo.
Um resultado útil não é apenas uma média. Identifique regressões críticas: uma execução mais barata que passa a acessar dados indevidos não deve ser promovida. Defina o limiar de aceitação de acordo com o risco da tarefa.
Leve os erros reais de volta aos testes
Depois da publicação, selecione falhas observadas e transforme-as em novos casos com dados removidos ou anonimizados. Preserve a revisão do responsável pela operação. Quando uma ferramenta ou política mudar, revise também o que os testes consideram correto.
Para começar, produza três artefatos: uma lista de casos, um relatório comparando duas versões e uma decisão documentada sobre publicar ou corrigir. Esse ciclo é mais útil que um painel sem critérios de ação.
Os exemplos são didáticos. Passar em uma avaliação reduz incerteza; não garante ausência de falhas em produção.
Fontes e leituras relacionadas
Material educativo. Valide os exemplos em um ambiente de teste e adapte as decisões ao contexto, aos riscos e às responsabilidades do seu projeto.
Compartilhar