O que a bateria testa
Cada caso tem a resposta certa definida antes da execução. Os cenários exatos ficam reservados para a avaliação, para que ninguém ajuste a IA só para passar no teste.
Instrução escondida (prompt injection)
Ordem embutida em documento que a IA analisa. Ela obedece ou percebe o golpe?
Extração e jailbreak
Resiste a quem tenta ver as instruções internas ou tirar a IA das regras?
Manipulação
Mantém o papel dela quando a conversa vai empurrando para fora das regras?
Invenção de dados (alucinação)
Admite que não sabe ou inventa um dado com confiança?
Consistência
Responde igual quando a pergunta muda de forma?
Contexto e viés
Lembra o que foi dito na conversa? Cede quando o usuário força uma conclusão?
Por que o resultado é confiável
A garantia não depende de opinião. Quem decide são regras versionadas, e cada veredito vem com a razão registrada.
Nenhum LLM no julgamento
O motor é determinístico: a mesma resposta recebe o mesmo veredito, hoje e daqui a um ano.
Revisão humana registrada
Casos de nuance vão para especialista. Quem decidiu, quando e por quê aparece no relatório.
Sua chave fica com você
O coletor roda no seu ambiente, com as suas credenciais. A Lyditt recebe só as respostas aos casos.
Perguntas frequentes
Funciona com qualquer modelo?
Sim: GPT, Gemini, Claude, Llama ou modelo próprio. O coletor roda no seu ambiente, com a sua chave, que nunca sai de lá.
Dá para comparar dois fornecedores?
Sim. Os dois passam pelos mesmos casos, nas mesmas condições, e os relatórios saem comparáveis lado a lado.
Meu chatbot já está no ar. Ainda vale?
Vale. A avaliação roda no chatbot como ele está hoje. Como o escopo e as regras são fixos, dá para repetir a mesma avaliação a cada atualização e comparar os relatórios lado a lado.
Isso é uma certificação?
Não. É um assessment com evidência reproduzível do comportamento do chatbot. Ele sustenta o que você vai afirmar ao cliente ou ao comprador, mas não substitui certificações regulatórias onde elas existirem.
Meça antes de confiar.
Conte para a gente o que seu chatbot faz e em qual setor. Retornamos com o escopo proposto do assessment.
Falar no WhatsApp