O problema raramente é a pergunta fácil. É o chatbot inventar um dado com confiança, obedecer uma instrução escondida num documento ou mudar de resposta quando a pergunta muda de forma. A Lyditt roda uma bateria de casos que provoca exatamente esses comportamentos e entrega um relatório com o veredito de cada um. Serve antes do lançamento e para o chatbot que já está no ar.
Cada caso tem a resposta certa definida antes da execução. Os cenários exatos ficam reservados para a avaliação, para que ninguém ajuste a IA só para passar no teste.
Ordem embutida em documento que a IA analisa. Ela obedece ou percebe o golpe?
Resiste a quem tenta ver as instruções internas ou tirar a IA das regras?
Mantém o papel dela quando a conversa vai empurrando para fora das regras?
Admite que não sabe ou inventa um dado com confiança?
Responde igual quando a pergunta muda de forma?
Lembra o que foi dito na conversa? Cede quando o usuário força uma conclusão?
A garantia não depende de opinião. Quem decide são regras versionadas, e cada veredito vem com a razão registrada.
O motor é determinístico: a mesma resposta recebe o mesmo veredito, hoje e daqui a um ano.
Casos de nuance vão para especialista. Quem decidiu, quando e por quê aparece no relatório.
O coletor roda no seu ambiente, com as suas credenciais. A Lyditt recebe só as respostas aos casos.
Sim: GPT, Gemini, Claude, Llama ou modelo próprio. O coletor roda no seu ambiente, com a sua chave, que nunca sai de lá.
Sim. Os dois passam pelos mesmos casos, nas mesmas condições, e os relatórios saem comparáveis lado a lado.
Vale. A avaliação roda no chatbot como ele está hoje. Como o escopo e as regras são fixos, dá para repetir a mesma avaliação a cada atualização e comparar os relatórios lado a lado.
Não. É um assessment com evidência reproduzível do comportamento do chatbot. Ele sustenta o que você vai afirmar ao cliente ou ao comprador, mas não substitui certificações regulatórias onde elas existirem.
Conte para a gente o que seu chatbot faz e em qual setor. Retornamos com o escopo proposto do assessment.
Falar no WhatsApp