A Lyditt mede como o seu sistema de IA realmente se comporta: seja um LLM, um modelo de machine learning, um agente autônomo ou um híbrido. Você recebe um relatório técnico que se sustenta diante de regulador, cliente ou auditor.
Compliance, risco e engenharia esbarram na mesma pergunta: o que essa IA faz quando alguém testa de verdade?
EU AI Act, LGPD (direito à revisão de decisões automatizadas), setoriais de saúde e financeiro: a era da IA sem prestação de contas acabou. Opinião não passa em auditoria.
A maioria das ferramentas usa um LLM (IA) como juiz de outro. Rode duas vezes e o veredito muda. Resultado irreproduzível é indefensável diante de quem contesta.
Comprar ou publicar um sistema de IA sem baseline mensurável é assumir risco às cegas. Comparar fornecedores exige o mesmo teste, nas mesmas condições.
Quatro etapas separam a promessa do fornecedor de um laudo que se defende sozinho. O escopo é fechado no início, então ninguém amplia, troca ou maquia nada depois.
Definimos com você o que será avaliado: tipo de sistema, setor, idioma e o conjunto de casos de teste. Esse escopo é congelado criptograficamente no início: o resultado cobre exatamente o que foi contratado.
Você (ou seu fornecedor) executa o coletor Lyditt com as próprias credenciais. Sua chave de API nunca sai do seu ambiente, e ninguém vê o gabarito durante a coleta.
Cada resposta passa por várias camadas determinísticas e versionadas de regras, que cobrem segurança, verificação factual e consistência. A composição exata fica registrada e auditável no laudo, e nenhum LLM participa do julgamento.
Casos de nuance vão para especialista humano. Cada decisão fica registrada em trilha de auditoria imutável, com autor, data e justificativa. O laudo indica a camada e a razão de cada veredito, com versões preservadas.
Cada tipo de sistema tem riscos próprios, e casos de teste à altura. O escopo declara o tipo e o motor aplica só os casos compatíveis: um chatbot nunca é medido com régua de credit scoring.
GPT, Gemini, Claude, Llama ou modelo próprio: alucinação, fabricação de números, recusa adequada, injeção de prompt, honestidade sobre o que não sabe, consistência sob reformulação.
Credit scoring, detecção de fraude, classificadores: viés algorítmico (disparate impact), estabilidade de score (mesmo input, mesmo resultado) e monitoramento de data drift.
Sistemas que executam ações no mundo: contenção de ações não autorizadas, resistência à escalada de privilégios e rastreabilidade de cada decisão autônoma.
LLM dentro de um produto, ou sistemas que combinam naturezas (agente + LLM + modelo clássico): escopo abrangente que cobre todas as frentes num único assessment comparável.
As seis dimensões cobrem o que os principais marcos de governança de IA pedem. Cada caso tem gabarito definido antes da execução, então testamos onde a IA falha de forma previsível.
Erra fatos? Fabrica números? Aceita premissas falsas embutidas na pergunta?
Responde igual sob reformulação? Resiste a enquadramento adversarial?
Declara versão, cita fontes, mantém trilha de cálculo verificável?
Respeita LGPD, EU AI Act, direito à explicação em decisão automatizada?
É o teste de segurança adversarial: agimos como um atacante para encontrar brechas. O sistema resiste a tentativas de manipulação e jailbreak, ou pode ser levado a agir fora das regras?
Distingue nuance técnica real do seu setor? Resiste a viés de confirmação?
Além da base genérica, a Lyditt mantém casos setoriais: regulação bancária exata, terminologia clínica crítica, prazos processuais, viés em triagem de RH, greenwashing em ESG.
Um relatório técnico completo, em português, inglês ou espanhol. Pronto para anexar a processo de compra, auditoria ou comitê de risco.
As garantias não dependem de promessa nem de boa vontade. Quem impõe é a arquitetura: onde a permissão não existe, não há o que abusar.
O que risco, compliance e engenharia mais perguntam.
Não, e desconfie de quem prometer isso. A Lyditt é um assessment de maturidade: um diagnóstico estruturado com evidência auditável. Ele fortalece sua posição diante de reguladores e clientes, mas não substitui certificações regulatórias onde elas existirem.
Não. A Lyditt não emite parecer de asseguração e não substitui o seu auditor. O que entregamos é a evidência reproduzível que sustenta o que você vai afirmar diante dele: mesmo input, mesmo veredito, com a camada e a razão registradas caso a caso.
Não. O coletor roda no seu ambiente, com as suas credenciais, e envia apenas as respostas da IA aos casos de teste. Sua chave nunca transita para a Lyditt.
Porque um juiz-LLM pode dar vereditos diferentes para a mesma resposta, e um resultado que muda a cada execução não se sustenta em auditoria. Nosso motor é determinístico: as regras são versionadas e o mesmo input produz o mesmo veredito, hoje e daqui a um ano.
Casos de nuance vão para revisão de especialista, deliberadamente. Cada decisão humana fica registrada numa trilha de auditoria imutável (autor, data, justificativa) e aparece no relatório, ao lado do veredito automático.
Sim, é um dos usos mais comuns. Para a comparação ser justa, os sistemas passam pelas mesmas condições de avaliação, então os relatórios saem comparáveis lado a lado. E a bateria de casos é atualizada continuamente: cada avaliação reflete os cenários mais recentes.
Não. A base de casos cobre LLMs e chatbots, modelos de machine learning clássico (viés algorítmico, estabilidade de score, data drift), agentes autônomos (contenção de ações, escalada de privilégios, rastreabilidade de decisões) e sistemas embarcados ou híbridos. O tipo declarado no escopo define automaticamente quais casos se aplicam.
Serve como insumo, não como substituto. A AIA é conduzida pelo operador do sistema e cobre impacto sobre direitos fundamentais, medidas mitigadoras e governança. A Lyditt entrega a parte técnica que ela cita: testes de viés e discriminação, conformidade e rastreabilidade, com evidência reproduzível caso a caso.
O escopo inclui a verificação de enquadramento e da documentação obrigatória: gestão de risco, registro de eventos e supervisão humana comprovada, nos termos do Anexo III do EU AI Act. Essa parte é avaliada sobre as suas evidências e entra no relatório em aba própria.
Sim. No financeiro, casos ancorados em regulação do Banco Central e análise de crédito, além da trilha de ML clássico: viés, estabilidade de score e data drift. Na saúde, terminologia clínica crítica e recusa de recomendação não autorizada, porque a decisão é do profissional. No jurídico, injeção de instrução em contrato sob análise, independência diante de tese já fechada e cálculo processual exato. RH, ESG e tecnologia também têm casos.
Conte para a gente o que seu sistema de IA faz e em qual setor. Retornamos com o escopo proposto do assessment.
Falar no WhatsApp