A IA que sua empresa usa tem o comportamento validado?
Compliance, risco e engenharia esbarram na mesma pergunta: o que essa IA faz quando alguém testa de verdade?
Reguladores exigem evidência
EU AI Act, LGPD (direito à revisão de decisões automatizadas), setoriais de saúde, financeiro e Judiciário: a era da IA sem prestação de contas acabou. Opinião não passa em auditoria.
“LLM avaliando LLM” não é auditável
A maioria das ferramentas usa um LLM (IA) como juiz de outro. Rode duas vezes e o veredito muda. Resultado irreproduzível é indefensável diante de quem contesta.
Fornecedores prometem, ninguém verifica
Comprar ou publicar um sistema de IA sem baseline mensurável é assumir risco às cegas. Comparar fornecedores exige o mesmo teste, nas mesmas condições.
Como funciona
Quatro etapas separam a promessa do fornecedor de um laudo que se defende sozinho. O escopo é fechado no início, então ninguém amplia, troca ou maquia nada depois.
Escopo congelado
Definimos com você o que será avaliado: tipo de sistema, setor, idioma e o conjunto de casos de teste. Esse escopo é congelado criptograficamente no início: o resultado cobre exatamente o que foi contratado.
Coleta de evidência no seu ambiente
Você (ou seu fornecedor) executa o coletor Lyditt com as próprias credenciais. Sua chave de API nunca sai do seu ambiente, e ninguém vê o gabarito durante a coleta.
Motor determinístico de 7 camadas
Cada resposta passa por várias camadas determinísticas e versionadas de regras, que cobrem segurança, verificação factual e consistência. A composição exata fica registrada e auditável no laudo, e nenhum LLM participa do julgamento.
Relatório defensável + revisão humana
Casos de nuance vão para especialista humano. Cada decisão fica registrada em trilha de auditoria imutável, com autor, data e justificativa. O laudo indica a camada e a razão de cada veredito, com versões preservadas.
Não é só LLM: avaliamos qualquer sistema de IA
Cada tipo de sistema tem riscos próprios, e casos de teste à altura. O escopo declara o tipo e o motor aplica só os casos compatíveis: um chatbot nunca é medido com régua de credit scoring.
LLMs e chatbots
GPT, Gemini, Claude, Llama ou modelo próprio: alucinação, fabricação de números, recusa adequada, injeção de prompt, honestidade sobre o que não sabe, consistência sob reformulação.
Machine Learning clássico
Credit scoring, detecção de fraude, classificadores: viés algorítmico (disparate impact), estabilidade de score (mesmo input, mesmo resultado) e monitoramento de data drift.
Agentes autônomos
Sistemas que executam ações no mundo: contenção de ações não autorizadas, resistência à escalada de privilégios e rastreabilidade de cada decisão autônoma.
Embarcados e híbridos
LLM dentro de um produto, ou sistemas que combinam naturezas (agente + LLM + modelo clássico): escopo abrangente que cobre todas as frentes num único assessment comparável.
As 6 dimensões avaliadas
As seis dimensões cobrem o que os principais marcos de governança de IA pedem. Cada caso tem gabarito definido antes da execução, então testamos onde a IA falha de forma previsível.
Do lado técnico
- NIST AI RMF Framework voluntário de gestão de risco.
- OWASP LLM Top 10 Principais falhas de segurança em aplicações com LLM.
- MITRE ATLAS Táticas e técnicas de ataque adversarial a sistemas de IA.
- ISO/IEC 42001 Norma internacional de sistema de gestão de IA.
Do lado legal
- EU AI Act Lei europeia de IA, com obrigações por nível de risco.
- LGPD Art. 20, direito à revisão de decisão automatizada.
- Resolução CNJ 615 IA no Judiciário, com monitoramento das soluções de alto risco.
- Resolução CFM 2.454 IA na medicina, com a decisão final sempre do médico.
- Resolução CMN 4.557 Validação independente de modelos de risco no sistema financeiro.
Acurácia e Factualidade
Erra fatos? Fabrica números? Aceita premissas falsas embutidas na pergunta?
Consistência e Robustez
Responde igual sob reformulação? Resiste a enquadramento adversarial?
Rastreabilidade e Auditabilidade
Declara versão, cita fontes, mantém trilha de cálculo verificável?
Conformidade Regulatória
Respeita LGPD, EU AI Act, direito à explicação em decisão automatizada?
Segurança Adversarial
É o teste de segurança adversarial: agimos como um atacante para encontrar brechas. O sistema resiste a tentativas de manipulação e jailbreak, ou pode ser levado a agir fora das regras?
Adequação ao Domínio
Distingue nuance técnica real do seu setor? Resiste a viés de confirmação?
Casos de teste especializados por setor
Além da base genérica, a Lyditt mantém casos setoriais: regulação bancária exata, terminologia clínica crítica, prazos processuais, viés em triagem de RH, greenwashing em ESG.
O que você recebe
Um relatório técnico completo, em português, inglês ou espanhol. Pronto para anexar a processo de compra, auditoria ou comitê de risco.
- Classificação geral do sistema: Apto, Apto com Ressalvas, Inapto para Uso Crítico ou Inapto, calculada por regra, não por opinião.
- Achados caso a caso: qual camada decidiu, com qual materialidade (Crítico/Alto/Médio/Baixo) e por quê.
- Evidência completa: cada pergunta enviada e cada resposta da IA, na íntegra, com provider e modelo identificados.
- Transparência total da revisão humana: onde um especialista interveio, quem, quando e com qual justificativa. Nada é sobrescrito.
- Relatórios versionados e imutáveis: cada emissão é preservada; re-emissões após adjudicação geram nova versão sem apagar a anterior.
Segurança e privacidade por arquitetura
As garantias não dependem de promessa nem de boa vontade. Quem impõe é a arquitetura: onde a permissão não existe, não há o que abusar.
- Sua chave de IA nunca sai do seu ambiente: o coletor roda na sua infraestrutura e a Lyditt jamais a recebe ou armazena.
- O gabarito nunca é exposto: quem executa a coleta vê apenas as perguntas; os critérios de avaliação ficam isolados no motor.
- Trilha de auditoria imutável: cada decisão humana de revisão é um registro permanente que nem a própria Lyditt consegue reescrever ou apagar; a permissão de alteração simplesmente não existe no sistema.
- Relatórios em armazenamento privado e criptografado, com links de download que expiram em 24 horas.
- Escopo congelado no início: nenhuma das partes consegue ampliar, trocar ou remover casos depois que o assessment começa.
- Este site não usa cookies, rastreadores nem scripts de terceiros. Nada é coletado sobre a sua visita.
FAQ
O que risco, compliance e engenharia mais perguntam.
Isso é uma certificação oficial?
Não, e desconfie de quem prometer isso. A Lyditt é um assessment de maturidade: um diagnóstico estruturado com evidência auditável. Ele fortalece sua posição diante de reguladores e clientes, mas não substitui certificações regulatórias onde elas existirem.
Vocês são uma empresa de auditoria?
Não. A Lyditt não emite parecer de asseguração e não substitui o seu auditor. O que entregamos é a evidência reproduzível que sustenta o que você vai afirmar diante dele: mesmo input, mesmo veredito, com a camada e a razão registradas caso a caso.
Preciso entregar minha chave de API ou meus dados?
Não. O coletor roda no seu ambiente, com as suas credenciais, e envia apenas as respostas da IA aos casos de teste. Sua chave nunca transita para a Lyditt.
Por que “sem LLM em runtime” importa tanto?
Porque um juiz-LLM pode dar vereditos diferentes para a mesma resposta, e um resultado que muda a cada execução não se sustenta em auditoria. Nosso motor é determinístico: as regras são versionadas e o mesmo input produz o mesmo veredito, hoje e daqui a um ano.
E quando a avaliação exige julgamento humano?
Casos de nuance vão para revisão de especialista, deliberadamente. Cada decisão humana fica registrada numa trilha de auditoria imutável (autor, data, justificativa) e aparece no relatório, ao lado do veredito automático.
Dá para comparar dois fornecedores de IA?
Sim, é um dos usos mais comuns. Para a comparação ser justa, os sistemas passam pelas mesmas condições de avaliação, então os relatórios saem comparáveis lado a lado. E a bateria de casos é atualizada continuamente: cada avaliação reflete os cenários mais recentes.
A Lyditt avalia só LLMs?
Não. A base de casos cobre LLMs e chatbots, modelos de machine learning clássico (viés algorítmico, estabilidade de score, data drift), agentes autônomos (contenção de ações, escalada de privilégios, rastreabilidade de decisões) e sistemas embarcados ou híbridos. O tipo declarado no escopo define automaticamente quais casos se aplicam.
Serve para a Avaliação de Impacto Algorítmico (AIA) do PL 2338?
Serve como insumo, não como substituto. A AIA é conduzida pelo operador do sistema e cobre impacto sobre direitos fundamentais, medidas mitigadoras e governança. A Lyditt entrega a parte técnica que ela cita: testes de viés e discriminação, conformidade e rastreabilidade, com evidência reproduzível caso a caso.
Serve para a Resolução CFM 2.454 ou a CNJ 615?
Serve como evidência, não como substituto. As duas resoluções pedem acompanhamento especializado e contínuo da IA em uso, sem definir o método. A Lyditt entrega a evidência técnica reproduzível desse acompanhamento, com casos ancorados em cada norma, e o laudo pode ser reemitido a cada atualização do sistema.
Meu sistema é classificado como de alto risco. O que muda?
O escopo inclui a verificação de enquadramento e da documentação obrigatória: gestão de risco, registro de eventos e supervisão humana comprovada, nos termos do Anexo III do EU AI Act. Essa parte é avaliada sobre as suas evidências e entra no relatório em aba própria. No EU AI Act, essas obrigações valem a partir de 2 de dezembro de 2027.
Existem casos específicos do meu setor?
Sim. No financeiro, casos ancorados na Resolução CMN 4.557 (validação independente de modelos de risco) e em análise de crédito, além da trilha de ML clássico: viés, estabilidade de score e data drift. Na saúde, terminologia clínica crítica, recusa de recomendação não autorizada e as exigências da Resolução CFM 2.454, como mediação médica e registro no prontuário. No jurídico, injeção de instrução em contrato sob análise, independência diante de tese já fechada, cálculo processual exato e supervisão do magistrado exigida pela Resolução CNJ 615. RH, ESG e tecnologia também têm casos.
Meça antes de confiar.
Conte para a gente o que seu sistema de IA faz e em qual setor. Retornamos com o escopo proposto do assessment.
Falar no WhatsApp