Avaliação de IA com evidência, não opinião.

A Lyditt mede como o seu sistema de IA realmente se comporta: seja um LLM, um modelo de machine learning, um agente autônomo ou um híbrido. Você recebe um relatório técnico que se sustenta diante de regulador, cliente ou auditor.

Avaliação 100% determinística. Sem uma IA julgando outra.
  1. Escopo congelado
  2. Coleta de evidência no seu ambiente
  3. Motor determinístico de 7 camadas
  4. Relatório defensável + revisão humana

A IA que sua empresa usa tem o comportamento validado?

Compliance, risco e engenharia esbarram na mesma pergunta: o que essa IA faz quando alguém testa de verdade?

Reguladores exigem evidência

EU AI Act, LGPD (direito à revisão de decisões automatizadas), setoriais de saúde, financeiro e Judiciário: a era da IA sem prestação de contas acabou. Opinião não passa em auditoria.

“LLM avaliando LLM” não é auditável

A maioria das ferramentas usa um LLM (IA) como juiz de outro. Rode duas vezes e o veredito muda. Resultado irreproduzível é indefensável diante de quem contesta.

Fornecedores prometem, ninguém verifica

Comprar ou publicar um sistema de IA sem baseline mensurável é assumir risco às cegas. Comparar fornecedores exige o mesmo teste, nas mesmas condições.

Como funciona

Quatro etapas separam a promessa do fornecedor de um laudo que se defende sozinho. O escopo é fechado no início, então ninguém amplia, troca ou maquia nada depois.

1

Escopo congelado

Definimos com você o que será avaliado: tipo de sistema, setor, idioma e o conjunto de casos de teste. Esse escopo é congelado criptograficamente no início: o resultado cobre exatamente o que foi contratado.

2

Coleta de evidência no seu ambiente

Você (ou seu fornecedor) executa o coletor Lyditt com as próprias credenciais. Sua chave de API nunca sai do seu ambiente, e ninguém vê o gabarito durante a coleta.

3

Motor determinístico de 7 camadas

Cada resposta passa por várias camadas determinísticas e versionadas de regras, que cobrem segurança, verificação factual e consistência. A composição exata fica registrada e auditável no laudo, e nenhum LLM participa do julgamento.

4

Relatório defensável + revisão humana

Casos de nuance vão para especialista humano. Cada decisão fica registrada em trilha de auditoria imutável, com autor, data e justificativa. O laudo indica a camada e a razão de cada veredito, com versões preservadas.

Não é só LLM: avaliamos qualquer sistema de IA

Cada tipo de sistema tem riscos próprios, e casos de teste à altura. O escopo declara o tipo e o motor aplica só os casos compatíveis: um chatbot nunca é medido com régua de credit scoring.

LLMs e chatbots

GPT, Gemini, Claude, Llama ou modelo próprio: alucinação, fabricação de números, recusa adequada, injeção de prompt, honestidade sobre o que não sabe, consistência sob reformulação.

Machine Learning clássico

Credit scoring, detecção de fraude, classificadores: viés algorítmico (disparate impact), estabilidade de score (mesmo input, mesmo resultado) e monitoramento de data drift.

Agentes autônomos

Sistemas que executam ações no mundo: contenção de ações não autorizadas, resistência à escalada de privilégios e rastreabilidade de cada decisão autônoma.

Embarcados e híbridos

LLM dentro de um produto, ou sistemas que combinam naturezas (agente + LLM + modelo clássico): escopo abrangente que cobre todas as frentes num único assessment comparável.

As 6 dimensões avaliadas

As seis dimensões cobrem o que os principais marcos de governança de IA pedem. Cada caso tem gabarito definido antes da execução, então testamos onde a IA falha de forma previsível.

Do lado técnico

  • NIST AI RMF Framework voluntário de gestão de risco.
  • OWASP LLM Top 10 Principais falhas de segurança em aplicações com LLM.
  • MITRE ATLAS Táticas e técnicas de ataque adversarial a sistemas de IA.
  • ISO/IEC 42001 Norma internacional de sistema de gestão de IA.

Do lado legal

  • EU AI Act Lei europeia de IA, com obrigações por nível de risco.
  • LGPD Art. 20, direito à revisão de decisão automatizada.
  • Resolução CNJ 615 IA no Judiciário, com monitoramento das soluções de alto risco.
  • Resolução CFM 2.454 IA na medicina, com a decisão final sempre do médico.
  • Resolução CMN 4.557 Validação independente de modelos de risco no sistema financeiro.
AT

Acurácia e Factualidade

Erra fatos? Fabrica números? Aceita premissas falsas embutidas na pergunta?

CR

Consistência e Robustez

Responde igual sob reformulação? Resiste a enquadramento adversarial?

RA

Rastreabilidade e Auditabilidade

Declara versão, cita fontes, mantém trilha de cálculo verificável?

CF

Conformidade Regulatória

Respeita LGPD, EU AI Act, direito à explicação em decisão automatizada?

SA

Segurança Adversarial

É o teste de segurança adversarial: agimos como um atacante para encontrar brechas. O sistema resiste a tentativas de manipulação e jailbreak, ou pode ser levado a agir fora das regras?

AD

Adequação ao Domínio

Distingue nuance técnica real do seu setor? Resiste a viés de confirmação?

Casos de teste especializados por setor

Além da base genérica, a Lyditt mantém casos setoriais: regulação bancária exata, terminologia clínica crítica, prazos processuais, viés em triagem de RH, greenwashing em ESG.

FinanceiroSaúde JurídicoRH ESGTecnologia VarejoIndústria

O que você recebe

Um relatório técnico completo, em português, inglês ou espanhol. Pronto para anexar a processo de compra, auditoria ou comitê de risco.

  • Classificação geral do sistema: Apto, Apto com Ressalvas, Inapto para Uso Crítico ou Inapto, calculada por regra, não por opinião.
  • Achados caso a caso: qual camada decidiu, com qual materialidade (Crítico/Alto/Médio/Baixo) e por quê.
  • Evidência completa: cada pergunta enviada e cada resposta da IA, na íntegra, com provider e modelo identificados.
  • Transparência total da revisão humana: onde um especialista interveio, quem, quando e com qual justificativa. Nada é sobrescrito.
  • Relatórios versionados e imutáveis: cada emissão é preservada; re-emissões após adjudicação geram nova versão sem apagar a anterior.

Segurança e privacidade por arquitetura

As garantias não dependem de promessa nem de boa vontade. Quem impõe é a arquitetura: onde a permissão não existe, não há o que abusar.

  • Sua chave de IA nunca sai do seu ambiente: o coletor roda na sua infraestrutura e a Lyditt jamais a recebe ou armazena.
  • O gabarito nunca é exposto: quem executa a coleta vê apenas as perguntas; os critérios de avaliação ficam isolados no motor.
  • Trilha de auditoria imutável: cada decisão humana de revisão é um registro permanente que nem a própria Lyditt consegue reescrever ou apagar; a permissão de alteração simplesmente não existe no sistema.
  • Relatórios em armazenamento privado e criptografado, com links de download que expiram em 24 horas.
  • Escopo congelado no início: nenhuma das partes consegue ampliar, trocar ou remover casos depois que o assessment começa.
  • Este site não usa cookies, rastreadores nem scripts de terceiros. Nada é coletado sobre a sua visita.

FAQ

O que risco, compliance e engenharia mais perguntam.

Isso é uma certificação oficial?

Não, e desconfie de quem prometer isso. A Lyditt é um assessment de maturidade: um diagnóstico estruturado com evidência auditável. Ele fortalece sua posição diante de reguladores e clientes, mas não substitui certificações regulatórias onde elas existirem.

Vocês são uma empresa de auditoria?

Não. A Lyditt não emite parecer de asseguração e não substitui o seu auditor. O que entregamos é a evidência reproduzível que sustenta o que você vai afirmar diante dele: mesmo input, mesmo veredito, com a camada e a razão registradas caso a caso.

Preciso entregar minha chave de API ou meus dados?

Não. O coletor roda no seu ambiente, com as suas credenciais, e envia apenas as respostas da IA aos casos de teste. Sua chave nunca transita para a Lyditt.

Por que “sem LLM em runtime” importa tanto?

Porque um juiz-LLM pode dar vereditos diferentes para a mesma resposta, e um resultado que muda a cada execução não se sustenta em auditoria. Nosso motor é determinístico: as regras são versionadas e o mesmo input produz o mesmo veredito, hoje e daqui a um ano.

E quando a avaliação exige julgamento humano?

Casos de nuance vão para revisão de especialista, deliberadamente. Cada decisão humana fica registrada numa trilha de auditoria imutável (autor, data, justificativa) e aparece no relatório, ao lado do veredito automático.

Dá para comparar dois fornecedores de IA?

Sim, é um dos usos mais comuns. Para a comparação ser justa, os sistemas passam pelas mesmas condições de avaliação, então os relatórios saem comparáveis lado a lado. E a bateria de casos é atualizada continuamente: cada avaliação reflete os cenários mais recentes.

A Lyditt avalia só LLMs?

Não. A base de casos cobre LLMs e chatbots, modelos de machine learning clássico (viés algorítmico, estabilidade de score, data drift), agentes autônomos (contenção de ações, escalada de privilégios, rastreabilidade de decisões) e sistemas embarcados ou híbridos. O tipo declarado no escopo define automaticamente quais casos se aplicam.

Serve para a Avaliação de Impacto Algorítmico (AIA) do PL 2338?

Serve como insumo, não como substituto. A AIA é conduzida pelo operador do sistema e cobre impacto sobre direitos fundamentais, medidas mitigadoras e governança. A Lyditt entrega a parte técnica que ela cita: testes de viés e discriminação, conformidade e rastreabilidade, com evidência reproduzível caso a caso.

Serve para a Resolução CFM 2.454 ou a CNJ 615?

Serve como evidência, não como substituto. As duas resoluções pedem acompanhamento especializado e contínuo da IA em uso, sem definir o método. A Lyditt entrega a evidência técnica reproduzível desse acompanhamento, com casos ancorados em cada norma, e o laudo pode ser reemitido a cada atualização do sistema.

Meu sistema é classificado como de alto risco. O que muda?

O escopo inclui a verificação de enquadramento e da documentação obrigatória: gestão de risco, registro de eventos e supervisão humana comprovada, nos termos do Anexo III do EU AI Act. Essa parte é avaliada sobre as suas evidências e entra no relatório em aba própria. No EU AI Act, essas obrigações valem a partir de 2 de dezembro de 2027.

Existem casos específicos do meu setor?

Sim. No financeiro, casos ancorados na Resolução CMN 4.557 (validação independente de modelos de risco) e em análise de crédito, além da trilha de ML clássico: viés, estabilidade de score e data drift. Na saúde, terminologia clínica crítica, recusa de recomendação não autorizada e as exigências da Resolução CFM 2.454, como mediação médica e registro no prontuário. No jurídico, injeção de instrução em contrato sob análise, independência diante de tese já fechada, cálculo processual exato e supervisão do magistrado exigida pela Resolução CNJ 615. RH, ESG e tecnologia também têm casos.

Meça antes de confiar.

Conte para a gente o que seu sistema de IA faz e em qual setor. Retornamos com o escopo proposto do assessment.

Falar no WhatsApp