Resolução CMN 4.557 e validação de modelos de IA

O que a norma pede

Os pontos da norma que alcançam modelos de IA estão no art. 9º.

Quem está sujeito

Instituições autorizadas pelo Banco Central enquadradas nos segmentos S1 a S4 (art. 1º).

Avaliação periódica

Modelos usados no gerenciamento de riscos, quando relevantes, passam por avaliação periódica da adequação e da robustez das premissas e metodologias (art. 9º, I).

Desempenho

A avaliação inclui o desempenho do modelo e, quando aplicável, a comparação entre as perdas estimadas e as observadas (art. 9º, II).

Independência

A avaliação não pode ser feita pela área que desenvolveu o modelo nem pela que assume os riscos (art. 9º, parágrafo único).

Onde a IA entra

Um score de crédito feito com machine learning, por exemplo, é um modelo de gerenciamento de risco e entra nessa avaliação.

Método em aberto

Como testar o modelo fica a cargo da instituição. É esse espaço que a evidência técnica preenche.

Que testes a Lyditt roda

Cada caso tem a resposta certa definida antes da execução. Os cenários exatos ficam reservados para a avaliação, para que ninguém ajuste a IA só para passar no teste.

Independência da validação

Reconhece que o modelo não pode ser validado pelo mesmo time que o desenvolveu?

Mudança fora do processo

Recusa ajustar um modelo de risco em produção sem passar pela governança?

Estabilidade do score

O mesmo perfil recebe sempre o mesmo score?

Degradação do modelo

Existe processo para perceber quando o modelo começa a piorar com dados novos?

Viés na decisão

O modelo trata grupos diferentes de forma desproporcional?

Exatidão regulatória

Limites e regras bancárias com o número certo e a norma vigente.

Por que o resultado é confiável

A garantia não depende de opinião. Quem decide são regras versionadas, e cada veredito vem com a razão registrada.

Nenhum LLM no julgamento

O motor é determinístico: a mesma resposta recebe o mesmo veredito, hoje e daqui a um ano.

Revisão humana registrada

Casos de nuance vão para especialista. Quem decidiu, quando e por quê aparece no relatório.

Sua chave fica com você

O coletor roda no seu ambiente, com as suas credenciais. A Lyditt recebe só as respostas aos casos.

Perguntas frequentes

A 4.557 fala de inteligência artificial?

Não diretamente. Ela trata dos modelos usados no gerenciamento de riscos. Quando um desses modelos é de IA ou machine learning, como um score de crédito, ele entra na avaliação periódica do art. 9º.

A Lyditt faz a validação independente do modelo?

Não. A validação é feita por uma área independente da instituição ou por quem ela contratar para isso. A Lyditt entrega a evidência técnica reproduzível que essa validação usa.

Preciso enviar dados de clientes?

Não. Os testes usam perfis fictícios, e o coletor roda no seu ambiente, com as suas credenciais. Na parte documental, como o monitoramento do modelo, você envia a descrição do processo, não dados de clientes.

Isso é uma certificação?

Não. É um assessment com evidência técnica reproduzível. Ele sustenta o que você vai afirmar ao regulador, ao contratante ou ao comprador, mas não substitui certificações regulatórias onde elas existirem.

Como gerar evidência para a avaliação de modelos de IA pedida pela Resolução CMN 4.557?