O que exige a Cláusula 9
A Cláusula 9 é o ciclo de verificação do SGAI. Aqui a organização demonstra — com dados — que seus sistemas de IA estão funcionando conforme projetado, dentro dos parâmetros de risco aceitáveis, e que a Alta Direção está efetivamente supervisionando o sistema de gestão.
9.1 Monitoramento, medição, análise e avaliação
A organização deve determinar: o que precisa ser monitorado e medido; os métodos de monitoramento, medição, análise e avaliação; quando o monitoramento e a medição devem ser realizados; quando os resultados devem ser analisados e avaliados.
O que monitorar em sistemas de IA:
- Desempenho do modelo — acurácia, precisão, recall ou métricas de negócio relevantes vs. baseline
- Equidade — diferença de desempenho entre grupos demográficos (gênero, raça, faixa etária, etc.)
- Deriva de dados (data drift) — mudança na distribuição dos dados de entrada
- Deriva de conceito (concept drift) — mudança na relação entre inputs e outputs ao longo do tempo
- Incidentes — decisões incorretas reportadas, contestações recebidas, falhas do sistema
- Uso — padrões de uso diferentes do previsto (uso indevido, escopo expandido informalmente)
- Conformidade dos controles — os controles da Cláusula 8 estão sendo seguidos?
Frequência de monitoramento:
A norma não define frequências fixas — a organização deve determinar com base no nível de risco do sistema. Sistemas de alto risco (crédito, saúde, contratação) requerem monitoramento mais frequente.
Documentação exigida: Registros de resultados de monitoramento e medição, com metodologia documentada.
9.2 Auditoria interna
A organização deve conduzir auditorias internas em intervalos planejados para fornecer informação sobre se o SGAI está em conformidade com os requisitos da norma e está efetivamente implementado e mantido.
Requisitos do programa de auditoria interna:
- Frequência mínima: ao menos uma auditoria por ciclo de certificação (anual)
- Critérios e escopo de cada auditoria definidos com antecedência
- Auditores selecionados de forma a garantir objetividade e imparcialidade (sem auditar o próprio trabalho)
- Resultados reportados à gestão relevante
- Ações corretivas para não conformidades identificadas, sem demora injustificada
O que a auditoria interna deve cobrir:
- Conformidade com todos os requisitos das Cláusulas 4 a 10
- Efetividade dos controles operacionais (Cláusula 8) para os sistemas de IA auditados
- Manutenção e atualização da documentação
- Tratamento de não conformidades anteriores
Competência do auditor interno:
O auditor interno precisa entender IA suficientemente para avaliar controles técnicos. Um auditor que não entende o que é drift ou viés algorítmico não consegue auditar a Cláusula 8 com eficácia.
Documentação exigida: Programa de auditoria; planos de auditoria; relatórios de auditoria com não conformidades identificadas; registros de ações corretivas.
9.3 Revisão pela direção
A Alta Direção deve revisar o SGAI da organização em intervalos planejados para assegurar sua contínua adequação, suficiência e eficácia.
Entradas obrigatórias para a revisão da direção:
- Status das ações de revisões anteriores
- Mudanças em questões externas e internas relevantes ao SGAI
- Desempenho do SGAI (resultados de monitoramento, auditorias, não conformidades, métricas de objetivos)
- Adequação dos recursos
- Eficácia das ações para tratar riscos e oportunidades
- Oportunidades de melhoria contínua
Saídas obrigatórias da revisão:
- Decisões e ações relacionadas a oportunidades de melhoria
- Necessidade de mudanças no SGAI
- Necessidades de recursos adicionais
Frequência:
A norma diz "em intervalos planejados" — a maioria das organizações faz anualmente, com revisões informais semestrais para sistemas de alto risco.
Sinal de alerta para o auditor: Ata de revisão da direção que parece um template preenchido, sem discussões reais, sem decisões e sem atribuição de ações com responsável e prazo.
O que o auditor vai verificar (Cláusula 9)
Perguntas frequentes do auditor
"Mostre-me o dashboard de monitoramento do sistema X. O que vocês fazem quando um alerta dispara?"
O auditor quer ver o processo de resposta a anomalias, não apenas a existência do monitoramento.
"Qual foi a não conformidade mais relevante encontrada na última auditoria interna? O que foi feito?"
Auditorias internas que nunca encontram nada significativo são suspeitas — ou o SGAI é perfeito (improvável) ou a auditoria não foi eficaz.
"Posso ver a ata da última revisão da direção? Quem participou?"
Participação da Alta Direção é evidência central. Revisões conduzidas apenas por nível técnico sem presença de diretores não atendem ao requisito.
Erros mais comuns
- Monitoramento técnico sem visão de negócio — monitorar latência e disponibilidade mas não monitorar equidade ou incidentes de decisões incorretas
- Auditoria interna superficial — revisar documentação sem testar os controles operacionais (ex.: verificar se o model card existe mas não verificar se o monitoramento está funcionando)
- Revisão da direção pró-forma — ata com itens de pauta genéricos, sem análise real de desempenho e sem decisões concretas
- Métricas sem baseline — monitorar uma métrica sem ter estabelecido o valor esperado torna impossível detectar degradação