Guardrails de IA travam pesquisa em cibersegurança

Guardrails de IA criados por empresas como OpenAI e Anthropic para conter hackers maliciosos também estão dificultando o trabalho de pesquisadores legítimos de cibersegurança ofensiva. Segundo relatos reunidos pelo TechCrunch, profissionais que buscam vulnerabilidades desconhecidas, validam falhas e desenvolvem provas de conceito dizem que os modelos recusam respostas, filtram análises técnicas ou exigem programas de acesso restrito. O debate ganhou força após restrições temporárias do governo dos EUA aos modelos Mythos e Fable, da Anthropic, motivadas em parte por temores sobre ataques cibernéticos e possíveis jailbreaks.

O que são guardrails de IA na segurança ofensiva

Guardrails de IA são regras técnicas e políticas de uso que limitam o que um modelo pode responder. Em cibersegurança, eles tentam impedir instruções para malware, exploração de sistemas, invasões e automação de ataques. O problema, apontam pesquisadores, é que a mesma pergunta pode servir tanto para defesa quanto para abuso.

Quando um analista pede a um modelo para explorar um bug, o objetivo pode ser confirmar se uma falha é real e priorizar sua correção. Mas o mesmo raciocínio também pode orientar um invasor. Essa ambiguidade torna difícil separar, de forma automática, pesquisa legítima de atividade maliciosa.

OpenAI, Anthropic e acesso verificado

OpenAI e Anthropic criaram programas para usuários avaliados. A OpenAI mantém o Trusted Access for Cyber; a Anthropic oferece o Cyber Verification Program para modelos como Claude Opus e Sonnet. A promessa é permitir menos restrições a defensores confiáveis, sem liberar capacidades perigosas a qualquer usuário.

No caso da Anthropic, a discussão se intensificou após o governo dos EUA impor controles de exportação aos modelos Mythos e Fable em junho. As restrições sobre Fable 5 e Mythos 5 foram posteriormente levantadas em parte: Fable 5 voltou ao acesso geral em 1º de julho, enquanto Mythos 5 retornou apenas para organizações norte-americanas verificadas durante revisão governamental.

Por que pesquisadores criticam os filtros

Mark Dowd, pesquisador conhecido por encontrar e comercializar vulnerabilidades zero-day, criticou a ideia de grandes empresas decidirem sozinhas o que é seguro ou inseguro em pesquisa ofensiva. Para ele, decisões arbitrárias podem limitar áreas essenciais da segurança.

“Não me deixa confortável que grandes empresas aleatórias estejam tomando decisões arbitrárias sobre o que é seguro em segurança e o que não é.”

Mark Dowd, pesquisador de segurança, em podcast citado pelo TechCrunch

Chris Anley, cientista-chefe da NCC Group, comparou ferramentas ofensivas a um martelo: indispensáveis para construir, mas também possíveis armas. Segundo ele, pedir a um modelo para “corrigir este código” pode ajudar na defesa, mas também revelar o caminho para explorar vulnerabilidades críticas.

Modelos open source viram alternativa local

Quando os guardrails de IA bloqueiam tarefas, alguns pesquisadores migram para modelos open source executados localmente, sem vetting, sem filtros rígidos e sem envio de dados sensíveis à nuvem. Essa prática reduz o risco de vazamento de informações sobre falhas inéditas ou exploração de código proprietário.

Paolo Stagno, CTO da Crowdfense, afirmou que sua equipe usa modelos de fronteira apenas para engenharia reversa. Para descobrir vulnerabilidades ou desenvolver exploits, prefere modelos locais, porque dados sobre zero-days podem ser extremamente valiosos e não devem entrar em sistemas cloud.

Impacto para defensores e empresas

Giuseppe Cali, pesquisador de zero-days, disse que os filtros não atrapalham seu fluxo porque ele não usa IA para descoberta ofensiva direta. Ele prefere manter a identificação do bug e a weaponization sob controle humano, usando modelos apenas para tarefas auxiliares e ferramentas de apoio.

Já um pesquisador de uma fabricante de componentes para smartphones afirmou, sob anonimato, que as ferramentas da Anthropic se tornam pouco úteis fora do programa de verificação. Segundo ele, quando o modelo percebe qualquer contexto de segurança, tende a parar a conversa.

Chris Thompson, CEO da RemoteThreat e fundador da Offensive AI Con, disse que os filtros podem variar de um dia para outro. Na prática, pesquisadores passam tempo “negociando” com o modelo em vez de analisar explorabilidade, impacto e correção.

Especialistas alertam que guardrails de IA muito rígidos podem empurrar pesquisadores responsáveis para modelos estrangeiros ou locais sem governança.

O dilema: segurança, acesso e responsabilidade

O desafio é equilibrar prevenção de abuso com acesso responsável. Laboratórios de IA temem que modelos avançados acelerem ataques em escala. Pesquisadores, por outro lado, afirmam que defensores precisam das mesmas capacidades para encontrar falhas antes de criminosos.

A solução defendida por parte da comunidade não é remover todos os guardrails de IA, mas ampliar programas verificados, tornar critérios mais transparentes e punir abusos reais. Sem isso, empresas podem reduzir a eficácia de quem protege redes, produtos e usuários.

Perguntas frequentes

Considerações finais

O debate sobre guardrails de IA mostra uma tensão central da segurança moderna: a tecnologia que pode ampliar ataques também pode fortalecer defensores. Para pesquisadores de cibersegurança ofensiva, o caminho mais viável parece estar em acesso verificado, regras claras e modelos capazes de distinguir contexto legítimo de abuso real.