Os métodos atuais de teste para modelos de IA de fronteira estão se tornando obsoletos, à medida que as capacidades de hacking dos modelos superam rapidamente os benchmarks existentes. Conforme modelos de IA como o GPT-5.5 demonstram raciocínio avançado e comportamentos de agentes, testes estáticos focados em tarefas isoladas falham em capturar seu verdadeiro potencial em ambientes realistas. Consequentemente, formuladores de políticas e equipes de segurança carecem de métricas claras para prever a segurança da implementação. Em resposta, líderes do setor como a Anthropic estão colaborando com parceiros como Google e Microsoft para desenvolver benchmarks padronizados focados no impacto real de jailbreaks. Enquanto isso, laboratórios de testes como o Irregular estão criando novas métricas para medir tarefas ofensivas, como execução remota de código e escalonamento de privilégios. Essa mudança destaca a necessidade crítica de avaliações que simulem sistemas de produção do mundo real para determinar a eficácia com que a IA pode contornar controles de segurança ou se mover lateralmente através de redes.