Aktuelle Testmethoden für Frontier-KI-Modelle werden zunehmend obsolet, da die Hacking-Fähigkeiten der Modelle bestehende Benchmarks rasant übertreffen. Während KI-Modelle wie GPT-5.5 fortgeschrittene Denkprozesse und agentische Verhaltensweisen (agentic behaviors) demonstrieren, scheitern statische Tests, die sich auf isolierte Aufgaben konzentrieren, daran, ihr wahres Potenzial in realistischen Umgebungen zu erfassen. Infolgedessen fehlen politischen Entscheidungsträgern und Sicherheitsteams klare Metriken, um die Sicherheit beim Einsatz vorherzusagen. Als Reaktion darauf arbeiten Branchenführer wie Anthropic mit Partnern wie Google und Microsoft zusammen, um standardisierte Benchmarks zu entwickeln, die sich auf die tatsächlichen Auswirkungen von Jailbreaks konzentrieren. Gleichzeitig entwickeln Testlabore wie Irregular neue Metriken, um offensive Aufgaben wie die Remote-Code-Ausführung und Privilegieneskalation zu messen. Dieser Wandel verdeutlicht die dringende Notwendigkeit von Evaluierungen, die reale Produktionssysteme simulieren, um zu bestimmen, wie effektiv KI Sicherheitskontrollen umgehen oder sich lateral durch Netzwerke bewegen kann.