Google DeepMind revolutioniert KI-Sicherheit mit neuem CaMeL-System gegen Hackerangriffe
Bert Biggen
Google DeepMind revolutioniert KI-Sicherheit mit neuem CaMeL-System gegen Hackerangriffe
Google DeepMind stellt CaMeL vor: Neues System soll digitale Assistenten sicherer machen
Google DeepMind hat ein neues System namens CaMeL vorgestellt, das die Sicherheit digitaler Assistenten verbessern soll. Der Ansatz zielt darauf ab, Prompt-Injection-Angriffe zu blockieren – ein wachsendes Problem bei KI-gestützten Tools. Erste Tests deuten darauf hin, dass das System starken Schutz bietet, ohne die Funktionalität einzuschränken.
So funktioniert CaMeL Das System teilt Aufgaben zwischen zwei Sprachmodellen auf: Ein „privilegiertes Sprachmodell“ übernimmt vertrauenswürdige Operationen und generiert Code auf Basis vordefinierter Werte. Parallel verarbeitet ein „isoliertes Sprachmodell“ die rohen Nutzeranfragen und wandelt sie in strukturierte Daten um – allerdings ohne Zugriff auf Tools oder Speicher.
Anschließend werden Nutzeranfragen in eine kontrollierte Abfolge von Schritten übersetzt. Diese laufen in einem abgesicherten Interpreter ab, der den Datenfluss überwacht und verhindert, dass private Informationen nach außen dringen. Anders als bei herkömmlichen Lösungen behandelt CaMeL Sprachmodelle als nicht vertrauenswürdige Komponenten innerhalb eines streng abgeschotteten Rahmens.
Cashback bei deinen
Lieblingsrestaurants und Services
Kaufe Gutscheine und spare in deinen Lieblingsorten in deiner Nähe
Erste Tests zeigen Wirkung Auf dem AgentDojo-Benchmark schnitt CaMeL vielversprechend ab: Es bewahrte eine hohe Nutzerfreundlichkeit für legitime Aufgaben, während es Prompt-Injection-Versuche abwehrte. Das Design schützt zudem vor Insider-Bedrohungen und bösartigen Tools, die Daten abgreifen könnten.
Allerdings erfordert die Methode, dass Anwender eigene Sicherheitsrichtlinien definieren und pflegen. Das ermöglicht zwar individuelle Anpassungen, erhöht aber die Verantwortung für diejenigen, die das System implementieren.
Ein Paradigmenwechsel für KI-Sicherheit CaMeL markiert einen Wandel im Umgang mit Sicherheitsrisiken bei KI-Assistenten. Durch die Isolierung nicht vertrauenswürdiger Eingaben und strenge Datenkontrollen verringert es Schwachstellen im praktischen Einsatz. Entwickler können nun sicherere Wege erkunden, KI-Tools bereitzustellen – ohne Kompromisse bei der Leistung.
