Hugging Face hat einen Sicherheitsvorfall bekannt gegeben, bei dem unbefugter Zugriff auf eine begrenzte Anzahl interner Datensätze und mehrere Dienstzugangsdaten erfolgte. Das Unternehmen prüft noch, ob Partner- oder Kundendaten betroffen sind, und wird betroffene Parteien direkt kontaktieren. Es wurden keine Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen oder Spaces gefunden, und die Software-Lieferkette – einschließlich Container-Images und veröffentlichter Pakete – wurde als sauber verifiziert.

Was passiert ist

Der Einbruch begann dort, wo KI-Plattformen besonders exponiert sind: in der Datenverarbeitungspipeline. Ein bösartiger Datensatz nutzte zwei Code-Ausführungspfade in Hugging Faces Datenverarbeitung – einen Remote-Code-Datensatz-Loader und eine Template-Injection in einer Datensatzkonfiguration – um Code auf einem Verarbeitungs-Worker auszuführen. Von dort aus eskalierte der Angreifer auf Knotenebene, sammelte Cloud- und Cluster-Anmeldedaten und bewegte sich lateral in mehrere interne Cluster über ein Wochenende.

Die Kampagne wurde von einem autonomen Agenten-Framework ausgeführt, das offenbar auf einem agentischen Sicherheitsforschungs-Harness basierte. Das verwendete LLM bleibt unbekannt. Das Framework führte tausende einzelner Aktionen in einem Schwarm kurzlebiger Sandboxen aus, mit selbstmigrierender Command-and-Control, die auf öffentlichen Diensten gehostet wurde. Dies entspricht dem Szenario des „agentischen Angreifers“, das die Branche vorhergesagt hat.

Was wir getan haben

  • Die zugrunde liegende Schwachstelle behoben: Die Code-Ausführungspfade für Datensätze, die für den initialen Zugriff genutzt wurden, sind geschlossen.

  • Den Fußabdruck des Angreifers in betroffenen Clustern beseitigt und kompromittierte Knoten neu aufgebaut.

  • Betroffene Anmeldedaten und Token widerrufen und rotiert sowie eine breitere vorsorgliche Rotation von Geheimnissen begonnen.

  • Zusätzliche Schutzmaßnahmen und strengere Zugangskontrollen für Cluster implementiert.

  • Erkennung und Alarmierung verbessert, sodass ein hochkritisches Signal innerhalb von Minuten einen Responder alarmiert, an jedem Wochentag.

Hugging Face arbeitet mit externen Cybersicherheitsforensikern zusammen, um den Vorfall zu untersuchen und Sicherheitsrichtlinien und -verfahren zu überprüfen. Der Vorfall wurde auch den Strafverfolgungsbehörden gemeldet.

Für unsere Community

Als Vorsichtsmaßnahme empfiehlt Hugging Face, alle Zugangstoken zu rotieren und die jüngste Kontoaktivität zu überprüfen. Nutzer, die glauben, betroffen zu sein, oder ein Sicherheitsproblem melden möchten, können sich an security@huggingface.co wenden.

„Wir sind den Teams bei Hugging Face dankbar, die rund um die Uhr reagiert haben, und entschuldigen uns für etwaige dadurch verursachte Störungen. Sicherheit ist nie abgeschlossen; wir werden die Messlatte weiterhin höher legen“, erklärte das Unternehmen.

Analyse eines KI-gesteuerten Einbruchs

Der Angriff wurde zunächst durch KI-gestützte Erkennung aufgedeckt. Hugging Faces Anomalieerkennungspipeline nutzt LLM-basiertes Triage über Sicherheitstelemetrie, um echte Signale von Rauschen zu trennen, und die Korrelation dieser Signale führte zur Entdeckung der Kompromittierung.

Um zu verstehen, was ein Schwarm von Zehntausenden automatisierter Aktionen bewirkt hatte, setzte das Team LLM-gesteuerte Analyseagenten auf das vollständige Angreifer-Aktionsprotokoll mit über 17.000 aufgezeichneten Ereignissen ein. Dies ermöglichte die Rekonstruktion der Zeitleiste, die Extraktion von Indikatoren für eine Kompromittierung, die Kartierung der berührten Anmeldedaten und die Trennung echter Auswirkungen von Ablenkungsaktivitäten. Dank dieses Ansatzes erledigte das Team in Stunden, was normalerweise Tage gedauert hätte, und passte sich so der Geschwindigkeit des Angreifers an.

Die Wahl der Modelle für diese Analyse war auf unerwartete Weise eingeschränkt.

Das Asymmetrieproblem

Als die Protokollanalyse begann, verwendete das Team zunächst Frontier-Modelle hinter kommerziellen APIs. Das funktionierte nicht: Die Analyse erforderte die Übermittlung großer Mengen echter Angriffsbefehle, Exploit-Payloads und C2-Artefakte, und diese Anfragen wurden von den Sicherheitsvorkehrungen der Anbieter blockiert, die einen Incident-Responder nicht von einem Angreifer unterscheiden können. Die forensische Analyse wurde stattdessen mit GLM 5.2, einem Open-Weight-Modell, auf Hugging Faces eigener Infrastruktur durchgeführt. Dies hatte einen zweiten Vorteil: Keine Angreiferdaten und keine der darin referenzierten Anmeldedaten verließen die Umgebung.

„Diese Erfahrung zeigt eine Lücke auf, die es wert ist, eingeplant zu werden. Wir wissen nicht, welches Modell die Agenten des Angreifers angetrieben hat, ob ein geknacktes gehostetes Modell oder ein uneingeschränktes Open-Weight-Modell; in jedem Fall war der Angreifer an keine Nutzungsrichtlinie gebunden, während unsere eigene forensische Arbeit durch die Schutzmaßnahmen der von uns zuerst getesteten gehosteten Modelle blockiert wurde“, stellte das Unternehmen fest.

Die praktische Lehre für Verteidiger: Halten Sie ein leistungsfähiges Modell bereit, das auf Ihrer eigenen Infrastruktur ausgeführt werden kann, und lassen Sie es vor einem Vorfall prüfen, um sowohl eine Sperre durch Schutzmaßnahmen zu vermeiden als auch zu verhindern, dass Angreiferdaten und Anmeldedaten Ihre Umgebung verlassen. Hugging Face betonte, dass dies kein Argument gegen Sicherheitsmaßnahmen bei gehosteten Modellen sei, und teilt dieses Feedback mit den betreffenden Anbietern.

Was das bedeutet

Autonome, KI-gesteuerte offensive Werkzeuge sind nicht länger theoretisch. Sie senken die Kosten für die Durchführung einer breiten, geduldigen, mehrstufigen Kampagne und arbeiten mit Maschinengeschwindigkeit. Die Verteidigung einer Online-Plattform bedeutet nun, die Daten- und Modelloberfläche als erstklassige Angriffsfläche zu behandeln und KI in der Verteidigung einzusetzen, um Schritt zu halten. Hugging Face wird weiterhin in diese Bereiche investieren und seine Erkenntnisse teilen.