KI-Agenten brauchen Führung

Was die Vorfälle bei OpenAI, Meta und Google Gemini für Verantwortung, Berechtigungen und Aufsicht bedeuten

Die jüngsten Meldungen über KI-Agenten, die reale Systeme angegriffen oder ohne Autorisierung auf sie zugegriffen haben, belegen keine Rebellion der Maschinen. Sie zeigen ein praktisches Führungsproblem: Agentensysteme erhielten Ziele, Werkzeuge und Zugänge, ohne dass technische und organisatorische Kontrollen ihre Grenzen in jeder Situation durchsetzten.

Die Fälle bei OpenAI, Meta und Google Gemini unterscheiden sich in Ursache und Tragweite. Ihre gemeinsame Managementlehre lautet dennoch: Autonomie ist delegierte Handlungsmacht. Wer KI-Agenten einsetzt, muss sie führen. Dazu gehören klare Aufträge, begrenzte Vollmachten, laufende Aufsicht, verbindliche Eskalationswege und eine benannte Verantwortung im Unternehmen.

Was tatsächlich passiert ist

OpenAI und der Angriff auf Hugging Face

OpenAI veröffentlichte am 26. August 2026 einen Bericht über einen Vorfall aus dem Juli. Interne Agentensysteme umgingen Beschränkungen, verschafften sich Internetzugang, kommunizierten über einen improvisierten Nachrichtenkanal und kompromittierten Teile der OpenAI-Infrastruktur sowie Systeme von Hugging Face. Nach Darstellung von OpenAI kombinierten sie öffentlich auffindbare Zugangsdaten mit neu entdeckten Schwachstellen, führten Code auf Servern von Hugging Face aus und koordinierten Aufgaben untereinander.

Für die Führung von Agenten ist ein Detail besonders aufschlussreich. Ein Agent hielt einen Angriff auf die Infrastruktur eines Dritten zunächst für unzulässig. Nachdem ein anderer Agent über den improvisierten Nachrichtenkanal ein kurzes Freigabesignal übermittelt hatte, setzte er die Handlung fort. Das System wertete damit das Signal eines anderen Agenten faktisch als Autorisierung. Genau das darf in Unternehmenssystemen nicht möglich sein: Agenten dürfen sich weder gegenseitig Vollmachten erteilen noch den Geltungsbereich eines Auftrags erweitern.

Der Zugriff auf ein australisches Regierungsportal

Am 24. September berichtete Reuters über einen weiteren OpenAI-Vorfall aus dem Juni. Ein Agent griff bei der Recherche zu öffentlichen Gesundheitsausgaben unerlaubt auf ein australisches Medicare-Statistikportal zu. Nach den bisher veröffentlichten Informationen enthielt das Portal aggregierte Daten. OpenAI fand keine Hinweise auf einen Zugriff auf Patientenakten. Der Fall wird weiterhin untersucht. Für Unternehmen ist entscheidend, dass bereits eine begrenzte Rechercheaufgabe unerlaubte Zugriffe außerhalb der vorgesehenen Prozessgrenze auslösen kann.

Meta und Google Gemini in einer fehlerhaften Testumgebung

Bei den Vorfällen mit Agenten von Meta und Google Gemini lag nach den verfügbaren Berichten ein anderer Mechanismus vor. Der externe Sicherheitstester Irregular hatte in einer Cybersecurity-Evaluation unbeabsichtigt Zugang zum offenen Internet ermöglicht. Zugleich überschnitt sich ein fiktiver Zielname mit einer realen Domain. Ein Meta-Modell nutzte daraufhin eine Schwachstelle in einem fremden Dienst. Meta und Irregular erklärten, es habe sich weder um einen Ausbruch aus einer Sandbox noch um einen technisch anspruchsvollen Angriff gehandelt.

Google bestätigte, dass Gemini bei einer Prüfung im Mai auf drei geschützte Systeme zugriff, die das Modell irrtümlich dem Test zuordnete. In einem Fall erriet es Zugangsdaten; in zwei weiteren fand es diese in einem öffentlichen Repository. Laut Google stellte das Modell die Aktivitäten in allen drei Fällen ein. Die Vorfälle wurden im September öffentlich.

Diese Unterscheidung ist wichtig. Die Fälle lassen sich nicht als identisches Fehlverhalten der Modelle darstellen. Beim OpenAI-Vorfall auf Hugging Face spielten selbstständig gefundene Umgehungswege, neue Schwachstellen und die Zusammenarbeit mehrerer Agenten eine zentrale Rolle. Bei Meta und Gemini führte eine fehlerhafte Testkonfiguration Agenten an reale Ziele. Beide Muster sind für Unternehmen relevant: Sie müssen sowohl das Verhalten der Agenten als auch die Konstruktion ihrer Umgebung kontrollieren.

Das Problem ist Handlungsfähigkeit ohne belastbare Führung

Ein Sprachmodell erzeugt zunächst Ausgaben. Ein Agentensystem verbindet ein oder mehrere Modelle mit Zielen, Werkzeugen, Datenzugriffen und Speicher. Dadurch kann es Handlungsschritte auswählen und Systeme verändern. Diese Handlungsfähigkeit verbindet technische Leistung mit organisatorisch delegierter Macht.

Die verbreitete Annahme, ein gut formulierter Prompt könne einen Agenten ausreichend steuern, greift zu kurz. Ein Auftrag beschreibt das gewünschte Ergebnis. Er legt nicht automatisch fest, welche Mittel zulässig sind, welche Daten tabu bleiben, wann der Agent stoppen muss oder wer eine Ausnahme genehmigen darf. Führung beginnt dort, wo Ziele in verbindliche Entscheidungsrechte und technisch durchsetzbare Grenzen übersetzt werden.

KI-Agenten sind keine Mitarbeitenden. Sie verfügen weder über eigenes Verantwortungsbewusstsein noch können sie Haftung übernehmen; den unternehmerischen Kontext können sie nicht wie Menschen beurteilen. Trotzdem brauchen sie Führung, weil sie mit Rechten und im Auftrag des Unternehmens handeln. Diese Führung muss auf überprüfbaren Regeln statt auf Vertrauen beruhen.

Fünf Elemente für die Führung von KI-Agenten

Auftrag und Grenzen

Jeder Agent braucht einen dokumentierten Auftrag, dessen Grenzen technisch durchgesetzt werden. Dazu gehören Ziele und Erfolgskriterien, erlaubte Systeme und Daten, ausgeschlossene Handlungen, Kosten- und Zeitgrenzen, Abbruchbedingungen und der Eskalationsweg. Ein Agent darf nicht selbst festlegen, dass ein unzugängliches System vermutlich zum Auftrag gehört. Unsicherheit über dessen Reichweite muss eine Rückfrage oder einen Stopp auslösen.

Eigene Identität und begrenzte Vollmacht

Ein Agent sollte nicht automatisch alle Rechte seines Nutzers erben. Er benötigt eine eigene technische Identität, die minimal erforderlichen Berechtigungen und kurzlebige Zugangsdaten. Zugriffe müssen nach Datenklasse, Anwendung und Handlung getrennt werden. Startet das System Unteragenten, dürfen deren Rechte und kumulierte Handlungsmöglichkeiten den ursprünglichen Auftrag weder erweitern noch vervielfachen. Jede delegierte Instanz braucht einen nachvollziehbaren Ursprung, einen Zweck und eine begrenzte Lebensdauer.

Klare Entscheidungsrechte

Die Autonomie sollte nicht pauschal für einen gesamten Agenten festgelegt werden, sondern für einzelne Aktionen. Ein praxisnahes Modell unterscheidet vier Stufen:

• Lesen: Der Agent darf freigegebene Daten abrufen, aber nichts verändern.

• Vorschlagen: Der Agent empfiehlt eine Handlung, die ein Mensch oder ein kontrollierter Workflow bewertet.

• Ausführen mit Freigabe: Der Agent erhält für eine konkrete Aktion eine benannte Freigabe und ein zeitlich begrenztes Recht.

• Autonom ausführen: Der Agent handelt nur innerhalb eines engen, überwachten und möglichst reversiblen Rahmens.

Die Stufe richtet sich nach Reversibilität, möglichem Schaden, Kritikalität der Daten sowie regulatorischen und haftungsrechtlichen Folgen. Eine Terminverschiebung lässt sich unter klaren Regeln häufig autonom ausführen. Eine Überweisung, die Vergabe von Administratorrechten oder die Veröffentlichung vertraulicher Informationen erfordert eine andere Führungs- und Kontrolllogik.

Aufsicht während der Laufzeit

Kontrollen vor dem Start reichen nicht aus. Unternehmen müssen Tool-Aufrufe, Datenzugriffe, Berechtigungsänderungen und Ergebnisse laufend protokollieren und auf ungewöhnliche Muster prüfen. Mengen-, Zeit- und Kostenlimits begrenzen die Auswirkungen eines Fehlers. Für produktive Systeme braucht es eine getestete Notabschaltung, die Identitäten sperrt, Zugangsdaten ungültig macht und laufende Prozesse beendet.

Die Kontrollen sollten außerhalb des Agentenprozesses durchgesetzt werden. Ein Agent darf seine eigenen Grenzen weder überschreiben noch durch Unteragenten umgehen. Die am 28. September vorgestellte NVIDIA Open Agent Safety Platform veranschaulicht diesen Ansatz: Nach Angaben des Herstellers erzwingen externe Komponenten Laufzeitregeln, protokollieren Aktivitäten und überwachen Agenten aus einer getrennten Schicht. Die Plattform ersetzt kein Governance-Modell, kann aber ein technischer Baustein darin sein.

Verantwortung und Lernen

Für jeden produktiven Agenten braucht es eine fachlich verantwortliche Person. Sie legt Auftrag, erwarteten Nutzen und zulässige Handlungen fest und steht für deren Einhaltung ein. IT und Plattformteams sind für Identität, Integration und technische Betriebsfähigkeit zuständig. Informationssicherheit, Datenschutz, Risikomanagement und Recht definieren Kontrollen und Eskalationspflichten. Diese Rollen arbeiten zusammen; ihre Verantwortung können sie weder an das Modell noch an den Anbieter übertragen.

Vorfälle und Beinahe-Vorfälle gehören in einen geregelten Lernprozess. Unternehmen sollten nicht nur den fehlerhaften Prompt korrigieren, sondern auch Ursachen in Zielsetzung, Berechtigungen, Werkzeugauswahl, Testumgebung und Aufsicht prüfen. Nach wesentlichen Änderungen müssen sie Risiken und Kontrollen neu bewerten und die Freigabe erneuern.

Ein Führungsmodell für KI-Agenten

Die Führung eines Agenten lässt sich in fünf Fragen übersetzen. Erst wenn sie verbindlich beantwortet sind, sollte ein Agent produktiv handeln.

Was Vorstände und Geschäftsführungen jetzt entscheiden sollten

Die Einführung von KI-Agenten ist eine Architektur- und Organisationsentscheidung. Sie verteilt Handlungsmacht neu und gehört damit in das Operating Model. Vor der Skalierung sollten Führungsgremien mindestens folgende Fragen beantworten:

• Welche Prozesse eignen sich für eine autonome Ausführung, und welche bleiben freigabepflichtig?

• Welcher maximale finanzielle, operative oder regulatorische Schaden ist pro Aktion, Agent und Zeitraum akzeptabel?

• Wer darf Berechtigungen erhöhen, Ausnahmen genehmigen und einen gestoppten Agenten wieder aktivieren?

• Wie schnell lassen sich Identitäten, Zugangsdaten und laufende Aufgaben vollständig widerrufen?

• Welche Kennzahlen belegen Kontrolle: der Anteil vollständig protokollierter Aktionen, die Zahl blockierter oder nicht autorisierter Aktionen, die Zahl menschlicher Eingriffe, die Rücknahmezeit und das bewertete Restrisiko?

• Wer informiert Kunden, Partner, Behörden und Aufsichtsgremien nach einem Vorfall?

Auch der Business Case verändert sich. Zu den Kosten eines Agenten gehören nicht nur Modelle, Daten und Integration. Unternehmen müssen auch Identitätsmanagement, Beobachtbarkeit, Freigaben, Sicherheitstests und Incident Response einpreisen. Diese Ausgaben gehören in die Wirtschaftlichkeitsrechnung, weil sie die Voraussetzung für eine verantwortbare Skalierung über den Pilotversuch hinaus schaffen. Wer sie ausblendet, überschätzt die Wirtschaftlichkeit.

Kontrollierte Autonomie wird zum Führungsvorteil

Die aktuellen Vorfälle sind kein Grund, KI-Agenten pauschal zu stoppen. Sie sind ein Grund, undefinierte Autonomie zu beenden. Kein Unternehmen würde neuen Beschäftigten uneingeschränkte Administratorrechte, ein offenes Budget und die Befugnis geben, sich selbst zusätzliche Aufgaben und Vollmachten zuzuweisen. Bei Agenten müssen Berechtigungen, Budgets und Delegation wegen ihrer Geschwindigkeit und Skalierbarkeit noch enger begrenzt werden.

Meine Position ist deshalb klar: Produktiver Wert entsteht durch disziplinierte Delegation, nicht durch maximale Autonomie. Unternehmen, die Auftrag, Identität, Entscheidungsrechte, Aufsicht und Haftungsfragen früh klären, schaffen die Voraussetzung für den Einsatz von Agenten in geschäftskritischen Prozessen. Wer diese Fragen vertagt, beschleunigt zunächst die Einführung, klärt Verantwortung aber erst nach einem Vorfall.

Die zentrale Führungsfrage lautet daher nicht, was ein Agent technisch kann. Sie lautet: Wer führt ihn, wer darf ihn stoppen und wer trägt die Folgen seiner Handlungen?