Die KI zieht in die Firmendaten ein, und ich prüfe immer seltener nach

Ich baue seit dem Frühjahr zwei Betriebe mit KI um, ein Hotel und ein Fitnessunternehmen. Am Anfang habe ich jede Ausgabe kontrolliert, jede Mail, jede Buchungsantwort. Heute schaue ich hin, wenn mir etwas komisch vorkommt. Diesen Übergang habe ich nie beschlossen, er ist einfach passiert, und bisher ist nichts schiefgegangen. Genau das ist die unangenehme Stelle. Ich habe keinen Vorfall, der mich zur Vorsicht zwingt. Ich habe nur eine Gewohnheit, die leiser geworden ist, und keine Ahnung, wann sie ganz verschwindet.

Interessanter als die Fehlerquote der Maschine finde ich, was dabei mit meinem eigenen Urteil passiert. Wenn das Modell zu einem anderen Schluss kommt als ich, gehe ich inzwischen häufiger davon aus, dass ich falsch liege. Früher war das andersherum. Diese Verschiebung habe ich mir nicht vorgenommen, sie hat sich eingeschlichen, und rückgängig machen kann ich sie auch nicht per Entschluss.

Der Agent zieht in die Firmendaten ein

Vor ein paar Tagen hat OpenAI ein Produkt namens Presence vorgestellt. Es ist die Schicht unter dem Modell: eine Plattform, mit der Unternehmen KI-Agenten in ihre eigenen Systeme lassen. Der Agent nimmt Anrufe entgegen, liest Kundendaten, führt freigegebene Aktionen aus und gibt an einen Menschen ab, wenn er an eine gesetzte Grenze stößt. OpenAI meldet, dass im eigenen Support 75 Prozent der Anfragen ohne Menschen erledigt werden, gemessen von OpenAI, an OpenAIs Support, ohne Angabe, was als erledigt zählt. BBVA testet das im mexikanischen Banking, die Fluggruppe IAG für Anrufspitzen bei Unwetter. Zu kaufen gibt es das nicht im Self-Service, OpenAI schickt eigene Ingenieure in die Unternehmen.

Der Mechanismus ist sauber gebaut. Es gibt Simulationen vor dem Start, Sperren für Aktionen außerhalb der Regeln, Eskalationswege, und ein zweites System wertet die Gespräche aus und schärft die Anweisungen des Agenten nach. Bei OpenAI selbst sank die Zahl der Übergaben an Mitarbeiter dadurch innerhalb von zehn Tagen um 15 Prozentpunkte. Von welchem Ausgangswert, steht nirgends.

Jeder dieser Sicherungsmechanismen setzt voraus, dass ein Mensch die Freigaben tatsächlich liest.

Was passiert, wenn er es nicht tut

Im April haben Forscher von Capsule Security zwei Angriffe veröffentlicht, die genau in diese Lücke zielen. Bei Microsoft Copilot Studio und bei Salesforce Agentforce ließen sich Anweisungen in ganz normale Formularfelder schreiben. Die Systeme unterschieden nicht zwischen einer Anweisung ihres Betreibers und dem, was ein Fremder in ein Eingabefeld tippt. Abgeflossen sind Kundendatensätze aus dem CRM. Microsoft hat die Lücke geschlossen, Salesforce nannte das Problem konfigurationsspezifisch. Die Antwort der Forscher darauf finde ich ehrlicher als jede Produktseite: Manuelle Freigaben lösen das, aber sie untergraben genau die Automatisierung, für die man das System gekauft hat.

Damit steht der Widerspruch im Raum, um den sich die Branche gerade herumdrückt. Autonomie ist der Grund, warum man so ein System kauft. Kontrolle ist der Grund, warum man es wieder ausbremst. Diese Frage entscheidet man nicht einmal beim Einkauf, sondern jeden Tag neu, jeden Tag ein Stück weiter Richtung Autonomie, ohne dass es je einen Beschluss dazu gäbe.

Eine Forrester-Befragung für Boomi vom 22. Juli, 409 IT-Entscheider aus drei Kontinenten, beziffert die Lücke: 86 Prozent der Unternehmen sind mit KI-Agenten über die Pilotphase hinaus, 34 Prozent vertrauen den Entscheidungen dieser Agenten. Gartner sagt für 2027 voraus, dass etwa die Hälfte der Firmen, die wegen KI Servicepersonal abgebaut haben, wieder Menschen für vergleichbare Aufgaben einstellt, nur unter anderen Berufsbezeichnungen. Emily Potosky von Gartner begründet das damit, dass KI nicht reif genug sei, um Fachwissen, Empathie und Urteilsvermögen vollständig zu ersetzen.

Was ich daraus ziehe

Ich werde weiter Agenten in meine Systeme lassen. Der Zeitgewinn ist zu groß, um ihn aus Prinzip liegen zu lassen, und mir ist auch klar, dass ein Teil meiner Sorge einfach Kontrollverlust ist, den ich romantisch verkleide.

Was ich seit ein paar Wochen mache: Bei Entscheidungen, die sich schwer zurückholen lassen, schreibe ich meine eigene Einschätzung auf, bevor ich das Modell frage. Zwei Minuten, ein Zettel, es fühlt sich albern an. Es ist die einzige Methode, die ich gefunden habe, um überhaupt zu merken, ob mein Urteil noch da ist oder ob ich nur noch nicke. Wer sich das nie aufschreibt, erfährt nie, wie oft er stillschweigend übernommen hat.

Was mir dabei auffällt, will ich mitzählen und in einem halben Jahr hier hinschreiben, auch wenn dabei herauskommt, dass meine Abweichungen vom Modell meistens die schlechteren waren. Das ist der Fall, den ich am meisten fürchte, und es ist der einzige, der ehrlich zu berichten wäre.

Quellen

• Business Insider: OpenAI pushes deeper into corporate software with Presence, Juli 2026
• OpenAI: OpenAI Presence
• Help Net Security: OpenAI Presence connects AI agents to enterprise data with built-in guardrails, 22. Juli 2026
• eWeek: OpenAI Launches Presence for Enterprise AI Agents, Juli 2026
• CSO Online: Copilot and Agentforce fall to form-based prompt injection tricks, zu den Funden von Capsule Security vom 15. April 2026 (CVE-2026-21520)
• Boomi / Forrester Consulting: Studie zu Vertrauen in KI-Agenten, 409 IT-Entscheider, veröffentlicht 22. Juli 2026 (Zusammenfassung bei SecTank)
• Gartner: Half of Companies That Cut Customer Service Staff Due to AI Will Rehire by 2027, 3. Februar 2026