KI-Agenten können im Krankenhaus Entlastung schaffen, etwa bei Dokumentation, Ter-minsteuerung oder der Aufbereitung von Befunden. Doch je autonomer sie handeln, desto größer werden die Risiken für Patientensicherheit, IT-Sicherheit und klare Verantwortung. Krankenhäuser sollten sie daher nicht als einfache Software, sondern als handlungsfähige Systeme mit eigenem Zugriffs-, Entscheidungs- und Fehlerpotenzial steuern. Entscheidend ist daher: Governance vor Go-live.

Künstliche Intelligenz wird im Krankenhaus häufig in einzelnen Pilotprojekten erprobt wie in der Dokumentation, der medizinischen Bildanalyse oder der Entscheidungsunterstützung. Der nachhaltige Nutzen bleibt jedoch oft begrenzt. Die größten Hürden liegen weniger in der Technologie als vielmehr in fehlenden Datenstrategien, unklaren Zuständigkeiten, regulatorischer Unsicherheit und mangelnder Akzeptanz bei Mitarbeitenden.

Falsche Informationen, falsche Entscheidungen

Agentische KI erzeugt nicht nur Text, sondern kann Abläufe auslösen: Termine verschieben, Daten zusammenführen, Aufgaben vergeben oder klinische Hinweise priorisieren. Enthält ihre Wissensbasis veraltete Leitlinien, fehlerhafte Dokumentation oder unvollständige Patientenkontexte, kann ein plausibel klingender Fehler in eine falsche Entscheidung münden. Besonders kritisch ist die Fehlerkaskade: Gibt ein Agent ein fehlerhaftes Ergebnis an nachgelagerte Agenten weiter, kann sich dieses über mehrere Systeme hinweg verstärken, obwohl jede Einzelentscheidung intern schlüssig wirkt.

Zusätzlich droht Automatisierungsbias: Personal gewöhnt sich an Vorschläge des Systems und prüft sie seltener kritisch. Gerade bei Dosierung, Diagnostik, Entlassungsplanung oder der Priorisierung von Untersuchungen braucht es deshalb definierte Human-in-the-loop-Schwellen. Hochriskante Handlungen dürfen nicht automatisch erfolgen, sondern erfordern eine fachlich qualifizierte Freigabe.

Schnittstellen als Angriffsfläche

KI-Agenten entfalten ihren Nutzen erst durch Verbindungen zu KIS, Labor, PACS, Terminsystemen, Dokumentation und Cloud-Diensten. Genau diese Integrationen erweitern jedoch die Angriffsfläche. Über FHIR- und HL7-Schnittstellen können kompromittierte Zugänge, manipulierte Eingaben oder übermäßige Berechtigungen zu Datenabflüssen, unautorisierten Aktionen oder folgenreichen Systemstörungen führen.

Besonders riskant sind Prompt-Injections: Schadcode oder manipulierte Inhalte können einen Agenten dazu verleiten, vertrauliche Daten weiterzugeben oder Aktionen auszuführen, die außerhalb seines eigentlichen Auftrags liegen. Ein Agent sollte daher wie ein eigener digitaler Akteur behandelt werden – mit eigener Identität, minimalen Rechten, protokollierten Zugriffen, Laufzeitüberwachung und sofort abschaltbaren Berechtigungen.

Verantwortung darf nicht verschwimmen

Technisch möglich ist nicht automatisch organisatorisch geregelt. Krankenhausleitung, CIO, Informationsicherheit, Medizin, Pflege, Datenschutz und Qualitätsmanagement müssen gemeinsam festlegen, welche Agenten eingesetzt werden dürfen, welche Daten sie sehen, welche Systeme sie verändern und welche Entscheidungen zwingend beim Menschen bleiben. Eine zentrale Eingangsprüfung für interne und externe KI-Anwendungen, gestaffelt nach Risikoklasse, hat sich als pragmatisches Steuerungsinstrument bewährt.

Rechtlich bleibt das Krankenhaus als Betreiber in der Pflicht: Es muss menschliche Aufsicht sicherstellen, Protokolle führen, Vorfälle melden und die vorgesehenen Einsatzgrenzen einhalten. Der EU AI Act ersetzt dabei nicht die medizinische Verantwortung; er verschärft vielmehr die Anforderungen an Governance, Dokumentation und Aufsicht.

Krankenhäuser können durch gezieltes Change Management, Qualifizierung und Governance-Strukturen Akzeptanz schaffen und den Übergang von einzelnen Pilotprojekten hin zu skalierbaren, wirtschaftlich tragfähigen Lösungen gestalten.

Entscheidung für das Management

Wer KI-Agenten einführt, ohne Berechtigungen, Eskalationswege, Testverfahren und Verantwortlichkeiten zu definieren, automatisiert nicht nur Prozesse, sondern auch deren Fehler. Entscheidend ist daher: Governance vor Go-live, minimale Zugriffsrechte, lückenlose Nachvollziehbarkeit und ein klarer Stopp-Knopf. So kann agentische KI vom Sicherheitsrisiko zu einem kontrollierbaren Bestandteil der digitalen Krankenhausstrategie werden.

Autor: Wolf-Dietrich Lorenz

Symbolbild: generiert mit künstlicher Intelligenz (ChatGPT / OpenAI)