Ein von Informatikern und Medizinern der Universität Leiden entwickeltes KI-Modell soll Intensivärzte bei einer besonders folgenreichen Entscheidung unterstützen: Es schätzt ein, wie wahrscheinlich ein Patient nach der Entlassung von der Intensivstation erneut aufgenommen werden muss. Anders als viele leistungsfähige Algorithmen liefert die transparente KI nicht nur einen Risikowert, sondern macht auch die zugrunde liegenden Kriterien für das medizinische Personal nachvollziehbar. Das System, das aus einer Zusammenarbeit von LIACS und LUMC hervorging, soll dabei ausdrücklich keine ärztlichen Entscheidungen übernehmen. Es stellt vielmehr Informationen bereit, die Ärzte mit ihrer klinischen Erfahrung und dem Zustand des einzelnen Patienten abgleichen können.
- Das Modell bewertet das Risiko einer erneuten Aufnahme nach der Entlassung von der Intensivstation.
- Seine Prognose beruht auf ungeordneten Regeln, die Ärzte leichter nachvollziehen können.
- Trainiert wurde der Algorithmus mit Daten von Intensivpatienten aus zehn Jahren.
- Die endgültige Entscheidung über eine Entlassung bleibt beim medizinischen Personal.
Der entscheidende Unterschied zu einer undurchsichtigen KI liegt darin, dass Ärzte nicht nur ein Ergebnis erhalten, sondern dessen Herleitung prüfen können.
Ungeordnete Regeln machen den Risikowert nachvollziehbar
Das Modell arbeitet mit einem Satz sogenannter ungeordneter Regeln. Algorithmen können solche Regeln aus Daten lernen und daraus Vorhersagen ableiten. Bei vielen anderen Modellen stehen die Regeln jedoch in einer festgelegten Reihenfolge: Ob eine Regel angewendet wird, hängt dann von einer vorherigen Entscheidung ab. Für Anwender entsteht dadurch eine schwer zu überblickende Kette.
Die ungeordnete Struktur soll diese Abhängigkeiten vermeiden und die Bewertung verständlicher machen. Postdoktorand Lincen Yang beschreibt das bisherige Problem aus Sicht der Intensivmedizin so: Manche Modelle erkannten Hochrisikopatienten gut, erklärten aber nicht, warum. Andere lieferten zwar eine Begründung, diese sei nach Einschätzung der Ärzte jedoch nicht zutreffend gewesen.
Ein Risikowert ist dabei weder eine Diagnose noch eine sichere Vorhersage für den einzelnen Patienten. Er fasst Muster aus früheren Daten zusammen. In der Praxis bedeutet das: Die transparente KI kann zusätzliche Hinweise liefern, während die medizinische Beurteilung weiterhin berücksichtigen muss, was Ärzte unmittelbar am Krankenbett beobachten.
Das Modell musste sich außerhalb des Labors bewähren
Yang hatte den Ansatz bereits 2023 gemeinsam mit Matthijs van Leeuwen, Professor für erklärbares maschinelles Lernen, untersucht. Anschließend bot sich die Gelegenheit, das Konzept mit klinischen Daten praktisch zu erproben. Nach Angaben des Forschers stand dabei nicht der Vergleich um die höchste Genauigkeit im Vordergrund. Entscheidend sei vielmehr gewesen, ob das Ergebnis logisch und fundiert erscheine.
Für das Training nutzte das Team Daten von Intensivpatienten aus einem Zeitraum von zehn Jahren. Ein Algorithmus kann eine solche Datenmenge systematisch auswerten, während Ärzte zusätzlich ihre langjährige Erfahrung und den unmittelbaren Eindruck vom individuellen Patienten einbringen. Gerade diese Arbeitsteilung begründet den unterstützenden Charakter des Systems.
Der Weg in die klinische Praxis erwies sich laut Yang allerdings als aufwendiger als zunächst gedacht. Informatiker und Mediziner mussten nicht nur Daten und Modell zusammenbringen, sondern auch die Arbeitsweisen und technischen Systeme der jeweils anderen Disziplin verstehen. Das habe Zeit und sorgfältige Abstimmung erfordert.
Nachvollziehbarkeit wird zum Maßstab für klinische KI
Für den Einsatz auf einer Intensivstation reicht rechnerische Genauigkeit allein nicht aus: Das Personal muss erkennen können, wie eine Empfehlung zustande kommt.
Ein solcher Ansatz wäre vor allem als Muster für verantwortungsvolle Entscheidungsunterstützung relevant. Wenn jeder Schritt zurückverfolgt werden kann, lässt sich ein Ergebnis fachlich prüfen, hinterfragen oder verwerfen. Das stärkt nicht automatisch die Qualität jeder einzelnen Entscheidung, schafft aber eine Voraussetzung dafür, dass medizinisches Personal die Kontrolle behält.
Nach Yang ist diese Transparenz nicht nur für die unmittelbaren Nutzer wichtig, sondern auch für staatliche Stellen und die Gesellschaft. Für den breiteren Einsatz medizinischer KI bedeutet das: Systeme müssen nicht bloß leistungsfähig sein, sondern ihre Ergebnisse so darstellen, dass Menschen sie beurteilen können.
Sollten Kliniken nachvollziehbare KI-Risikowerte bei Entlassungen nutzen, oder sehen Sie auch bei transparenten Modellen zu große Risiken?
