Auswahl von MRT-Protokollen: Hohe Übereinstimmung von Chat GPT-4 mit Expert:innen

Fazit: Tauglich als Unterstützung, aber nicht als Ersatz für klinische Expertise

ChatGPT-4 zeigt eine hohe Übereinstimmung mit der MRT-Protokollwahl erfahrener Radiolog:innen. Das Modell lässt sich nutzen, um den Workflow durch verkürzte Untersuchungszeiten zu optimieren, ohne den diagnostischen Wert zu schmälern. 

Potenziellen Mehrwert bietet das Modell auch zum Training für weniger erfahrene Radiolog:innen.

Die Autor:innen betonen, dass die finale Verantwortung und Entscheidungsbefugnis ausschließlich beim ärztlichen Personal liegt. ChatGPT-4 sei als mögliche Unterstützung, nicht aber als Ersatz für klinische Expertise anzusehen.

Hintergrund: KI-unterstützte Protokollauswahl bislang wenig untersucht

Die Auswahl adäquater MRT-Protokolle basiert auf den Informationen in den MRT-Anforderungsformularen. Künstliche Intelligenz, insbesondere Large Language Models wie ChatGPT-4, könnten die Protokollauswahl unterstützen; sie sind aber bisher noch kaum im klinischen Setting untersucht. 

Anhand klinikinterner wie auch externer Fälle untersuchten Zeynep Bendella, Neuroradiologin an der Uniklinik Bonn, et al. das Potenzial von ChatGPT-4, adäquate MRT-Protokolle auszuwählen bzw. zeitsparende eigene Protokolle zu definieren. 

Wesentliche Ergebnisse: Hohe Übereinstimmung mit Expert:innen

• ChatGPT-4 erreichte bei der Auswahl von 1.501 MRT-Protokollen eine sehr hohe Übereinstimmung mit der Auswahl erfahrener Radiolog:innen (kappa 0,88–0,98; p<0,001).
• Nicht-akzeptable Vorschläge waren äußerst selten – maximal waren es bei einem der beurteilenden Radiolog:innen 7/1.001 klinikinternen Fällen, im Konsens dann noch fünf Fälle. Bei den 300 externen und 200 unabhängigen Fällen wählte ChatGPT-4 in keinem Fall ein inakzeptables Protokoll aus.

• In 76,5 % der klinikinternen und 46,7 % der externen Fälle ließen durch von ChatGPT-4 frei zusammengestellte Protokolle im Mittel 3:51 Min. (klinikintern) bzw. 2:59 Min. (extern) pro Untersuchung einsparen, ohne dass es diagnostischen Qualitätseinbußen käme.

Methoden

Retrospektiv wurden 1.501 MRT-Anforderungsformulare dreier Institutionen ausgewertet und nicht-identifizierbare Patientendaten (Alter, Geschlecht, klinische Information) als Input für ChatGPT-4 genutzt: 

• 1.001 MRT-Anforderungen durch die hauseigene neuroradiologische Abteilung
• 200 unabhängige MRT-Anforderungen aus einer anderen Abteilung derselben Klinik
• 300 externe MRT-Anforderungen durch die neuroradiologische Abteilung einer niederländischen Klinik

Das ChatGPT-4 wählte aus vordefinierten Protokoll-Listen. In einer zweiten Runde konnte das Modell aber auch frei Protokolle zur Zeitersparnis generieren. 

Parallel dazu bestimmten jeweils zwei externe, erfahrene Radiolog:innen zunächst einzeln, dann im Konsens das angemessene MRT-Protokoll.

Im Vergleich beider Protokollauswahlen gruppierte man die Vorschläge in drei Kategorien:

• Identisch
  = völlige Übereinstimmung der Protokollauswahl von ChatGPT-4 mit der der Radiolog:innen
• Akzeptabel
  = hinnehmbare Abweichungen in der Protokollauswahl durch ChatGPT-4
• Inakzeptabel
  = Protokollauswahl von ChatGPT-4 war der Indikation bzw. der klinischen Fragstellung nicht angemessen

Zusätzlich wurde die potenzielle Zeitersparnis dokumentiert, wenn ChatGPT-4 zu einer abweichenden, aber akzeptablen Protokollauswahl kam.