RöKo 2026 – „Bevor Sie ChatGPT fragen, werfen Sie lieber eine Münze“

Visuelle große Sprachmodelle (VLLM) wie ChatGPT verbinden Bild- und Textverständnis. Sind sie mit dieser Verbindung auch ein leistungsfähiger radiologisch-diagnostischer Ratgeber? Daraufhin hat Marc von der Stück, Uniklinik Aachen, folgende gängige allgemeine und biomedizinisch spezialisierte VLLMs systematisch überprüft: 

• ChatGPT-4o (OpenAI)
• Claude Sonnet 3.7 (Anthropic)
• Gemini 2.0 (Google)
• Perplexity AI (Perplexity Inc.)
• Vision AI (google)
• LLaVA-1.6 (Microsoft)
• LLaVA-MED (Microsoft)

Von der Stück erhielt für seine Arbeit einen der zwei Preise für die besten IT-Abstracts des RöKo 2026. Sein Fazit: „Bevor Sie ChatGPT fragen, werfen Sie lieber eine Münze“.

Er ließ 180 radiologische Fälle – je 60 Röntgen-, CT- und MRT-Aufnahmen – durch die verschiedenen VLLMs befunden; einmal ohne klinischen Kontext (nur Bild), einmal mit (Bild, Alter, Geschlecht, Leitsymptom). 

Diagnostische Genauigkeit

Die diagnostische Genauigkeit ohne Kontext lag für alle Modelle bei sehr geringen 10,6%. Mit Kontext lag die diagnostische Genauigkeit bei 24,0%. Insgesamt variierte sie zwischen den Modellen. 

Die höchste diagnostische Genauigkeit erreichte Gemini mit 22,2% ohne und 36,1% mit klinischem Kontext: Knapp zwei Drittel der Diagnosen waren beim Klassenprimus also trotz klinischen Kontexts immer noch falsch.

Halluzination

Halluzination äußert sich unter anderem darin, dass die VLLMs Befunde dazudichten, die im Bild nicht zu sehen sind. „Irgendwann denkt man selbst, man sieht Geister“, kommentierte von der Stück.

Hinsichtlich der Halluzinationsraten unterschieden sich die VLLM signifikant (p<0,001): Gemini 2.0 zeigte die niedrigste (60,0% mit, 43,3,7% ohne Kontext), Perplexity AI die höchste (86,7% mit, 78,9% ohne Kontext). Auch das spezifisch biomedizinische VLLM LLaVA-MED zeigt hohe Halluzinationsraten 82,2% mit, 61,1,7% ohne Kontext),

Für alle VLLM verringerte sich die Halluzinationsrate mit klinischem Kontext von durchschnittlich 81,4% auf 67,4%.

Fazit: Nicht nutzen

VLLM können radiologische Befunde zwar teilweise korrekt erkennen, ihre Genauigkeit und Zuverlässigkeit ist aber sehr eingeschränkt. Ihre hohe Halluzinationsrate und Kontextabhängigkeit lassen von einem klinischen Einsatz derzeit deutlich abraten.

Für zukünftige potenzielle Nutzung sind spezialisierte Trainingsdaten und eine robuste Validierung nötig.