25wdhno14 10.3205/25wdhno14 urn:nbn:de:0183-25wdhno145 Meeting Abstract Eckrich Eckrich Jonas J

St. Elisabeth Krankhaus Köln Hohenlind, Werthmannstraße 1, 50935 Köln, DeutschlandSt. Elisabeth Krankenhaus Köln-Hohenlind, Köln, Deutschland

Jonas.Eckrich@Hohenlind.de author Kuhn Kuhn Sebastian S

Institut für Digitale Medizin, Philipps-Universität Marburg & Universitätsklinikum Gießen und Marburg GmbH, Marburg, Deutschland

author Blaikie Blaikie Andrew A

School of Medicine, University of St Andrews, St Andrews, Großbritannien

author Buhr Buhr Christoph Raphael CR

Klinik für Hals-Nasen- Ohren-Heilkunde und Poliklinik, Universitätsmedizin Mainz, Mainz, Deutschland

author German Medical Science GMS Publishing House

Düsseldorf

610 20250306 germ This is an Open Access article distributed under the terms of the Creative Commons Attribution 4.0 License. Dieser Artikel ist ein Open-Access-Artikel und steht unter den Lizenzbedingungen der Creative Commons Attribution 4.0 License (Namensnennung). M0606 14 Vereinigung Westdeutscher HNO-Ärzte Jahrestagung der Vereinigung Westdeutscher Hals-Nasen-Ohren-Ärzte Abstracts Solingen 20250307 20250308 14 TextEinleitung: Large Language Modelle (LLMs) wie Chat GPT, Gemini oder Claude gewinnen zunehmend an Bedeutung als Informationsquelle für medizinische Fragestellungen. Dabei ist wenig über das Potential und die Grenzen ihrer medizinische Kompetenz bekannt. Gleichzeitig verfügen diese Modelle über ein großes Potential Prozesse wie Dokumentation, Triagierung oder medizinische Entscheidungsfindung fundamental zu ökonomisieren und zu verbessern. Ziel unserer Studienserie war es daher das Potential von LLM zur Beantwortung medizinischer Fragen im HNO Bereich auszuloten und mögliche Einsatzgebiete zu identifizieren.Methoden: Verschiedene gängig genutzte LLMs wurden zunächst zur Beantwortung von Fachfragen im HNO Bereich hinsichtlich der medizinischen Fachkompetenz und verschiedener sprachlicher Parameter wie Verständlichkeit, inhaltlicher Kohärenz und Verständlichkeit mit HNO Fachärzt*innen durch verblindete Evaluation verglichen. Die Textlänge wurde ebenfalls untersucht und evaluiert, inwieweit durch die Antworten eine potentielle Gefährdungssituation entstehen könnte. Ferner wurde eruiert, inwieweit LLMs als Informationsquelle (z.B. im Rahmen von Tumorboardentscheidungen) suffiziente Therapievorschläge unterbreiten können und ob sie als mögliche augmentative Entität im Sinne einer patientenindividuellen Informationsquelle nützlich sind.Ergebnisse: LLMs waren in der Lage Fachfragen auf sehr hohem sprachlichen Niveau und mit guter medizinischer Fachkompetenz zu beantworten. Allerdings waren sie in allen Parametern einer Beantwortung der Fragen durch Fachärzt*Innen unterlegen. Die Verwendete Zeichenanzahl war bei LLMs deutlich höher (P<.001). Eine potentielle Gefährdungssituation wurde durch die Antworten in 10 – 19% der Fälle identifiziert während bei Fachärzten 6% der Antworten als potentiell gefährlich gewertet wurden. Auch bei der Einschätzung von Tumorboardfällen zeigten LLMs eine relativ gute Übereinstimmung mit dem Board (84-92%). In 17% der Fälle wurde eine mögliche Beeinflussung der Tumorboardentscheidung durch das Hinzuziehen eines LLM gesehen.Diskussion: LLMs sind Fachpersonal aktuell noch signifikant unterlegen. Sie zeigen jedoch ein großes Potential in verschiedenen Teilbereichen unseres Fachgebietes zu einer verbesserten Behandlungsqualität beizutragen. Datenschutz als zentrale Limitation könnte durch die Verwendung von nicht-webbasierten LLMs gewahrt bleiben. 0 0 0 0