Überblick
Das Zi hat Patientenfallvignetten zum Vergleich und zur Bewertung von Software zur medizinischen Ersteinschätzung entwickelt. Diese wurden aus realen SmED-Assessments (SmED; Strukturierte medizinische Ersteinschätzung in Deutschland) per Clusteranalyse generiert, ärztlich kuratiert und hinsichtlich der geeigneten Versorgungsdringlichkeit und Versorgungsebene von einem ärztlichen Team im Zi bewertet und im Sinne einer vorläufigen Referenz konsentiert. Die endgültige Bewertung erfolgt in Zusammenarbeit mit medizinisch-wissenschaftlichen Fachgesellschaften. Der Vignettensatz wird sukzessive angepasst bzw. erweitert. Software-Produkte zur medizinischen Ersteinschätzung werden dann automatisiert auf Basis des Vignetten-Satzes hinsichtlich ihrer Ergebnisse analysiert und bewertet.
Hintergrund
Digitale Selbsteinschätzungssysteme sollen dabei helfen, die Inanspruchnahme medizinischer Versorgungsstrukturen durch Versicherte effektiv zu steuern. Sowohl die Reform der Notfallversorgung als auch der aktuelle Entwurf des Gesetzes für Daten und digitale Innovationen im Gesundheitswesen (GeDIG) ebnen diesen fortschrittlichen Weg.
Diese Entwicklung bewirkt, dass hohe Anforderungen an die Auswahl und Verlässlichkeit von digitalen Selbsteinschätzungssysteme gestellt werden. Widersprüchliche und potenziell gefährliche Empfehlungen müssen erkannt und vermieden werden. Neben regelbasiert strukturierten Systemen kommen zunehmend KI-integrierende Systeme auf den Markt und der Einfluss etablierter Angebote generativer KI (Large Language Models – LLM) nimmt zu. Bemerkenswert ist, dass die Ergebnisse dieser Systeme sich sehr stark unterscheiden können, sodass ein Nutzer mehrerer Systeme für die gleiche Fragestellung teils widersprüchliche Empfehlungen erhalten kann.
Der wissenschaftliche Vergleich komplexer Ersteinschätzungssysteme basiert in der Regel auf „Patientenfallvignetten“, also exemplarischen Patientenanfragen, die im Hinblick auf Behandlungsdringlichkeit und Versorgungsebene durch Ärzt*innen bewertet wurden. Wird sichergestellt, dass Fallvignetten repräsentativ für die tatsächlichen Anliegen der Versicherten sind, und können die angemessenen Empfehlungen zu Behandlungsdringlichkeit und Versorgungsebene hierzu auf breiter Basis konsentiert werden, entsteht eine Referenz zur Bewertung von digitalen Ersteinschätzungssystemen für Deutschland. Das Projekt BeST hat eine solche Referenz zum Ziel.
Patientenfallvignetten
Die inhaltliche Grundlage der Zi-Fallvignetten bildet eine große repräsentative Stichprobe aus realen SmED-Assessments. Diese medizinischen Ersteinschätzungen erfolgten entweder telefonisch über die 116117, oder wurden digital im Rahmen einer Selbsteinschätzung über das Patienten-Navi durchgeführt, in beiden Fällen unter Nutzung der Software SmED (Strukturierte medizinische Ersteinschätzung in Deutschland).
Die SmED-Assessments der Stichprobe wurden analysiert und Cluster gebildet. Jedes Cluster repräsentiert dabei eine große Anzahl an ähnlichen Assessments und dient als Grundlage für eine Fallvignette. Der daraus entstandene Vignettendatensatz repräsentiert damit häufige Anliegen, mit denen sich Patient*innen akut an die 116117 wenden oder selbst medizinisch ersteinschätzen. Die Fallvignetten wurden durch ein ärztliches Team des Zi kuratiert. Anschließend wurde in einem zweistufigen Konsentierungsprozess für jede Vignette eine ärztliche Empfehlung zur Versorgungsdringlichkeit und Versorgungsebene festgelegt. Der daraus entstandene Datensatz umfasst aktuell 494 Vignetten und dient als vorläufige Referenz für die Bewertung von Softwareprodukten zur akutmedizinischen Selbsteinschätzung.
Zusammenarbeit mit Fachgesellschaften
Da die aktuellen Zi-Empfehlungen zur Versorgungsdringlichkeit und geeigneter Struktur einen vorläufigen Charakter haben, wird zur Schaffung eines fachlichen Benchmarks im Sinne eines “Goldstandards” die Zusammenarbeit mit medizinisch-wissenschaftlichen Fachgesellschaften angestrebt. Die Einladung zur Mitwirkung im Projekt ist bereits erfolgt.
Berücksichtigt werden sollen im Projekt auch Aspekte wie die Versorgung durch nichtärztliches Gesundheitsfachpersonal, die Selbstbehandlung, oder die Definition von benötigten Versorgungsressourcen bei der Erstbehandlung.
Bewertung und Vergleich von digitalen Ersteinschätzungssystemen
Der Datensatz aus Patientenfallvignetten in Kombination mit definierten Versorgungsempfehlungen ermöglicht einen Systemvergleich. Das Zi hat eine Methodik entwickelt, um für jede Fallvignette ein Ergebnis in einem Ersteinschätzungssystem zu erzeugen. Dieses kann anschließend mit der ärztlichen Empfehlung verglichen werden. Wie sich ein solcher Vergleich darstellen lässt, ist der Publikation von Kroll et al. (siehe unten, Publikationen) zu entnehmen.
Publikationen
Seidel A, Steiger E, Schuster J, Kroll LE. Generating Population-Linked Case Vignettes From Nationwide Triage Data: Framework Development and Validation Study. JMIR Med Inform 2026;14:e104801. doi: 10.2196/104801. https://medinform.jmir.org/2026/1/e104801 (öffnet in neuem Tab)
Kroll LE, Seidel A, Schuster J, Steiger E, Schöpke T, Stillfried D, BeST Study Group.Benchmark Self-Triage (BeST): Comparing Self-Triage Systems and Multiple Generations of OpenAI Models Against Preliminary Expert Consensus. medRxiv 2026.10.12.26365287; doi: doi.org/10.64898/2026.10.12.26365287 (öffnet in neuem Tab)