Leitfaden für die standardisierte Entwicklung von Deep-Learning-Bilderkennungssystemen in der Medizin

Projekttitel: 

Ideengeber*in:

Potenzielle Projektpartner*innen

Wir stehen derzeit im Gespräch mit mehreren potenziellen Projektpartnern, insbesondere mit Mitgliedern des Hamburg Health AI Hub (HAIH), einem Zusammenschluss von Artificial Intelligence (AI)-Startups und AI-Dienstleistern im Healthcare-Bereich, bei dem wir Mitglied sind.

Ausgangslage

Deep Learning bildet den neuen State-of-the-Art der Bilderkennung und wird mit Erfolg in vielen Feldern von Autonomem Fahren bis zur Gesichtserkennung angewendet [1]. Deep Learning ist eine Methode der Künstlichen Intelligenz (KI) und basiert auf tiefen künstlichen neuronalen Netzen. Anstatt mit viel Aufwand fest codierte Regeln durch einen menschlichen Experten festzulegen, werden mit einem Deep-Learning-System statistische Muster aus Beispieldaten gelernt. Voraussetzung ist eine ausreichend große Menge an annotierten Daten zum Trainieren des neuronalen Modells.

Bilderkennung spielt in vielen Feldern der Medizin eine zentrale Rolle, wie etwa Radiologie, Ophthalmologie, Histopathologie, Hämatologie, Mikrobiologie, Tiermedizin und Pharma- und Wirkstoffforschung. Diese Bilderkennung wird heute vom Menschen geleistet. Gerade repetitive Standard-Bilderkennungsaufgaben, die eine hohe Genauigkeit und komplexe Auswertungen erfordern, nehmen dabei einen erheblichen Teil des Arbeitstages von Ärzten ein.

Automatisierte Bilderkennung mit Deep Learning bietet enormes Potenzial für Effizienz- und Qualitätsgewinne und wird seit einigen Jahren intensiv erforscht [2]. In den USA gab es in den letzten zwei Jahren die ersten Zulassungen von KI-Bilderkennungssystemen durch die U.S. Food and Drug Administration (FDA), z.B. für kardiale Segmentierung in der Radiologie  (Arterys) [3], die Diagnose von diabetischer Retinopathie (IDx-DR, 2018) [4] und die Erkennung eines Pneumothorax in Röntgenbildern der Lunge (GE Healthcare, 2019) [5]. Diese ersten Produkte schöpfen die Möglichkeiten von Deep Learning nicht vollumfänglich aus. Insbesondere handelt es sich bei diesen Produkten nicht um kontinuierlich lernende Systeme, wofür die regulatorischen Rahmenbedingungen fehlen. Die meiste Forschungs- und Entwicklungsarbeit im Bereich Deep Learning in der Medizin findet heutzutage in den USA statt, so z.B. auch bei IBM, GE, Google und Apple. Obwohl einige der wichtigsten Deep-Learning-Grundlagen in Deutschland entwickelt wurden [6], nimmt Deutschland dabei eher eine Hintergrundstellung ein. Die Bundesregierung hat die Bedeutung der Künstlichen Intelligenz für Gesellschaft und Wirtschaft anerkannt und eine Strategie “Künstliche Intelligenz” [7] entwickelt, in der auch Deep-Learning-Anwendungen in der Medizin gefördert werden sollen.

Derzeit erstellt das Deutsche Institut für Normung eine Normungsroadmap für die Regulierung von Künstlicher Intelligenz im Allgemeinen [8]. Damit wird ein fundamentaler erster Schritt für die Normierung von Deep-Learning-Systemen getan. Weitere wichtige Schritte in diese Richtung waren die Durchführung des DIN-CONNECT-2802 für die Qualitätskriterien für KI sowie DIN-CONNECT-SPEC-PAS-13266 für die Entwicklung von Deep-Learning-Bilderkennungssystemen im Allgemeinen. Für die Entwicklung und Anwendung in der medizinischen Bilderkennung werden jedoch Standards und Normen benötigt, die den besonderen Rahmenbedingungen in der Medizin Rechnung tragen. Bisher liegen hierfür keine Richtlinien vor.

Die Qualitätsanforderungen sind in der Medizin besonders hoch. Nutzer wie Patienten und Ärzte haben besonders hohe Ansprüche für die Akzeptanz von Deep-Learning-Systemen. Methoden der Erklärbarkeit von KI-Analysen müssen dem Rechnung tragen. Die Entwicklung von Bilderkennungssystemen muss medizinische Qualitätsmanagementprozesse und regulatorische Rahmenbedingungen berücksichtigen. Die Datengewinnung für die KI-Systementwicklung ist in der Medizin eine besonders große Herausforderung, da hierfür medizinisches Fachwissen und hochqualitative Daten notwendig sind und sich medizinische Daten durch eine große Heterogenität auszeichnen.

Das Besondere einer KI liegt in ihrem Potenzial, auch in der späteren Anwendung in der medizinischen Routine von den “Daten des wahren Lebens” weiterlernen zu können. Dieses Potenzial birgt Risiken, da es durch die Veränderung des Systems zu einem anderen Output kommen kann, also im Extremfall sogar zu einer anderen Entscheidung z.B. bezüglich der Diagnose oder der Therapie. Damit das Lernen der KI ausschließlich zu einer Verbesserung des Systems führt, müssen Weiterlern- und Validierungsprozesse im Voraus festgelegt und reguliert sein. Zwar hat die FDA kürzlich hierzu ein erstes Diskussionspapier vorgelegt [9], doch weder in den USA noch in Deutschland gibt es bisher feste Leitlinien, an denen sich Entscheidungsträger und Entwickler orientieren können. 

Quellenangaben

[1] LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

[2] Litjens, G., Kooi, T., Bejnordi, B. et al. (2017), A survey on deep learning in medical image analysis. Medical Image Analysis, 42.

[3] https://www.prnewswire.com/news-releases/arterys-receives-fda-clearance-for-the-first-zero-footprint-medical-imaging-analytics-cloud-software-with-deep-learning-for- cardiac-mri-300387880.html

[4] https://www.eyeworld.org/first-artificial-intelligence-system-approved-fda-detect-diabetic-retinopathy

[5] https://www.medscape.com/viewarticle/918340

[6] Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780

[7] Eckpunkte für eine Strategie Künstliche Intelligenz der Bundesregierung, 18.07.2018

     https://www.bmwi.de/Redaktion/DE/Downloads/E/eckpunktepapier-ki.pdf?__blob=publicationFile&v=10

[8] https://www.din.de/de/din-und-seine-partner/presse/mitteilungen/auftaktveranstaltung-zur-normungsroadmap-ki-344594

[9] Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), FDA

Nutzen

Kurzbeschreibung 

Bilderkennung nimmt in der medizinischen Diagnostik eine zentrale Rolle ein. Automatisierung mittels moderner Deep-Learning-Techniken (DL) bietet die Möglichkeit, Ärzte zu unterstützen und zu entlasten. Die Medizin zeichnet sich durch eine Vielzahl besonderer Anforderungen, von Dateneigenschaften bis zu regulatorischen Rahmenbedingungen, aus, die die Entwicklung von Bilderkennungssystemen erschweren. Hierfür fehlen allgemeine Normen und Leitlinien. Dies gefährdet die Patientensicherheit und benachteiligt kleinere und mittelständische Unternehmen. Der angestrebte Leitfaden soll einerseits Entscheidungsträgern grundlegende Kenntnisse über die Anwendbarkeit von DL zur Bilderkennung in der Medizin vermitteln und andererseits für Umsetzer Leitlinien für die Entwicklung und Pflege von DL-Systemen in der Medizin bereitstellen. 

Worin liegt das Optimierungspotential?

Das Ziel dieses Projekts ist es, die Entwicklung und Anwendung eines Deep-Learning-Bilderkennungssystems in der Medizin zu vereinfachen und zu normieren. Hierzu soll ein entsprechender Leitfaden entwickelt und auf einer Fallstudie verifiziert werden. Die Zielgruppe bilden sowohl Entscheidungsträger in der Medizin (Ärzte, klinische Direktoren, Institutsleiter u.a.) für die Durchführung eines solchen KI-Projektes als auch dessen Umsetzer.

Bilderkennung mit Deep Learning ist eine junge Technologie und findet insbesondere im medizinischen Kontext erst seit kurzem Anwendung. Gleichzeitig sind von dem Analyseergebnis der KI-basierten Systeme oft schwerwiegende Entscheidungen wie Diagnose und Therapieform abhängig  und damit unter Umständen das Leben von Patienten. Größtmögliche Verlässlichkeit des Systems ist unumgänglich und hohe Fehlerraten können nicht toleriert werden. Um das Vertrauen des Anwenders (z.B. Ärzte und Patienten) zu erlangen, müssen KI-Systeme nach klaren Regeln entwickelt werden und ihre Entscheidungen auch für den technischen Laien nachvollziehbar sein.

Standardisierungen und Normierungen von Anwendungen Künstlicher Intelligenz sind essentiell, um einen hohen Qualitätsstandard zu gewährleisten und das Risiko einer Fehlentscheidung für Patienten zu minimieren. Dies gilt insbesondere für den anwendungsbasierten Lernprozess, den die KI im Routinealltag durchläuft. Gleichzeitig vereinfachen Richtlinien die Etablierung der notwendigen hohen Nachvollziehbarkeit für Anwender.

Wer profitiert von der Innovation und dem Standard?

Entscheidungsträger in medizinischen Einrichtungen (Labore, Krankenhäuser etc.) können aus dem Leitfaden Kenntnisse über die Anwendungsmöglichkeiten eines Deep-Learning-Systems und seine Struktur gewinnen. Sie könnten den Nutzen eines solchen Systems und dessen Aufwand besser abschätzen und eine genauere Erfolgsprognose erstellen. Gleichzeitig stellt der Leitfaden für die Umsetzer (z.B. Softwarefirmen) die praktische Grundlage für die Entwicklung des Systems bereit. Entscheider und Umsetzer würden über gemeinsame Terminologie, Konzepte und Richtlinien verfügen um ein medizinisches Deep-Learning-System zu entwickeln. Anfängerfehler könnten vermieden, den Besonderheiten in der Medizin Rechnung getragen und die Qualität des resultierenden KI-Systems erhöht werden. 

Beispielsweise würden in der Richtlinie die Datenakquisitionsprozesse, die in der Medizin besonders herausfordernd sind, erklärt und normiert. Diese Überlegungen können als zentrale  Entscheidungsgrundlage in Entscheidungsprozesse einfließen. Ebenso können die Leitlinien Umsetzern bei der Ausarbeitung von anwenderfreundlichen Systemen helfen, die durch Erklärbarkeit und Nutzerfreundlichkeit eine hohe Akzeptanz bei Patienten und Ärzten erreichen und für Umsetzer den Entwicklungsprozess beschleunigen. Hier profitieren besonders mittelständische Unternehmen von der Standardisierung der Anwendung Künstlicher Intelligenz. Während große Firmen in der Lage sind, eigene Forschungsabteilungen mit Deep-Learning-Schwerpunkt zu unterhalten, stehen mittelständische und kleine Unternehmen vor der Hürde, sich in einen neuen, zum Teil noch in der Forschung befindenden Methodenbereich mit komplexem Anwendungsfeld einzuarbeiten. Nicht-Experten bleibt der Zugang zu dem Gebiet und ein realistisches Bild der Entwicklung von Deep-Learning-Systemen in der Medizin vorenthalten. Das Schließen dieser Lücke würde Unternehmen den Zugang zu den aktuellen technologischen Entwicklungen im KI-Bereich in der Medizin gewähren und deren nationale und internationale Wettbewerbsfähigkeit fördern. Im Bestfall könnte die Befolgung des Leitfadens einem Unternehmen einen technischen Vorsprung im komplexen und noch unerschlossenen Anwendungsbereich der Medizin verschaffen.

Gleichzeitig profitiert insbesondere der Patient von Standards in der KI-Entwicklung in der Medizin. Genaue Richtlinien für die System-Entwicklung, das KI-Training und das kontinuierliche Lernen im medizinischen Praxiseinsatz minimieren das Risiko einer Fehlentscheidung in Bezug auf Diagnose und Therapie.

Wie werden die Ergebnisse nach Projektabschluss verwertet?

Das Projekt wird neue Standards und Richtlinien in Form einer DIN SPEC für eine sichere und effiziente Entwicklung von Bilderkennungssystemen in der Medizin schaffen. Mittelfristig wollen wir eine Norm für solche Bilderkennungssysteme erstellen.

Richtlinien und Normierung werden Unternehmen bei der Entwicklung und Vermarktung von Deep-Learning-Bilderkennungssystemen in der Medizin helfen. Einerseits werden ihnen konkrete Anhaltspunkte an die Hand gegegeben, die eine effizientere Umsetzung ermöglichen. Andererseits wird durch die Normierung die Akzeptanz bei Patienten und Ärzten entscheidend verbessert, da die Existenz und Befolgung von etablierten Richtlinien und Normen Vertrauen schafft. Konkret könnten beispielsweise wir von MindPeak als Entwickler unsere Bilderkennungsprodukte für die Pathologie schneller entwickeln und bei Anwendern besser vermarkten. Vergleichbare Firmen würden auf ähnliche Weise profitieren.

Für die Dissemination der Projektresultate ist vorgesehen, die Projektergebnisse auf nationalen und internationalen Fachtagungen und Konferenzen sowie in geeigneten Fachbeiträgen und Blogs vorzustellen. Auf entsprechenden Diskussionsforen soll in Dialog sowohl mit Entwicklern (Software-Firmen) als auch mit Ärzten und Patienten gegangen werden.

Skizzieren Sie bitte die europäische/internationale Bedeutung

Obwohl der neue Markt der Deep-Learning-Anwendung in der medizinischen Bilderkennung weltweit stetig und schnell wächst, liegen weder in Deutschland und Europa noch in den USA oder China derzeit Richtlinien und Normierungen für die Entwicklung, das Training und den anwendungsbasierten Lernprozess von Bilderkennung mit Deep Learning in der Medizin vor. “Die EU sollte bei technologischen Entwicklungen im Bereich der KI eine Vorreiterrolle einnehmen”, schreibt die Europäische Kommission in einer Mitteilung im April 2018 [10]. Im Allgemeinen und besonders im medizinischen Kontext sind hierfür Standards und Normen essentiell. Die Brisanz dieses Themengebietes zeigt sich auch in den Ausarbeitungen der U.S. Food and Drug Administration (FDA) zur Handhabung von Zulassung kontinuierlich lernender KI-Systeme im Gesundheitswesen, die aber bisher nicht zu festgelegten Richtlinien führten [11]. Deutschland bietet sich hier die Chance, auf dem Gebiet der Standardisierung und Normierung der Entwicklung und Anwendung KI-basierter Bilderkennungssysteme in der Medizin eine Vorreiterrolle einzunehmen. Die Erstellung eines entsprechenden Leitfadens bildet hierbei den ersten wichtigen Schritt in diese Richtung.

Bestehen Einreichungsmöglichkeiten bei Europäischen und internationalen Normungsorganisationen (CEN/CENELEC/ISO/IEC)?

Die Anwendung von Deep Learning in der Medizin ist einer der großen Treiber im medizinischen Fortschritt und von globaler Relevanz. Da wie oben skizziert der Bedarf nach Richtlinien in der Medizin besonders hoch ist, aber sowohl in Europa als auch international solche Richtlinien fehlen, bestehen sehr gute Einreichungsmöglichkeiten bei europäischen und internationalen Normungsorganisationen. Entsprechend streben wir langfristig eine ISO-Zertifizierung an.

Skizzieren Sie bitte die Markt- und gesellschaftliche Relevanz

In vielen Industrie- und anderen Ländern fehlt zunehmend medizinisches Fachpersonal. Gleichzeitig steigt der Bedarf an diagnostischen Leistungen infolge demografischer Umbrüche wie auch infolge medizinischen Fortschritts mit steigenden Diagnoseanforderungen. Bilderkennung mit Deep Learning bietet herausragende Möglichkeiten, dieser Herausforderung zu begegnen. In den letzten Jahren wurde in zahlreichen Disziplinen wie Radiologie, Histopathologie, Augenheilkunde, Hämatologie, Mikrobiologie, Tiermedizin und Pharmazie erfolgreich an KI-Lösungen geforscht, Prototypen erstellt und seit kurzem auch erste Produkte auf den Markt gebracht. Dennoch gibt es weltweit bisher keine Standardisierung für die Entwicklung, das Training und den anwendungsbasierten Lernprozess von Bilderkennung mit Deep Learning in der Medizin. Entsprechende Richtlinien würden der notwendigen Vereinfachung und Beschleunigung der Entwicklung dieser Systeme dienen und einen zügigen Markteinstieg ermöglichen. 

Auf gesellschaftlicher Ebene sorgen Standardisierung und Normierung von KI-Bilderkennungssystemen im Gesundheitsbereich für Transparenz der Anwendbarkeit, Akzeptanz und Nachvollziehbarkeit systembasierter Entscheidungen. Die Minimierung des Risikos für Fehlentscheidungen in Bezug auf Diagnose und Therapie auch im anwendungsbasierten Lernprozess erhöht die Patientensicherheit.

Quellenangaben:

[10] Mitteilung der Kommission an das Europäische Parlament, den Europäischen Rat, den Rat, den Europäischen Wirtschafts- und Sozialausschuss und den Ausschuss der Regionen 

Künstliche Intelligenz für Europa; 25.4.2018

[11] Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML)-Based Software as a Medical Device (SaMD), FDA

Kompetenzen und Ressourcen

Die MindPeak GmbH ist Spezialistin für Bilderkennung mit Künstlicher Intelligenz in der medizinischen Diagnostik mit einem Schwerpunkt auf mikroskopischen Bildern und Pathologie. Die Analysesoftware von MindPeak unterstützt Krebsexperten in der klinischen Routinebefundung von Mikroskopaufnahmen histologischer und immunhistochemisch gefärbter Gewebeproben. Durch die Beschäftigung eigener Pathologen und zahlreiche Kooperationen mit renommierten Partnerinstituten wie der Charité Berlin hat MindPeak ein fundiertes Grundwissen der Anforderungen einer Bilderkennung mit Deep Learning im medizinischen Bereich. Eine Deep-Learning-Analysesoftware für Brustkrebs befindet sich aktuell in klinischen Tests in mehreren Laboren.

Das achtzehnköpfige Team von MindPeak vereint mehrjährige Expertise in der Entwicklung Künstlicher-Intelligenz-Lösungen und ihrer industriellen Anwendung. CTO Dr. Tobias Lang baute bei Zalando Hamburg das Deep-Learning-Team auf und entwickelte ein Deep-Learning-F&E-Projekt zur Produktreife mit täglich mehreren Millionen Nutzern. MindPeak verfügt über ausreichend personale und technische Ressourcen für die Durchführung des Projektes. Mitarbeiter von MindPeak waren Mitautoren bei der Erstellung von DIN-CONNECT-SPEC-PAS-13266 für die Entwicklung von Deep-Learning-Bilderkennungssystemen im Allgemeinen.

Standardisierungsscope

Im Rahmen des Projekts soll eine DIN SPEC in Form eines Leitfadens für die Entwicklung von Bilderkennungssystemen in der Medizin auf Basis von Deep Learning entstehen. Darin sollen u.a. folgende Punkte spezifiziert werden:

• Anforderungen an ein Bilderkennungsproblem im medizinischen Kontext für Eignung zur Lösung mittels Deep Learning für Umsetzer und Entscheider

• Vorgehen bei der Datensammlung für Umsetzer und Entscheider, besonders in Bezug auf 

• Datenqualität

• Heterogenität der Patienten

• Expertenwissen bei der Annotierung 

• Datenschutz

• Anforderungen an die Strukturierung der medizinischen Daten für das Trainieren des Deep Learning Systems

• Nachvollziehbarkeit der Entscheidung für den Anwender (z.B. Arzt, Pathologe, Patient)

• Medizinische Qualitätssicherung und -management im Prozess des kontinuierlichen Lernens der KI für Umsetzer

• Regulatorik und Zulassungsfragen

• Anforderungen an Eingliederung in klinische Strukturen und praktische Workflows für Entscheider und Ärzte

Diese Punkte sind als erster Entwurf für die Leitfadeninhalte zu sehen. Die tatsächlichen Inhalte werden während der Projektdurchführung erarbeitet.