Begriffen     

Gerade durch die querschnittliche Bedeutung von „KI“ als Technologie führen die benannten Bedeutungsunterschiede in interdisziplinären Diskussionen oft zu erheblichen Missverständnissen. Das erzeugt Reibungsverluste auch ohne inhaltlichen Dissens und entsprechend ohne inhaltliche Fortschritte. Da die Operationalisierung von KI und KI-Diskussionen vermehrt sektor- und domänenübergreifende Maßnahmen erfordert, wird erwartet, dass gemeinsame Begrifflichkeiten für diese ein notwendiges Fundament darstellen.

Wie im Glossar deutlich wird, gibt es bei verbreiteten Begriffen (beispielsweise „bias“, „safety“) mitunter erhebliche Abweichungen in Standards und Konventionen unterschiedlicher Domänen oder Sektoren. Es wird vorgeschlagen, sektorübergreifend vereinheitlichte Definitionen zu schaffen, um eine übergreifende Terminologie gerade in KI-Debatten sicherzustellen.

Image Added01-02  Verwendbarkeit der Normenreihe ISO/IEC 5259 [39] für sektorspezifisches Datenqualitätsmanagement          

Die Verwendung der ISO/IEC-5259-Reihe [39] als gemeinsamer Ausgangspunkt für vertikale Standardisierungsaktivitäten im Bereich Datenqualität erlaubt es, auf ein gemeinsames Gerüst zurückzugreifen und Terminologie, Konzepte und Prozesse für Datenqualitätsmanagement sektorübergreifend zu beschreiben.

Durch die Initiierung der Normenreihe der ISO/IEC-5259-Reihe [39] sind die Themen Datenqualität und Datenmanagement in der internationalen Standardisierung zumindest allgemein adressiert. Dennoch ist zu erwarten, dass für spezifische Sektoren und Anwendungen verschärfte und ggf. andere als die oben genannten Qualitätskriterien relevant werden. Auch Qualitätsmanagementprozesse müssen sektorspezifisch implementiert und ggf. angereichert werden. Somit wird empfohlen, in der vertikalen Standardisierung zum Datenqualitätsmanagement zu prüfen, inwieweit die ISO/IEC-5259-Reihe [39] als allgemeine Referenz herangezogen werden kann und inwieweit sektorspezifische Adaptionen notwendig werden.

Image Added01-04  Prüfstandard für KI-Systeme in Anlehnung an die CC    

Da die CC ein weltweit akzeptierter Ansatz zur Sicherheitsevaluation von IT-Systemen darstellt, der von Prüflaboren und Zertifizierungsstellen angewendet wird, wird so Mehraufwand bei der Produktzertifizierung von KI-Systemen vermieden bzw. minimiert, da auf bewährte Verfahrensweisen zurückgegriffen werden kann.

Zur Prüfung und Evaluation von KI-Systemen soll ein horizontaler Prüfstandard entwickelt werden, der sich in Terminologie, Methodik und Strukturvorgaben an die Dokumente zu den Common Criteria anlehnt.

Image Added01-05  Anforderungen an zertifizierende Stellen

Erforderliche Kompetenzen von Auditoren bzw. der Zeitaufwand für ein Audit gemäß ISO/IEC 42001 [27] unterscheiden sich ggf. von Audit-Anforderungen in anderen Bereichen.

Formulierung von Anforderungen an die Zertifizierung gemäß ISO/IEC 42001 [27], die durch zertifizierende Stellen erfüllt werden müssen. Ein Projektvorschlag von deutscher Seite zu diesem Thema ist in Vorbereitung; die Projektdurchführung muss jedoch von deutscher Seite maßgeblich unterstützt werden.

Image Added01-07  Schnittstellen des Entwicklungsprozesses von KI gestalten     

Standardisierte Schnittstellen und ein modulares Modell typischer KI-Bausteine kann die austauschbare Entwicklung und Einzelbewertung nach standardisierten Kriterien ermöglichen und damit zur übergreifenden Nutzbarkeit, zur Übertragbarkeit von Zulassungen und zur Transparenz beitragen. Entsprechende Methoden zur Einsichtnahme in Modelle und Datensätze fordert auch der Entwurf zum AI Act [4]. Darauf aufbauend können standardisierte Vorgehensmodelle geschaffen werden (vgl. beispielsweise [93]), die die Bereitstellung entsprechender Schnittstellen als reguläres Artefakt der Entwicklung integrieren und Zusatzaufwände minimieren. Die dadurch entstehende Vergleichbarkeit des Schnittstellenmanagements von unterschiedlichen Institutionen schafft Orientierung und zahlt so auf den Wert Selbstbestimmung i. S. v. selbstbestimmter Nutzung ein.

Standardisierte Schnittstellen in KI-Systemen sollen bereits in der Entwicklungsphase externen Prüfern Einblick etwa in Trainingsdatensätze und Modelle geben und KI-Subsysteme, wo möglich, auf gängige einheitliche Funktionsbeschreibungen zusammenführen, um Entwicklung, Prüfung und Einsatz zu vereinfachen, insbesondere im Hinblick auf Ziele der Ethik und Vertrauenswürdigkeit (beispielsweise hinsichtlich Nachvollziehbarkeit, Authentizität der Daten, Transparenz). Es sollten standardisierte Rollenbeschreibungen von KI-Komponenten und von Akteur*innen definiert werden. Ferner soll eine standardisierte Beschreibung des Zusammenspiels der einzelnen Komponenten untereinander sowie im Gesamtkontext (inklusive Nicht-KI-Systemteile und Systemumgebung) geschaffen werden. Es ist zu definieren, welcher Abstraktionsgrad dabei praktisch ratsam ist – beispielsweise, um mit Rücksicht auf Datenschutz, Datensparsamkeit und Datenumfang nicht alle Bestandteile eines Datensatzes offenlegen zu müssen, sondern lediglich abstrahierte Merkmale.

Image Added01-08  Gestaltung der Inhalte einer Quality Backward Chain   

Um Systeme künstlicher Intelligenz auch in ihrer ethischen Dimension während ihres Einsatzes evaluieren und ggf. Entscheidungsgrundlagen modellieren zu können, ist der Einsatz einer Quality Backward Chain zu empfehlen. Diese gewinnt im Rahmen des Einsatzes Felddaten, welche ein Urteil über ethische Entscheidungen des Systems ermöglichen. Grundlegende Korrekturen des Systems sind hierbei nicht vorgesehen, vielmehr soll verhindert werden, dass auf Schäden durch den Einsatz nicht (angemessen) reagiert werden kann. Die Quality Backward Chain liefert Daten für die nachträgliche Beurteilung möglicher Fehlentscheide und hilft dabei sowohl dem Anbieter als auch dem Anwendenden.

Verpflichtende Inhalte im Rahmen der Felddatengewinnung im Sinne einer Quality Backward Chain, die neben technischen auch ethische Aspekte systematisch abdecken muss, bedürfen einer Normung sowie einheitlicher Datenformate, um künftige Meldepflichten zu sichern. Damit soll gewährleistet werden, dass die Option, Meldungen zu machen, möglichst niederschwellig und für alle Benutzergruppen möglichst gut erreichbar ist. Damit soll hinsichtlich der Wertebene eine demokratische Nutzung sichergestellt sein. Ebenso ist dies hinsichtlich Interoperabilität erforderlich, um eine freie Nutzung von Produkten, Dienstleistungen und Systemen abseits von Monopolen zu ermöglichen und User*innen auch in dieser Hinsicht in ihrer souveränen Entscheidung zu unterstützen.

Image Added01-09  Möglichkeiten zur Reevaluierung vorsehen        

Die ethische Reevaluierung von KI-Systemen findet anhand ihrer Kernwerte statt. Diese Kernwerte gilt es vorher im Entwicklungsprozess durch das Unternehmen im Rahmen eines Stakeholderprozesses zu identifizieren. Anhand der erfolgten Abwägung von Werten stuft das Unternehmen intern Ergebnisse bzw. Entscheidungen des KI-Systems in seiner ethischen Dimension im Betrieb ein, aber auch schon im Rahmen des Entwicklungsprozesses. Felddaten aus einer Quality Backward Chain können diese Bewertung unterstützen. In die Prüfung sind die relevanten Stakeholder einzubinden. Sie kann durch ein Expert*innengremium, z. B. ein Expert Review Board, oder anderes geschultes Personal vollzogen werden. Die Prüfung schließt mit ein, dass auch die Unternehmensprozesse in Hinblick auf die Gewährleistung ethischer Prinzipien betrachtet und ggf. korrigiert werden. Sollte ein Verstoß gegen o. g. Kernwerte entdeckt werden, so ist eine größere Prüfung der Prozesse und Datengrundlage nötig. Ebenso wäre eine Meldepflicht analog zu Datenschutzverstößen denkbar. Die Reevaluierung findet bedarfsgebunden oder in festen Abständen statt, beispielsweise alle drei Jahre. Kernelemente dieses Prozesses sind bereits in der ISO/IEC 38507:2022 [26] adressiert, wobei zum Großteil die Kernziele des Unternehmens in den Vordergrund gestellt werden und ethische Aspekte eher als Nebenanforderung auftreten. Dabei ist zudem nicht herausgearbeitet, welche konkreten Inhalte in Bezug auf die ethische Bewertung berücksichtigt und in welchem Umfang diese betrachtet werden sollen.

Dokumentationspflichten und Zeitabstände für verpflichtende Reevaluierungen sind zu normen.

01-10  Normung eines Konzepts für Privacy Ethical Design      

Privacy Ethical Design unterlegt alle Systeme mit dem Grundsatz der Privatsphäre des Einzelnen. Dabei geht es über das Konzept der Privatsphäre an sich hinaus und weist ihr eine klare ethische Dimension zu, bei der nicht nur direkte Einflüsse, sondern auch indirekte Einflüsse auf die Bedarfe des Anwendenden berücksichtigt werden. Damit wird ein Grundvertrauen in neue Technologien gefördert und dadurch die Marktakzeptanz erhöht. Auch Interoperabilität zwischen verschiedenen Anbietern, wie beispielsweise SSO, kann durch Privacy Ethical Design mehr Anwender*innen ansprechen. Dies kann unter Berücksichtigung des aktuell im ISO/IEC JTC 1/SC 42 initiierten Projekts zu einen MSS für KI (siehe Kapitel 4.1.3, Bedarf 1 „Unterstützung der internationalen Standardisierungsarbeiten zu einem MSS für KI“) erfolgen, indem die Erklärbarkeit von KI-Systemen in den Anforderungskatalog des entstehenden Dokuments aufgenommen wird, sowie durch eine Ausweitung des Risikobegriffs auf ethische Risiken, wie sie bereits im Projekt ISO/IEC 23894:2022 [25] Risk Management vorgenommen wurde.

Um effektives Privacy Ethical Design zu fördern, gilt es, ethische Risiken gezielt und systematisch zu beleuchten. Im Rahmen eines Risikomanagementprozesses sollen sie identifiziert und analysiert werden, um sie durch gezielte Maßnahmen zu mitigieren. Dies kann beispielsweise in Form und Umfang einer möglichen Dokumentationspflicht gestaltet werden – zur Förderung von Transparenz und Verhinderung reiner Scheinmaßnahmen. Ein solches Vorgehen zahlt u. a. auf den Wert der Nachvollziehbarkeit ein. Ein weiteres Beispiel wäre die Verbesserung der Benutzerschnittstelle im Hinblick auf Privacy-Einstellungen, um für die Beteiligten möglichst gute Möglichkeiten zu schaffen, Privacy effektiv und intuitiv umzusetzen.

Image Added01-11  Zweckbindung von Daten gestalten         

Um ein für alle Parteien transparentes Agieren im Interesse vertrauenswürdiger KI-Entwicklung zu ermöglichen, gilt es, die Zweckbindung von Daten weiter auszugestalten. Nach Art. 5 Datenschutz-Grundverordnung (DSGVO) dürfen personenbezogene Daten nur für „festgelegte, eindeutige und legitime Zwecke erhoben werden“ sowie „nicht in einer mit diesen Zwecken nicht zu vereinbarenden Weise weiterverarbeitet werden“. Ausnahmen gelten hierbei nach Art. 89 DSGVO für „im öffentlichen Interesse liegende Archivzwecke, für wissenschaftliche oder historische Forschungszwecke oder für statistische Zwecke“. Hier kann Normung ansetzen und im Rahmen der gesetzlichen Leitplanken der DSGVO eine innovative Datennutzung fördern, durch die Unternehmen in der Lage sind, neue Produkte auf Basis ihrer Stammdaten zu entwickeln, ohne die Rechte der Verbraucher*innen zu verletzen. Eine gute Option bietet sich, zu diesem Punkt den Dialog zu einschlägigen Gesetzesvorschlägen der Europäischen Kommission (DSA, DGA) zu pflegen, um die Regulierungsabsichten in dieser Hinsicht stimmig fortzuführen. Hierbei soll über gemeinsamen Austausch bestenfalls auch die Expertise der Aufsichtsbehörden einbezogen werden. Gleichzeitig sollen die Verbraucher*innen jederzeit in der Lage sein, eine angemessene Übersicht zu erhalten, zu welchen Zwecken ihre Daten verwendet werden. Normung kann hierbei Unternehmen und Institutionen unterstützen, ein erforderliches Consent Management zu entwickeln und zu integrieren.

Für eine sichere und innovative Zweckbindung von Daten kann Normung einheitliche Dokumentationen und Einverständniserklärungen fördern, welche Anwender*innen und Anbieter*innen schnell und unkompliziert Einsicht in die möglichen Verwendungszwecke bieten.

Image Added01-13  Verbesserter und niederschwelligerer Überblick über das Zusammenspiel zwischen Kritikalitätsstufen und zugehörigen Anforderungen (speziell bei KI-Systemen mit geringem Risiko)

Um KI-Systeme bezüglich ihrer Kritikalität schnell einordnen zu können und die damit verbundenen Anforderungen gut erfassen zu können, wären für Herstellende klar strukturierte Vorgaben hilfreich. Das gilt insbesondere für die Frage, welche Anforderungen KI-Anwendungen mit niedrigem Risiko erfüllen sollten, um die gesetzlichen Vorgaben zu erfüllen, aber auch um ein hohes Maß an Vertrauenswürdigkeit zu erreichen. Der geplante AI Act gibt zwar für den Bereich der EU eine Einordnung in bestimmte Klassen, indem er z. B. verbotene Bereiche oder auch Hochrisikosysteme definiert, wobei die Einordnung primär gemäß dem Anwendungsgebiet und weniger nach dem für das jeweilige konkrete Produkt entstehende Risiko erfolgt. Gerade für den Bereich der weniger kritischen Systeme verbleiben jedoch wenig konkrete Anforderungen, sodass die Herstellenden in diesem Fall kein klares Bild bekommen, welche Anforderungen umzusetzen sind. Dieser Effekt wird dadurch verstärkt, dass es inzwischen vielfältige andere Gesetze auf EU-Ebene gibt, wie u. a. die Datenschutz-Grundverordnung, der Digital Service Act, der geplante Data Act oder auch die Grundrechtecharta der EU, die weitere wichtige Anforderungen liefern, die bei der Entwicklung von KI-basierten Systemen eine zentrale Rolle spielen. Auch auf Seite der Benutzer*innen wird es damit unübersichtlich, wie sie die Systeme einzuordnen haben, was ein vertrauenswürdiges System ausmacht und welche Anforderungen diese in welcher Weise erfüllen.

Eine bessere Transparenz und Übersichtlichkeit in Bezug auf die unterschiedlichen Stufen der Kritikalität (auch jenseits der Einordnung im geplanten AI Act [4] und der damit verbundenen Anforderungen) soll geschaffen und in entsprechenden Normen verankert werden. Es soll auf niederschwellige Weise vermittelt werden, was vertrauenswürdige KI ausmacht, wie die Systeme einzuordnen sind und welche Anforderungen aus welchen Gesetzen umzusetzen sind.

Konkret beinhaltet das die folgenden Punkte:

• Niederschwellige und für Hersteller*innen und Benutzer*innen transparente Zuordnung von KI-Anwendungen in Hinblick auf ihre Kritikalität
• Für Hersteller*innen: gezielte Klärung, welche Anforderungen aus welcher Gesetzgebung für welche Anwendungen bzw. Kritikalitätsstufen umzusetzen sind, um gesetzeskonforme und vertrauenswürdige KI-Systeme entwickeln zu können. Durch geeignete Normen/Werkzeuge soll ein gut erfassbarer Überblick geschaffen werden, der die Zusammenhänge zwischen den Anforderungen, den zugehörigen Gesetzen sowie den für den jeweiligen Use Case erforderlichen Schritten aufschlüsselt.
• Für Benutzer*innen: schneller und niederschwelliger Einblick in die unterschiedlichen Kritikalitätsstufen und deren Anforderungen auf einem verständlichen Niveau, um die Vertrauenswürdigkeit von KI-Systemen in geeigneter Weise erfassbar zu machen."

Image Added01-15  Standardisierung von Language Technology und Natural Language Processing APIs und Datenstrukturen

Die APIs von sprachtechnologischen Cloud-Services sind nicht standardisiert und somit jeweils unterschiedlich, was Vergleich, Testen, Benchmarken und Austausch unterschiedlicher APIs erschwert bzw. unmöglich macht, d. h. aktuell ist keine Interoperabilität gegeben. Zur im besten Fall automatisierten Nutzbarmachung von Datensammlungen ist es notwendig, Metadatenbeschreibungen so zu standardisieren, dass alle wesentlichen Eigenschaften einer Datensammlung in maschinenlesbarer, semantisch annotierter Form vorliegen. Zahlreiche Initiativen arbeiten an dieser Thematik, insbesondere Nationale Forschungsdateninfrastruktur (NFDI), European Open Science Cloud (EOSC) und Gaia-X.

Für Automatic Speech Recognition (ASR)-Verfahren existieren außerdem bisher keinerlei Vorgaben oder Richtlinien, auf welche Weise z. B. Interpunktion oder Zahlen behandelt, d. h. transkribiert werden. Für den besseren Vergleich, für das Benchmarking und auch für den Austausch entsprechender Services ist eine Standardisierung notwendig.

DFKI hat in diesem Bereich bereits erste Erfahrungen im Rahmen des EU-Projekts European Language Grid gemacht sowie unter Mitwirkung der University of Sheffield erste Vorschläge vorgelegt. Dieser Aspekt betrifft auch eine Reihe beigelagerter Themen, z. B. Annotationsformate, Workflows, Benchmarks, Transferlearning bei Sprachmodellen. Das Problem: Alle Anbieter verfolgen jeweils ihre eigene Philosophie, d. h. sie bieten unterschiedliche, proprietäre APIs an. Hilfreich wäre es, die Technologien eines Anbieters mit Standarddatensätzen (oder eigenen Daten) und Standardmetriken zu evaluieren und somit vergleichen zu können (z. B. WER für ASR). Dieses Thema betrifft auch große Sprachmodelle, d. h. insbesondere, wie Sprachmodelle angesprochen werden, um Transferlearning durchzuführen. Zur Relevanz für die Industrie: Kein Unternehmen kann allein ein großes Sprachmodell entwickeln, weshalb Finetuning und Transfer auf Basis standardisierter Methoden und Schnittstellen missionskritisch sind, um das Sprachmodell an den jeweiligen Use Case anzupassen.

Mindestens europaweite Standardisierung von Language Technology und Natural Language Processing APIs bezüglich Funktionsumfang und Parametrisierung sollte erfolgen, sodass mehr Interoperabilität und auch bessere Vergleichbarkeit zwischen den Cloud-Services einzelner Anbieter entsteht. In diesem Zusammenhang können auch Datenformate, z. B. bezüglich Datenaustausch, und semantische Annotationsformate betrachtet werden. Dazu gehören die Standardisierung von Metadaten, Datensammlungen, Data-Sheets, Model-Cards, Sprachmodelle, Zugänglichkeit, Nutzung von Daten und Datensammlungen für Forschungszwecke und kommerzielle Anwendungen (kann ggf. in NFDI, EOSC, Gaia-X etc. eingebettet werden). Des Weiteren ist die Standardisierung von Richtlinien für Transkriptionsverfahren hilfreich, die oft ASR beinhalten oder auf ASR-Ausgaben aufsetzen, z. B. Zahl als Zahl, Zahl als Wort etc., Interpunktion, Groß- und Kleinschreibung etc.

Dieser Punkt schließt auch die Orchestrierung von Services in Form von Workflows oder Pipelines ein. Der Aspekt betrifft zudem die Standardisierung von Benchmarks zum Vergleich diverser Lösungen, z. B. ASR oder Natural Language Understanding (NLU). Im Rahmen von Anwendungen im Bereich des Dialogmanagements betrifft dieser Aspekt auch die Standardisierung von Ressourcen für die Modellierung von Dialogen.

Image Added01-16  Standardisierung der Messung von Performanz, Korrektheit, Präzision und Plausibilität großer Sprachmodelle sowie der Datenqualität 

Sprachmodelle stellen derzeit für viele sprachtechnologische Anwendungen den Stand der Forschung und Technik dar, allerdings existieren noch keine Standards bzw. Messung grundsätzlicher Eigenschaften wie z. B. Korrektheit, Präzision, Faktizität, Selbstkonsistenz etc. – u. a., um ein Sprachmodell einschätzen und unterschiedliche Sprachmodelle vergleichen zu können. Die Selbstkonsistenz eines Modells kann z. B. beinhalten, ob sich ein Modell bei bestimmten verwandten Fragen widerspricht. (Anm.: Regelbasierte/symbolische Modelle sind allerdings heute schon Teil von Hybridsystemen bzw. Pipelines). Beispielsweise kann die Messung des Wahrheitsgrads des Outputs von sprachmodellbasierten Anwendungen (bzw. die Selbstkonsistenz des Modells) – falls technisch möglich (und wenn auch nur in einigen klar definierten Bereichen) und belastbar realisierbar – die Qualität des Sprachmodells signalisieren. Zu beachten ist dabei, dass vermehrt auch multimodale Modelle, Bildverstehen, Kombination von Sprache und Bild, Zeichensprache (Erkennung und Generierung) auf Basis großer Sprachmodelle (Stanford nennt diese auch foundation models) durchgeführt werden.

Für das Training von Sprachmodellen und anderen maschinellen Lernverfahren werden u. a. Text-, Audio- und Videodaten eingesetzt. Derzeit existieren noch keine Standards zur Messung der Qualität derartiger Daten und Datensammlungen, u. a. um zu entscheiden, ob sie im Rahmen eines Trainingsdatensatzes nutzbar gemacht werden sollten. Standardisierte Verfahren zur Messung von Datenqualität besitzen ebenfalls eine große Relevanz für den Aspekt von Datenbias.

Standardisierung der Messung der Performanz, Korrektheit, Precision, Plausibilität im jeweiligen Anwendungskontext großer Sprachmodelle ist wünschenswert. In diesem Zusammenhang ist auch die Messung der Qualität des Outputs von generierenden Sprachmodellen relevant, z. B. bezüglich Sinnhaftigkeit, Grammatikalität, Semantik. Hier existiert ein Bedarf für standardisierte Metriken. Ferner müsste der Begriff „Sprachmodell” definiert werden, und zwar bezüglich Abgrenzung zu textverarbeitenden, evtl. auch regelbasierten Modellen.

Die Standardisierung von Ansätzen zur Messung von Datenqualität für Sprachmodelle, d. h. insbesondere Textqualität, aber auch Audioqualität und Videoqualität sind relevant für die Zusammenstellung von Datensets, die z. B. für das Training von Sprachmodellen benutzt werden, sowie für die Messung von Bias. Dies betrifft u. a. die Auswahl der Daten, die für das Training von Sprachmodellen eingesetzt werden, um z. B. Bias und Hatespeech zu bewerten/zu vermeiden etc. Auch für die Beschreibung und Messung von Bias selbst (inklusive einer Spezifizierung der unterschiedlichen Dimensionen von Bias, z. B. political bias, gender bias etc.) müssen Ansätze beschrieben und standardisiert werden.

Image Added01-17  Wissensgraphen und Ontologien in große Sprachmodelle       

Während Sprachmodelle den Stand der Wissenschaft und Technik für eine Vielzahl sprachtechnologischer Aufgaben darstellen, existieren zahlreiche Wissensbasen, Wissensgraphen und Ontologien, die symbolisches Wissen bzw. semantisches Wissen in symbolischer Repräsentation enthalten. Derzeit existieren noch keine Standards, wie derartige Wissensbasen und Ontologien in Sprachmodelle integriert und der jeweiligen Anforderung entsprechend sicher (Bewertung der „Kritikalität“) nutzbar gemacht werden können. Dieser Aspekt betrifft auch die Zusammenführung und Integrierung unterschiedlicher Wissensbasen und Wissenspakete.

Die Standardisierung von Ansätzen, wie Wissensgraphen und Ontologien in große Sprachmodelle, die integrierbar und nutzbar gemacht werden können, dient der Nutzung existierender symbolischer Wissensbestände im Rahmen der Stand der Forschung und Technik von Sprachtechnologien, die typischerweise auf großen Sprachmodellen basieren. Hierbei sollte auch die Zusammenführung, Integration und Verwaltung von Ontologien und Ontologiemodulen bzw. Ontologiepaketen aus unterschiedlichen Quellen betrachtet werden. Dabei können auch Ansätze betrachtet werden, wie (eher ontologiebasiertes) Weltwissen in (eher dokumentbasierte) Wissensgraphen integriert werden kann. Diese Aspekte sind wichtig und relevant für die Nutzung symbolischer Wissensbasen (d. h. Ontologien) im Rahmen von Knowledge-Graph-basierten Anwendungen.

Image Added01-18  Test- und Auditing-Prozesse für KI-Sprachanwendungen         

Im Kontext von vertrauenswürdiger KI wird die Standardisierung von Test- und Auditing-Prozessen auch für (lernende und kontinuierlich lernende) NLP-Systeme an Bedeutung gewinnen.

Insbesondere, wenn NLP-System wie Suchmaschinen, Empfehlungssysteme oder Chatbots als Entscheidungsunterstützungssysteme in kritischen Anwendungen dienen, wird es nötig sein, Test- und Auditingprozesse zu definieren. Dazu gehören neben den direkten Variablen (Art und Erzeugung der Testitems, Metriken zur Auswertung der Ergebnisse) auch die Frage der Prozessbeteiligten. Beispielsweise kann es im Gesundheitsbereich geboten sein, Patient*innenvertreter in einem partizipativen Prozess in die Gestaltung und Ausführung der Tests einzubeziehen. Kontinuierlich lernende Systeme werden in bestimmten Zyklen erneut getestet und auditiert werden müssen. Hier muss festgelegt werden, nach welchen Kriterien die Zyklen bestimmt werden.

Image Added01-21  Bewertungsmetriken und Methoden für Bilddatensätze und Erhebungs-/Synthetisierungsverfahren und bildauswertende ML-Verfahren entwickeln

Datensätze übernehmen insbesondere bei modernen ML-Verfahren zunehmend die Rolle von Parametern. Entsprechend werden, beispielsweise im Entwurf AI Act, Anforderungen an KI-Systeme auch mittels Anforderungen an Datensätze formuliert. Jedoch fehlen derzeit standardisierte Verfahren, anhand derer Qualitätseigenschaften von Datensätzen übergreifend beschrieben werden könnten. Einzelfallspezifische Verfahren erreichen jedoch keinerlei Vergleichbarkeit und begrenzen damit die Einschätzbarkeit unterschiedlicher KI-Verfahren. Eine Standardisierung entsprechender Verfahren zur Güteabschätzung sowie die gezielte Entwicklung von standardisierungsfähigen, anwendungsübergreifenden Verfahren kann hier wesentlich zu einem besseren, übergreifenden Verständnis beitragen – auch wenn die standardisierten Metriken nicht den Anspruch eines unumstrittenen, absoluten Gütekriteriums erfüllen, sondern lediglich eine transparente, übergreifende Indikation ermöglichen.

Es sollten standardisierte Bewertungsmetriken erarbeitet werden, die es erlauben, entweder Datensätze (aus echten oder aus synthetisch erzeugten Bilddaten) oder Verfahren, die diese Datensätze erzeugen, nach gängigen Gütekriterien zu bewerten. Diese Metriken sollten gängige Zielvorgaben, beispielsweise gemäß Entwurf EU-AI Act, aufgreifen (vgl. [4]), „Relevanz, Repräsentativität, Fehlerfreiheit und Vollständigkeit in Hinblick auf die beabsichtigte Anwendung“) und geeignete Messprinzipien dieser Zielvorgaben spezifizieren. Diese Metriken sollten weitgehend unabhängig von KI-Methoden oder Anwendungen sein, einschränkende Annahmen/Anwendbarkeiten, wo erforderlich, jedoch klar benennen. Bestehende Ansätze (beispielsweise [97]) sollen auf Eignung untersucht werden. Wo keine geeigneten Verfahren bestehen, die eine Abschätzung leisten können, sollen im Rahmen von F&E neue Ansätze erarbeitet werden.

Image Added01-22  Metriken zum Test bildverarbeitender KI-Systeme standardisieren

Analog zum Bedarf „Bewertungsmetriken und Methoden für Bilddatensätze und Erhebungs-/Synthetisierungsverfahren entwickeln“ besteht ein Bedarf zur Standardisierung von Metriken, die die Bewertung bildverarbeitender KI-Systeme ermöglichen und gleichzeitig deren Anwendungsgebiet definieren. Beispielsweise hat sich in der wissenschaftlichen Gemeinschaft die Metrik der „mean Intersection over Union“ (mIoU) für die Bewertung von ML-Verfahren zur Bildsegmentierung etabliert. Entsprechende Metriken sollten auch für andere Aufgabenstellungen wie z. B. Objektdetektion, Klassifizierungen oder Bildumwandlung bereitgestellt werden. Analoge Metriken für gängige KI-Verfahren gemeinsam zu standardisieren kann zur Vergleichbarkeit heterogener Ansätze beitragen.

Dabei ist zu berücksichtigen, dass die Metriken ggf. risikoabhängige Komponenten enthalten können (z. B. risikoabhängige Bewertungen von Segmentierungsfehlern z. B. in kritischen Regionen bei medizinischen Bilddaten). Diese Mechanismen sollten dabei so generisch/modellagnostisch gestaltet werden, dass sie leicht auf unterschiedliche Szenarien übertragen werden können.

Image Added01-23  Verfahren zur cybersicheren Authentifizierung auf Basis von Bilddaten

Es sind Verfahren zu entwickeln, die beurteilen, inwieweit gegebene Bildmerkmale nach dem Stand der Technik noch vertrauenswürdig sind (und mithin zur Authentifizierung genutzt werden können) und ab wann entsprechende Merkmale beispielsweise durch „Deep Fakes“ manipuliert sein können. Vorgehensweisen zur Sicherstellung der Authentizität von Identitäten und Informationen sind zu spezifizieren, anhand derer für unterschiedliche Anwendungen ein entsprechend benötigter Grad an Vertrauen hergestellt werden kann.

01-26  Umwandlung von DIN SPEC 13266:2020 [98] in eine Norm    

Es scheint keine Norm für Deep-Learning-Systeme zu geben.

DIN SPEC 13266:2020 [98] ist eine Spezifikation für Deep-Learning-Systeme und beschreibt den aktuellen Stand der Technik sehr gut. Daraus soll eine Norm werden.

02-05  Abstrakte Zerlegung der KI-Komponente in Daten und Prozesse

Aktuelle Komponenten eines KI-Systems, aufbauend auf dem aktuellen Stand aus ISO/IEC 22989:2022 [16], weiter verfeinern (der aktuellen Forschung bzw. dem Diskussionsvorschlag entsprechend) und zerlegen zur genauen Beschreibung der Angriffe und Verwundbarkeiten. Das Ziel ist ein abstraktes Komponentenmodell zur weiteren Verwendung für die Beschreibung von Risiken und Maßnahmen für verschiedene KI-Verfahren und zur KI-Zertifizierung.

02-06  Existierende KI-Angriffe und Risiken mit existierenden zertifizierbaren IT-Sicherheitszielen abgleichen

Schafft man eine Abbildung von Angriffen auf KI-Komponenten (z. B. Data Poisoning) auf IT-Sicherheits-Schutzziele entsprechend einer Beschreibung der schutzwürdigen Gegenstände der KI-Komponenten, so ermöglicht dies, existierende Bausteine aus der Prüfung und Zertifizierung von IT-Systemen auch möglichst schnell für KI-Systeme wiederzuverwenden. Als Basis für ein solches Mapping sollten die bestehenden Dokumente der ENISA [119] oder des BSI (referenz cloud AI-Katalog) [81] (Letzeres ggf. mit ISO SC 38) weiterverfolgt und der Normung möglichst widerspruchsfrei zwischen ISO/IEC SC 27 (IT-Sicherheit) und ISO/IEC SC 42 (KI) zugeführt werden. Es existieren bereits Prüfprozesse und entsprechende Zertifizierungen für IT-Sicherheit. Diese sollten, wo möglich, Anwendung auch für die Prüfung und Zertifizierung der IT-Sicherheit des KI-Systems bzw. der einzelnen KI-Komponenten im Einsatz für das gesamte System finden. Um nicht unnötig neue Prozesse und Controls für KI-Systeme und die dort verwendete(n) KI-Komponente(n) zu beschreiben, gilt es, existierende Bedrohungen für KI-Komponenten hinsichtlich des Schutzgegenstands (ggf. auch nur für Subkomponenten der KI-Komponente wie Daten, Modell, Prozess etc.) und des IT-Sicherheitsschutzzieles (beispielsweise Integrität) zu beschreiben. Dies würde dann ermöglichen, bestimmte Controls wiederzuverwenden, beispielsweise führt Data Governance zu einem Überblick, woher Daten stammen, erschwert damit Angriffe auf die Integrität von Trainingsdaten und vermindert damit das Risiko für einen sogenannte Data-Poisoning-Angriff. Dies ermöglicht einen ersten Maßnahmenkatalog (wie im Anhang DIN EN ISO/IEC 27001 [480] oder in DIN EN ISO/IEC 27002 [481]) für KI-Sicherheit und KI-Privacy, basierend auf existierenden Maßnahmen, aufzustellen. Dies zeigt auch mögliche Lücken, also Schutzbedarfe, für die es KI-spezifischer Maßnahmen bedarf. Wo die Angriffsvektoren sehr speziell sind und sich nicht (oder nicht einfach) auf eine Menge existierender IT-Sicherheitsschutzziele abbilden lassen, sind dann spezielle Kriterien zu erarbeiten.

Image Added02-07  Standardisierung von KI-Produkt- und Prozessprüfverfahren für Security und Privacy

IT-Security und Privacy für KI ist sowohl ein Thema eines KI-Security-Managementsystems in der Organisation, über den Lebenszyklus und die Lieferkette, als auch aus einer funktionalen Produktsicht einer singulären Softwarekomponente oder aus der Perspektive des umfangreichen KI-Systemkomplexes inklusive der möglichen Wechselwirkungen. Für alle Bereiche sollte Security- und Privacy-Standardisierung mit passenden Kontrollkriterien, Prüfwerkzeugen und Prüfverfahren sowie Managementsystemanforderungen für Prüfung und Zertifizierung erarbeitet werden, insbesondere für Machine-Learning-Methoden und in kritischen Umgebungen/Infrastrukturen. Für die Prüfung der IT-Sicherheit von Produkten, Systemen und Prozessen gibt es verschiedene etablierte Prüfverfahren und Zertifizierungsschemata. Es befinden sich neue Ansätze in Entwicklung, um sich den sich ändernden Herausforderungen in der IT-Sicherheit anzupassen. Prüfverfahren und Akkreditierungsverfahren sind essenziell, um die Qualität der Prüfung durch unabhängige Dritte sicherzustellen sowie die Nachvollziehbarkeit und Vergleichbarkeit von Ergebnissen zu verbessern.

Wie im ENISA-Report [119] angeregt, sollte weitere Forschung angepasste Security Controls für Machine Learning untersuchen, validieren, Benchmarks für ihre Wirksamkeit erstellen und hinsichtlich ihrer Implementierung standardisieren.

Image Added02-08  Ausarbeitung eines horizontalen Querschnittsstandards und vertikale Ausprägungen zu Security

Empfehlenswert wäre die Herausarbeitung von horizontalen Themen zu Cybersecurity und Privacy für KI zur Prüfung und Zertifizierung, die alle Sektoren betreffen, sowie eine Schnittstelle zu sektorspezifischen Anforderungen. Ein horizontales Thema wäre beispielsweise die Anforderung an eine geeignete Zugriffskontrolle. Als vertikale Ausprägung können wiederum spezielle Security-Anforderungen aus dem sektoralen Umfeld angesehen werden, wie u. a. für den Bereich der Medizinprodukte.

Image Added02-09  Entwicklung von Metriken und Controls gemäß den Standardisierungsanforderungen des geplanten EU AI Act

Entwicklung von Standardisierung zu Cybersecurity-Anforderungen aus dem AI Act für Metriken und Controls zur Messung und Vermeidung von Cyberangriffen sowie Methoden für Prüfung, Auditierung und Zertifizierung inklusive Anforderungen an die Kriterien für die Prüfmaßnahmen und Prüfenden.

Dabei erscheint es wichtig, eine gemeinsame Arbeitsgruppe mit den Gremien der Cybersecurity und KI in den Standardisierungsorganisationen von Deutschland, der EU und eventuell auch international zu etablieren.

04 Entwicklung von

Funktionalitätsklassen für KI

-Technologien

Image Added03-07  Entwicklung von Qualifikationskriterien für Prüfer und Zertifizierter zu Cybersecurity und Privacy für KI

Entwicklung eines Standards mit Kriterien für die Qualifikation von Prüfern, Auditoren und Zertifizierern für Cybersecurity und Privacy bei KI unter Berücksichtigung bestehender Standards aus der DIN EN ISO/IEC 27000er-Folge [131].

Aktuell bestehen etablierte Prüf- und Zertifizierungsverfahren an die Qualifikation von Expert*innen zur Prüfung und Zertifizierung von Cybersecurity und Privacy, aber noch nicht für KI. Diese sind ergänzend notwendig.

Image Added03-09  Definition von Kontrollpunkten

Anhand des KI-Lebenszyklus sind einzelne Prüfpunkte, an denen eine Konformitätsbewertung (Level 4 und 3) stattfinden muss, mit einem Minimalset an Evaluationstätigkeiten zu definieren, um die Konformität mit den rechtlichen Anforderungen, die in Gesetzesvorhaben wie dem europäischen AI Act oder dem kanadischen Artificial Intelligence and Data Act [170] definiert werden, bewerten und bestätigen zu können.

Dabei ist eine klare Rollendefinition auf der Ebene der KI-Entwickler*innen/Herstellenden/Inverkehrbringer als auch auf der Ebene der Konformitätsbewertungsstellen und Akkreditierungsstellen notwendig.

Nach einer klareren Rollenstruktur gilt es dann, herauszuarbeiten, welche Rolle (aus Level 5 oder Level 3) an welchem Punkt im KI-Lebenszyklus in die Entwicklung, Evaluierung, den Einsatz und die Stilllegung des KI-Systems integriert werden muss, um die gesetzlichen Anforderungen zu erfüllen.

Bessere Verzahnung von Unternehmen, die KI-Systeme entwickeln und/oder in Verkehr bringen, mit den Konformitätsbewertungsstellen (erster, zweiter und dritter Seite).

DIN EN ISO 6385:2016 [235], DIN EN ISO 26800:2011 [239], DIN-EN-ISO-9241-Reihe [514], DIN-EN-ISO-10075-Reihe [513], DIN-EN-614-Reihe [180] [181] [182], DIN EN 894-1:2009 [244], DIN EN ISO 11064:2011 [243]) berücksichtigen die resultierenden Anforderungen aus der soziotechnischen Gestaltung eines KI-Systems i. d. R. noch nicht hinreichend und lassen oft die Wechselwirkungen zwischen Mensch, Technik und Organisation im Zusammenspiel mit KI-Systemen außer Acht. Zudem werden Interaktionskonzepte und Anforderungen an die Informationsdarstellung derzeit nur unzureichend abgebildet für eigendynamische Systeme, für die eine kontinuierliche Aufgabenbearbeitung erforderlich ist und für die Steuerungseingriffe nicht rückgängig gemacht werden können.

04-02  Berücksichtigung soziotechnischer Aspekte bei der Gestaltung von KI-Systemen   

Die Art und Weise des Arbeitens verändert sich mit der Einführung von KI-Anwendungen, die Anforderungen an dem Menschen ebenso. Bei der Einführung von KI-Systemen sind daher die Organisationsentwicklung, das Change Management sowie die Qualifizierung der Beteiligten wichtige Fragestellungen. Im Sinne einer soziotechnischen Systemgestaltung sind daher Technologieeinsatz und Organisation gemeinsam zu planen bzw. zu optimieren.

Einschlägige Prozessnormen, z. B. für die Gestaltung der Organisation (DIN EN ISO 27500:2017 [271]), Qualitätsmanagementsysteme (DIN EN ISO 9000:2015 [264]), Umweltmanagementsysteme (DIN EN ISO 14001:2015 [265]), Energiemanagementsysteme (DIN EN ISO 50001:2018 [266]), Managementsysteme für Sicherheit und Gesundheit bei der Arbeit (DIN ISO 45001:2018 [267]) berücksichtigen die besonderen Anforderungen beim Einsatz von KI-Lösungen meist noch nicht hinreichend und sind daher zu ergänzen, insbesondere im Hinblick auf die soziotechnischen Aspekte.

Image Added04-03  Erfüllung des Standardisation Requests zum EU AI Act, Aspekt „Transparenz“

Der Entwurf zur KI-Verordnung der EU (KI-VO) legt einen Fokus auf die soziotechnische Perspektive: Die Anforderung, Transparenz und Informationen für Benutzende zur Verfügung zu stellen, kann nur erfüllt werden, wenn das KI-System als soziotechnisches System verstanden und der Mensch als Teil des Systems mitgedacht wird.

Welche Transparenz in welchem Kontext für welche Zielgruppe ausreichend ist und welche Basisinformationen als Grundlage für menschliche Eingriffe ins System vorhanden sein müssen – das sind Fragestellungen, die nicht die KI bzw. KI-Entwickler*innen an sich betreffen, sondern vielmehr die Menschen, die mit ihr interagieren.

Zur Erarbeitung dieser Norm ist es daher entscheidend, die relevanten Akteur*innen breit zu beteiligen.

Image Added04-04  Erfüllung des Standardisation Requests zum EU AI Act, Aspekt „Menschliche Aufsicht“

Der vorliegende Entwurf zur KI-Verordnung der EU (KI-VO) legt einen Fokus auf die soziotechnische Perspektive: Die Anforderung, eine menschliche Aufsicht zu gewährleisten, kann nur erfüllt werden, wenn das KI-System als soziotechnisches System verstanden und der Mensch als Teil des Systems mitgedacht wird.

Wie menschliche Aufsicht in unterschiedlichen Rollen und mit einer Reihe von Eingriffsmöglichkeiten bis hin zu einer „Stopptaste“, die von Menschen ausgelöst wird, umgesetzt werden soll und welche Basisinformationen als Grundlage für menschliche Eingriffe ins System vorhanden sein müssen – das sind Fragestellungen, die nicht die KI bzw. KI-Entwickler*innen an sich betreffen, sondern vielmehr die Menschen, die mit ihr interagieren.

Zur Erarbeitung dieser Norm ist es daher entscheidend, die relevanten Akteur*innen breit zu beteiligen.

Es sind Leitplanken zur Ausgestaltung einer robusten KI-Plattform aus der Perspektive der Informationssicherheit notwendig. Davon betroffen sind nicht nur rein technische Aspekte einer entsprechenden IT-Plattform, sondern auch die prozessuale Ausgestaltung der Entwicklung und späteren Operationalisierung des KI-Systems. Der Begriff der KI-Plattform definiert sich hier aus der Summe der die KI bereitstellenden Systemkomponenten bzw. deren Subkomponenten sowie der zugehörigen Daten und Prozesse, die über die Lebenszyklusphasen der KI Anwendung finden.

Nicht nur der spätere Betrieb, sondern auch schon die Entwicklung stellt hohe Anforderungen an die Informationssicherheit einer KI-Plattform. Neben den direkten und erweiterten Schutzzielen der Informationssicherheit sind bezüglich der Mindestanforderungen für KI-Plattformen insbesondere auch Vorgaben aus dem Datenschutz zu berücksichtigen.

Vor allem im Bereich der Finanzdienstleistungen ist die Kritikalität dieser Aspekte besonders hoch. Dies ist vor allem damit begründet, dass KI-Use-Cases in der Finanzwirtschaft meist durch eine deutlich geringere Distanz zum Endkunden geprägt sind und so Informationen wie beispielweise Bonitäts- und Gesundheitsdaten Verwendung finden, welche eine erhöhte Sensibilität erfordern.

Deshalb sollten hohe Anforderungen an eine KI-Plattform im Finanzdienstleistungssektor gestellt werden. Diese müssen mit der bestehenden spezifischen Regulatorik (BAIT, VAIT, KAIT etc.) im Einklang sein. Um dem erhöhten Schutzbedarf gerecht zu werden, ist es aber nicht notwendig, die bereits bestehende Regulatorik umfassend zu erweitern. Vielmehr soll eine zielgerichtete, praxisnahe Präzisierung und ein Verweis in Form von Leitplanken und konkreten Vorgaben (i. S. v. Best Practices) erfolgen. Es gilt zu berücksichtigen, dass künftige Änderungen bzw. Ergänzungen der aufsichtlichen Anforderungen nicht auszuschließen sind. Dies gilt insbesondere mit Blick auf die aktuell laufenden internationalen Regulierungsvorhaben.

Image Added08-07  Rahmenbedingungen zum Umgang mit Trainingsdaten für KI-Modelle         

Für Daten, welche zu Testzwecken in der Finanzwirtschaft verwendet werden, existieren umfangreiche (Verhaltens-)Anforderungen. Hinsichtlich Trainingsdaten für KI-Systeme sind die bestehenden Restriktionen hinsichtlich der Praktikabilität und Beibehaltung eines hohen Schutzbedarfs zu überprüfen.

Für das Training der Modelle, die in KI-Systemen zum Einsatz kommen, werden häufig Daten aus der Produktivumgebung (so weit möglich und sinnvoll anonymisiert) genutzt. Damit sind die Trainingsdaten nicht gleichzusetzen (und vor allem nicht gleichzubehandeln) beispielsweise mit synthetischen Testdaten, die für die Qualitätssicherung von IT-Systemen genutzt werden.

Synthetische Testdaten haben keinen Bezug zu realen Daten und lassen damit auch keine Rückschlüsse auf solche zu. Der Schutzbedarf synthetischer Testdaten ist daher in der Regel niedrig und entsprechend sind es auch die Anforderungen für den Umgang mit ihnen. Hier gibt es eher Vorgaben, dass reale Daten nicht für Tests genutzt werden dürfen.

Trainingsdaten für KI-Modelle müssen aber (in einem gewissen Rahmen) Rückschlüsse zulassen, damit die auf ihnen trainierten Modelle valide sind. Damit ist ihr Schutzbedarf deutlich höher als derjenige synthetischer Testdaten. Daher sind die (geringen) Auflagen für synthetische Testdaten nicht übertragbar auf Trainingsdaten, hier werden weitergehende Regelungen benötigt.

Die Trainings-, Validierungs- und Testdaten der KI-Modelle besitzen somit den gleichen Schutzbedarf wie die Produktivdaten. Im Fall von Finanzdienstleistungen besteht in der Regel mindestens hoher Schutzbedarf (die höchste Schutzbedarfsklasse für personenbezogene Daten). Hier müssen geeignete Rahmenbedingungen insbesondere mit Hinblick auf Informationssicherheit und Datenschutz geschaffen werden, die einerseits dem hohen Schutzbedarf Rechnung tragen und andererseits das Training der KI-Modelle zulassen.

Image Added08-08  KI-spezifische Angriffsszenarien und Schutzmaßnahmen

Durch KI entsteht eine neue Risikosituation in der Finanzwirtschaft zum einen durch die Veränderung der Intensität bestehender Risiken, aber auch durch neue Angriffsvektoren. Die veränderten Rahmenbedingungen sind in einer Normung zu berücksichtigen.

Durch den Einsatz von KI in IT-Systemen werden – unter dem Aspekt der Informationssicherheit – zusätzliche Angriffstypen und Angriffsszenarien möglich. Um das Risiko derartiger Angriffe angemessen zu reduzieren, sind diese im Rahmen von Maßnahmen zur Informationssicherheit zu beachten. Das Dokument „Sicherer, robuster und nachvollziehbarer Einsatz von KI“, welches vom BSI [83] veröffentlicht wurde, benennt u. a. Evasion/Adversarial Attacks, Data Poisoning Attacks, Privacy Attacks, Model Stealing Attacks.

In aktuellen Normen und Standards für IT-Systeme (ohne speziellen Fokus auf die Frage, ob KI zum Einsatz kommt) wird auf diese Angriffsszenarien bzw. entsprechende Maßnahmen nicht spezifisch eingegangen. In einer Norm für KI-Systeme sollte darauf jedoch eingegangen werden.

Dieser Bedarf wird im Kontext von Finanzdienstleistungen geäußert, da die Sicherheitsanforderungen hinsichtlich Vertraulichkeit, Verfügbarkeit und Integrität (mindestens) hoch sind. Dies zeigt sich auch in bestehenden Anforderungen und Normen für allgemeine IT-Systeme durch die regulatorischen Anforderungen der Bankenaufsicht. Regelungen, die für den Einsatz von IT-Systemen (ohne Künstliche Intelligenz) sind, sind vor dem Hintergrund einer potenziell veränderten Risikosituation zu betrachten. Basierend hierauf sind zusätzliche Schutzmaßnahmen zu implementieren, die auf die konkrete Bedrohungslage abzielen.

Image Added08-09  Festlegung von Kriterien, die für eine automatisches Entity-Matching ausreichend sind   

Für kritische Systeme dürfen Identitäten in zwei unterschiedlichen Datensätzen nur gematcht werden, wenn sie zu 100 % übereinstimmen. Daher muss festgelegt werden, welche Kriterien hierfür ausreichend sind. Auch für nicht-kritische Systeme dient es der Qualität, wenn Daten den richtigen Identitäten zugeordnet werden.

Beispiel: Kundennummer ist nicht eindeutig zur Person zuzuordnen. Im Finanzsektor sind die Datensätze, die zum Training einer KI verwendet werden, nicht immer über eindeutige Identifizierungsmerkmale zugeordnet wie z. B. die Personalausweisnummer oder die Krankenversichertennummer im Gesundheitssektor.

Image Added08-10  Festlegung von Kriterien, wie die Verlässlichkeit von Matching mithilfe von statischen Modellen gemessen werden kann und welche Mindestwerte notwendig sind.

Wenn Identitäten nur probabilistisch gematcht werden, muss gemessen werden können, wie verlässlich das Matching ist und für welche Art der Anwendung welche Mindestverlässlichkeiten gelten sollen.

Die falsche Zuordnung von Daten zu Entitäten ist ebenso eine Fehlerquelle für Training und Anwendung von KI wie die Fehlerhaftigkeit von korrekt zugeordneten Daten.

08-11  Festlegung von Mechanismen, mit denen die Nutzer*innen die Verwendung der eigenen Identität überwachen können      

Die Nutzer*innen sollten die Möglichkeit haben, zu erfahren, welche Daten unter ihrer Identität zusammengefasst wurden. Das ist schon im Rahmen der Datenschutz-Grundverordnung (DSGVO) verpflichtend, allerdings ist unklar, ob das alle Daten umfasst, die durch Fuzzy-Matching hinzugezogen wurden, etwa Zeitungsartikel.

Der Prozess der unscharfen Zuordnung ist kaum vollständig sicher zu überwachen. Eine Beteiligung der Betroffenen würde helfen, die Qualität der Zuordnung signifikant zu steigern. Das ist im Finanzsektor seit jeher eine große Herausforderung.

08-12  Leitfaden Usable Security  

Maßnahmen in der Informationssicherheit dürfen nicht nur theoretisch zu mehr Sicherheit führen, sondern müssen konkret auch aus Nutzersicht praktisch handhabbar/umsetzbar sein. Das betrifft den Einsatz von (Sicherheits-)Technologien ebenso wie Sicherheitsanforderungen (Managementanforderungen), sodass diese tatsächlich wie vorgesehen zum Einsatz kommen und nicht ausgelassen, umgangen oder falsch eingesetzt werden.

Usable Security im weitesten Sinne wird erreicht durch die Schaffung von Transparenz, Nutzbarkeit, Barrierefreiheit und Zugänglichkeit sowie von Akzeptanz. Nutzungsfehler, die die Sicherheit kompromittieren könnten, werden so vermieden. Betrachtet werden muss der Aspekt der Usable Security aufseiten von Verbraucher*innen, wenn sie mit Systemen interagieren. Betrachtet werden muss aber auch die Nutzung von KI-Systemen durch Anwendende wie beispielsweise Finanzberater*innen. Auch hier führt Usable Security zu einer höheren Effizienz und Performanz der Systeme.

Wird nicht nur in technischen Sicherheitsanforderungen gedacht, sondern der Nutzende einbezogen, kann sich einerseits das Sicherheitsniveau erhöhen und andererseits generell die Motivation, das Vertrauen und vor allem die Akzeptanz der Nutzer*innen für den Einsatz der KI erhöhen.

08-13  Vorgehensweise für die Sicherheitsbetrachtung relevanter Stakeholder      

Die Mehrzahl der Fragestellungen rund um das Management der Informationssicherheit in Unternehmen, z. B. ISO/IEC 27001 bzw. IT-Grundschutz, hat auch einen unternehmensinternen Scope. Die Betrachtung des Schutzbedarfs zur Verfügung gestellter Produkte und Dienste in der Anwendung relevanter Stakeholder, insbesondere von Verbraucher*innen, wird in den genannten ISMS nicht betrachtet. Die zu diskutierende Vorgehensweise soll aufgrund der hohen Individualität jeder einzusetzenden KI und der damit verbundenen, immer wieder neuen Beurteilung der Kritikalität gerade im sehr sensiblen Bereich der Finanzdienstleistungen einen unterstützenden Leitfaden bieten.

Bereits in der Ideenphase einer neuen KI sind die relevanten Stakeholder zu ermitteln, deren Schutzbedarf ist festzustellen und entsprechende Maßnahmen „KI-Security by Design“ sind zu entwickeln.

Beispiel: Dem Kunden bzw. der Kundin werden Hard- oder Softwareschnittstellen zu KI-Systemen zur Verfügung gestellt (z. B. Software: Apps/Marketing für Empfehlungen von Geldanlagen; Hardware: Sensorik z. B. im Fahrzeug für Telematiktarife).

Stakeholder eines Unternehmens sind in Bezug auf die Informationssicherheit von Maßnahmen des Unternehmens abhängig und müssen darauf vertrauen. Gerade im Bereich KI ist dieses Vertrauen essenziell, da KI in der Regel individuell in Entstehung und Kritikalität ist. Vertrauen kann teilweise über die Zertifizierung von Managementanforderungen wie einem ISMS realisiert werden, wobei Produkte und Dienste, die sich z. B. direkt an Endverbraucher*innen richten, davon nicht erfasst sind. Eine standardisierte Vorgehensweise würde den Blick für alle Anspruchsgruppen öffnen und mit einer transparenten Vorgehensweise mehr Vertrauen in KI schaffen und das Sicherheitsniveau insgesamt erhöhen.

Besonders im Finanzbereich sind neben Betreibern und Verbraucher*innen zahlreiche (behördliche) Stakeholder zu erkennen und durch die Einstufung von Finanzdienstleistungen als Kritische Infrastrukturen haben vertrauensbildende Maßnahmen eine besondere Relevanz.

Image Added08-14  Normen für die Validierung des Modells, um bewerten zu können, ob das KI-System für den Einsatz in der produktiven Umgebung hinreichend überprüft wurde

Regeln für die regelmäßige Re-Evaluierung von KI-Systemen aufstellen"               "Hinreichende Generalisierbarkeit eines KI-Systems muss gewährleistet sein, um somit in zukünftigen Situationen zuverlässig entscheiden zu können. KI-Systeme neigen zu Over- und Underfitting bei nicht adäquater Entwicklung; daher ist es von hoher Relevanz, das Modell hinreichend zu validieren, um einen zuverlässigen Betrieb in der Produktion sicherstellen zu können. So muss das Modell entsprechend durch adäquate Methoden (u. a. Back-Testing, Stresstests, Adversarial Attacks) geprüft werden mit dem Ziel einer harmonisierten Richtlinie für die Überprüfung der KI-Systeme. Es muss gewährleistet sein, dass ML-Methoden, die Gegenstand aufsichtlicher Prüfungen und Erlaubnisverfahren sind (interne Modelle zur Berechnung der regulatorischen Eigenmittelanforderungen (Säule 1) oder im Risikomanagement in Säule 2), hinreichend validiert sind. Um eine entsprechende Qualität sicherstellen zu können, müssen adäquate Normen definiert sein, da existierende regulatorische Anforderungen derzeit noch nicht die besonderen und komplexen Eigenschaften, die KI- und Machine-Learning-Technologien künftig enthalten, berücksichtigen.

Die besondere Relevanz für den Finanzsektor ergibt sich daraus, dass sich die Modelle häufig auf menschliches Verhalten sowie veränderliche Umgebungen, z. B. Marktumfelder, beziehen und Stressperioden mit abdecken. Entsprechend robust müssen die Prognosen sein.

UND

Über die Laufzeit von KI-Systemen soll eine regelmäßige und niedrigschwellige Re-Evaluierung sicherstellen, dass Kumulationen von Fehlern frühzeitig erkannt werden. Hierfür kann eine Normung Rahmenbedingungen für Prozesse und Intervalle geben. Diese integrieren sich beispielsweise in die vorhandenen Prozesse des Qualitätsmanagements. Über die Laufzeit eines Produktivsystems unterliegen die Eingabewerte einem zeitlichen Wandel, hierdurch kann es zu Fehlern kommen, die in ihrer Summe weitreichende Anpassungen nötig machen. Mittels einer regelmäßigen Re-Evaluierung kann sichergestellt werden, dass angemessen auf diese Fehler reagiert werden kann, bevor die Systemleistung merklich beeinträchtigt wird.

Die besondere Relevanz für den Finanzsektor egibt sich daraus, dass sich die Modelle häufig auf menschliches Verhalten sowie veränderliche Umgebungen, zum Beispiel Marktumfelder beziehen und Stressperioden mit abdecken. Entsprechend robust müssen die Prognosen sein.

Image Added08-15  Normen für die Transparenz zur Fehlerkorrelation des Systems

Ein KI-System soll in standardisierter Weise transparent machen, wie die Korrelationsstruktur der statistischen Unsicherheiten aussieht. Statistische Unsicherheiten der Ausgaben eines KI-Systems sind nicht notwendigerweise unabhängig. Für das Risikomanagement möglicher Fehler des Systems ist eine Kenntnis der Abhängigkeitsstruktur entscheidend. Zudem muss definiert werden, inwiefern ein Input unter Unsicherheit erstellt wurde (durch ein vorgeschaltetes Modell oder einen Datensatz).

Image Added08-16  Definition hinreichender Maße für Transparenz, damit der Entwickler weiß, welche zusätzlichen Informationen bereitgestellt werden müssen, um die entsprechende Architektur des KI-Systems zu konstruieren

Die Entscheidung eines KI-Systems muss hinreichend nachvollziehbar sein, um die Entscheidungsfindung zu verstehen. Außerdem sollten Transparenzanforderungen in Normen aufgenommen werden, etwa indem Auftragnehmende verpflichtet werden, die Überprüfung durch Dritte sowie die Schaffung von Nachvollziehbarkeit aktiv zu unterstützen. Es sollte u. a. im Fokus stehen, zu verstehen, was genau Einfluss auf die resultierende Entscheidung hat, wie z. B., um einem Darlehenbewerber ggf. erklären zu können, aus welchem Grund dieser kein Darlehen gewährt bekommt.

Die besondere Relevanz für den Finanzsektor ergibt sich daraus, dass sich die Modelle häufig auf menschliches Verhalten sowie veränderliche Umgebungen, z. B. Marktumfelder, beziehen und Stressperioden mit abdecken. Entsprechend robust müssen die Prognosen sein.

Image Added08-17  Normung von Dokumentationspflichten zum Ursprungskontext von Modellen und (Trainings-)Daten

Der Ursprungskontext von (Trainings-)Daten sowie fertigen Modellen muss in jedem Schritt der Verwendung verfügbar sein, um eine Überprüfbarkeit zu gewährleisten.

Werden Ergebnisse einzelner Modelle rein anhand ihrer Klassifizierung genutzt, kann dies zu unerwartetem Systemverhalten führen. Aufgrund der Prozesse im Maschinellen Lernen können unwichtig erscheinende Randdaten zu unerwünschten Korrelationseffekten führen. Für die Verwendung anderer Modellausgaben sollte der ursprüngliche Kontext bekannt sein und berücksichtigt werden. Dies schließt ein: Modellentscheidungen und Abwägungen, Ursprung und Kontext der Trainings-, Validierungs- und Testdaten, Ursprung und Kontext der Echtzeiteingabedaten. Normung kann hier ansetzen und sicherstellen, dass keine relevanten Informationen während der Übernahme unbekannt bleiben.

Image Added08-18  Normen für die Transparenz zur Konfidenz und Modellrisiken von Einzelentscheidungen

Im Gegensatz zu Entscheidungen mit vorgegebenen Algorithmen gehört die Unsicherheit über die Richtigkeit der Entscheidungen zur Ausgabe des ML-basierten KI-Systems. Diese sollten daher in genormter Weise transparent gemacht werden, z. B. durch die Angabe entsprechender Wahrscheinlichkeiten der möglichen Entscheidungen.

Da im Risikomanagement oft mehrere Modelle verkettet werden, diese aber nichtlinear gekoppelt werden, ist die Kenntnis über die Fehlerverteilungen der Einzelsysteme für die Abschätzung der Fehlerverteilung des Gesamtsystems entscheidend. Das ist für Finanzdienstleister als native Risikomanager von grundlegender Bedeutung.

Ansprechpartner*innen und Wissensträger*innen besser zugänglich werden.

09-07  Dimensionierung und Begriffsbildung von I4.0 Referenzarchitekturmodellen (RAM)         

Die RAMs für Smart Manufacturing (SM), Smart Grid (SG) und andere technische Infrastrukturen sind i. d. R. kubische Modelle, die vergleichbare Kategorien wie Kommunikationsschichten, Value-Stream-Zustände und Nutzungs- oder Produktionshierarchien verwenden. Die RAM-Begriffe und Konzepte sind jedoch aufgrund der disjunkten Anwendungsdomänen SM und SG nicht alle aufeinander abgestimmt. Es ergibt sich daraus ein Bedarf, die verwendeten RAM-Begriffe und Terminologien aus den Anwendungsdomänen semantisch, funktional, sicherheitspolitisch und ethisch miteinander zu vergleichen und abzustimmen.

09-10  Berechnungsverfahren zur Ermittlung des CO2-Faktors aus dem Strommix

Zur Ermittlung der CO2-Emissionen aus dem Stromverbrauch zu einem gegebenen Zeitpunkt ist eine Zuordnung von Emissionen zu den erzeugten kWh erforderlich. Aktuell genormte Verfahren zur Allokation dieser Emissionen sehen eine statische Berechnung anhand eines festgelegten Faktors vor, der ggf. mit neuen Ausfertigungen der Norm aktualisiert wird. Diese Methodik trägt der Volatilität des Strommixes nicht hinreichend Rechnung, da witterungsbedingte Schwankungen in der Erzeugung aus erneuerbaren Quellen nicht berücksichtigt werden können. Es bedarf also eines agilen Berechnungsverfahrens mit höherer zeitlicher und ggf. geografischer Auflösung, um die Umweltwirkungen des Stromverbrauchs präziser zu ermitteln.