Standardisierungsaktivitäten
Wie stellt man sicher, dass Systeme mit Künstlicher Intelligenz (KI) und Maschinellem Lernen (ML) einheitliche Qualitätskriterien erfüllen? Zunächst einmal mit der Formulierung allgemeingültiger Anforderungen in Normen und Standards.
Das Projekt ZERITIFIZIERTE KI arbeitet an verschiedenen Standardisierungsaktivitäten, um Qualitätsanforderungen für Werkzeuge, Prozesse und Anwendungsfelder Künstlicher Intelligenz zu definieren. Diese dienen als Grundlage für die Entwicklung praxistauglicher KI-Prüfungen. Die Standardisierungsaktivitäten werden im Rahmen des Projektes initiiert und geben allen interessierten Stakeholdern die Möglichkeit, sich in die Erarbeitung einzubringen.
Arbeitskreis »KI-Qualität und Prüfverfahren«
Der DIN/DKE Gemeinschaftsarbeitsausschuss Künstliche Intelligenz entwickelt Normen zu Werkzeugen, Prozessen und Anwendungsfeldern Künstlicher Intelligenz unter Berücksichtigung gesellschaftlicher Chancen und Risiken. Der Arbeitsausschuss spiegelt dabei im Wesentlichen die Arbeiten des ISO/IEC JTC 1/SC 42 »Artificial Intelligence« und des CEN/CENELEC JTC 21 »Artificial Intelligence« wider. Als Untergremium wurde gemeinsam mit dem Projekt ZERTIFIZIERTE KI der Arbeitskreis »KI-Qualität und Prüfverfahren« ins Leben gerufen.
Technische Spezifikation zu KI-Risiken (DIN/TS 92004)
Der Einsatz von KI-Systemen ist mit bestimmten Risiken verbunden, die sowohl materielle Schäden als auch immaterielle Schäden verursachen können. Potenzielle Risiken eines KI-Systems müssen daher systematisch und strukturiert bewertet werden. Der Vorschlag der Europäischen Kommission zur Regulierung von KI (»AI Act«) fordert insbesondere die Einführung von KI-Risikomanagementsystemen für KI-Systeme mit »hohem Risiko« (siehe Artikel 9 des Verordnungsvorschlags).
Erstes Anliegen des Arbeitskreises »KI-Qualität und Prüfverfahren« ist daher die Erarbeitung der Technischen Spezifikation DIN/TS 92004 »Künstliche Intelligenz – Qualitätsanforderungen und -prozesse – Risikoschema für KI-Systeme im gesamten Lebenszyklus«. Diese Technische Spezifikation soll ein KI-Risikoschema enthalten, das die Risiken entlang des gesamten Lebenszyklus von Systemen der Künstlichen Intelligenz abdeckt, die Komponenten des Maschinellen Lernens (ML) enthalten. Dabei wird zwischen acht KI-Risikokategorien, Zuverlässigkeit, Fairness, Autonomie und Kontrolle, Transparenz, Erklärbarkeit, Sicherheit und Datenschutz unterschieden und jeder Kategorie entsprechende Risikoquellen zugeordnet.
Das fertige Dokument soll den Anwendern wie Entwickler*innen, Anbietern und Betreibern von KI-Systemen als Grundlage für die Identifizierung der in einem bestimmten KI-System vorhandenen KI-Risiken und deren Analyse dienen und damit den Risikomanagementprozess innerhalb einer Organisation unterstützen.
DIN SPEC PAS – Prozess zur Standardisierung von KI-Modulen und ML-Modellen
Eine DIN SPEC ist der kürzeste Weg, Standards direkt aus der Forschung am Markt zu etablieren. Hier finden Sie Informationen dazu, wie eine DIN SPEC entsteht. Die untenstehenden DIN SPECs werden gemeinsam mit verschiedenen interessierten Expert*innen im Rahmen eines Konsortiums in ca. 12 Monaten gemäß dem DIN SPEC PAS Prozess erarbeitet.
Spezifikation zur Erklärbarkeit von KI-Systemen (DIN SPEC 92001-3)
Mit dem zunehmenden Einsatz von Künstlicher Intelligenz in scheinbar allen Bereichen der Industrietechnik und in vielen Produkten des täglichen Lebens stehen die KI-Nutzenden vor der Herausforderung zu verstehen, wie bestimmte Aussagen zustande gekommen sind. Es ist unmöglich, die Vertrauenswürdigkeit eines KI-Modells vollständig zu beurteilen, ohne zu verstehen, wie und warum es seine Entscheidungen trifft und ob diese Entscheidungen gerechtfertigt und angemessen sind. Dieses Verständnis ist insbesondere bei Hochrisiko-KI-Systemen von größter Bedeutung, da schlecht verstandene Modelle negative Auswirkungen auf die Wirtschaft oder die Gesellschaft haben und mit den gesetzlichen Vorschriften in Konflikt geraten können.
Erklärbare KI wird zur Beschreibung und Analyse eines KI-Modells, seiner erwarteten Auswirkungen und potenziellen Verzerrungen verwendet. Die »Erklärbarkeit« des KI-Modells ist daher ein wichtiges Rückgrat des gesamten Qualitätskontrollprozesses.
In diesem Sinne verfolgt die DIN SPEC 92001-3 »Künstliche Intelligenz – Life Cycle Prozesse und Qualitätsanforderungen – Teil 3: Erklärbarkeit« das Ziel, die Erklärbarkeit von KI-Modellen im gesamten Lebenszyklus zu fördern, denn ein besseres Verständnis von erklärbarer KI unterstützt Organisationen bei der Einbettung von Prinzipien des Vertrauens und der Transparenz in ihre KI-basierten Anwendungen. Diese DIN SPEC enthält zwar keine Anforderungen und Umsetzungsvorgaben, stellt aber einen Leitfaden zu geeigneten Ansätzen und Methoden für die Förderung der Erklärbarkeit von KI-Modellen dar.
Die DIN SPEC ist kostenfrei verfügbar und kann über den Verlag Beuth bezogen werden.
Spezifikation zur Unsicherheitsbewertung von ML-Modulen (DIN SPEC 92005)
Die Quantifizierung von Unsicherheiten in den Ergebnissen von KI- und ML-Algorithmen ist von wesentlicher Bedeutung für eine Vielzahl von Anwendungen. Dies gilt im Besonderen für sicherheitskritische Applikationen, für die eine funktionale Sicherheit des Systems von entscheidender Bedeutung ist. Für die Integration eines ML-Moduls in das Gesamtsystem können quantifizierte Unsicherheiten von ML-Modulen und dessen Ergebnissen dafür genutzt werden, sichere und effiziente Strategien für die Verwendung des ML-Moduls zu definieren. Dies ist eine der Grundlagen dafür, die Vertrauenswürdigkeit des Gesamtsystems zu quantifizieren und sicherzustellen.
Die DIN SPEC 92005 »Künstliche Intelligenz – Quantifizierung von Unsicherheiten im Maschinellen Lernen« legt allgemeine Leitfäden und Anforderungen für die Entwicklung und Nutzung von Methoden zur Quantifizierung von Unsicherheiten im Maschinellen Lernen fest. Das Dokument soll eine Übersicht über vorhandene technische Methoden der Unsicherheitsquantifizierung und deren Eigenschaften bieten und beispielhafte Anwendungen beschreiben. Es werden allgemeine technische Anforderungen und Empfehlungen für die Unsicherheitsquantifizierung von ML und dessen Ergebnissen festgelegt.
Diese Spezifikation ist sowohl für die ML-Forschung als auch für Entwickler*innen und Nutzer*innen von ML-Anwendungen einsetzbar, einschließlich, aber nicht beschränkt auf die Bereiche Medizin, Erdbeobachtung, Verarbeitung natürlicher Sprache (NLP), Finanzwesen, Computer Vision und Autonomes Fahren.