Publikationen aus dem Projekt ZERTIFIZIERTE KI

Hier finden Sie die Publikationen des Projektes ZERTIFIZIERTE KI sowie relevante Veröffentlichungen aus dem direkten Projektumfeld und von Projektpartnern.
Unter Weiterführende und projektrelevante Publikationen finden Sie die entsprechenden Veröffentlichungen der einzelnen Projektpartner. Standardisierungsaktivitäten wie die DIN SPEC aus dem Projekt finden Sie hier.

KI-Prüfkatalog

Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz

Wie können Unternehmen ihre KI-Systeme vertrauenswürdig gestalten? Mit dieser Frage beschäftigt sich das Projekt ZERTIFIZIERTE KI. Das Fraunhofer IAIS hat eine wichtige inhaltliche Grundlage geschaffen: Ein über 160 Seiten starker KI-Prüfkatalog befähigt Unternehmen, Anforderungen an die Vertrauenswürdigkeit intelligenter Systeme für die Entwicklung individueller KI-Anwendungen zu operationalisieren. Dieser in ersten Pilotprojekten erprobte Leitfaden fließt nun in die Projekt-Zusammenarbeit ein und ist ab sofort für die Öffentlichkeit kostenfrei verfügbar. Ziel ist es, Standards für KI-Prüfungen zu schaffen und den Weg für eine unabhängige KI-Zertifizierung zu ebnen.

Der KI-Prüfkatalog steht kostenfrei auf Deutsch und Englisch zum Download bereit: www.iais.fraunhofer.de/ki-pruefkatalog

Zur Pressemitteilung

Zum e‑Paper

Whitepaper

geplant in 2026:

Agentic AI – Absicherung agentischer KI-Systeme

NEU | Trustworthy AI Operations: Prinzipien, Praktiken und Herausforderungen

Das Whitepaper zeigt, wie sich Anforderungen an Qualität, Effizienz sowie Fairness, Transparenz und Datenschutz bei Machine Learning Operations (MLOps) zusammenbringen lassen. Das daraus entwickelte Vorgehensmodell »Trustworthy AI Operations (TAIOps)« verbindet Effizienz mit regulatorischer Konformität und verankert Vertrauenswürdigkeit entlang des gesamten KI-Lebenszyklus.

zum Download

Vertrauenswürdige KI-Anwendungen mit Foundation-Modellen entwickeln

Die Vertrauenswürdigkeit von KI-Anwendungen ist seit einiger Zeit Gegenstand der Forschung und wird auch mit der geplanten KI-Verordnung der EU adressiert. Mit den aktuell aufkommenden Foundation-Modellen im Bereich der Text-, Sprach- und Bildverarbeitung bieten sich völlig neue Möglichkeiten, KI-Anwendungen zu entwickeln. Dieses Whitepaper zeigt auf, wie die Vertrauenswürdigkeit einer mit Foundation-Modellen entwickelten KI-Anwendung bewertet und sichergestellt werden kann.

zum Download

Develop trustworthy AI applications with foundation models

The trustworthiness of AI applications has been the subject of recent research and is also addressed in the EU’s recently adopted AI Regulation. The currently emerging foundation models in the field of text, speech and image processing offer completely new possibilities for developing AI applications. This whitepaper shows how the trustworthiness of an AI application developed with foundation models can be evaluated and ensured.

zum Download

KI-Anwendungen systematisch prüfen und absichern

Das Whitepaper stellt ein Prüf-Framework vor, das als Plattform zur Integration von KI-Prüfwerkzeugen dient. Außerdem werden ausgewählte KI-Prüfwerkzeuge, die für unterschiedliche Anwendungsbereiche genutzt werden können, sowie ihre Funktionalitäten im Detail erklärt.

zum Download

Wissenschaftliche Publikationen

Die Zweckbestimmung und Zweckbindung als Weichenstellung für die DSGVO-konforme Nutzung von Daten für KI-Systeme - Eine grundrechtlich orientierte Analyse

Mathias Schuh, Dr. Erik Weiss | August 2024

Der Beitrag widmet sich dem Konflikt zwischen KI-Systemen, die auf Techniken des Maschinellen Lernens beruhen, und dem Zweckbindungsgrundsatz der DSGVO. Dafür wird zunächst die herausgehobene Bedeutung der datenschutzrechtlichen Zweckbindung illustriert. Im Anschluss wird der grundrechtliche Gehalt des Zweckbindungsgrundsatzes analysiert und herausgearbeitet, dass die Zweckbindung nicht nur eine sekundärrechtliche Ausgestaltung des Rechts auf Datenschutz nach Artikel 8 GRCh, sondern Kernelement des grundrechtlich garantierten Schutzes ist. Auf Basis dieser Analyse erfolgt eine grundrechtlich orientierte Auslegung des Zweckbindungsgrundsatzes in der DSGVO. Die entwickelten Kriterien werden sodann auf KI-Systeme, die auf Techniken des Maschinellen Lernens beruhen, angewandt. Unter Berücksichtigung der besonderen Charakteristika der Technologie werden Vorschläge für eine DSGVO-konforme Entwicklung und Anwendung von KI-Systemen unterbreitet.

Veröffentlicht in der Zeitschrift für Digitalisierung und Recht (ZfDR),
Heft 3/2024, S. 225

Zur Publikation

Rechtliche Fairnessanforderungen an KI-Systeme und ihre technische Evaluation – Eine Analyse anhand ausgewählter Kreditscoring-Systeme unter besonderer Berücksichtigung der zukünftigen europäischen KI-Verordnung

Jakob Feldkamp, Quirin Kappler, Dr. Maximilian Poretschkin, Anna Schmitz, Dr. Erik Weiss | Januar 2024

Im vorliegenden Beitrag werden einschlägige rechtliche Fairness-Anforderungen an KI-Systeme anhand ausgewählter Kreditscoring-Systeme beleuchtet. Einerseits wird das geltende Recht in den Blick genommen und insbesondere die Frage einer mittelbaren Drittwirkung des Art. 3 GG im Kontext des Kreditscorings erörtert. Andererseits wird auch ein Fokus auf die zukünftige europäische KI-Verordnung (KI-VO) gelegt. Mittels einer juristisch-informatischen Analyse werden Ansätze zur Interpretation und Operationalisierung der fairnessbezogenen Anforderungen an die verwendeten Daten gem. Art. 10 KI-VO nach dem Stand der Technik diskutiert. Diese werden sodann exemplarisch anhand eines konkreten Kreditscoring-Beispiels evaluiert. Der Beitrag schließt mit Empfehlungen hinsichtlich ausgewählter rechtlicher Rahmenbedingungen für einen „fairen“ KI-Einsatz.

Veröffentlicht in der Zeitschrift für Digitalisierung und Recht (ZfDR),
Heft 1/2024 (gebührenpflichtig)

Zur Publikation

ScrutinAI: A Visual Analytics Tool supporting Semantic Assessments of Object Detection Models

Elena Haedecke, Dr. Michael Mock, Dr. Maram Akila | Mai 2023

In einer erweiterte Version des Workshop-Papiers wird ScrutinAI in einer zweiten Fallstudie zur Untersuchung der Leistung eines semantischen Segmentierungs-DNN-Modells aus dem Automobilbereich eingesetzt. Ein zusätzliches Bildabfrage-Feature, die Ähnlichkeitssuche, findet verwandte Bildbereiche auf Pixelebene und ermöglicht es dem Analysten, die Daten basierend auf semantischen Merkmalen abzufragen, die nicht durch die Verwendung eines Bildes oder von Teilen des Bildes als Abfrageeingabe kodiert sind. Es wird gezeigt, dass der Fokus auf die semantische Analyse den Analysten bei der Identifizierung relevanter semantischer Dimensionen und deren Einfluss auf die Entstehung oder das Fehlen von DNN-Schwachstellen unterstützt.

Zur Publikation

The why and how of trustworthy AI

Anna Schmitz, Dr. Maram Akila, Dr. Dirk Hecker, Dr. Maximilian Poretschkin und Prof. Dr. Stefan Wrobel | September 2022

Künstliche Intelligenz findet zunehmend in der Industrie sowie in Bereichen unseres Alltagslebens Anwendung. Daher werden Qualitätsstandards benötigt, um eine KI-Anwendung in ihrem Einsatzkontext zu bewerten. In der Forschung und gesellschaftlichen Debatten zeichnet sich eine Übereinkunft zu grundlegenden Qualitätsanforderungen an KI-Anwendungen ab, welche meist unter dem Begriff der „Vertrauenswürdigkeit“ zusammengefasst werden. Die Operationalisierung dieser Qualitätsanforderungen wiederum ist noch in weiten Teilen offen.

Im vorliegenden Beitrag betrachten wir vertrauenswürdige KI aus zwei Perspektiven: Produkt- und Organisationsperspektive. Für erstere stellen wir einen Ansatz zur KI-spezifischen Risikoanalyse vor und skizzieren, wie eine Argumentationskette für die Vertrauenswürdigkeit einer KI-Anwendung entwickelt werden kann. Aus der Organisationsperspektive betrachten wir, wie ein KI Managementsystem zur Sicherstellung eines vertrauenswürdigen Einsatzes von KI in einer Organisation beitragen kann. Schließlich zeigen wir auf, dass die Umsetzung vertrauenswürdiger KI abgestimmte Maßnahmen aus beiden Perspektiven erfordert.

Zur Publikation

Acknowledging Sustainability in the Framework of Ethical Certification for AI

Sergio Genovesi, Julia Maria Mönig | März 2022

In diesem Paper werden die philosophischen Argumente erörtert, Nachhaltigkeit in ihrem ökologischen, ökonomischen und sozialen Verständnis als einen Prüfungsbereich der ethischen KI-Zertifizierung aufzunehmen. Wir zeigen auf, wie Nachhaltigkeit in zwei verschiedenen Arten in die ethische Folgenabschätzung einbezogen werden kann: zum einen in Form einer Bewertung, die die Erfüllung ethischer Mindestanforderungen bescheinigt, und zum anderen in Form einer nuancierten Bewertung.

Download Publikation

A global scale comparison of risk aggregation in AI assessment frameworks

Anna Schmitz, Dr. Michael Mock, Rebekka Görge, Prof. Armin B. Cremers, Dr. Maximilian Poretschkin | Mai 2024

KI-Anwendungen bergen inhärente Risiken in verschiedenen Risikodimensionen, wie unzureichende Zuverlässigkeit, Robustheit, Fairness oder Datenschutz. Hierbei können Trade-offs zwischen den Dimensionen bestehen. So kann beispielsweise eine hochpräzise KI-Anwendung Unfairness und Verzerrungen in den realen Daten widerspiegeln oder aufgrund ihrer technischen Komplexität schwer zu erklärende Ergebnisse liefern. Weltweit wurden bereits einige KI-Risikobewertungsschemata entwickelt, welche systematische Ansätze zur Risikobewertung in verschiedenen Dimensionen bereitstellen. Die Gesamtbewertung der Vertrauenswürdigkeit wird dann durch eine Form der Risikoaggregation zwischen den Risikodimensionen erstellt.

Dieses Papier gibt einen systematischen Überblick über die in bestehenden Frameworks verwendeten Risikoaggregationsverfahren und konzentriert sich dabei auf die Frage, wie potenzielle Trade-offs zwischen den Risikodimensionen berücksichtigt werden. Zu diesem Zweck untersuchen wir, wie der zugrundeliegende Risikobegriff, der Anwendungskontext, das Ausmaß der Risikoquantifizierung und spezifische Anweisungen zur Abwägung von Dimensionen die Gesamtrisikoaggregation beeinflussen können. Wir diskutieren unsere Erkenntnisse in den Frameworks im Hinblick darauf, ob sie sinnvolle und praktikable Anleitungen bieten. Abschließend leiten wir Empfehlungen für die weitere Operationalisierung der Risikoaggregation sowohl aus horizontaler als auch aus vertikaler Perspektive ab.

Zur Publikation

Standardizing fairness-evaluation procedures: interdisciplinary insights on machine learning algorithmsin creditworthiness assessments for small personal loans

Sergio Genovesi, Julia Maria Mönig, Anna Schmitz, Maximilian Poretschkin, Maram Akila, Manoj Kahdan, Romina Kleiner,
Lena Krieger & Alexander Zimmermann | April 2023

In der aktuellen europäischen Debatte über die Regulierung von Künstlicher Intelligenz besteht ein Konsens darüber, dass Systeme der Künstlichen Intelligenz (KI) fair sein sollten. Die Vielzahl der existierenden Indikatoren, die es erlauben, ein KI-System als "(un)fair" zu bezeichnen, und das Fehlen von standardisierten, anwendungsfeldspezifischen Kriterien, umzwischen den verschiedenen Fairness-Bewertungsmethoden zu wählen, macht espotenziellen Prüfern jedoch schwer, zu einem endgültigen, konsistenten Urteil zu gelangen.

Anhand des Beispiels einer Kreditwürdigkeitsprüfung für Privatkredite schlagen wir drei ethische Mindestanforderungen vor: (1) regelmäßige Überprüfung der algorithmischen Ergebnisse mit Hilfe derconditional demographic parity Metrik; (2) Ausschluss derjenigen Parameter aus der Gruppe der verarbeiteten Daten, die zu diskriminierenden Ergebnissenführen könnten; (3) Gewährleistung der Transparenz über die verarbeiteten Daten sowie der kontrafaktischen Erklärbarkeit der algorithmischen Entscheidungen.

Download Publikation

Using ScrutinAI for Visual Inspection of DNN Performance in a Medical Use Case

Rebekka Görge, Elena Haedecke, Dr. Michael Mock| März 2023

Das VA-Tool ScrutinAI wird in einer Fallstudie aus dem medizinischen Bereich eingesetzt. ScrutinAI wird verwendet, um eine Ursachenanalyse für Schwächen von Modellen tiefer neuronaler Netze (DNN) durchzuführen, in welcher zwischen Schwachstellen aufgrund von unterschiedlichem oder fehlendem Labeling und echten Schwachstellen unterschieden wird. Der Einfluss von schwankender Labeling-Qualität zwischen verschiedenen Experten auf die Modellleistung wird analysiert.

Zur Publikation

Transparency and Reliability Assurance Methods for Safeguarding Deep Neural Networks – A Survey

Elena Haedecke, Maximilian Alexander Pintz | September 2022

In unserer Studie geben wir einen Überblick und eine vergleichende Bewertung aktueller Ansätze in drei Bereichen der vertrauenswürdigen KI (TAI): Transparenz, Unsicherheitsabschätzung und Robustheit. Diese Bereiche sind direkt mit der Entwicklung und Bewertung von Machine Learning-Modellen verbunden, weshalb dieses Survey Entwickler*innen helfen soll, Methoden für einen bestimmten Anwendungsfall fundierter auszuwählen und zu kombinieren.

Zur Publikation

ScrutinAI: A Visual Analytics Approach for the Semantic Analysis of Deep Neural Network Predictions

Elena Haedecke, Dr. Michael Mock, Dr. Maram Akila | Juni 2022

Es wird der Visual-Analytics-Ansatz ScrutinAI vorgestellt, der Analysten hilft, ihr semantisches Verständnis zu nutzen, um potenzielle Schwachstellen in tiefen neuronalen Netzen (DNNs) zur Objekterkennung zu identifizieren und zu untersuchen. In einer Fallstudie wird mithilfe von ScrutinAI die Untersuchung von DNN-Modellen für die Fußgängererkennung im Automobilbereich präsentiert.

Zur Publikation

Weiterführende und projektrelevante Publikationen

Whitepaper

Vertrauenswürdiger Einsatz von Künstlicher Intelligenz

Das Team der Universitäten Bonn und Köln sowie des Fraunhofer IAIS stellt seinen interdisziplinären Ansatz in einem Whitepaper für die Zertifizierung von KI-Anwendungen vor und erläutert die Handlungsfelder aus philosophischer, ethischer, rechtlicher und technologischer Sicht. Die Publikation bildet die Grundlage für die weitere Entwicklung der KI-Zertifizierung.

Download deutsch

Download english

Normungsroadmap Künstliche Intelligenz

Mit der Normungsroadmap Künstliche Intelligenz legt Deutschland als erstes Land weltweit eine umfassende Analyse des Bestands und des Bedarfs an internationalen Normen und Standards für diese Schlüsseltechnologie
vor. Die Normungsroadmap gibt Handlungsempfehlungen zur Ethik, Qualität/Konformitätsbewertung, Zertifizierung und IT-Sicherheit von KI-Systemen.

zum Download

Normungsroadmap Künstliche Intelligenz (zweite Ausgabe)

Die zweite Ausgabe der Normungsroadmap KI schreibt die Ergebnisse der ersten Ausgabe fort und liefert eine erweiterte und aktualisierte Analyse des Bestands und des Bedarfs an internationalen Normen und Standards für KI. Somit wird eine Grundlage gebildet, um „Artificial Intelligence made in Germany“ als weltweit anerkanntes Gütesiegel für eine vertrauenswürdige Technologie zu schaffen. Die Roadmap ist Teil der KI-Strategie der Bundesregierung und erfolgt im Auftrag des Bundesministeriums für Wirtschaft und Klimaschutz (BMWK).

zum Download

Impulspapier Zertifizierung von KI-Systemen

Welchen Nutzen eine KI-Zertifizierung verspricht und welche Anforderungen sich mit Blick auf technische Umsetzung, Gemeinwohl und Erhalt der Innovationskraft stellen, skizzieren Expert*innen der Plattform Lernende Systeme in diesem Impulspapier. Es gibt einen Überblick über bestehende Zertifizierungsprojekte in Deutschland und bildet die Grundlage für weiterführende Diskussionen.

zum Download

Kompass für die Entwicklung und Anwendung vertrauenswürdiger KI-Systeme

Die Autor*innen adressieren offene Fragen, etwa dazu, wann KI-Systeme zertifiziert werden sollten, an welchen Kriterien sich diese Zertifizierung orientieren soll und wie eine effiziente Infrastruktur ausgestaltet sein sollte. Das Whitepaper wurde auf der Basis von Experteninterviews mit Mitgliedern und Vertreter*innen der in der Plattform Lernende Systeme beteiligten Forschungseinrichtungen und Unternehmen sowie Gastautor*innen erstellt.

zum Download

Wissenschaftliche Publikationen

Tracing the legitimacy of Artificial Intelligence: A longitudinal analysis of media discourse

Ekaterina Korneeva, Torsten Oliver Salge, Timm Teubner,
David Antons | Juli 2023

Die automatisierte Analyse von 7.485 Zeitungsartikeln zeigt, dass die Legitimität von KI seit Mitte der 2010er Jahre ein wichtiges Diskussionsthema ist, wobei im Legitimationsprozess ein überwiegend positives Medienframing zu beobachten ist. Herausforderungen in Bezug auf Datenschutz, Sicherheit und Ethik haben jedoch Bedenken hinsichtlich der Legitimität von KI aufkommen lassen. Darüber hinaus hat die Rolle der KI bei der Arbeitsautomatisierung und -erweiterung dazu beigetragen, die Legitimität der KI zu stärken.

Zur Publikation

Conformity Assessment in the Artificial Intelligence Act

Prof. Dr. Dr. Frauke Rostalski, Dr. Erik Weiss | Oktober 2022

Der Beitrag stellt ein Gutachten im Auftrag des Bundesverbandes der Verbraucherzentrale dar. Es werden Systematik und Anforderungen an Konformitätsbewertungen im KI-Verordnungsentwurf analysiert. Ausgangspunkt ist der sog. „risikobasierte Kategorienansatz“ als Fundament des Regulierungsvorschlags. Es wird hinterfragt, inwieweit sich dieser im Kontext von Konformitätsprüfungen auf die Rechte von Verbrauchern auswirkt. Zudem erfolgt eine umfassende Analyse des vorgesehenen Konformitätsbewertungssystems, die in konkreten Änderungsvorschlägen mündet.

Download Publikation

Der KI-Verordnungsentwurf der Europäischen Kommission

Prof. Dr. Dr. Frauke Rostalski, Dr. Erik Weiss | April 2021

Der Beitrag enthält eine Analyse des KI-Verordnungsentwurfs der Europäischen Kommission vom 21. April 2021. Im Fokus steht der sog. „risikobasierte Regulierungsansatz“. Mit Blick auf die Ausgestaltung der einzelnen Risikokategorien werden Anregungen für das weitere Gesetzgebungsverfahren formuliert. Zudem wird die Rolle von Zertifizierung im Rahmen der Regulierung neuer Technologien im Allgemeinen sowie im KI-Verordnungsentwurf im Speziellen beleuchtet. Zertifizierung wird als ein zentraler Baustein des Regulierungsvorschlags identifiziert, der perspektivisch ausgebaut werden sollte.

Zur Publikation

Verbotene KI-Praktiken (Art. 5 KI-VO-E)

Prof. Dr. Dr. Frauke Rostalski, Dr. Erik Weiss | April 2023

Der Handbuchbeitrag beinhaltet eine umfassende Darstellung und Aufarbeitung der sog. „Verbotenen KI-Praktiken“ i.S.d. Art. 5 des KI-Verordnungsvorschlags. Die einzelnen Verbote werden einer umfassenden juristischen Analyse unterzogen. Zudem enthält der Beitrag sowohl für Verbesserungen im Bereich der bereits vorgesehenen Verbote als auch für eine Ausweitung des Verbotskatalogs konkrete Änderungsvorschläge.

Zur Publikation

Manifesto for the Future of Privacy

Julia Maria Mönig & the participants of the symposium "Rethinking Privacy after this Pandemic" | September 2022

Die Art und Weise, wie die Gesellschaften ab Anfang 2020 mit der COVID-19-Pandemie umgingen, hat ein Licht auf ein Thema geworfen, das uns alle betrifft: Privatheit. Gezwungen zu sein, das Arbeits-, Schul- und Sozialleben über Onlinedienste führen zu müssen und gleichzeitig den Alltag auf begrenztem Raum bestreiten zu müssen, sind hierfür nur zwei Beispiele. "Das Manifesto for the Future of Privacy" appelliert an Politiker*innen, Unternehmer*innen und weiter Akteur*innen in zukünftigen Ausnahmesituationen Privatheitsschutz insbesondere von vulnerablen Bevölkerungsgruppen zu berücksichtigen

Download Publikation

Iudex ex machina? Zum Einsatz neuer Technologien in der Rechtsfindung

Prof. Dr. Dr. Frauke Rostalski | 2020

Der Beitrag befasst sich mit den technischen und rechtlichen Möglichkeiten, Vorzügen sowie Risiken des Einsatzes von
Entscheidungsersetzungssystemen innerhalb der Justiz.

Zur Publikation