Workshops
In den Anwenderkreisen des Projekts werden regelmäßig Workshops durchgeführt, um Unternehmensbedarfe und Schwerpunktthemen der KI‑Prüfung zu erarbeiten. Detailinformationen zur Anmeldung und zur jeweiligen Agenda finden Sie zu gegebener Zeit hier und auf der entsprechenden Workshop-Seite des DIN.
Workshops 2022 und 2023
Informationsveranstaltung über die bisherigen Standardisierungsaktivitäten
Am Donnerstag, den 27. April von 12:30 Uhr bis 13:30 Uhr lädt DIN Sie zu einer Informationsveranstaltung über die bisherigen Standardisierungsaktivitäten aus dem Projekt ZERTIFIZIERTE KI im Rahmen des ISO-IEC/JTC 1/SC 42 »Artifcial Intelligence«-Plenary Meetings in Berlin ein.Bei Speis und Trank sind interessierte Expert*Innen und Teilnehmende des ISO-IEC/JTC 1/SC 42-Plenary Meetings herzlich eingeladen, sich über die aktuellen Zwischenstände der Standardisierungsaktivitäten aus dem Projekt ZERTIFIZIERTE KI zu informieren.
Für Interessierte, die leider nicht in Berlin dabei sein können, bieten wir die Möglichkeit einer Online-Teilnahme. Die Zugangsdaten hierfür erhalten Sie, sobald Sie sich für die Veranstaltung angemeldet haben.
Derzeit sind 3 Projekte aus dem Projekt ZERTIFIZIERTE KI hervorgegangen und befinden sich in der Erarbeitung:
- DIN/TS 92004 Artificial intelligence — Quality requirements and processes — Risk scheme for AI systems along the entire life cycle
- DIN SPEC 92001-3 Artificial intelligence — Life cycle processes and quality requirements — Part 3: Explainability
- DIN SPEC 92005 Uncertainty Quantification in ML
Mehr Informationen zu den Standardisierungsaktivitäten im Projekt finden Sie hier.
Den aktuellen Stand der Tagesordnung und weitere Informationen zur Veranstaltung finden Sie auf der Kooperationsplattform DIN.one: AGENDA
Interessierte Teilnehmer melden sich bitte über nachfolgenden Link für die Veranstaltung an: REGISTRIERUNG (Log-in Code: standards)
Wir freuen uns darauf, Ihnen einen Einblick in die Dokumente zu geben, den Teilnehmern die Möglichkeit zu geben, Fragen zu stellen und zu diskutieren, wie die Dokumente helfen können, die internationale Normungsebene in Zukunft mitzugestalten.
Anwenderkreis »Vertrauenswürdige KI-Cloud-Services«
Ziel des Anwenderkreises ist z. B. die Entwicklung und Diskussion von Prüfkriterien, Prüfverfahren und Prüfwerkzeugen für vertrauenswürdige KI in der Cloud/Edge-Supply-Chain. Im Zentrum der Arbeiten des Anwenderkreises stehen zudem Aspekte im Kontext der geplanten KI‑Regulierung der EU sowie der Standardisierung und Normung.
Für eine Mitarbeit im Anwenderkreis »Vertrauenswürdige KI-Cloud-Services« können Sie sich auf der Kollaborationsplattform DIN.one anmelden.
Workshop 2
6. September 2022 |
10:00 Uhr bis ca. 15:30 Uhr
KI-Qualität und Prüfverfahren im Finanzsektor
Workshop »KI und Normung im Finanzsektor«
Ziel des Workshops ist die Bildung und Vorbereitung der deutschen Position zum Thema Normung & KI im Bereich der Finanzwirtschaft.Im Rahmen der Veranstaltung wird es einen Impulsvortrag zum Thema AI Act und Trustworthiness aus Bankenperspektive geben. Im Anschluss erfolgt ein interaktiver Teil zur Entwicklung von Standardisierungsaktivitäten bspw. anhand der Normungsbedarfe der Normungsroadmap KI (siehe Normungsraodamp KI Seite 266 ff.).
Die Veranstaltung ist als Online-Veranstaltung geplant.
Interessierte Teilnehmende registrieren sich bitte für die Veranstaltung unter: ANMELDUNG (Log-in Code: finance)
Workshopreihe »Ethik und Bias in KI-Anwendungen im Smart Hospital«
Der Einsatz von Künstlicher Intelligenz (KI) in der Gesundheitsversorgung verspricht großes Potential. KI-basierte Assistenzsysteme können als Unterstützung in der Pflege, Medizin und vielen anderen Gesundheitsbereichen eingesetzt werden. Sie bieten basierend auf großen Mengen von Gesundheitsdaten Möglichkeiten z.B. zur Entwicklung von intelligenten Anwendungen zur Prävention, frühzeitigen Diagnose und Therapieplanung. Gleichzeitig stellt ein so hoch sicherheitskritischer Bereich wie die Medizin besondere Qualitätsanforderungen an die Entwicklung, Güte und vor allem Verlässlichkeit von KI-Systemen. Dazu zählt es insbesondere, verschiede Bias, d.h. Verzerrungseffekte wie z.B. Diskriminierung zu vermeiden oder so gering wie möglich zu halten. Um dies zu erreichen ist es allerdings nötig, mögliche Bias zunächst anwendungsbezogen zu identifizieren und darauf basierend entsprechende Vermeidungsstrategien technisch umzusetzen und zu integrieren.
Die Fragestellung, wie Bias für medizinische KI-Anwendungen identifiziert und vermieden werden kann, vereint die beiden KI.NRW Flagship-Projekte SmartHospital.NRW und ZERTIFIZIERTE KI. In einer gemeinsamen Workshopreihe sollen mögliche Bias identifiziert und Lösungsansätze für diese Problemstellungen diskutiert und erarbeitet werden
Workshop 1
25. November 2022 | 13:00 Uhr bis 16:00 Uhr
Bias im Kontext Smart Hospital – welche gibt es und worauf wirken sie?
Workshop 2
16. März 2023 | 09:00 Uhr bis 12:45 Uhr
Wie können wir Bias in medizinischen KI-Anwendungen vermeiden?
Anwenderkreis »Transparenz in neuronalen Netzen«
Neuronale Netze sind integraler Bestandteil vieler moderner KI-Anwendungen und haben Einzug in diverse Industriebereiche gefunden – von der Robotik und Landwirtschaft über das Finanzwesen zu Online-Dienstleistern. Gerade in sicherheitskritischen Anwendungsbereichen, wie beim autonomen Fahren oder der medizinischen Diagnose, ist das Sicherstellen ihrer korrekten Funktionsweise von zentraler Bedeutung. Zur Qualitätssicherung sollte ein neuronales Netz von eine*r Expert*in mit Hintergrundwissen verstanden, auf Schwachstellen hin untersucht und geprüft werden. Einem solchen Verständnis steht jedoch der »Black Box«-Charakter eines neuronalen Netzes entgegen.
In dieser Workshopreihe wird erarbeitet, welche Bedarfe es aus Anwendersicht und welche Ansätze es aus technischer Sicht gibt, die Funktion von neuronalen Netzen systematisch zu verstehen und auf Schwachstellen hin zu überprüfen. In vier voneinander unabhängigen Workshops werden neue Forschungsansätze und bereits entwickelte konkrete Werkzeuge, die ein tiefergehendes Verständnis der KI durch Transparenz-, Unsicherheitsbewertungs- und Testverfahren ermöglichen, vorgestellt und diskutiert. Interessierte Expert*innen sind neben den Partnern und assoziierten Partnern des ZERTIFIZIERTE KI-Projektes herzlich eingeladen, an der Workshopreihe teilzunehmen.
Workshop 1
4. Mai 2022 |
9:30 Uhr bis 11:45 Uhr
Visuell-explorative Bewertung neuronaler Netze
Workshop 2
21. Juni 2022 |
9:30 Uhr bis 11:30 Uhr
Verfahren zur Interpretierbarkeit von neuronalen Netzen
Workshop 3
19. Oktober 2022 |
9:30 Uhr bis 12:00 Uhr
Einschätzung von Unsicherheiten in neuronalen
Netzen
Workshop 4
12. Dezember 2022 |
9:30 Uhr bis 12:30 Uhr
Ansätze zum systematischen Testen neuronaler Netze
Workshops 2021
Workshop 1
23. Juni 2021
Ansätze zur Prüfung von KI-Systemen
Workshop 2
16. September 2021
KI-Risiken systematisch bewerten
Workshop 3
2. November 2021
Werkzeuge für
KI-Qualität
Workshop 4
7. Dezember 2021
Systematische Evaluation des Standardisierungsbedarfes
Agenda
|
Uhrzeit |
Inhalt |
Referent*in |
| 9:30 – 9:45 Uhr |
Begrüßung und Einordnung des Anwenderkreises in den Kontext ZERTIFZIERTE KI |
Prof. Dr. Stefan Wrobel Professor für Informatik an der Universität Bonn und Leiter des Fraunhofer-Instituts für Intelligente Analyse- und Informationssysteme IAIS |
|
Intro |
||
| 9:45 – 10:00 Uhr | AI ACT und horizontaler Standard | Axel Voss Abgeordneter des Europäischen Parlaments CDU |
| 10:00 – 10:15 Uhr | Zusammenhang Anwenderkreis mit EU Regulierung | Irina Orssich Head of Sector AI Policy Europäisches Parlament |
| 10:15 – 10:35 Uhr | Notwendigkeit des Ansatzes eines horizontalen Standards im Kontext KI |
Katja Krüger Daniel Loevenich |
| 10:35 – 10:55 Uhr | KI Managementsysteme |
Dr. Maximilian Poretschkin Dr. Peter Deussen |
| 5 min | Pause | |
|
Ziel und geplante Aktivitäten |
||
| 11:00 – 11:25 Uhr | Zielvorstellung und nächste Aktivitäten/geplante Ergebnisse |
Daniel Loevenich Hendrik Reese |
| 11:25 – 11:35 Uhr | Kurze Vorstellung geplante Arbeitsorganisation | Christine Fuß Projektleiterin DIN |
| 5 min | Pause | |
|
Impulsvorträge: Vertrauenswürdige KI Services |
||
| 11:40 – 12:00 Uhr | Impulsvortrag Microsoft Deutschland GmbH | Thomas Langkabel National Technology Officer Microsoft Deutschland GmbH |
| 12:00 – 12:20 Uhr | Impulsvortrag Google Germany GmbH | Thoralf Schwanitz Government Affairs & Public Policy Google Cloud Google Germany GmbH |
| 12:20 – 12:40 Uhr | Impulsvortrag Telekom Deutschland | Waldemar Mach Senior Productmanager Voicification & AI Telekom Deutschland |
| Verabschiedung | ||
| 12:40 – 12:50 Uhr | Zusammenfassung und Ausblick | BSI, IAIS, DIN |
Agenda für den Workshop »Visuell-explorative Bewertung neuronaler Netze«
Termin: Mittwoch, 4. Mai 2022, 9:30 Uhr bis ca. 11:45 Uhr
| 9:30–9:45 Uhr | Begrüßung und Vorstellung der Workshopreihe | Fraunhofer IAIS und DIN |
| 9:45–10:30 Uhr | Vortrag zu wissenschaftlichem Stand und praktischen Tools | Elena Gina Haedecke, Fraunhofer IAIS |
| 10:30–10:35 Uhr | Pause | |
| 10:35–11:05 Uhr | Deep Variational Data Synthesis for AI Validation | Dr. Oliver Grau, Intel Deutschland GmbH |
| 11:05–11:35 Uhr | Diskussionsrunde | Alle |
| 11:35–11:45 Uhr | Verabschiedung/Ausblick zu kommenden Workshops |
Workshop 1
4. Mai 2022 | 09:30 Uhr bis 11:45 Uhr
Visuell-explorative Bewertung neuronaler Netze
Ein tiefgehendes Verständnis der KI‑Komponente und Daten ist die notwendige Grundlage für Transparenz für Expert*innen. Visuell interaktive Interfaces können eingesetzt werden, um Daten, Metadaten und Metriken visuell aufzuarbeiten oder verschiedene Introspektionsmaßnahmen zu generieren. Dadurch können beispielsweise das Datenverständnis erhöht oder semantische Hypothesen überprüft werden.
Dieser Workshop greift diesen Ansatz auf. Neben Einblicken in den aktuellen Forschungsstand wird ein Visual-Analytics-Tool als beispielhaftes Werkzeug vorgestellt und Best Practises aus Unternehmen diskutiert.
Workshop 2
21. Juni 2022 | 9:30 Uhr bis ca. 11:30 Uhr
Verfahren zur Interpretierbarkeit von neuronalen Netzen
Das Zustandekommen der Ergebnisse von neuronalen Netzen ist häufig selbst für Expert*innen nur schwer nachvollziehbar. Für eine sichere und verantwortungsvolle Anwendung von neuronalen Netzen in sicherheitskritischen Bereichen ist eine Erklärung jedoch essenziell notwendig. Deswegen sind Verfahren zur Interpretierbarkeit von neuronalen Netzen ein aktives Forschungsfeld. Ziel ist es neben dem Erklären von Ergebnissen auch falsches Modellverhalten aufdecken zu können. Dazu sollen in diesem Workshop relevante Methoden vorgestellt und konkrete Werkzeuge zur Umsetzung von mehr Interpretierbarkeit diskutiert werden.
Workshop 3
19. Oktober 2022 | 9:30 Uhr bis 12 Uhr
Einschätzung von Unsicherheiten in neuronalen Netzen
Neuronale Netze werden von verschiedenen Unsicherheiten beeinflusst, die aus den Daten stammen oder aus dem Modell und seinem Training resultieren können. Besonders in sicherheitskritischen Kontexten ist das Quantifizieren solcher Unsicherheiten wichtig, um die Vertrauenswürdigkeit der Modellvorhersagen einschätzen zu können. Um Risiken von neuronalen Netzen besser einschätzen zu können und anwendungsspezifisch zu reagieren, wird in diesem Workshop der Stand der Technik zur Unsicherheitsbewertung in neuronalen Netzen vorgestellt und diskutiert – von Methoden und Verfahren aus der wissenschaftlichen Literatur bis hin zu Software und Tools in der Praxis.
Workshop 4
12. Dezember 2022
Ansätze zum systematischen Testen neuronaler Netze
Im Bereich der Softwareentwicklung werden zur Qualitätssicherung automatisierte Testverfahren umfassend eingesetzt. Viele dieser Verfahren lassen sich nicht direkt auf Deep-Learning-Software übertragen oder decken Deep-Learning‑spezifische Aspekte nicht ab (z. B. Verifikation von Daten oder Modellarchitektur). Ziel dieses Workshops ist es, neue Ansätze und konkrete Verfahren zur Sicherung der Qualität neuronaler Netze durch systematisches und automatisiertes Testen angepasst an Deep-Learning-Tools zu diskutieren.
Weitere Informationen und Anmeldemöglichkeiten folgen in Kürze.
Workshop 1
10. März 2022 | 9:30 Uhr bis 13:00 Uhr
Kick-off-Veranstaltung
Beim Kick‑off-Workshop am 10. März 2022 wurden viele Aspekte aus der deutschen und europäischen Politik, der Normung sowie der Einordnung des Anwenderkreises im Gesamtkontext beleuchtet. Darüber hinaus gab es spannende Impulsvorträge zur Relevanz vertrauenswürdiger KI aus der Perspektive namhafter Provider.
Die Veranstaltung mit über 100 Teilnehmer*innen gliederte sich in 3 Themenblöcke: Einordnung des Anwenderkreises in den politisch-strategischen Kontext, Vorstellung der Ziele und geplanten Aktivitäten des Anwenderkreises und Impulsen aus Anwendersicht durch Microsoft Deutschland GmbH, Google Germany GmbH und Telekom Deutschland.
Workshop 2
6. September 2022 | 10 Uhr bis 15:30 Uhr
KI-Qualität und Prüfverfahren im Finanzsektor
Der ZERTIFIZIERTE KI-Anwenderkreis »Vertrauenswürdige cloudbasierte KI-Services« lädt am 6. September 2022 von 10 bis 15:30 Uhr zum »Workshop KI-Qualität und Prüfverfahren im Finanzsektor« ein.
Im Rahmen des sektorspezifischen Workshops werden technische und regulatorische Rahmenbedingungen vorgestellt, welche die Leitplanken für die Arbeitsansätze des Anwenderkreises darstellen. Die Betrachtung und Diskussion von Use Cases stellt die Grundvoraussetzung für die geplanten Arbeitsergebnisse (unter anderem i.S. einer Standardisierung von Prüfverfahren für KI-Systeme) des Anwenderkreises dar. Daher werden im zweiten Teil des Workshops Vortragende aus den Bereichen anwendungsnahe Forschung, Bankenwesen, AI Computing und Wirtschaftsprüfung mit spannenden Use Cases Anforderungen an KI-Qualität und Prüfverfahren aus Anwendersicht verdeutlichen.
Abschließend wird den Teilnehmenden und Referent*innen die Möglichkeit zum Austausch und zur Vernetzung geboten.
Mehr Informationen finden Sie in der Agenda auf der Workshop-Seite des DIN.
Workshop 3
verschoben, neues Datum folgt
Implementation of the AI Act with horizontal standards
Der Projekt-Anwenderkreis »Vertrauenswürdige cloudbasierte KI-Services« beschäftigt sich mit Blick auf den kommenden AI Act mit der Notwendigkeit und Bedeutung einer horizontalen Standardisierung für vertrauenswürdige KI. Am 24. November soll der Grundstein für einen europaweiten Austausch mit interessierten Stakeholdern gelegt werden.
Im ersten Teil der Veranstaltung geben Sprecher*innen der EU-Kommission, des BSI, DIN und Fraunhofer IAIS aus der Perspektive der Regulierung und Standardisierung einen Überblick über die Herausforderungen, Bedürfnisse und Aktivitäten im Zusammenhang mit KI auf EU-Ebene.
Im zweiten Teil werden die Herausforderungen und Lösungen sowie die Anforderungen an die Normung anhand konkreter Anwendungsfälle aus Sicht der Industrie beleuchtet.
Abschließend werden die Teilnehmenden und Referent*innen die Möglichkeit haben, die verschiedenen Ansätze zu diskutieren und Ideen auszutauschen.
Mehr Informationen finden Sie auf der Workshop-Seite des DIN.
Workshop 4
08.Mai 2023 | 13.30 Uhr – 15.30 Uhr
AI Risk Management Frameworks
Als Impuls für die spätere Diskussion haben Sie die Möglichkeit, einen Einblick in das jeweilige KI-Risikomanagement-Framework verschiedener Organisationen aus Japan (Advanced Industrial Science and Technology (AIST)), USA (National Institute of Standards (NIST)) und Deutschland (Fraunhofer IAIS) zu erhalten.
Ziel des Workshops ist es, die Teilnehmenden mit diesen Frameworks vertraut zu machen, sie zu vergleichen und ihnen die Möglichkeit zu geben, sie im Detail zu prüfen. Die Unterschiede zwischen den Frameworks werden hervorgehoben, um den Teilnehmenden ein umfassendes Verständnis dafür zu vermitteln, wie sie zur Minimierung der mit Künstlicher Intelligenz verbundenen Risiken eingesetzt werden können.
Im Rahmen des Workshops wird es die Möglichkeit geben, eigene Erfahrungen und Meinungen einzubringen, z B. zu eigenen Frameworks oder dem Umgang mit KI-Risiken. Es wird diskutiert, wie verschiedene KI-Risikomanagement-Frameworks auf spezifische Anforderungen angewendet werden können. Der Schwerpunkt wird auf praktischen Anwendungen und Herausforderungen liegen.
Der Workshop wird auf Englisch durchgeführt.
Mehr Informationen finden Sie auf der Workshop-Seite des DIN.
Workshop 1
25. November 2022 | 13.00 Uhr bis 16:00 Uhr
Bias im Kontext Smart Hospital – welche gibt es und worauf wirken sie?
Im medizinischen und pflegerischen Kontext können verschiedenste Arten von Bias auftreten. Lernt ein KI-Modell beispielsweise aus Daten, die eine bestimmte Personengruppe benachteiligt, so kann das Modell diese Vorurteile übernehmen und in den Ausgaben widerspiegeln. Im ersten öffentlichen Workshop der beiden Projekte SmartHospital.NRW und ZERTIFIZERTE KI soll konkretisiert werden, wie sich Bias im Kontext Smart Hospital präsentiert. Dazu wird das Thema Bias aus unterschiedlichen Perspektiven beleuchtet, u.a. Recht, Medizin und Technik. Für konkrete Einsatzszenarien aus dem Projekts SmartHospital.NRW wird dann diskutiert, welche Bias-Arten auftreten können und es wird eine Einschätzung zu den Auswirkungen gegeben.
Die Ergebnisse dieser ersten Veranstaltung dienen als Grundlage für weitere Workshops, in denen u.a. erarbeitet werden soll, wie die identifizierten Arten von Bias aus technischer Sicht erfolgreich für die untersuchten Einsatzszenarien vermieden werden können.
Workshop
18.April 2023 | 10.00 Uhr bis 12:30 Uhr
KI und Normung im Finanzsektor
Ziel des Termins ist die Bildung und Vorbereitung der deutschen Position zum Thema Normung & KI im Bereich der Finanzwirtschaft.Im Rahmen der Veranstaltung wird es einen Impulsvortrag zum Thema AI Act und Trustworthiness aus Bankenperspektive geben. Im Anschluss erfolgt ein interaktiver Teil zur Entwicklung von Standardisierungsaktivitäten bspw. anhand der Normungsbedarfe der Normungsroadmap KI (siehe Normungsraodamp KI Seite 266 ff.).
Die Veranstaltung ist als Online-Veranstaltung geplant.
Interessierte Teilnehmende registrieren sich bitte für die Veranstaltung mit folgenden Log-in Code: finance
Workshop 2
16. März 2023 | 09.00 Uhr bis 12:45 Uhr
Wie können wir Bias in medizinischen KI-Anwendungen vermeiden?
Wie können wir Bias in medizinischen KI-Anwendungen vermeiden? – Im ersten Workshop der beiden KI.NRW Flagship-Projekte ZERTIFIZIERTE KI und SmartHospital.NRW wurde gemeinsam aus anwendungsorientierter, technischer, ethischer und rechtlicher Perspektive erarbeitet, wo Bias in KI-Anwendungen im Krankenhaus potentiell auftreten. Im nun folgenden und praktisch orientierten zweiten Workshop steht die Frage der Bias-Mitigation im Fokus. Hierzu wird zunächst erläutert, wie Bias in medizinischen KI-Anwendungen quantifiziert werden und welche Gegenmaßnahmen zur Verfügung stehen. Basierend darauf wird in mehreren parallelen Breakoutsessions untersucht, welche spezifischen Bias-Arten in den innerhalb des Projekts SmartHospital.NRW entwickelten KI-Anwendungen auftreten könnten.
Ziel des Workshops ist das Erarbeiten von Lösungsansätzen zur Vermeidung der identifizierten Bias-Arten. Im Hinblick auf Standardisierungsanforderungen umfasst der Workshop einen Exkurs zu medizinischen Anforderungen aus der Normungsroadmap 2.0.