Marco-Alexander Breit

Bundesministerium für  Wirtschaft und Klimaschutz | Leiter der Unterabteilung Künstliche intelligenz, Daten und Digitale Technologien

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Aus Compliance- und Datenschutzsicht ist es eine zentrale Herausforderung, die bereits geltenden und neuen Regeln effektiv in die tägliche Praxis der KI-Entwickler und KI-Anwender zu integrieren. Dafür müssen jeweils passende Prozesse und technische Lösungen in Zusammenarbeit mit unseren Data Science Kollegen gefunden werden.

Was ist dabei Ihr persönlicher Fokus?
Mich treibt vor allem die Frage um, wie wir Systemen mehr Entscheidungen übertragen können, aber gleichzeitig die Verantwortung für die Entscheidungen behalten können.

LinkedIn | Emailadresse

Carmen Hentschel

Moderatorin und Speakerin für Digitalisierung
Geschäftsführerin der Redner- und Experten Agentur Future Shapers
Gründerin der Plattform „Work AI“

Carmen Hentschel lebt und atmet das Thema Digitalisierung jeden Tag. Zu ihren Stammkunden gehören dabei gleichsam bekannte Unternehmen, Ministerien wie auch wissenschaftliche Institutionen.

In ihrer Arbeit diskutiert sie mit Führungskräften und VordenkerInnen über alle Aspekte der digitalen Transformation: von Künstlicher Intelligenz über Industrie 4.0 bis E-Government. Sie arbeitet im deutschsprachigen Raum aber auch international. Bei ihren Einsätzen bringt sie die Erfahrung aus über 2000 Moderationen, Beratungen und Vorträgen mit ein. Im Juni 2023 launcht sie mit ihrem Gründungspartner Prof. Dr. Nicolas Burkhardt die Plattform Work AI für Wissenstransfer und Vernetzung im Bereich Künstliche Intelligenz.

Darüber hinaus ist sie Inhaberin der beiden Digitalagenturen Future Shapers und Online Konferenzen. Mir der Agentur „Future Shapers“ hat sie sich auf die Vermittlung von KeynotespeakerInnen zu digitalen Themen spezialisiert. Und mit der Agentur „Online Konferenzen“ berät sie Unternehmen und Institutionen zur Kommunikation im digitalen Raum, wobei sie auch ihre Erfahrung als TV-Redakteurin und Journalistin einbringt.

Hendrik Reese

Partner
PricewaterhouseCoopers GmbH Wirtschaftsprüfungsgesellschaft

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Ich denke, dass AI Governance und die kommende Regulierung einen Chancen-/Risiko-basierten Ansatz verfolgen sollten, der »responsible risk taking« unterstützt.

Was ist dabei Ihr persönlicher Fokus?

Ich möchte die KI-Transformation auf der Basis von europäischen Werten wie etwa Vertrauenswürdigkeit erfolgreich meistern.

Welchen Trend zum Thema KI-Governance und KI-Prüfung finden Sie besonders spannend?

Ich finde besonders spannend, wie die Umsetzung des EU AI Acts sich im Rahmen von KI-Skalierung auswirkt.

Dr. Michael Rammensee

Geschäftsführer / Managing Director
AI Quality & Testing Hub GmbH

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Wir wollen den verantwortungsvollen Einsatz von KI-Systemen ermöglichen. Mit dem AI Quality & Testing Hub werden wir Leistungen anbieten, die Innovation ermöglichen und gleichzeitig dafür sorgen, dass diese Innovationen im Einklang mit unserer europäischen Werteordnung sind.

Was ist dabei Ihr persönlicher Fokus?

Mich treibt vor allem die Frage um, wie wir Systemen mehr Entscheidungen übertragen können, aber gleichzeitig die Verantwortung für die Entscheidungen behalten können.

Welchen Trend zum Thema KI-Governance und KI-Prüfung finden Sie besonders spannend?

Besonders interessant finde ich normative oder ethische Anforderungen an daten-getriebene Systeme und hierbei wie diese konkret implementiert bzw. nachgewiesen werden können. Hier geht es neben den regulatorischen Entscheidungen, insbesondere auch um die technische Umsetzbarkeit.

Dirk Kretzschmar

Geschäftsführer
TÜV Informationstechnik GmbH

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Diese Themen sind wichtig, um sicherzustellen, dass KI-Anwendungen in einer Weise eingesetzt werden, die ethischen, rechtlichen und sozialen Standards entsprechen. Die Entwicklung von Rahmenbedingungen für den verantwortungsvollen Einsatz von KI ist von entscheidender Bedeutung, um sicherzustellen, dass KI-Systeme fair, transparent und vertrauenswürdig sind und das Vertrauen der Öffentlichkeit in diese Technologie stärken.

Was ist dabei Ihr persönlicher Fokus?

Ich bin der Überzeugung, dass es nicht ausreicht, sich allein auf die gängigen KI Entwicklungsprozesse, die dazugehörigen Trainingsdaten und reine Funktionsprüfungen zu verlassen. Fakt ist, dass KI Lösungen vorsätzlich getäuscht werden können. Entscheidungen könnten darüber in die eine oder andere Richtung manipuliert und in sensiblen und kritischen Anwendungsszenarien katastrophale Auswirkungen verursachen. Über spezielle Stresstests können KI-Lösungen sehr umfangreich auf ihre Widerstandsfähigkeit gegen solche Angriffe geprüft werden und Aussagen über die Robustheit in bestimmten Anwendungsszenarien getroffen werden. Als Handlungsbedarf sehe ich daher die verpflichtende Prüfung von KI Lösungen in sensiblen Bereichen.

Welchen Trend zum Thema KI-Governance und KI-Prüfung finden Sie besonders spannend?

Insgesamt sind die Entwicklungen im Bereich der KI-Governance und KI-Prüfungen sehr spannend und wichtig, da es sich um Fragen der zuverlässigen und  nachvollziehbaren Prüfung solcher Systeme handelt. KI-Systeme müssen besonders verantwortungsvoll eingesetzt werden und das Vertrauen der Öffentlichkeit in diese Technologie gestärkt wird.

Dr. Gerhard Schabhüser

Vizepräsident
Bundesamt für Sicherheit in der Informationstechnik

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Der AI Act bildet den Rahmen, um KI-Anwendungen in Wirtschaft, Gesellschaft und im öffentlichen Sektor nach europäischen ethischen und rechtlichen Standards zu etablieren. Diese Standards verweisen auf technische Prüfungen der Vertrauenswürdigkeit von KI-Systemen, die nachvollziehbar und belastbar sein müssen. Die Entwicklung der dafür erforderlichen Prüfgrundlagen, ihre Validierung und die Herleitung internationaler Technikstandards bilden den Schwerpunkt der Beiträge des BSI. Dafür führt das BSI im Rahmen der Umsetzung der Deutschen Normungsroadmap KI vier Leuchtturmvorhaben durch, die einen wesentlichen Teil der identifizierten Standardisierungsbedarfe behandeln.

Was ist dabei Ihr persönlicher Fokus?

Vertrauenswürdige KI benötigt Akzeptanz aller Marktteilnehmer, insbesondere auch der Anwender von KI-Lösungen. Aus diesem Grund sollte die technische Prüfung von KI-Systemen alle relevanten Risiken abdecken, die nötigen Standards anwenden und mit den Prüfergebnissen zu weiterführenden Prüfungen beitragen. BSI-Produkte liefern bereits eine Grundlage für verschiedene Typen von Konformitätsprüfungen: vom IT-Grundschutz über Testate bis hin zur IT-Sicherheitszertifizierung. Da KI-Systeme oftmals Komponenten von verteilten oder eingebetteten IT-Anwendungen sind, liegt ein Hauptaugenmerk auf dem Zusammenwirken von KI-Prüfungen mit bestehenden Prüfverfahren des BSI und damit insbesondere auf der Entwicklung eines KI-Zertifizierungsverfahrens als Qualitätssicherungsinstrument.

Welchen Trend zum Thema KI-Governance und KI-Prüfung finden Sie besonders spannend?

Die Risiken vertrauenswürdiger KI enthalten sowohl Aspekte der engeren Sicherheit (Security) als auch funktionalen und der Betriebssicherheit (Safety). Bei Prüfkriterien, Prüfmethoden und Mitigationsmaßnahmen sind die Grenzen zwischen den einzelnen Sicherheitsanforderungen diesbezüglich fließend. Man darf gespannt sein, wie die Bereiche Security und Safety in der Umsetzung von Prüfstandards zusammenwirken können und welchen Mehrwert horizontale Prüfverfahren bei fortlaufender Skalierung und zunehmend komplexen IT-Lieferketten mit verteilten Kompetenzen und verteilter Verantwortung für vertikale KI-Standards in einzelnen Anwendungsbereichen erzeugen.

Sarah Johanna Zech

Digital Compliance Counsel
Allianz SE

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Aus Compliance- und Datenschutzsicht ist es eine zentrale Herausforderung, die bereits geltenden und neuen Regeln effektiv in die tägliche Praxis der KI-Entwickler und KI-Anwender zu integrieren. Dafür müssen jeweils passende Prozesse und technische Lösungen in Zusammenarbeit mit unseren Data Science Kollegen gefunden werden.

Was ist dabei Ihr persönlicher Fokus?

KI Governance ist ohne einen rechts- und datenschutzkonformen Umgang mit Daten nicht zu denken. Besonders spannend ist daher das Zusammenspiel von KI- und Daten-Regulierung in ihrer weiteren Entwicklung.

Welchen Trend zum Thema KI-Governance und KI-Prüfung finden Sie besonders spannend?

Digitale Tools für Explainable AI oder Bias Detection sind auf dem Vormarsch, aber es gibt noch keinen einheitlichen Standard. Die Frage ist, wieweit Zertifizierungsprozesse hier Orientierung geben und das Risikomanagement für Unternehmen erleichtern können.

Dr. Jan Hofmann

VP, Innovation Lead AI
Deutsche Telekom AG, Technology & Innovation

Aus welcher Perspektive blicken Sie auf das Thema KI-Prüfungen/AI Act/KI-Governance?

Ich bin fest davon überzeugt, dass KI-basierte Innovation einen großen positiven Beitrag für die Entwicklung unserer Gesellschaften leisten wird – und dafür brauchen wir neben mutiger Innovation auch klare Regeln.

Was ist dabei Ihr persönlicher Fokus?

Beides im Alltag der Produktentwicklung zusammen zu bringen.

Welchen Trend zum Thema KI-Governance und KI-Prüfung finden Sie besonders spannend?

Weniger einen Trend als vielmehr die Frage, wieviel Harmonisierung über Deutschland hinaus möglich sein wird.

Vertrauen ist gut, Zertifizierung ist besser: Die Bedeutung von unabhängigen Prüfungen für die Sicherheit und Vertrauenswürdigkeit von künstlicher Intelligenz
Dirk Kretzschmar | TÜV Informationstechnik GmbH

Künstliche Intelligenz (KI) wird in immer mehr Anwendungsbereichen eingesetzt und birgt großes Potenzial, aber auch erhebliche Risiken. Um das Vertrauen der Nutzer in KI-Systeme zu stärken, ist es entscheidend, dass diese in Bezug auf (IT-)Sicherheit, Robustheit, Transparenz aber auch Datenschutz hohen Standards entsprechen. Eine Möglichkeit, dies zu gewährleisten, ist die Prüfung und Zertifizierung durch unabhängige Organisationen wie dem TÜV. In diesem Vortrag werden die wichtigsten Aspekte der Sicherheit und Vertrauenswürdigkeit von KI-Systemen erläutert und die Bedeutung von Prüfungen zum Nachweis dieser Eigenschaften diskutiert. Anhand von konkreten Beispielen wird verdeutlicht, wie solche Prüfungen ablaufen, welche Kriterien dabei geprüft werden und welche Rolle existierende und zukünftige Standards einnehmen können.

AI Lifecycle Management und Governance als Compliance- und Innovations-Enabler
Hendrik Reese | PricewaterhouseCoopers GmbH Wirtschaftsprüfungsgesellschaft

AI Lifecycle Management und Compliance sind viel diskutiert. Im Zuge der Skalierung von KI in Unternehmen auch weit über Compliance hinaus. Viele Unternehmen stellen sich die Frage, wie sie den richtigen Rahmen setzen, um die Geschwindigkeit der Innovation zu erhöhen und gleichzeitig Compliance umsetzen zu können. Der Vortrag beleuchtet einige Kernfragestellungen und Best Practices.

Vertrauen in Algorithmen – wo hilft Zertifizierung?
Dr. Hans-Jörg Vögel | BMW Group

Produktsicherheit ist keine reine Frage der Compliance. Vertrauen in
die Zuverlässigkeit von Algorithmen wird durch eine Vielzahl von Faktoren
beeinflusst – und die Basis ist stets die Haltung der Entwickler zu Qualität,
Sicherheit, und Performance eines Produkts.

Wie ändert sich das mit datengetrieben entwickelten KI-Systemen? Kann Zertifizierung einen Beitrag leisten, Vertrauen und Akzeptanz von KI zu stärken?

Vertrauenswürdige KI – Von verlässlichen Algorithmen
zu zertifizierbaren Systemen
Prof. Dr. Stefan Wrobel | Fraunhofer IAIS

Fast überall auf der Welt gibt es seit langem die einhellige Forderung der Gesellschaft, dass eingesetzte KI-Systeme hinsichtlich ihrer Funktion und ihrer Werte vertrauenswürdig sein müssen.

Mit der extrem schnellen und weit verbreiteten Einführung von KI-Systemen für allgemeine Zwecke, die auf generativen Grundmodellen basieren, und dem zunehmenden Einsatz von KI-Systemen in allen Bereichen scheint diese Forderung dringender denn je. Zudem sieht der AI Act – der weltweit erste Regulierungsentwurf für KI – die Prüfung von Hochrisiko KI-Systemen auch explizit vor. Hierdurch gewinnt die Frage nach der Operationalisierung entsprechender KI-Prüfungen noch weiter an Bedeutung.

Dieser Vortrag zeigt, dass eine entsprechende Überprüfung der Vertrauenswürdigkeit auf soliden technischen Ergebnissen über unsere Algorithmen und Modelle aufbauen sollte, gleichzeitig aber auch eine systemische Sichtweise berücksichtigen sollte, die das gesamte KI-System in seinem (sozio-)ökonomischen Kontext umfasst. Wir erörtern dieser Perspektiven der Reihe nach anhand von Beispielen aus unserer eigenen Forschung und Standardisierungsarbeit sowie aus Anwendungsprojekten mit der Industrie.

AI Quality & Testing Hub
Dr. Michael Ramensee | AI Quality & Testing Hub GmbH

Der AI Quality & Testing Hub hat den Auftrag Qualität von KI-Systemen zu fördern und nachweisbar zu machen. Unternehmen haben im Hub die Möglichkeit, Qualitätseigenschaften von Systemen Künstlicher Intelligenz (KI) nachzuweisen und zu verbessern. Dies soll helfen, dass die Nutzerinnen und Nutzer Vertrauen in KI-Anwendungen gewinnen und dass die neuartigen Technologien im Einklang mit der Europäischen Werteordnung sind.

Magenta KI – Ethik, Regulierung und Produktentwicklung
Dr. Jan Hofmann | Deutsche Telekom AG, Technology & InnovationAI

Wofür setzt die Deutsche Telekom künstliche Intelligenz ein? Wie gehen wir mit der kommenden KI-Regulierung der EU um, und welche Rolle spielt Digitale Ethik für KI bei der Deutschen Telekom?

KI Governance in der Versicherung – Welche Änderungen bringt die EU KI-Verordnung?
Sarah Johanna Zech | Allianz SE

KI Governance ist für die Versicherungswirtschaft von strategischer Bedeutung. Eine effektive Umsetzung regulatorischer Vorgaben hält die Stärkung des Kundenvertrauens und die Förderung von Innovation im Blick. Der Vortrag beleuchtet Ziele, Grundlagen und Umsetzungsmöglichkeiten von KI Governance in der Versicherung und reflektiert mögliche Änderungen durch die kommende EU KI-Verordnung.

How to prepare for the AI Act? An industrial perspective
Prof. Sonja Zillner | Siemens AG, Technologie

Industrial AI requires high quality, performance and trustworthiness standards.  This is in line with the upcoming AI Act which introduces a risk management approach with different types of requirements to be met depending on the criticality of the AI application. This presentation will give an overview of how industrial AI applications will be impacted and describe the main areas of activities taken to be prepare for this regulation.

Zertifizierung und Risikomanagement von KI-Systemen
Dr. Daniel Weimer | CertAI GmbH, a Munich RE company

Die Risikobewertung und die daran anschließende Zertifizierung von KI Systemen ist eine entscheidende Komponente bei der massenhaften Skalierung von KI. In dieser Fallstudie werden Motivation, Herausforderungen und Vorgehensweisen für die Zertifizierung komplexer KI Systeme am Beispiel der Versicherungsbranche vorgestellt.

Prüfung sicherer KI-Systeme: Herausforderungen und Gestaltungsoptionen
Dr. Gerhard Schabhüser | Bundesamt für Sicherheit in der Informationstechnik

KI-Systeme verwenden viele Technologien. Sie finden sich als hybride Anwendungen, als eingebettete Komponenten in technischen Systemen oder auch als IT-Dienste in komplexen IT-Lieferketten. Konformitätsbewertungen gemäß AI Act, besonders aber auch die Zertifizierung von KI-Systemen führen zu einer Reihe von neuen Herausforderungen für die Evaluation sicherheitsrelevanter Eigenschaften von KI-Systemen.

Der Beitrag unterstreicht die Notwendigkeit kriterienbasierter horizontaler Evaluierung und Zertifizierung von KI-Systemen, motiviert die grundsätzliche Struktur der Prüfverfahren und ordnet die technische Prüfung von vertrauenswürdigen KI-Systemen auf der Grundlage existierender Normen und des Normungsauftrags der EU-Kommission zur Umsetzung des AI Act ein.