English

Symposium zu

Scaling AI Assessments

Tools, Ecosystems and Business Models

26. und 27. September  2024 | Design Offices Dominium, Köln

Motivation

Vertrauenswürdige KI wird als eine zentrale Voraussetzung für Anwendungen der Künstlichen Intelligenz (KI) angesehen. Insbesondere vor dem Hintergrund der europäischen KI-Regulierung sind KI-Konformitätsbewertungsverfahren von besonderer Bedeutung, sowohl für spezifische Anwendungsfälle als auch für allgemeine Modelle. Aber auch in nicht-regulierten Bereichen ist die Qualität von KI-Systemen ein entscheidender Faktor, da unbeabsichtigtes Verhalten zu schwerwiegenden finanziellen und Reputationsschäden führen kann. Folglich besteht ein großer Bedarf an KI-Prüfungen und die Bildung eines entsprechenden Marktes ist zu beobachten. Gleichzeitig gibt es weiterhin (technische und rechtliche) Herausforderungen bei der Durchführung von KI-Prüfungen und einen Mangel an umfassender praktischer Erfahrung bei der Evaluation verschiedener KI-Systeme. Insgesamt ist die Entstehung erster marktfähiger/kommerzieller KI-Bewertungsangebote gerade erst im Gange und ein endgültiges, eindeutiges Verfahren zur KI-Qualitätssicherung hat sich noch nicht etabliert.

 

KI-Prüfungen erfordern eine weitere Operationalisierung sowohl auf der Ebene der Governance und der damit verbundenen Prozesse als auch auf der System-/Produktebene. Empirische Forschung, die Governance-Frameworks, Bewertungskriterien, KI-Qualitäts-KPIs und Methoden in der Praxis für verschiedene KI-Anwendungsfälle testet und bewertet, steht noch aus.

Die Durchführung von KI-Prüfungen in der Praxis erfordert ein Test-Ökosystem und Tool-Unterstützung, da viele Qualitäts-KPIs ohne Tool-Unterstützung nicht berechnet werden können. Gleichzeitig ist die Automatisierung solcher Bewertungen eine Voraussetzung dafür, dass das entsprechende Geschäftsmodell skalieren kann.

Zielgruppe

Dieses Symposium richtet sich insbesondere, aber nicht ausschließlich, an Fachleute aus dem TIC-Sektor, an Tech-Start-ups, die Lösungen für die oben genannten Herausforderungen anbieten, und an Forscher*innen aus dem Bereich der vertrauenswürdigen KI. Ein weiteres Ziel des Symposiums ist die Klärung des rechtlichen Rahmens von KI, insbesondere im Hinblick auf den kürzlich verabschiedeten AI Act der Europäischen Union und dessen Operationalisierung, weshalb es sich auch an Rechtsexperten auf dem Gebiet der KI wendet. Die Konferenz legt besonderen Wert darauf, dass neben erfahrenen Teilnehmer*innen auch junge Wissenschaftler*innen an der Konferenz teilnehmen.

Teilnahme

Die Konferenzteilnahme ist auf drei verschiedene Arten möglich. Erstens bieten wir einen konventionellen wissenschaftlichen Track an, der Vollbeiträge („full papers“) akzeptiert. Zweitens bieten wir einen anwendungsbezogenen Track an, der sich besonders für Vertreter*innen der Industrie oder von Start-ups eignet. Drittens ist es auch möglich, an der Konferenz teilzunehmen, ohne einen Beitrag einzureichen. Dies bietet die Möglichkeit, sich über den neuesten Stand der Forschung zu informieren, praktische Herausforderungen zu diskutieren sowie Möglichkeiten zu finden, vielversprechende und neueste Ansätze auf die Praxis zu übertragen.

 

  • Wissenschaftlicher Track: Dieser Track ist für wissenschaftliche Beiträge geeignet, die neue Ideen zu Konzepten, Technologien oder Methoden im Zusammenhang mit den oben genannten Themen vorstellen oder diskutieren. Die Einreichungen sollten eine klare Beschreibung der angesprochenen Problemstellung/Forschungslücke und des Beitrags der vorgestellten Forschung enthalten.
    • Details zur Einreichung werden in Kürze bekannt gegeben.
  • Anwendungsbezogener Track: Dieser Track bietet die Möglichkeit, sich für einen Vortragsplatz während der Konferenz zu bewerben. Als Bewerbung für einen Vortragsslot muss eine kurze Zusammenfassung des vorzustellenden Themas (bis zu 2 Seiten) für ein Review eingereicht werden. Es ist möglich, Auszüge aus bereits veröffentlichten Whitepapers oder Positionspapieren einzureichen.
    • Details zur Einreichung werden in Kürze bekannt gegeben.
  • Konferenzteilnahme: Neben einem der oben genannten Tracks ist es auch möglich, sich für die reine Teilnahme an der Konferenz zu registrieren. Dies beinhaltet die aktive Teilnahme an den Austauschformaten. Dazu sollten die Teilnehmenden ein passendes Interessengebiet auswählen (entweder “Operationalisierung von marktfähigen KI-Prüfungen” oder “Testwerkzeuge und Implementierungsmethoden für vertrauenswürdige KI-Produkte”).
    • Details zur Registrierung werden in Kürze bekannt gegeben.

      Highlights

      Hauptreferenten

      • 26. September: Wird noch bekannt gegeben
      • 27. September: Wird noch bekannt gegeben

      Panel mit Rechtsexperten

      26. September, nachmittags:

      • Welche Anforderungen stellt der AI Act an generative KI und wie kann die Einhaltung sichergestellt werden? Anhand eines konkreten Fallbeispiels: Welche besonderen Herausforderungen stellen risikoreiche KI-Systeme dar und wie geht der AI Act mit ihnen um? Wie interagiert der AI Act mit anderen ergänzenden Rechtsrahmen wie der Datenschutz-Grundverordnung
      • Diese Fragen werden Gegenstand einer Reihe von Präsentationen ausgewählter Rechtsexperten sein, gefolgt von einer Diskussion.

      Aktivitäten mit allen Teilnehmenden

      • 26. September: Konferenz-Dinner
      • 27. September: Diskussionsrunden

      Submission

      More infos coming soon.

      Program commitee

      More infos coming soon.

      Themen von besonderem Interesse

      Ziel dieses Symposiums ist es, marktfähige KI-Prüfungen für vertrauenswürdige KI voranzutreiben. Insbesondere werden Beiträge und Präsentationen sowohl aus der Perspektive der Operationalisierung (einschließlich Governance- und Geschäftsperspektiven) als auch aus der Perspektive des Prüfökosystems und der technischen Werkzeuge (einschließlich Ansätzen aus der Informatik) erbeten. Die Themen umfassen unter anderem aber nicht ausschließlich:

      Perspektive: Operationalisierung von marktfähigen KI-Prüfungen

      • Standardisierung von KI-Prüfungen: Wie können grundlegende Konzepte von KI-Prüfungen wie Prüfgegenstand, Prüfumgebung und Operational Design Domain (ODD) standardisiert spezifiziert werden? Wie müssen Prüfkriterien formuliert werden und welche KPIs sind geeignet, um KI-Qualität und Vertrauenswürdigkeit messbar zu machen? Wie kann die Kompatibilität mit bestehenden Bewertungsrahmen für andere Domänen (z.B. Sicherheit, Datenschutz) sichergestellt werden? Wie ist mit Komponenten von Drittanbietern umzugehen, insbesondere mit KI-Modellen für allgemeine Zwecke, die während einer Prüfung nur schwer zugänglich sind?
      • Risiko- und Schwachstellenbewertung: Welche Methoden können eingesetzt werden, um potenzielle Risiken und Schwachstellen wirksam zu charakterisieren und zu bewerten, wobei sowohl die technischen Aspekte als auch die allgemeineren Auswirkungen zu berücksichtigen sind? Wie müssen KI-Governance-Frameworks aussehen, um diese Risiken effizient abzumildern?
      • Umsetzung rechtlicher Anforderungen: Wie kann die Konformität mit der KI-Verordnung und kommenden Gesetzgebungen bei der Inbetriebnahme von KI-Software und KI-Systemen umgesetzt werden, insbesondere in bestimmten Anwendungsfällen, und welche Schritte sind erforderlich, um die Konformität zu erreichen und aufrechtzuerhalten? Wie sieht ein vertrauenswürdiges AI-Ops-Framework aus?
      • Geschäftsmodelle basierend auf KI-Prüfungen: Was sind Geschäftsmodelle, die auf KI-Prüfungen basieren und was sind die wichtigsten Erfolgsfaktoren? Wie müssen KI-Gütesiegel gestaltet sein und wie beeinflussen diese Konsumentenentscheidungen?

        Perspektive:Testwerkzeuge und Implementierungsmethoden für vertrauenswürdige KI-Produkte

        • Infrastruktur und Automatisierung: Welche Infrastruktur und welches Ökosystem ist für eine effektive KI-Prüfungen und -Zertifizierung erforderlich, einschließlich Überlegungen zum Daten- und Modellzugang, zum Schutz sensibler Informationen und zur Interoperabilität von Bewertungswerkzeugen? Welche Ansätze gibt es, um die Prüfprozess so weit wie möglich zu automatisieren?
        • Absicherungs- und Testmethoden: Welche Strategien oder Methoden können Entwickler*innen anwenden, um geeignete Test- oder Risikominderungsmaßnahmen auszuwählen, die auf die spezifischen Eigenschaften ihrer KI-Systeme zugeschnitten sind? Was sind neuartige Techniken, Werkzeuge oder Ansätze zur Qualitätssicherung? Wie kann generative KI als Teil neuartiger Bewertungswerkzeuge (z.B. zur Generierung von Testfällen) eingesetzt werden?
        • Systematisches Testen: Wie können systematische Tests durchgeführt werden und welche Garantien können diese Tests geben? Wie können insbesondere verschiedene Testbeispiele, einschließlich Corner Cases und synthetische Daten, generiert werden, um die Robustheit und Qualität von KI-Produkten zu verbessern?

        Wichtige Daten

         

         

        22. Juli 2024
        Einreichungsfrist für Beiträge (wissenschaftlicher & anwendungsbezogener Track)

        19. August 2024
        Benachrichtigung der Autor*innen (wissenschaftlicher & anwendungsbezogener Track)

        9. September 2024
        Frist für die druckreife Version (wissenschaftlicher & anwendungsbezogener Track) und Registrierungsschluss (alle Tracks)

        26-27. September 2024
        Konferenz (alle Tracks)
        Mit Key Notes, Papervorstellungen, Austauschformaten, Panels und Social Event

        Location

        Die Veranstaltung findet vor Ort in den “Design Offices Dominium” in Köln statt.

        Tunisstraße 19-23
        50667 Köln
        Deutschland

        Bildquelle: Art Invest - Design Offices

        Kontakt

        Organisationskomitee

        Rebekka Görge, Elena Haedecke, Fabian Malms, Maximilian Poretschkin, Anna Schmitz

        E-Mail: zki-symposium@iais.fraunhofer.de

        Kontakt für die juristische Sichtweise:

        Mathias Schuh, Erik Weiss, Maxine Folschweiller, Lena Zeit-Altpeter

        E-Mail: mathias.schuh(at)uni-koeln.de