Unsere Prüfplattform 

Reproduzierbare KI-Testing-Pipelines leicht gemacht

Die Komplexität von KI-Modellen macht es notwendig, eine Prüfung in verschiedene Dimensionen aufzuteilen, um beispielsweise die Fairness oder die Robustheit eines Modells zu bewerten. Hinzu kommt, dass KI als Querschnittsthema in sehr vielen Bereichen eingesetzt wird, die individuelle Lösungen je Anwendungsfall benötigen. Dies führt dazu, dass viele verschiedene KI-Prüfwerkzeuge existieren, die einzelne Aspekte eines KI-Modells aus einer bestimmten Domäne heraus überprüfen. Die Schwierigkeit, vor diesem Hintergrund standardisierbare, wiederholbare und vergleichbare Tests durchzuführen, wird bei einem Gedankenexperiment deutlich:​

Stellen Sie sich vor, Ihre Aufgabe ist es, mittels verschiedener Testing-Tools und unterschiedlicher Datensätze eine Reihe an KI-Modellen hinsichtlich verschiedener Aspekte der Vertrauenswürdigkeit zu prüfen. Sie werden gedanklich bestimmt direkt auf die typischen Hürden und Herausforderungen stoßen: ​

    • Wie stelle ich meine Datensätze den KI-Modellen und Testing-Tools bereit?​
    • Wie stelle ich die Interoperabilität der Testing-Tools und KI-Modelle her?​
    • Wie stelle ich die Reproduzierbarkeit meiner Test-Resultate sicher?​

Es wird klar, dass das Durchführen einer solchen Prüfung mit einem großen Entwicklungsaufwand verbunden ist. Unsere Plattform nimmt Ihnen diese Hürden folgendermaßen ab:​ 

    • Ihre Datensätze lassen sich mittels eines einfachen Befehls in die Plattform einbinden. Danach sind die Datensätze
      für alle auf der Plattform eingebundenen Modelle und Tools verfügbar.​
    • Die Plattform definiert eine einheitliche Schnittstelle zum Austausch von Daten zwischen Tools und Modellen.​
    • Unsere Plattform kümmert sich automatisch um eine vollständige Versionierung aller beteiligten Datensätze, Modelle und Tools. ​

Die Prüf-Plattform kann ebenfalls auf Ihrem lokalen Rechnerverbund gehostet werden. Somit ist sie auch in Privacy-sensitiven Anwendungsfeldern einsetzbar und zum Testen von Firmen-internen Modellen geeigne

Unser Konzept der Prüfplattform

Um die Risiken in diesen Fällen abzuschwächen, können mithilfe einer gut kalibrierten Schätzung der Ausgabesicherheit, wie beispielsweise mit der am Fraunhofer IAIS entwickelten Methode »Wasserstein Dropout«, zwei Strategien verfolgt werden: Erstens können die auffallenden problematischen Ausgaben erkannt werden, sodass Fehler vermieden und die Zuverlässigkeit erhöht wird. Zweitens macht das Erkennen problematischer Ausgaben den menschlichen Eingriff oder anderweitige Mitigationsstrategien erst möglich. Wenn so die verschiedenen Modellausgaben mit einer quantifizierten Aussage über deren Unsicherheit angereichert werden, kann dies als wichtiger Baustein für eine Absicherungsargumentation genutzt werden.

Die Prüfplattform ist eine Onlineplattform, die Demonstratoren und Prüftools zur standardisierten Prüfung von KI-Systemen bereitstellt. Die Schnittstellen werden einheitlich über ein Software-Framework definiert. Angepasst auf die verschiedenen Bedürfnisse der Nutzer*innen stehen drei Arten von Nutzerschnittstellen zur Verfügung. Für Prüfer*innen ist es beispielsweise wichtig, sich​ auf das Durchführen von Tests zu konzentrieren, sodass die​ graphische Nutzerschnittstelle eine einfach zu bedienende ​Oberfläche bereitstellt, ohne sich tiefer mit den Daten oder​ der konkreten Ausführung im Hintergrund auseinanderzusetzen.​Für Entwickler*innen, die eigenen Programmcode nutzen​möchten, wird sowohl ein Zugriff per Kommandozeile als auch​eine Funktionsbibliothek bereitgestellt.​Das Framework ist in drei verschiedene Hauptkomponenten – Modul-, Daten- und Testmanagement – aufgeteilt, wie in der Abbildung ersichtlich ist.​ Aus diesen Komponenten heraus besteht einheitlich Zugriff​auf die KI-Modelle, die Prüfwerkzeuge und die Artefakte von​ Daten und Tests, die jeweils in eigenen Datenbanken gespeichert ​sind.​

Demonstrator: Test-Pipeline für ein Object-Detection-Modell

    • Loggen Sie sich auf der AI4Europe-Plattform hier ein. ​Wie das geht, zeigt folgendes Video.
    • Rufen Sie die Demonstrator Test-Pipeline aus dem AI4EU-Marketplace hier auf​
    • Wählen Sie oben rechts „Deploy for Execution“ und „AI-Lab Playground“​
    • Sie werden zum „AI-Lab Playground“ weitergeleitet. Dieser Deployed die Container des Object-Detection-Modells auf einem Kubernetes-Cluster.