Der Roboter Pepper kommuniziert mit einem Tablet mit den Menschen.

Künstliche Intelligenz Ab wann ist eine KI vertrauenswürdig?

Stand: 03.10.2024 15:44 Uhr

Wie genau ein KI-Modell eine Entscheidung trifft, ist oft nicht nachvollziehbar - eine Tatsache, die den Einsatz etwa in der Medizin erschwert. Das neue Zentrum DFKI in Kaiserslautern will Transparenz schaffen.

Von Michael Lang und Richard Kraft, SWR

KI-Modelle können immer komplexere Aufgaben lösen. Doch bei vielen KI-Anwendungen besteht das Problem, dass Entscheidungen nicht nachvollzogen werden können. Die Rede ist von einer Art Blackbox. Verarbeitet Künstliche Intelligenz Informationen, bleibt der Weg hin zur Lösung fast immer ein Geheimnis.

Das Deutsche Forschungszentrum für Künstliche Intelligenz (DFKI) hat deswegen zusammen mit der Deutschen Akademie der Technikwissenschaften ein neues Innnovationszentrum eröffnet: das deutsche KI-Innovations- und Qualitätszentrum in Kaiserslautern. Hier wollen sie KI transparenter machen und verlässliche Qualitätsstandards entwickeln.

Schwerpunkt neuer KI-Projekte soll eine stärkere Transparenz sein

Ein wichtiger Bestandteil der Forschung ist es, KI-Anwendungen zu entwickeln, die transparent arbeiten. "Die Ergebnisse so zu erklären, dass sie annehmbar werden als Zweitmeinung, ist ganz essenziell", erklärt Andreas Dengel, geschäftsführender Direktor am DFKI in Kaiserslautern.

Ein aktuelles Projekt des DFKI entwickelt eine Technologie, um satellitengestützte Erntevorhersagen durch eine KI zu treffen. Dafür wertet sie Wetterdaten, Daten zur Bodenbeschaffenheit, agronomische Informationen zu Pflanzenwachstumsphasen und digitale Höhenmodelle aus. So will das Forschungsteam eine möglichst präzise Vorhersage ermöglichen. Vorhersagen von KI sollen bei Krisenbewältigung und Ertragssteigerung helfen.

Die Vorhersagen ermöglichen es, vorausschauende Landwirtschaft zu betreiben und präventive Maßnahmen zur Erntesteigerung oder Krisenbewältigung zu ergreifen. Landwirte könnten dadurch die Bewässerung, Düngung oder den Pflanzenschutz besser anpassen. Gleichzeitig würden genaue Erntevorhersagen die wirtschaftliche Planung erleichtern.

Eine genaue Abwägung der Maßnahmen erfordert allerdings, dass die Vorhersagen transparent sind. Ohne den Entscheidungsprozess nachvollziehen zu können, könnten Landwirte nicht feststellen, weshalb ein möglicher Ernteausfall droht. Die bildliche Analyse der KI lässt sich deshalb auch manuell überprüfen und die Entscheidungen sind besser nachvollziehbar.

Medizinische KI-Anwendungen unterstützen schon jetzt bei der Diagnostik

Daneben findet KI auch in der Medizin Anwendung. Am Uniklinikum in Mainz hilft Künstliche Intelligenz schon jetzt, Krebs besser zu erkennen. Anhand von Gewebeproben der Schilddrüse kann die KI erkennen, ob es sich um einen Tumor handelt oder nicht. Das ist besonders dann von Vorteil, wenn gesundes Gewebe nur schwer von krankhaft verändertem Gewebe abgegrenzt werden kann.

KI kann so eine wertvolle Unterstützung bieten, jedoch ist gerade im medizinischen Bereich wichtig, dass eine Entscheidung der KI nachvollzogen und eben auch überprüft werden kann. Gleichzeitig lassen sich die digitalen Ergebnisse auch mit anderen Kliniken vergleichen und so besser überprüfen. Jedoch fehlt bislang noch eine Möglichkeit, den Entscheidungsprozess genau nachzuvollziehen.

Erkennungs-App von Hautkrankheiten

Bei einem weiteren Projekt hilft KI bei der Erkennung von Hautkrebs und anderen Hauterkrankungen. Das DFKI hat dafür eine App entwickelt, die Hauterkrankungen erkennen soll. Den Entwicklern ist es wichtig, dass die App leicht zu bedienen ist. Außerdem besteht die Möglichkeit, weitere Symptome wie Rötungen oder Schwellungen anzugeben.

Eine Analyse der KI stellt dann auf Basis dieser Daten eine Diagnose und liefert Erklärungen für die Entscheidung. So sollen die Ergebnisse nachvollziehbar sein und überprüfbar sein. Damit kann medizinisches Fachpersonal auch potenzielle Fehldiagnosen erkennen.

KI-Anwendungen soll für Beweisführung und Justizvollzug genutzt werden

Vertrauen und Sicherheit sind zum Beispiel dann entscheidend, wenn die Polizei KI nutzt, um auf Festplatten nach Beweisen zu suchen. Sind die Daten allerdings nicht auslesbar, soll KI dabei helfen Fragmente von Dateien zusammenzufügen. Dafür arbeitet das DFKI mit dem Landeskriminalamt und dem Bundeskriminalamt zusammen.

Dem DFKI zufolge soll es schon in einem Jahr der Polizei möglich sein, Bilddateien auf zerstörten Festplatten wiederherzustellen. Diese könnten dann vor Gerichten verwendet werden. Allerdings nur wenn jeder Schritt der KI nachvollziehbar ist. Der Entscheidungsprozess muss also reproduzierbar sein und zum selben Ergebnis führen.

KI "Made in Germany"

Die Forschenden in Kaiserslautern wollen auch Prüfkriterien für KI-Anwendungen entwickeln, analog zu einem TÜV-Siegel. So sollen KI-Anwendungen am Ende ein entsprechendes Gütesiegel bekommen. Das Ziel des DFKI in Kaiserslautern ist dabei: vertrauenswürdige KI "Made in Germany".

Durch kontinuierliche Forschung entstehen in Kaiserslautern Standards für vertrauenswürdige KI-Anwendungen. Ziel ist die Entwicklung einer Prüfplattform mit Werkzeugen, die es Herstellern und Einrichtungen ermöglicht, die Qualität und Vertrauenswürdigkeit von KI zu prüfen und festzustellen.

Im Zuge der "Mission KI" ist das DFKI das erste von zwei geplanten Zentren für die KI-Forschung. Das Projekt wurde von der Bundesregierung mit einem Gesamtbudget von 32 Millionen Euro unterstützt. Damit will der Bund die Entwicklung neuer, vertrauenswürdiger Künstlicher Intelligenzen vorantreiben.

Dieses Thema im Programm: Über dieses Thema berichtete SWR1 Rheinland-Pfalz am 19. Juli 2024 um 16:00 Uhr.