User Group: Gesellschaft

Was soll KI können; wo soll sie nicht eingesetzt werden? Kann eine Maschine moralisch handeln? Für unseren Podcast „Direktdurchwahl“ sucht Cyber Valley Public Engagement Managerin Rebecca Beiter nach Antworten und spricht mit Dr. Thilo Hagendorff. Hagendorff ist KI-Ethiker im Exzellencluster „Maschinelles Lernen – Neue Perspektiven für die Wissenschaft“ an der Universität Tübingen.

Wo kommen Bürger:innen denn mit Themen der KI-Ethik in Berührung?

Die klassischen Beispiele sind Ranking-Algorithmen, die mir Suchergebnisse in einer bestimmten Reihenfolge anzeigen oder Empfehlungssysteme für Produkte oder Medien. Aber auch mein Spam-Ordner wird durch eine KI befüllt oder der Wetterbericht, den ich mir anschaue. Hierbei arbeiten KI-Systeme im Hintergrund.

Und was ist aus ethischer Sicht daran relevant; wie gehen Sie an so ein Themenfeld heran?

Die Themenfelder der KI-Ethik sind unglaublich breit gefächert. Es gibt vier klassische Bereiche. Im ersten wird geschaut: Sind KI-Systeme fair oder diskriminieren sie gegen bestimmte Personengruppen? Der zweite beschäftigt sich mit der Frage, ob KI-Systeme transparent oder erklärbar sind. Im dritten Bereich wird geschaut: Wie sicher oder robust sind sie? Können sie angegriffen und missbraucht werden? Und im vierten Bereich geht es um Verantwortungsbeziehungen, um klären zu können, wer im Schadensfall haftet.

Spannend finde ich, die Frage der Verantwortung auch wirklich zu stellen. Ein Beispiel: Ich bewerbe mich. Dort filtert ein autonomes System die Bewerbungen und ich als Frau werde vom System systematisch diskriminiert und komme nicht in den Auswahlprozess. Wer trägt die Verantwortung: der Entwickler oder die Firma, die das System einsetzt?

Oder der Händler, der so ein Produkt vertreibt… Ich denke, Verantwortung wird auf mehrere Schultern verteilt. Beim angesprochenen Beispiel der algorithmischen Diskriminierung bestünde viel Verantwortung darin zu schauen, mit welchen Trainingsdaten ein KI-System angelernt wird. Sind in diesen Trainingsdaten Frauen genauso repräsentiert wie Männer? Das müsste in der konkreten Technikentwicklung angegangen werden.

Allerdings sind das Themen, die meines Wissens in der klassischen Informatik nicht zwingend in den Studiengängen vorkommen.

Ich würde nicht sagen, dass das nicht vorkommt. Insbesondere das Thema Fairness im maschinellen Lernen wird fast schon inflationär behandelt; das ist auch Teil des Studiums. Aber Ethik-Seminare im Informatikstudium sind kein Allheilmittel ist. Wichtiger ist, dass eine „ethische Atmosphäre“ an einer Fakultät geschaffen wird. Es geht nicht so sehr darum, sich mit ethischen Theorien zu befassen, sondern darum, dass Studierende bestimmte Persönlichkeitsmerkmale entwickeln, die sie zu verantwortungsbewussten Technikentwicklerinnen und -entwicklern machen. Denn ja: Wer KI-Systeme entwickelt, hat eine große Macht, weil diese Systeme skalieren. KI-Systeme werden möglicherweise am Ende von Millionen oder sogar Milliarden von Menschen benutzt – eine große Verantwortung.

Ich glaube, das ist auch ein wichtiger Aspekt: Was wir hier besprechen, betrifft viele Menschen, auch wenn es ihnen gar nicht so bewusst ist. Wozu braucht es also eine KI-Ethik?

Die Entwicklung ist, das KI-Systeme zunehmend in die Lebenswelt von Menschen kommen und ihnen weitreichendere Entscheidungsbefugnisse zugeschrieben werden. Immer da, wo die Systeme einen Einfluss auf menschliches Verhalten haben, wird es umso wichtiger, die gesellschaftlichen Folgen zu reflektieren, vorherzusagen, und möglicherweise bei Fehlentwicklungen zu intervenieren. Aber Aufgabe der Ethik ist auch, positive Ideen oder Visionen zu entwickeln, wie eine nachhaltige, sichere, friedliche Gesellschaft, in der Menschen und KI-Systeme enge „Beziehungen“ eingehen, gelingen kann.

Ein bekanntes Beispiel, wo dies noch nicht gelungen ist: Eine dunkelhäutige Frau wurde von dem Gesichtserkennungssystem im Smartphone nicht so gut erkannt wie zum Beispiel ein weißer Mann. 

Ja, dieses spezifische Beispiel hat zu einem einschlägigen Paper geführt: „Gender Shades“ von Joy Buolamwini und Timnit Gebru. Sie haben aufgedeckt, dass Gesichtserkennungssysteme schlechter für Frauen oder Menschen mit dunkler Hautfarbe arbeiten. Allerdings ist Gesichtserkennung als solche ja schon umstritten. Ist eine umstrittene Praxis automatisch besser, wenn sie bei allen Bevölkerungsgruppen gleich funktioniert? Ich will nicht sagen, dass algorithmische Diskriminierung kein Problem ist, ganz im Gegenteil. Ich denke nur, dieses spezifische Beispiel hätte man weiterdenken müssen. Gesichtserkennung als solche ist in vielen Kontexten problematisch, weshalb es ja auch in einigen Ländern oder Bundesstaaten Bemühungen gibt, Gesichtserkennung zu verbieten.

Die EU-Kommission hat nun einen Rechtsrahmen entwickelt, der im Artificial Intelligence Act, also in einer Art „KI-Gesetz“ münden soll. Sie verwendet darin den Begriff „vertrauensvolle KI“. Was genau ist damit gemeint?

Die EU versteht darunter KI-Systeme, die rechtmäßig sind, also die Gesetze einhalten; KI-Systeme, die ethisch sind und ethischen Prinzipien entsprechen. Diese sollen zum Beispiel gesellschaftliche Wohlfahrt fördern oder Ähnliches. Und es beschreibt KI-Systeme, die robust sind, die also aus technischer Perspektive sicher sind. Wenn das eingehalten ist, spricht man von vertrauenswürdiger KI. Der vorgeschlagene Rechtsrahmen enthält eine Risiko-Pyramide mit vier Risiko-Stufen. Der angesprochenen biometrischen Gesichtserkennung in Echtzeit beispielsweise wird ein inakzeptables Risiko zugesprochen. Unter diese Risikoklasse fallen KI-Systeme, die explizit mit einem Verbot belegt werden sollen. Man muss allerdings auch dazu sagen, dass nur an der Spitze einige wenige Hochrisiko-KI-Anwendungen stehen. Die meisten KI-Systeme fallen unter wenig bis gar kein Risiko; beispielsweise ein Flaschenrückgabeautomat, der Leergut klassifiziert oder ein System, das kontrolliert, ob Werkstücke korrekt zusammengebaut sind.

Sind diese Regulierungsansätze ausreichend, um KI-Ethik von der Entwicklung bis zum Produkt einzuführen?

Zuerst mal finde ich das großartig, was dort passiert. Europa hat, denke ich, wieder eine Vorreiterrolle. Aber man kann natürlich immer Dinge kritisieren, zum Beispiel, dass die militärische Anwendung von KI aus diesem Rechtsrahmen völlig ausgeklammert worden ist. Es gibt auch noch andere Themen, mit denen sich die KI-Ethik beschäftigt, die aber in der Legislative nicht abgebildet werden. Zum Beispiel die Frage der Nachhaltigkeit von KI-Systemen oder die prekäre Annotationsarbeit von Trainingsdaten. Über Clickarbeit werden Trainingsdatensätze, mit denen KI-Systeme angelernt werden, von Hand zusammengestellt. Das ist eine sehr prekäre, schlecht bezahlte Arbeit, die teilweise in Entwicklungsländern gemacht wird. Das könnte man beispielsweise über Lieferkettengesetze oder Ähnliches verbessern. Aber abseits dieser offenen Punkte sehe ich das sehr positiv.

Bei KI-Ethik geht es häufig um die Frage der Moral. Kann eine Maschine ethisch moralisch handeln oder müssen das trotzdem noch die Menschen, die sie bedienen und die sie entwickeln, machen?

Das ist eine sehr schwierige Frage. Klassischerweise stellt man sich darunter vor, dass von oben herab in eine Maschine moralische Regeln eingebettet werden. Da gibt es ganz klassisch die Asimov‘schen Robotergesetze. Das, was wir als Moral bezeichnen, sind jedoch viele Handlungsregeln. Diese Regeln, so wie wir Menschen sie verarbeiten, kann man nicht in einer Maschine reproduzieren. Nichtsdestotrotz kann ich eine Maschine mit Daten trainieren, die menschliches Verhalten abbilden: wie Menschen Texte schreiben, wie Menschen Autos fahren, wie Menschen bestimmte Dinge machen. Wenn ich eine Maschine mit solchen Verhaltensdaten trainiere, dann reproduziert sie natürlich auch die Verhaltensmuster, die sie aus diesen Daten lernt.

Herr Hagendorff, woran arbeiten Sie aktuell?

Ich befasse mich mit methodischen Fragen der KI-Ethik. Dabei geht es vor allem darum, wie effektiv dieses Feld in der Umsetzung der eigenen Forderungen ist. Zum anderen befasse ich mich inhaltlich mit KI-Ethik und stelle etwa Fragen nach blinden Flecken im Diskurs.

Welche Themen werden denn nicht ausreichend beachtet?

Was ich zum Beispiel feststelle ist, dass die KI-Ethik zurzeit einen rein anthropozentrischen Zuschnitt hat. Man beschäftigt sich eigentlich nur mit dem Verhältnis von KI und Menschen, aber weniger mit den Auswirkungen von KI auf Tiere oder auf die Umwelt. Und dann gibt es Themen, die nicht den Stellenwert bekommen, die sie meiner Meinung nach haben sollten, zum Beispiel das Diversitätsproblem. Das Feld ist stark von Männern dominiert; von Männern aus reichen, demokratisch verfassten Industrienationen. Vielleicht sollten die Wertesettings aus anderen Bereichen der Welt einen stärkeren Eingang in die Entwicklung und Erforschung von KI-Systemen finden.

Das Interview wurde für die schriftliche Version sprachlich überarbeitet und gekürzt. Die längere Version hören Sie im Cyber Valley Podcast Direktdurchwahl, Folge 5. Weitere Texte und Interviews zum Thema KI und Maschinelles Lernen, insbesondere zu Fragen von Ethik und Verantwortung, gibt es auf dem Blog des Exzellenzclusters der Universität Tübingen: www.machinelearningforscience.de

Am Freitag, 15. Oktober, hat Cyber Valley eine hochrangige Gruppe deutscher und amerikanischer Abgeordneter empfangen. Die Senator:innen und Kongressabgeordneten nahmen an dem transatlantischen Austauschprogramm „Laboratories of Democracy Initiative“ teil, das vom Aspen Institute Deutschland organisiert wird, einer unabhängigen, überparteilichen Organisation, die sich der Förderung von wertebasierter Führung und einem offenen Diskurs u gesellschaftlichen, politischen und globalen Herausforderungen widmet.

„Wir fühlen uns sehr geehrt und freuen uns über diesen Besuch, da er ein schönes transatlantisches Gefühl vermittelt. Cyber Valley im Allgemeinen und unser Institut im Besonderen haben sehr starke Verbindungen zu den Vereinigten Staaten“, sagte Bernhard Schölkopf, Direktor am Max-Planck-Institut für Intelligente Systeme (MPI-IS).

Da der Schwerpunkt des diesjährigen Austauschprogramms auf dem Thema Digitalisierung liegt, waren Cyber Valley und das MPI-IS eine ideale Station für die Besuchsdelegation, um aus erster Hand einen Einblick in die aktuelle Forschung auf dem Gebiet der intelligenten Systeme zu erhalten. Nach einer herzlichen Begrüßung durch die MPI-IS Direktoren Schölkopf, Katherine J. Kuchenbecker und Michael J. Black stellte Cyber Valley Managing Director Matthias Tröndle in einem kurzen Vortrag die Vision und Mission des Forschungskonsortiums vor. Der Besuch am MPI-IS in Tübingen bot der Gruppe nicht nur die Möglichkeit, sich zu treffen und zu diskutieren, sondern auch Live-Demonstrationen von Computer Vision- und Robotik-Forschungsprojekten während einer Tour durch die Capture Hall und des Robot Learning Labs zu sehen.

Fünf Tage lang feierte das Silbersalz-Festival in Halle den Austausch und Dialog zwischen Wissenschaft, Medien und Öffentlichkeit. Zahlreiche Filme, Workshops und Vorträge von Persönlichkeiten wie Suzanna Randall, Antje Boetius oder Kübra Gümüsay und Saleemul Huq regten zu Diskussionen und Engagement rund um das diesjährige Hauptthema des Festivals, Ungleichheit, an.

Besonders ragte eine Installation der Tübinger KI-Künstlergruppe Lunar Ring heraus. Ihre Installation „Augenblick“ war ein Erfolg, denn sie begleitete und kommentierte visuell die Eröffnung und andere Veranstaltungen des Festivals. Der wissenschaftliche Kopf dahinter, Johannes Stelzer vom Cyber Valley Start-up Colugo, erwartet in den kommenden Jahren erhebliche Veränderungen in der Kunst- und Unterhaltungsindustrie durch neue kreative KI-Werkzeuge.

„Das Grundkonzept der Installation ‚Augenblick‘ war eine Kombination von Performance-Formaten mit KI-Visuals, die in Echtzeit durch verschiedene Kameras und unseren KI-Supercomputer generiert wurden“, so Stelzer. „Dabei entsteht ein neues Format: ‚emergente Kreativität‘. Wir haben auch eine Kamera in ein großes, mobiles ‚Auge‘ eingebaut und es dem Publikum zum Spielen überlassen. Die Leute liebten es, damit zu experimentieren! Vor allem während der musikalischen Darbietungen wurde eine neue Beziehung zwischen der Traumwelt und der Realität des Augenblicks geschaffen. Daran wollen wir anknüpfen.“

Ein weiteres Cyber Valley Projekt wurde während der begleitenden Silbersalz-Konferenz an der Nationalen Akademie der Wissenschaften Leopoldina vorgestellt. Sechs Teilnehmer:innen des Cyber Valley AI MediaLab stellten ihre Ideen vor, wie man die Bedeutung und die Chancen der KI-Forschung einem breiten Publikum angemessen präsentieren kann. Diese Ideen für Spiele, Ausstellungen und Filme wurden von Anfang an in enger Zusammenarbeit mit kreativen Köpfen entwickelt. Diese Art der Co-Kreation führte zu Lernprozessen auf beiden Seiten, wie Stipendiat Krikamol Muandet betont.

„Die intensive Zusammenarbeit mit kreativen Künstlern hat mir geholfen, meine Forschungsergebnisse der Öffentlichkeit besser zu vermitteln und sie wirkungsvoller zu machen“, so Muandet. „Sie hat mich aus meiner Komfortzone herausgeholt, indem sie mich gezwungen hat, aktiv über wichtige Aspekte meiner Forschung nachzudenken, an die ich sonst nicht gedacht hätte. Das Silbersalz AI MediaLab ermöglicht es mir, aus meiner Forschungsblase herauszutreten und neue und kreative Wege zu erforschen, wie ich mit meiner Forschung einen Einfluss auf die reale Welt nehmen kann.“

Die Projekte werden nun in die Tat umgesetzt. Wir werden über die nächsten Schritte und Ergebnisse in unserem regelmäßig erscheinenden Public Engagement Newsletter berichten.

Das Max-Planck-Institut für Intelligente Systeme (MPI-IS) ging vor zehn Jahren aus dem 1921 gegründeten Max-Planck-Institut für Metallforschung (MPI-MF) hervor. Bei einer hybriden Veranstaltung feierten die Direktorinnen und Direktoren des MPI-IS am Donnerstag das 10- und 100-jährige Doppel-Jubiläum an einem der schönsten Orte in ganz Baden-Württemberg, im Stuttgarter Neuen Schloss. Zusammen mit dem Ministerpräsidenten Baden-Württembergs Winfried Kretschmann sowie dem Präsidenten der Max-Planck-Gesellschaft Prof. Dr. Martin Stratmann blickten die anwesenden Direktorinnen und Direktoren Michael Black, Siegfried Dietrich, Christoph Keplinger, Katherine Kuchenbecker, Bernhard Schölkopf, Giesela Schütz und Metin Sitti mit Stolz auf das Erreichte. Sie reflektierten die bewegende 100-jährige Geschichte und blickten zurück auf die Menschen, die beide Institute an die Weltspitze in ihrem jeweiligen Forschungsgebiet gebracht haben. Derweil konnten die Mitarbeiterinnen und Mitarbeiter, Alumni und Freunde des Instituts den Feierlichkeiten von ihren Bildschirmen aus beiwohnen.

Auch die Bedeutung beider Institute für den Wissenschaftsstandort Baden-Württemberg sowie Deutschland als Ganzes wurde hervorgehoben. Vor allem die jüngsten Forschungsergebnisse im Bereich des Maschinellen Lernen, des Maschinellen Sehens und der Robotik erzeugten eine Strahlkraft, die die Region Stuttgart und Tübingen und darüber hinaus zu einem der weltweit führenden Zentren für die Erforschung künstlicher intelligenter Systeme machten.

„Als ich anfing, mich mit maschinellem Lernen zu beschäftigen, war das aus dem wissenschaftlichen Interesse, zu verstehen, wie man Struktur in Beobachtungen erkennen kann,“ sagt der geschäftsführende Direktor des Instituts, einer der global meistzitierten KI-Forscher, Prof. Dr. Bernhard Schölkopf. „Ich hatte keine Vorstellung, wie sehr sich unsere Welt verändern würde, und wie sich auch meine Heimat verändern würde. Technische Systeme der Zukunft werden mit der Komplexität der Welt umgehen, indem sie aus Beobachtungen lernen. Das ist ein Paradigmenwechsel, der universell ist, von der Astronomie und Klimaforschung bis hin zur Medizin. Die Wege von der Grundlagenforschung zur Anwendung sind hierbei kurz, und die handelnden Personen oft ein und dieselben. Unser Max-Planck-Institut steht seit zehn Jahren im Zentrum dieser Entwicklung.“

Prominente Gäste waren ins Neue Schloss eingeladen, die wesentlich zum Erfolg des Instituts beitragen und es von Anfang an stark unterstützen. Zum einen Baden-Württembergs Ministerpräsident Kretschmann, der die Wichtigkeit des Forschungsfeldes Maschinelles Lernen früh erkannt und gefördert hat. Kretschmann war daher auch voller Lob: „Mancher Beobachter fragt sich: Wie haben die das bloß hinbekommen? Aus meiner Sicht sind es drei Faktoren: Die richtige Einstellung. Die richtigen Leute. Die richtige Vision.“

Mit Blick auf Europas größtes Forschungskonsortium, das Cyber Valley, sagte er: „Als wir 2016 das Cyber Valley aus der Taufe gehoben haben, war uns klar: Wenn wir das jetzt machen, dann müssen wir es mit aller Kraft machen. Deshalb lautet die Devise: Klotzen statt Kleckern!“ Auch die Vision hinter dem Verbund der führenden KI-Zentren Europas, dem Europäischen Labor für Lernende und Intelligente Systeme – kurz ELLIS – lobte der Ministerpräsident. „Mit ELLIS wird unsere Region endgültig zum Dreh- und Angelpunkt für eine eigene KI-Kompetenz in Europa.“ Er hob zudem hervor, dass Forschung immer dem Menschen dienen müsse, seinem Leben in Freiheit und Würde. Genau diese Werte seien die Antriebskraft der Forschenden am MPI für Intelligente Systeme. „Daher freue ich mich auf die Zukunft des Instituts hier in unserem Land.“

Auch MPG-Präsident Stratmann drückte seinen Stolz auf das MPI für Intelligente Systeme und das MPI für Metallforschung aus. Damals noch als Vizepräsident, hatte er 2009 den Wandel hin zu den intelligenten Systemen stark unterstützt. Obwohl selbst ein Metallforscher, der die weltweit renommierte Materialforschung am MPI-MF immer bewundert hatte, war Stratmann die treibende Kraft von Seiten der Max-Planck-Gesellschaft, eine radikale Transformation und komplette Neuorientierung zu wagen.

„Das MPI für Metallforschung war immer modern im besten Sinne des Wortes und der Zukunft aufgeschlossen. Da war es vielleicht auch kein Wunder, dass man hier bereit war, sich vor mehr als zehn Jahren auf ein völlig neues Abenteuer einzulassen“, so Stratmann. „Wir diskutierten damals in der Chemisch Physikalisch Technischen Sektion ein interessantes zukünftiges Forschungsfeld, das Gebiet der kognitiven Robotik. Im Laufe der Beratungen weitete sich unser Blick über die kognitive Robotik hinaus in das Feld des Maschinellen Lernens und der Künstlichen Intelligenz allgemein – lange übrigens, bevor dieses Forschungsgebiet die Bedeutung von heute erlangte.“

Es scheine in Baden-Württemberg eine stille Übereinkunft zu geben, so Stratmann, dass wenn eine Idee Sinn mache, Politik, Wirtschaft und Forschung gemeinsam an einem Strang zögen. „Das merke ich hier immer wieder und es beeindruckt. Man denkt und agiert in langen Zeiträumen; gerade das kann aber – wenn man die richtigen Entscheidungen im richtigen Moment trifft – auch bereits kurzfristig zu Erfolgen führen. Wie hier geschehen. Damit haben Sie alle übrigens nicht nur dem Land, sondern in meinen Augen auch dem Wissenschaftsstandort Deutschland einen Dienst erwiesen.“

Präsident Stratmann appellierte daher auch an alle Mitarbeiter der Max-Planck-Gesellschaft, die Wissenschaft zu betreiben, die sie begeistert und fasziniert. „Schlagen Sie die Wege ein, die vielleicht noch keiner vor Ihnen gegangen ist, lassen Sie sich auf Neuland ein. In der Wissenschaft gilt der Spruch wie vielleicht sonst nirgendwo: nur wer wagt, gewinnt,“ so Stratmann.

Teil der Veranstaltung waren auch zwei wissenschaftliche Vorträge – einer im Bereich der Materialforschung und einer im Bereich des Maschinellen Lernens. Prof. Dr. Claudia Felser, Direktorin am Max-Planck-Institut für Chemische Physik fester Stoffe, trug zum Thema „from topology to green hydrogen“ vor. Dr. Joaquin Quiñonero-Candela, zuletzt Distinguished Technical Leader for Responsible AI at Facebook, referierte zum Thema „Verantwortungsvolle KI“. Er sprach darüber, wie wichtig es sein, nicht allein den USA und China die Entwicklung und Anwendung von KI zu überlassen. Europa müsse mit seiner Kultur und seinen Werten eine Führungsrolle einnehmen. Die Welt brauche Europa als führende Kraft im Bereich Künstliche Intelligenz und Maschinelles Lernen.

Diesem Auftrag sehen sich die Forschenden des MPI-IS verpflichtet. Der Mensch stehe im Mittelpunkt der Forschung am MPI für Intelligente Systeme, so Bernhard Schölkopf abschließend. „In dem Prozess, in dem sich unser Institut neu erfunden hat, war der gemeinsame Glauben aller Beteiligten verankert, dass es primär um Menschen geht, wenn wir die Zukunft positiv gestalten wollen.“