News Category: Press Release

Mit einer Reihe von zehn Studien zeigt das Fraunhofer KI-Fortschrittszentrum die Nutzenpotenziale von KI-Anwendungen für unterschiedliche Bereiche der industriellen Produktion und Dienstleistung auf. Als Teil des Cyber Valley Forschungskonsortiums unterstützen die interdisziplinären Forschungsteams der Fraunhofer-Institute IAO und IPA Unternehmen dabei, KI-basierte Applikationen und deren Kommerzialisierung voranzutreiben.

Die reale Welt erfassen, synthetisieren und Menschen, Objekte und Räume so realistisch modellieren, dass ein Betrachter den Unterschied nicht mehr wahrnimmt – Justus Thies hat sich für die kommenden fünf Jahre ehrgeizige Ziele gesetzt. Mit seiner Forschung hat er bereits einen wesentlichen Beitrag dazu geleistet, Videoinhalte fotorealistisch darzustellen. Das bringt eine große Verantwortung mit sich. Die Reinszenierung von Gesichtern prominenter Personen zum Beispiel sieht täuschend echt aus; damit wird es für Laien immer schwieriger zu erkennen, ob die Person einen Satz auch wirklich gesagt hat. Mit dem Wissen über den Entstehungsprozess manipulierter Medieninhalte – sogenannter Deep Fakes – will Thies einen Schwerpunkt auf die Entwicklung von Algorithmen legen, die gefälschte Videoinhalte automatisch erkennen und kennzeichnen.

Tübingen – Zum 1. April 2021 tritt Justus Thies eine Stelle als Max-Planck-Forschungsgruppenleiter an. Seine Gruppe „Neural Capture & Synthesis“ ist am Tübinger Standort des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) angesiedelt. Thies, der zuvor als Postdoc an der Technischen Universität München (TUM) tätig war, will das Forschungsfeld der Erfassung und Synthese der realen Welt, von Menschen, Objekten, Räumen und sogar ganzen Szenen, maßgeblich prägen. Ziel seiner Forschungstätigkeit ist es, den menschlichen Körper und Objekte so realistisch zu synthetisieren und zu modellieren, dass ein Betrachter den Unterschied nicht mehr wahrnimmt. Basierend auf Deep-Learning-Methoden und dem sogenannten neuronalen Rendering hat Thies‘ Methode der virtuellen Inszenierung von Gesichtern eine Qualität erreicht, die in Wissenschaft und Medien große Aufmerksamkeit erregt hat. Durch die Kombination neuartiger Methoden des maschinellen Lernens mit klassischen Computergrafik- und Computer-Vision-Ansätzen erzielt Thies vielversprechende Ergebnisse.

Immer realistischere Avatare schaffen

Thies‘ Forschung könnte in einer Vielzahl von Bereichen Anwendung finden, von autonomen Fahrzeugen oder Haushaltsrobotern bis hin zu medizinischen Anwendungen und der Video-Postproduktion. Sein Hauptziel ist es jedoch, die Telekommunikation zu revolutionieren.

„Ich möchte die Art und Weise verändern, wie Menschen miteinander kommunizieren, die sich nicht persönlich gegenüberstehen können“, sagt er. „Wenn wir in Zukunft mit einer Person sprechen wollen, die sich an einem anderen Ort befindet, werden wir eine Virtual- oder Augmented-Reality-Brille tragen, die einen fotorealistischen 3D-Avatar dieser Person direkt vor uns projiziert. Die Person wird digital so rekonstruiert, dass es sich anfühlt, als wäre sie im selben Raum. Das wird eine erstaunliche Erfahrung sein – allerdings erst dann, wenn das digitale Abbild des Menschen in Aussehen, Mimik und Bewegungen von der realen Person nicht mehr zu unterscheiden ist. Daher ist es mein Ziel, jeden in die Lage zu versetzen, einen 3D-Avatar von sich selbst zu erstellen, der komplett realistisch ist.“

Thies möchte, dass Nutzer sich selbst mit handelsüblichen Kameras erfassen können, ohne auf komplexe Hardware angewiesen zu sein. Menschen zum Beispiel in einem 4D-Körperscanner zu vermessen, der dreidimentionale Scans von Menschen in Bewegung erstellt, wäre viel zu aufwändig, um es in die Breite zu bringen. „Eine Idee ist zum Beispiel, die Kameras von Spielekonsolen zu nutzen, deren Sensoren Farbe und Tiefe erfassen. Ein eingebauter Abstandssensor misst, wie lange das Licht braucht, um von der Kamera zur Szene und zurück zu gelangen. So erhalte ich eine dreidimensionale Punktwolke einer Person, aus der ich dann einen Avatar erstellen kann,“ erklärt der Forscher.

Synchronisierung der Bewegung eines Gesichts mit dem Eingangston

Ein weiteres potentielles Anwendungsgebiet von Thies‘ Forschung ist die Video-Postproduktion. In synchronisierten Filmen könnten die Lippenbewegungen der Schauspieler der jeweiligen Sprache angepasst werden. „Um die Mimik und das Aussehen eines bestimmten Gesichts zu lernen, benötigt unser Algorithmus nur einen kurzen Videoclip von etwa zwei Minuten“, sagt Thies.

Diese Technologie, die auch als Echtzeit-Gesichts-Inszenierung, audio-gesteuerte Gesichts-Video-Synthese oder neuronales Puppenspiel bekannt ist, steckt noch in den Kinderschuhen. Sie wird von einem tiefen neuronalen Netzwerk gesteuert, das einen latenten 3D-Gesichtsmodellraum verwendet. Auf diese Weise kann zum Beispiel ein Video erstellt werden, das eine prominente Persönlichkeit zeigt, die mit einer anderen Stimme spricht, oder sogar die Person zeigt, wie sie Dinge mit ihrer eigenen Stimme sagt, die im echten Leben so nie ausgesprochen wurden.

„Das ist die negative Seite des Facial Reenactment, da die Erzeugung von fotorealistischen Bildern missbraucht werden kann. Die Algorithmen, die bei der Lippensynchronisation eines Films angewendet werden, können auch dazu verwendet werden, eine Rede eines Staatsoberhauptes zu kreieren und ihm oder ihr Worte in den Mund zu legen, die gefälscht und unwahr sind. Wenn die Menschen die Fälschung nicht bemerken, könnte dies zu Verwirrung führen, ja sogar eine ganze Gesellschaft untergraben. Im Internet tauchen zunehmend Fälschungen auf, die nur schwer zu erkennen sind. Digitale Multimedia-Forensik ist daher ein weiterer Pfeiler meiner Forschung. Ich möchte Algorithmen entwickeln, die automatisch erkennen, ob eine Videosequenz synthetisch ist oder manipuliert wurde“, so Thies.

Deep-Fake-Technologie verstehen, um sie zu erkennen

Bei der Multimedia-Forensik geht es darum, einen KI-Algorithmus mit einem großen Datensatz zu trainieren, damit gefälschte Videos anhand der in einer Videosequenz sichtbaren Artefakte identifiziert werden können. Solche Artefakte treten oft entlang der Grenzlinie zwischen dem synthetisierten Gesicht und dem realen Hintergrund auf. Mit Hilfe des Algorithmus wird auch das Rauschverhalten der Farben im Bild untersucht, womit es von echten Videos unterschieden werden könnte. Auf diese Weise kann mit Hilfe künstlicher Intelligenz erkannt werden, ob eine Manipulation stattgefunden hat. „Das ist genau die Art von Technik, die dann automatisiert werden kann“, sagt Thies. „Es gibt bereits Versuche, diese Deep-Fake-Erkennungs-Technik als Browser-Plug-In für jedermann anzubieten. So könnten gefälschte Bilder und Videos automatisch erkannt und gekennzeichnet werden. So würden Laien vor Fake News geschützt.“

Die Entwicklung von Multimedia-Forensik ist ein Katz- und Mausspiel, denn Deep-Fakes werden immer besser. Heutzutage ist es relativ einfach, einen Deep Fake zu erkennen. Das wird in naher Zukunft aber immer schwieriger. Die Erstellung fotorealistischerer Videoinhalte ist daher mit einer großen Verantwortung verbunden. „Mit meiner Arbeit lege ich die Messlatte höher, damit nicht jeder einfach ein Video fälschen kann und es unbemerkt bleibt. Durch das Wissen über den Erstellungsprozess können wir die fortschrittlichsten Algorithmen zur Fälschungserkennung entwickeln. Wir müssen bei dieser Technologie ganz vorne mit dabei sein, um die Fälschungen zu erkennen, zu markieren und zu entlarven“, so Thies abschließend.

_____

Dr. Justus Thies ist ehemaliger Postdoktorand an der Technischen Universität München. Seit September 2017 arbeitete er im Visual Computing Lab von Prof. Matthias Nießner. Zuvor promovierte er an der Universität Erlangen-Nürnberg, betreut durch Günther Greiner. Seinen Master of Science erhielt Thies von der Universität Erlangen-Nürnberg. Während der Zeit als Doktorand arbeitete er mit anderen Institutionen zusammen, mit Praktika an der Stanford University und dem Max-Planck-Institut für Informatik in Saarbrücken.

Ein medizinisches Projekt markierte den Beginn von Thies‘ Forschung zur Erfassung und Synthese von Bild- und Videoinhalten. Ziel war es, die Gesichter von Patienten mit Gaumenspalten zu erfassen. Über mehrere Jahrzehnte wurden die Patienten immer wieder fotografiert. So konnten die Wissenschaftler sehen, wie sich ihre Gesichter im Laufe der Behandlung veränderten und wie ihre Wunden heilten. Mit dem von ihm entwickelten Ansatz konnten neue Patienten mit einer Gaumenspalte sehen wie bestimmte chirurgische Behandlungsmethoden dann später aussehen würden.

Seine Forschung kann auf diesem Youtube-Kanal gesehen werden.

Their work “Modeling and Control of a Soft Robotic Fish with Integrated Soft Sensing” was published in Wiley’s Advanced Intelligent Systems journal, in a special issue on “Energy Storage and Delivery in Robotic Systems”.

Each side of the robotic fish is lined with soft artificial muscles made of rubber-like small silicone chambers. Through these pockets, the researchers pumped air alternately on each side. While the air pockets on one side expand, they create a curvature, contracting the air pockets on the other side. This causes the robotic fish to bend right and left, swinging its tail, resembling the wave-like movement pattern seen by real fish.

To measure the bending, the scientists embedded state of the art soft strain sensors, consisting of a thin layer of windy microchannels filled with liquid metal and encapsulated in silicone. What was now like a wire, could stretch like a phone cord to a length of 900%. The more the air pressurized each silicone chamber of the actuator, the more the sensor placed atop bends, and its liquid metal ‘wire’ was elongated. The scientists then connected the sensor to an Ohmmeter to measure the electrical resistance. The greater the stretching elongation, the higher the electrical resistance within the ‘wire’. This number provided the scientists with data of how the curvature of their robotic fish changed given a certain change of air pressure.

The scientists then put this robotic fish platform under water in a flow tank. In several experiments they tested how the air pressure controller took the reading from the sensor to measure the swimming performance of the robot – an information loop that was feeding a self-learning algorithm inside the controller to push just the right amount of air through the pneumatic pockets so the swimming perfectly matched the different water flow velocities.

“We developed a hydrodynamic model that can predict how our soft robotic fish will behave. This builds upon previous findings where we measured peak thrust during swimming with co-contraction and body stiffening, and tested soft sensors in feedforward undulatory motion. Closing the loop with proprioceptive soft sensory feedback allows the robot to respond to different flow conditions”, Ardian Jusufi explains. He is the corresponding author of the publication and specializes on soft active materials, biomimetics, and robotics. Jusufi is the head of the Max Planck Cyber Valley research group for “Locomotion in Biorobotic and Somatic Systems” at the MPI-IS. “Our project builds upon several previous collaborative papers on soft robots and biorobotic modeling of swimming robots. To advance modeling and closed-loop control, our team has combined soft robotics expertise from three continents.”

“In this work, we have used a simple approach to build a data-driven model of a soft robotic fish, and extended it with the controller design. This model could also be easily extended without the need of completely rebuilding it, for example to study the scaling effects of robots or testing different types of sensing techniques”, describes Yu-Hsiang Lin of the “Locomotion in Biorobotic and Somatic Systems” group at the MPI-IS, and first author.

In their publication, the scientists describe the sensors as a completely new design technique, labelling them “hyper-elastic liquid metal strain sensors.” Developed by Prof. Yong-Lae Park and his team at Seoul National University, and Daniel Vogt from Harvard University, they are a true innovation. “In biology as well as in soft robotics, with an entirely soft robot, we have infinite degrees of freedom. That means any part of the body can deform. It is hard to estimate how the fish’s shape changes, because we cannot put an indefinite number of sensors onto its body, as it would be possible with rigid robots with a limited number of joints,” Park says.

“This robot will allow us to test and refine hypotheses regarding the neuromechanics of swimming animals as well as help us improve future underwater robots,” Jusufi continues. “In addition to characterizing the soft strain sensor under submerged dynamic conditions for the first time, we also developed a simple and flexible data-driven modelling approach in order to design our swimming feedback controller. The model will be of interest to the scientific community and will help accelerate future work in design and operation of soft robots. In forthcoming research, we will also utilize soft strain sensors in terrestrial robots that climb and can overcome complex obstacles.”

Understanding the underlying mechanisms how soft animals like fish swim helps in designing artificial soft structures and make it possible to use them to build robots. Such animal-inspired robots could one day be used to explore the depths of the sea and provide valuable data of marine life, avoiding noise and reducing the risk of entanglement that rigid, conventionally propelled submarines face. Swimming robots could also become a more energy-efficient option, which is why more and more scientists have shown a great deal of effort in developing soft actuators and sensors that constantly improve the capabilities of swimming robots by replicating the locomotion of aquatic vertebrates.

What could one-day serve as a more advanced under-water vehicle also serves another purpose: the fish replica with sensory feedback offers important insights into fish neuromechanics and their morphological intelligence, advancing the field of biology.

Wirtschaftsministerin Hoffmeister-Kraut: „Unser Ziel ist es, neuestes Knowhow aus der Forschung noch besser und schneller in innovative Produkte und Geschäftsmodelle umzusetzen“

Mit rund 14 Millionen Euro aus der Rücklage „Zukunftsland BW – Stärker aus der Krise: Invest BW“ fördert das Ministerium für Wirtschaft, Arbeit und Wohnungsbau den Ausbau des „KI-Fortschrittszentrums Lernende Systeme im Cyber Valley“ um weitere Angebote sowie einen neuen Forschungsschwerpunkt „Kognitive Robotik“. Die Fraunhofer-Gesellschaft stellt bis 2024 weitere 9 Millionen Euro für den Ausbau zur Verfügung. 

„Die Kombination von künstlicher Intelligenz und Robotik eröffnet für die baden-württembergische Wirtschaft große Chancen. Mit dem Ausbau des Fortschrittszentrums tragen wir maßgeblich dazu bei, die Entwicklung und erfolgreiche Kommerzialisierung dieser Schlüsseltechnologien im Land nachhaltig zu stärken. Unser Ziel ist es, neuestes Knowhow aus der Forschung noch besser und schneller in innovative Produkte und Geschäftsmodelle umzusetzen. Damit wollen wir auch dazu beitragen, dass unsere Wirtschaft die negativen Auswirkungen der Corona-Pandemie möglichst rasch überwindet und gestärkt aus der Krise hervorgeht“, sagte Wirtschaftsministerin Dr. Nicole Hoffmeister-Kraut heute (25. Februar) in Stuttgart.

Baden-Württemberg ist bereits heute ein Hidden Champion in der Robotertechnik. Der Anteil des Landes an den Robotik-Herstellern in Deutschland beträgt 26 Prozent. Zunehmend neue Einsatzmöglichkeiten für Roboter liegen beispielsweise in der Produktion und Logistik, im Handel, im Gesundheitswesen oder in der Landwirtschaft. „In diesem stark wachsenden Markt an der Schnittstelle von digitaler und physischer Welt kann Baden-Württemberg eine führende Rolle als Entwicklungs- und Wertschöpfungsstandort einnehmen. Dieses Potenzial wollen wir nutzen, indem wir die Verzahnung von KI- und Robotik-Forschung sowie von Wissenschaft und Wirtschaft gezielt vorantreiben“, so die Ministerin weiter.

Seit Oktober 2019 unterstützt das „Fortschrittszentrum Lernende Systeme im Cyber Valley“ Unternehmen dabei, die Potentiale der künstlichen Intelligenz (KI) wirtschaftlich zu nutzen. Dieses Zentrum für wirtschaftsnahe KI-Forschung und Technologietransfer wird mit der aktuellen Förderung stark ausgebaut. Mit den zusätzlichen Mitteln werden einerseits die Unterstützungsangebote für Firmen deutlich ausgeweitet und das Zentrum andererseits um einen neuen Forschungsschwerpunkt, die „Kognitive Robotik“, erweitert. Hierbei geht es um die Entwicklung von Robotern, die mithilfe von Künstlicher Intelligenz beispielsweise in der Lage sind, Aufgaben in unbekannter Umgebung selbständig durchzuführen oder von anderen Robotern zu lernen.

Die Nachfrage nach den verschiedenen Unterstützungsangeboten des Fortschrittszentrums ist bisher deutlich größer als das verfügbare Angebot. „Deshalb zünden wir beim Technologietransfer jetzt den Nachbrenner und stocken die Kapazitäten für die Unterstützung der Unternehmen deutlich auf. Außerdem werden wir auch ganz neue Transferformate ausprobieren. Damit wollen wir erreichen, dass möglichst viele Unternehmen aller Größenordnungen und Branchen von den Unterstützungsangeboten profitieren“, sagte Hoffmeister-Kraut.

Weitere Informationen

Das KI-Fortschrittszentrum wurde gegründet, um bei der Schlüsseltechnologie künstliche Intelligenz die Brücke von der Grundlagenforschung in die kommerzielle Anwendung zu schlagen. Es wird von den Stuttgarter Fraunhofer-Instituten IAO und IPA betrieben und ist Teil des Cyber Valley, einer der größten Forschungskooperationen auf dem Gebiet der Künstlichen Intelligenz in Europa. 

Die Unterstützungsangebote des KI-Fortschrittszentrums richten sich insbesondere an den Mittelstand und an Startups. Die Fraunhofer-Forscher haben zusammen mit Unternehmen in den vergangenen Monaten unter anderem 44 Machbarkeitsstudien für konkrete KI-Innovationen in der Produktion und im Dienstleistungssektor durchgeführt. Diese Studien sollen den Weg für die Entwicklung neuartiger KI-Produkte und -Dienstleistungen ebnen. 

Interessierte Unternehmen können sich über die Internetseite www.ki-fortschrittszentrum.de noch bis 18. März mit ihren Anwendungsfällen um eine Machbarkeitsstudie bewerben. Im Sommer 2021 wird eine weitere Bewerbungsrunde durchgeführt.

Wie wirken intelligente Systeme in der Gesellschaft? Dieser Frage widmet sich das neu gegründete „Interchange Forum for Reflecting on Intelligent Systems“ (IRIS) an der Universität Stuttgart. Mit der Wahl von Jun.-Prof. Maria Wirzberger (Institut für Erziehungswissenschaft) zur Sprecherin und Prof. Steffen Staab (Institut für Parallele und Verteilte Systeme) zum Co-Sprecher nimmt der Forschungsverbund nun seine Arbeit auf.

Ein strategisches Ziel der Universität ist es, Wissen zu schaffen, damit die Gesellschaft ihre Zukunft verantwortungsvoll gestalten kann. Mit dem Verbund IRIS wollen Forschende gemeinsam die Grundlagen, Mechanismen, Implikationen und Effekte intelligenter Systeme in der Forschung, Lehre und im Hinblick auf die Gesamtgesellschaft kritisch reflektieren. Im Spannungsfeld von KI und Ethik fragen die Wissenschaftlerinnen und Wissenschaftler zum Beispiel, wie man unfaire Diskriminierungen durch den Einsatz von Künstlicher Intelligenz bei automatisierten Entscheidungen oder Stereotype in der Technikentwicklung vermeiden kann.

Prof. Wolfram Ressel, der Rektor der Universität Stuttgart, kommentiert die Einrichtung erfreut: „Im neuen Forschungsverbund IRIS zeigt die Universität Stuttgart das, was sie besonders gut kann: ein hochaktuelles Thema aus unterschiedlichsten Blickwinkeln und über Fächergrenzen hinweg zu diskutieren und zu erforschen. IRIS führt Wissenschaftlerinnen und Wissenschaftler aus allen Disziplinen der Universität zusammen – die KI-Forscherin und den Philosophen, den Sprachwissenschaftler und die Software-Ingenieurin – um gemeinsam intelligente Systeme verantwortlich und zukunftsfähig zu gestalten. Unser Ziel ist es, mit dieser in IRIS gebündelten Kompetenz eine Führungsposition in der Reflexion intelligenter Systeme einzunehmen.“

Jun.-Prof. Maria Wirzberger, die Sprecherin des neuen Forschungsschwerpunkts IRIS, und ihr Team beschäftigt unter anderem die Frage, wie Diskriminierung durch Technik entsteht und wie man dem entgegenwirken kann. Sie sagt: „Vereinfacht gesagt funktionieren Algorithmen wie Schubladen. funktionieren Algorithmen wie Schubladen. Sie beruhen auf Standards, die von Menschen gesetzt werden und darum auch mit deren Stereotypen behaftet sein können. Diese Stereotype sind oft unbewusst und fließen damit unreflektiert in die Technikentwicklung ein.“ Co-Sprecher Prof. Steffen Staab arbeitet mit seinem Team interdisziplinär daran, technische Entscheidungsfindung, wie Darlehensbewilligung durch Künstliche Intelligenz, ganzheitlich zu verstehen. „Wir haben in den letzten Jahren gelernt, wie der naive Einsatz von Künstlicher Intelligenz für automatisierte Entscheidungen zu unfairer Diskriminierung führen kann. Aus diesem Grund entwickeln wir neue Methoden zur Vermeidung, Erkennung und Erklärung von Un-/ Fairness“, sagt er.

Weitere Aufgaben und Angebote von IRIS

Neben der Forschung schafft IRIS Austauschmöglichkeiten, um inner- und außerhalb der Universität mit Partnern aus Gesellschaft und Wirtschaft über aktuelle ethische und gesellschaftliche Herausforderungen intelligenter Systeme zu diskutieren, angefangen von Datenethik über informationelle Selbstbestimmung bis zu vertrauenswürdiger KI. Und auch die Lehre steht im Fokus: Das Lehrforum Reflecting on Intelligent Systems in the Next Generation (RISING) unter der Leitung von Wirzberger vermittelt Studierenden aller Fächer die kritische Reflektion intelligenter Systeme.

Für einen verantwortungsvollen Umgang mit intelligenten Systemen

Wie hilft IRIS, etwas gegen Stereotype in der Technikentwicklung zu tun? Sprecherin Wirzberger erklärt: „Der Nutzen ist, dass Studierende, wenn sie in den Beruf gehen, für dieses Thema sensibilisiert sind. Dann passieren solche Dinge wie diskriminierende Technik nicht mehr in diesem Ausmaß.“ Zum anderen soll die internationale Vernetzung der Universität gestärkt werden. Wenn unterschiedliche Menschen zusammenkommen, entständen gute Ideen und es gäbe einen lebhaften Austausch, meint die Wissenschaftlerin. Am neuen universitätsweiten Forschungsverbund IRIS sind Wissenschaftlerinnen und Wissenschaftler aus den Exzellenzclustern sowie aus allen Profil- und Potenzialbereichen der Universität beteiligt. Gefördert wird IRIS durch die Deutsche Forschungsgemeinschaft (DFG) im Rahmen der Exzellenzstrategie des Bundes und der Länder sowie durch den Forschungsfonds der Universität.

Mit „Generative Radiance Fields for 3D-Aware Image Synthesis“ (GRAF) haben Wissenschaftler/innen der Universität Tübingen und des Max-Planck-Instituts für Intelligente Systeme die Qualität von maschinell-generierten 3D-Bildern erheblich verbessert.

Beim maschinellen Sehen besteht eine zentrale Herausforderung darin, Maschinen beizubringen, in komplexen 3D-Szenen genauso zu „sehen“ und zu schlussfolgern wie Menschen es tun. Das langfristige Ziel ist, sichere und zuverlässige Technologien in Bereichen wie dem autonomem Fahren und Virtual Reality zu ermöglichen. Zwar ist die Wissenschaft noch weit davon entfernt, dieses Ziel zu erreichen – mit „GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis“ haben Forschende der Universität Tübingen und des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) nun aber einen neuen, fortschrittlichen Ansatz entwickelt. Sie präsentierten ihre Arbeiten diese Woche auf der „Thirty-fourth Conference on Neural Information Processing Systems“ (NeurIPS 2020). NeurIPS ist eine der weltweit führenden Konferenzen im Forschungsbereich des maschinellen Lernens. Die diesjährige Ausgabe wird bis zum 12. Dezember virtuell abgehalten.

„Menschen sind in der Lage, ein zweidimensionales Bild zu betrachten und sich genau vorzustellen, wie es aus verschiedenen Blickwinkeln in 3D aussieht“, sagt Katja Schwarz, die Hauptautorin der Arbeit. „Aber sie können noch viel mehr: Sie können sich völlig neue Szenen vorstellen, weil sie deren zugrunde liegenden Konzepte verstehen. Das erfordert eine ausgeklügelte Fähigkeit, dreidimensional zu denken. Maschinen haben diese Fähigkeit einfach noch nicht. Sie können bereits sehr gut neue 2D-Bilder erzeugen, aber die Wissenschaft arbeitet noch immer daran, sie in die Lage zu versetzen, besser in 3D zu denken und abstrakte dreidimensionale Konzepte zu erlernen. Mit GRAF bieten wir einen Ansatz an, der die Synthese dreidimensionaler Bilder für einzelne Objekte erheblich verbessert, und machen damit einen wichtigen Schritt in diese Richtung.“

Schwarz ist derzeit Doktorandin in der Autonomous-Vision-Gruppe, die sowohl an der Universität Tübingen als auch am MPI-IS beheimatet ist. Ihre Koautoren sind ihre Forscherkolleg/innen Yiyi Liao und Michael Niemeyer, sowie Gruppenleiter Andreas Geiger.

Zwar gibt es bereits Methoden zur Synthese dreidimensionaler Bilder. Diese erfordern aber oft 3D-Trainingsdaten oder mehrere Bilder aus derselben Szene mit bekannten Kamerapositionen. Es kann schwierig sein, diese Informationen in realen Situationen zu sammeln. Ein selbstfahrendes Auto muss bespielweise sicher fahren können, wenn Fußgänger/innen plötzlich über die Straße laufen oder andere unerwartete Hindernisse auftauchen. Aus guten Gründen können solche Szenen im wirklichen Leben nicht vorab aufgezeichnet werden. Daher ist die Simulation ein wichtiger Aspekt im Hinblick auf das Training von Algorithmen.Als Antwort auf diese Herausforderung wollten die Wissenschaftler/innen ein 3D-Modell erstellen, das nur aus 2D-Bildern ohne bekannte Kameraposition lernt. Dies ist eine komplexe Aufgabe, und bestehende Ansätze erzeugen entweder eine niedrige Bildauflösung oder inkonsistente Objektdarstellungen, wenn sich der Blickwinkel ändert. Mit GRAF strebten die Forschenden ein Modell an, das sich auf eine hohe Bildauflösung skalieren lässt und gleichzeitig konsistente Objektdarstellungen liefert. Langfristig könnten solche Modelle realistische Simulationen für Trainingsroboter oder autonome Fahrzeuge erzeugen. Um herauszufinden, wie ein generatives Modell allein auf der Grundlage von 2D-Bildern die Dreidimensionalität der Welt erfassen kann, bauten die Forschenden eine virtuelle Kamera in ihr Modell ein. Sie steuerten dann die Position dieser Kamera, sodass sie die Objekte in den Bildern aus verschiedenen Winkeln betrachten konnte.

Die 3D Objekte werden durch eine spezielle Repräsentation, bekannt als „Radiance Fields“, speichereffizient im Computer dargestellt. Dies ist entscheidend, damit die Methode auf eine hohe Bildauflösung skaliert. Aus einem bestimmten Kamerastandpunkt kann jedes 3D-Objekt dann in ein 2D-Bild gerendert werden. Durch den Vergleich der erzeugten Renderings mit realen Bildern lernt das Modell, 3D-konsistente Bilder aus verschiedenen Blickwinkeln hinweg zu erzeugen.

„Wir haben unser Modell anhand mehrerer synthetischer und realer Datensätze analysiert und festgestellt, dass unser Ansatz mit ‚Radiance Fields‘ gut hochauflösend skaliert und dabei über verschiedene Kameraperspektiven hinweg konsistent bleibt“, sagt Schwarz. Die Wissenschaftler/innen testeten GRAF nicht nur an Bildern von Objekten wie Autos und Stühlen, sondern auch an natürlichen Bildern von Menschen, Vögeln und Katzen – mit sehr guten Ergebnissen. In einem nächsten Schritt planen sie, ihren Ansatz über einzelne Objekte hinaus auf noch komplexere Szenen der realen Welt auszudehnen.

Weitere Informationen über das GRAF-Projekt finden Sie unter https://autonomousvision.github.io/graf/.

Zwei führende Akteure auf dem Gebiet der künstlichen Intelligenz (KI) haben eine Absichtserklärung (Memorandum of Understanding, MoU) über eine künftige enge Zusammenarbeit geschlossen: NEC Laboratories Europe sowie die Cyber Valley Forschungseinrichtungen Max-Planck-Institut für Intelligente Systeme (MPI-IS), Universität Stuttgart und Universität Tübingen. Diese Kooperation entsteht auch vor dem Hintergrund, dass das Land Baden-Württemberg und seine japanische Partnerprovinz, die Präfektur Kanagawa, ihre Kräfte bündeln und die Entwicklung der KI-Technologie unterstützen.

Die Absichtserklärung umreißt die Absicht der NEC Laboratories Europe GmbH und der Cyber Valley Forschungspartner, die wissenschaftliche Zusammenarbeit und die Unterstützung regionaler KI-Start-ups auszuloten.

Cyber Valley ist Europas größtes Forschungskonsortium im Bereich der künstlichen Intelligenz mit Partnern aus Industrie und Wissenschaft, unter anderem in den Bereichen maschinelles Lernen und intelligente Systeme. Die Vereinbarung stellt für das Land Baden-Württemberg eine wichtige Errungenschaft dar, da sie die Position von Cyber Valley als führendes Konsortium in der KI-Forschung weiter stärkt.

Das MoU wurde am 19. November auf der Kooperationsveranstaltung Baden-Württemberg – Kanagawa bekannt gegeben. Die virtuelle Veranstaltung, die von Baden-Württemberg International ausgerichtet wurde, stellte die wissenschaftliche Zusammenarbeit zwischen dem Land Baden-Württemberg und der Präfektur Kanagawa in den Vordergrund. Baden-Württemberg International ist das Kompetenzzentrum des Landes Baden-Württemberg für internationale wirtschaftliche und wissenschaftliche Zusammenarbeit.

Die Vereinbarung zwischen NEC Laboratories Europe und den Cyber Valley Forschungspartnern legt den Grundstein für ein starkes, diversifiziertes wissenschaftliches Wachstum in Baden-Württemberg. „Wir freuen uns auf die Zusammenarbeit mit NEC Laboratories Europe im Bereich der KI-Forschung und der Förderung von Start-ups in der Region. Mit Cyber Valley haben das MPI-IS, die Universität Stuttgart und die Universität Tübingen einen weltweit bekannten KI-Hotspot entwickelt, der weiterhin einige der besten Talente und führenden Unternehmen in diesem Bereich anzieht. Dieses MoU stellt einen weiteren Meilenstein in der Entwicklung dieses Ökosystems dar“, sagt Michael Black, Direktor der Abteilung Perzeptive Systeme am MPI-IS und Cyber Valley Sprecher.

NEC Laboratories Europe ist die europäische Forschungsabteilung der NEC Corporation, einem weltweit führenden Unternehmen für Technologie- und Kommunikationsinfrastrukturen und -lösungen. Zu den Stärken von NEC gehören die originäre Forschung im Bereich der KI und deren angewandter Einsatz. Für Cyber Valley wird die zukünftige Forschungszusammenarbeit von NEC eine globale Perspektive in KI-Forschungsbereichen wie der Biotechnologie bieten.

Für NEC Laboratories Europe bietet die Zusammenarbeit gemeinsame wissenschaftliche Erkenntnisse und das Potenzial für beschleunigte wissenschaftliche Entdeckungen. Dr. Jürgen Quittek, Geschäftsführer von NEC Laboratories Europe, erklärt: „KI ist eine Technologie mit großem Potenzial, unsere Gesellschaft zu verändern. Dennoch sind die technischen Herausforderungen so gewaltig, dass selbst führende Institutionen von einer Zusammenarbeit erheblich profitieren können.“

Vertiefende Gespräche werden Anfang 2021 stattfinden, um den Umfang und die Art der Zusammenarbeit zu definieren – mit der Absicht, die Beziehung in einer rechtsverbindlichen Vereinbarung zu formalisieren.