User Group: Wissenschaftler:innen

Mit einer Reihe von zehn Studien zeigt das Fraunhofer KI-Fortschrittszentrum die Nutzenpotenziale von KI-Anwendungen für unterschiedliche Bereiche der industriellen Produktion und Dienstleistung auf. Als Teil des Cyber Valley Forschungskonsortiums unterstützen die interdisziplinären Forschungsteams der Fraunhofer-Institute IAO und IPA Unternehmen dabei, KI-basierte Applikationen und deren Kommerzialisierung voranzutreiben.

Die reale Welt erfassen, synthetisieren und Menschen, Objekte und Räume so realistisch modellieren, dass ein Betrachter den Unterschied nicht mehr wahrnimmt – Justus Thies hat sich für die kommenden fünf Jahre ehrgeizige Ziele gesetzt. Mit seiner Forschung hat er bereits einen wesentlichen Beitrag dazu geleistet, Videoinhalte fotorealistisch darzustellen. Das bringt eine große Verantwortung mit sich. Die Reinszenierung von Gesichtern prominenter Personen zum Beispiel sieht täuschend echt aus; damit wird es für Laien immer schwieriger zu erkennen, ob die Person einen Satz auch wirklich gesagt hat. Mit dem Wissen über den Entstehungsprozess manipulierter Medieninhalte – sogenannter Deep Fakes – will Thies einen Schwerpunkt auf die Entwicklung von Algorithmen legen, die gefälschte Videoinhalte automatisch erkennen und kennzeichnen.

Tübingen – Zum 1. April 2021 tritt Justus Thies eine Stelle als Max-Planck-Forschungsgruppenleiter an. Seine Gruppe „Neural Capture & Synthesis“ ist am Tübinger Standort des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) angesiedelt. Thies, der zuvor als Postdoc an der Technischen Universität München (TUM) tätig war, will das Forschungsfeld der Erfassung und Synthese der realen Welt, von Menschen, Objekten, Räumen und sogar ganzen Szenen, maßgeblich prägen. Ziel seiner Forschungstätigkeit ist es, den menschlichen Körper und Objekte so realistisch zu synthetisieren und zu modellieren, dass ein Betrachter den Unterschied nicht mehr wahrnimmt. Basierend auf Deep-Learning-Methoden und dem sogenannten neuronalen Rendering hat Thies‘ Methode der virtuellen Inszenierung von Gesichtern eine Qualität erreicht, die in Wissenschaft und Medien große Aufmerksamkeit erregt hat. Durch die Kombination neuartiger Methoden des maschinellen Lernens mit klassischen Computergrafik- und Computer-Vision-Ansätzen erzielt Thies vielversprechende Ergebnisse.

Immer realistischere Avatare schaffen

Thies‘ Forschung könnte in einer Vielzahl von Bereichen Anwendung finden, von autonomen Fahrzeugen oder Haushaltsrobotern bis hin zu medizinischen Anwendungen und der Video-Postproduktion. Sein Hauptziel ist es jedoch, die Telekommunikation zu revolutionieren.

„Ich möchte die Art und Weise verändern, wie Menschen miteinander kommunizieren, die sich nicht persönlich gegenüberstehen können“, sagt er. „Wenn wir in Zukunft mit einer Person sprechen wollen, die sich an einem anderen Ort befindet, werden wir eine Virtual- oder Augmented-Reality-Brille tragen, die einen fotorealistischen 3D-Avatar dieser Person direkt vor uns projiziert. Die Person wird digital so rekonstruiert, dass es sich anfühlt, als wäre sie im selben Raum. Das wird eine erstaunliche Erfahrung sein – allerdings erst dann, wenn das digitale Abbild des Menschen in Aussehen, Mimik und Bewegungen von der realen Person nicht mehr zu unterscheiden ist. Daher ist es mein Ziel, jeden in die Lage zu versetzen, einen 3D-Avatar von sich selbst zu erstellen, der komplett realistisch ist.“

Thies möchte, dass Nutzer sich selbst mit handelsüblichen Kameras erfassen können, ohne auf komplexe Hardware angewiesen zu sein. Menschen zum Beispiel in einem 4D-Körperscanner zu vermessen, der dreidimentionale Scans von Menschen in Bewegung erstellt, wäre viel zu aufwändig, um es in die Breite zu bringen. „Eine Idee ist zum Beispiel, die Kameras von Spielekonsolen zu nutzen, deren Sensoren Farbe und Tiefe erfassen. Ein eingebauter Abstandssensor misst, wie lange das Licht braucht, um von der Kamera zur Szene und zurück zu gelangen. So erhalte ich eine dreidimensionale Punktwolke einer Person, aus der ich dann einen Avatar erstellen kann,“ erklärt der Forscher.

Synchronisierung der Bewegung eines Gesichts mit dem Eingangston

Ein weiteres potentielles Anwendungsgebiet von Thies‘ Forschung ist die Video-Postproduktion. In synchronisierten Filmen könnten die Lippenbewegungen der Schauspieler der jeweiligen Sprache angepasst werden. „Um die Mimik und das Aussehen eines bestimmten Gesichts zu lernen, benötigt unser Algorithmus nur einen kurzen Videoclip von etwa zwei Minuten“, sagt Thies.

Diese Technologie, die auch als Echtzeit-Gesichts-Inszenierung, audio-gesteuerte Gesichts-Video-Synthese oder neuronales Puppenspiel bekannt ist, steckt noch in den Kinderschuhen. Sie wird von einem tiefen neuronalen Netzwerk gesteuert, das einen latenten 3D-Gesichtsmodellraum verwendet. Auf diese Weise kann zum Beispiel ein Video erstellt werden, das eine prominente Persönlichkeit zeigt, die mit einer anderen Stimme spricht, oder sogar die Person zeigt, wie sie Dinge mit ihrer eigenen Stimme sagt, die im echten Leben so nie ausgesprochen wurden.

„Das ist die negative Seite des Facial Reenactment, da die Erzeugung von fotorealistischen Bildern missbraucht werden kann. Die Algorithmen, die bei der Lippensynchronisation eines Films angewendet werden, können auch dazu verwendet werden, eine Rede eines Staatsoberhauptes zu kreieren und ihm oder ihr Worte in den Mund zu legen, die gefälscht und unwahr sind. Wenn die Menschen die Fälschung nicht bemerken, könnte dies zu Verwirrung führen, ja sogar eine ganze Gesellschaft untergraben. Im Internet tauchen zunehmend Fälschungen auf, die nur schwer zu erkennen sind. Digitale Multimedia-Forensik ist daher ein weiterer Pfeiler meiner Forschung. Ich möchte Algorithmen entwickeln, die automatisch erkennen, ob eine Videosequenz synthetisch ist oder manipuliert wurde“, so Thies.

Deep-Fake-Technologie verstehen, um sie zu erkennen

Bei der Multimedia-Forensik geht es darum, einen KI-Algorithmus mit einem großen Datensatz zu trainieren, damit gefälschte Videos anhand der in einer Videosequenz sichtbaren Artefakte identifiziert werden können. Solche Artefakte treten oft entlang der Grenzlinie zwischen dem synthetisierten Gesicht und dem realen Hintergrund auf. Mit Hilfe des Algorithmus wird auch das Rauschverhalten der Farben im Bild untersucht, womit es von echten Videos unterschieden werden könnte. Auf diese Weise kann mit Hilfe künstlicher Intelligenz erkannt werden, ob eine Manipulation stattgefunden hat. „Das ist genau die Art von Technik, die dann automatisiert werden kann“, sagt Thies. „Es gibt bereits Versuche, diese Deep-Fake-Erkennungs-Technik als Browser-Plug-In für jedermann anzubieten. So könnten gefälschte Bilder und Videos automatisch erkannt und gekennzeichnet werden. So würden Laien vor Fake News geschützt.“

Die Entwicklung von Multimedia-Forensik ist ein Katz- und Mausspiel, denn Deep-Fakes werden immer besser. Heutzutage ist es relativ einfach, einen Deep Fake zu erkennen. Das wird in naher Zukunft aber immer schwieriger. Die Erstellung fotorealistischerer Videoinhalte ist daher mit einer großen Verantwortung verbunden. „Mit meiner Arbeit lege ich die Messlatte höher, damit nicht jeder einfach ein Video fälschen kann und es unbemerkt bleibt. Durch das Wissen über den Erstellungsprozess können wir die fortschrittlichsten Algorithmen zur Fälschungserkennung entwickeln. Wir müssen bei dieser Technologie ganz vorne mit dabei sein, um die Fälschungen zu erkennen, zu markieren und zu entlarven“, so Thies abschließend.

_____

Dr. Justus Thies ist ehemaliger Postdoktorand an der Technischen Universität München. Seit September 2017 arbeitete er im Visual Computing Lab von Prof. Matthias Nießner. Zuvor promovierte er an der Universität Erlangen-Nürnberg, betreut durch Günther Greiner. Seinen Master of Science erhielt Thies von der Universität Erlangen-Nürnberg. Während der Zeit als Doktorand arbeitete er mit anderen Institutionen zusammen, mit Praktika an der Stanford University und dem Max-Planck-Institut für Informatik in Saarbrücken.

Ein medizinisches Projekt markierte den Beginn von Thies‘ Forschung zur Erfassung und Synthese von Bild- und Videoinhalten. Ziel war es, die Gesichter von Patienten mit Gaumenspalten zu erfassen. Über mehrere Jahrzehnte wurden die Patienten immer wieder fotografiert. So konnten die Wissenschaftler sehen, wie sich ihre Gesichter im Laufe der Behandlung veränderten und wie ihre Wunden heilten. Mit dem von ihm entwickelten Ansatz konnten neue Patienten mit einer Gaumenspalte sehen wie bestimmte chirurgische Behandlungsmethoden dann später aussehen würden.

Seine Forschung kann auf diesem Youtube-Kanal gesehen werden.

Their work “Modeling and Control of a Soft Robotic Fish with Integrated Soft Sensing” was published in Wiley’s Advanced Intelligent Systems journal, in a special issue on “Energy Storage and Delivery in Robotic Systems”.

Each side of the robotic fish is lined with soft artificial muscles made of rubber-like small silicone chambers. Through these pockets, the researchers pumped air alternately on each side. While the air pockets on one side expand, they create a curvature, contracting the air pockets on the other side. This causes the robotic fish to bend right and left, swinging its tail, resembling the wave-like movement pattern seen by real fish.

To measure the bending, the scientists embedded state of the art soft strain sensors, consisting of a thin layer of windy microchannels filled with liquid metal and encapsulated in silicone. What was now like a wire, could stretch like a phone cord to a length of 900%. The more the air pressurized each silicone chamber of the actuator, the more the sensor placed atop bends, and its liquid metal ‘wire’ was elongated. The scientists then connected the sensor to an Ohmmeter to measure the electrical resistance. The greater the stretching elongation, the higher the electrical resistance within the ‘wire’. This number provided the scientists with data of how the curvature of their robotic fish changed given a certain change of air pressure.

The scientists then put this robotic fish platform under water in a flow tank. In several experiments they tested how the air pressure controller took the reading from the sensor to measure the swimming performance of the robot – an information loop that was feeding a self-learning algorithm inside the controller to push just the right amount of air through the pneumatic pockets so the swimming perfectly matched the different water flow velocities.

“We developed a hydrodynamic model that can predict how our soft robotic fish will behave. This builds upon previous findings where we measured peak thrust during swimming with co-contraction and body stiffening, and tested soft sensors in feedforward undulatory motion. Closing the loop with proprioceptive soft sensory feedback allows the robot to respond to different flow conditions”, Ardian Jusufi explains. He is the corresponding author of the publication and specializes on soft active materials, biomimetics, and robotics. Jusufi is the head of the Max Planck Cyber Valley research group for “Locomotion in Biorobotic and Somatic Systems” at the MPI-IS. “Our project builds upon several previous collaborative papers on soft robots and biorobotic modeling of swimming robots. To advance modeling and closed-loop control, our team has combined soft robotics expertise from three continents.”

“In this work, we have used a simple approach to build a data-driven model of a soft robotic fish, and extended it with the controller design. This model could also be easily extended without the need of completely rebuilding it, for example to study the scaling effects of robots or testing different types of sensing techniques”, describes Yu-Hsiang Lin of the “Locomotion in Biorobotic and Somatic Systems” group at the MPI-IS, and first author.

In their publication, the scientists describe the sensors as a completely new design technique, labelling them “hyper-elastic liquid metal strain sensors.” Developed by Prof. Yong-Lae Park and his team at Seoul National University, and Daniel Vogt from Harvard University, they are a true innovation. “In biology as well as in soft robotics, with an entirely soft robot, we have infinite degrees of freedom. That means any part of the body can deform. It is hard to estimate how the fish’s shape changes, because we cannot put an indefinite number of sensors onto its body, as it would be possible with rigid robots with a limited number of joints,” Park says.

“This robot will allow us to test and refine hypotheses regarding the neuromechanics of swimming animals as well as help us improve future underwater robots,” Jusufi continues. “In addition to characterizing the soft strain sensor under submerged dynamic conditions for the first time, we also developed a simple and flexible data-driven modelling approach in order to design our swimming feedback controller. The model will be of interest to the scientific community and will help accelerate future work in design and operation of soft robots. In forthcoming research, we will also utilize soft strain sensors in terrestrial robots that climb and can overcome complex obstacles.”

Understanding the underlying mechanisms how soft animals like fish swim helps in designing artificial soft structures and make it possible to use them to build robots. Such animal-inspired robots could one day be used to explore the depths of the sea and provide valuable data of marine life, avoiding noise and reducing the risk of entanglement that rigid, conventionally propelled submarines face. Swimming robots could also become a more energy-efficient option, which is why more and more scientists have shown a great deal of effort in developing soft actuators and sensors that constantly improve the capabilities of swimming robots by replicating the locomotion of aquatic vertebrates.

What could one-day serve as a more advanced under-water vehicle also serves another purpose: the fish replica with sensory feedback offers important insights into fish neuromechanics and their morphological intelligence, advancing the field of biology.

Wirtschaftsministerin Hoffmeister-Kraut: „Unser Ziel ist es, neuestes Knowhow aus der Forschung noch besser und schneller in innovative Produkte und Geschäftsmodelle umzusetzen“

Mit rund 14 Millionen Euro aus der Rücklage „Zukunftsland BW – Stärker aus der Krise: Invest BW“ fördert das Ministerium für Wirtschaft, Arbeit und Wohnungsbau den Ausbau des „KI-Fortschrittszentrums Lernende Systeme im Cyber Valley“ um weitere Angebote sowie einen neuen Forschungsschwerpunkt „Kognitive Robotik“. Die Fraunhofer-Gesellschaft stellt bis 2024 weitere 9 Millionen Euro für den Ausbau zur Verfügung. 

„Die Kombination von künstlicher Intelligenz und Robotik eröffnet für die baden-württembergische Wirtschaft große Chancen. Mit dem Ausbau des Fortschrittszentrums tragen wir maßgeblich dazu bei, die Entwicklung und erfolgreiche Kommerzialisierung dieser Schlüsseltechnologien im Land nachhaltig zu stärken. Unser Ziel ist es, neuestes Knowhow aus der Forschung noch besser und schneller in innovative Produkte und Geschäftsmodelle umzusetzen. Damit wollen wir auch dazu beitragen, dass unsere Wirtschaft die negativen Auswirkungen der Corona-Pandemie möglichst rasch überwindet und gestärkt aus der Krise hervorgeht“, sagte Wirtschaftsministerin Dr. Nicole Hoffmeister-Kraut heute (25. Februar) in Stuttgart.

Baden-Württemberg ist bereits heute ein Hidden Champion in der Robotertechnik. Der Anteil des Landes an den Robotik-Herstellern in Deutschland beträgt 26 Prozent. Zunehmend neue Einsatzmöglichkeiten für Roboter liegen beispielsweise in der Produktion und Logistik, im Handel, im Gesundheitswesen oder in der Landwirtschaft. „In diesem stark wachsenden Markt an der Schnittstelle von digitaler und physischer Welt kann Baden-Württemberg eine führende Rolle als Entwicklungs- und Wertschöpfungsstandort einnehmen. Dieses Potenzial wollen wir nutzen, indem wir die Verzahnung von KI- und Robotik-Forschung sowie von Wissenschaft und Wirtschaft gezielt vorantreiben“, so die Ministerin weiter.

Seit Oktober 2019 unterstützt das „Fortschrittszentrum Lernende Systeme im Cyber Valley“ Unternehmen dabei, die Potentiale der künstlichen Intelligenz (KI) wirtschaftlich zu nutzen. Dieses Zentrum für wirtschaftsnahe KI-Forschung und Technologietransfer wird mit der aktuellen Förderung stark ausgebaut. Mit den zusätzlichen Mitteln werden einerseits die Unterstützungsangebote für Firmen deutlich ausgeweitet und das Zentrum andererseits um einen neuen Forschungsschwerpunkt, die „Kognitive Robotik“, erweitert. Hierbei geht es um die Entwicklung von Robotern, die mithilfe von Künstlicher Intelligenz beispielsweise in der Lage sind, Aufgaben in unbekannter Umgebung selbständig durchzuführen oder von anderen Robotern zu lernen.

Die Nachfrage nach den verschiedenen Unterstützungsangeboten des Fortschrittszentrums ist bisher deutlich größer als das verfügbare Angebot. „Deshalb zünden wir beim Technologietransfer jetzt den Nachbrenner und stocken die Kapazitäten für die Unterstützung der Unternehmen deutlich auf. Außerdem werden wir auch ganz neue Transferformate ausprobieren. Damit wollen wir erreichen, dass möglichst viele Unternehmen aller Größenordnungen und Branchen von den Unterstützungsangeboten profitieren“, sagte Hoffmeister-Kraut.

Weitere Informationen

Das KI-Fortschrittszentrum wurde gegründet, um bei der Schlüsseltechnologie künstliche Intelligenz die Brücke von der Grundlagenforschung in die kommerzielle Anwendung zu schlagen. Es wird von den Stuttgarter Fraunhofer-Instituten IAO und IPA betrieben und ist Teil des Cyber Valley, einer der größten Forschungskooperationen auf dem Gebiet der Künstlichen Intelligenz in Europa. 

Die Unterstützungsangebote des KI-Fortschrittszentrums richten sich insbesondere an den Mittelstand und an Startups. Die Fraunhofer-Forscher haben zusammen mit Unternehmen in den vergangenen Monaten unter anderem 44 Machbarkeitsstudien für konkrete KI-Innovationen in der Produktion und im Dienstleistungssektor durchgeführt. Diese Studien sollen den Weg für die Entwicklung neuartiger KI-Produkte und -Dienstleistungen ebnen. 

Interessierte Unternehmen können sich über die Internetseite www.ki-fortschrittszentrum.de noch bis 18. März mit ihren Anwendungsfällen um eine Machbarkeitsstudie bewerben. Im Sommer 2021 wird eine weitere Bewerbungsrunde durchgeführt.