User Group: Wissenschaftler:innen

Mit „Generative Radiance Fields for 3D-Aware Image Synthesis“ (GRAF) haben Wissenschaftler/innen der Universität Tübingen und des Max-Planck-Instituts für Intelligente Systeme die Qualität von maschinell-generierten 3D-Bildern erheblich verbessert.

Beim maschinellen Sehen besteht eine zentrale Herausforderung darin, Maschinen beizubringen, in komplexen 3D-Szenen genauso zu „sehen“ und zu schlussfolgern wie Menschen es tun. Das langfristige Ziel ist, sichere und zuverlässige Technologien in Bereichen wie dem autonomem Fahren und Virtual Reality zu ermöglichen. Zwar ist die Wissenschaft noch weit davon entfernt, dieses Ziel zu erreichen – mit „GRAF: Generative Radiance Fields for 3D-Aware Image Synthesis“ haben Forschende der Universität Tübingen und des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) nun aber einen neuen, fortschrittlichen Ansatz entwickelt. Sie präsentierten ihre Arbeiten diese Woche auf der „Thirty-fourth Conference on Neural Information Processing Systems“ (NeurIPS 2020). NeurIPS ist eine der weltweit führenden Konferenzen im Forschungsbereich des maschinellen Lernens. Die diesjährige Ausgabe wird bis zum 12. Dezember virtuell abgehalten.

„Menschen sind in der Lage, ein zweidimensionales Bild zu betrachten und sich genau vorzustellen, wie es aus verschiedenen Blickwinkeln in 3D aussieht“, sagt Katja Schwarz, die Hauptautorin der Arbeit. „Aber sie können noch viel mehr: Sie können sich völlig neue Szenen vorstellen, weil sie deren zugrunde liegenden Konzepte verstehen. Das erfordert eine ausgeklügelte Fähigkeit, dreidimensional zu denken. Maschinen haben diese Fähigkeit einfach noch nicht. Sie können bereits sehr gut neue 2D-Bilder erzeugen, aber die Wissenschaft arbeitet noch immer daran, sie in die Lage zu versetzen, besser in 3D zu denken und abstrakte dreidimensionale Konzepte zu erlernen. Mit GRAF bieten wir einen Ansatz an, der die Synthese dreidimensionaler Bilder für einzelne Objekte erheblich verbessert, und machen damit einen wichtigen Schritt in diese Richtung.“

Schwarz ist derzeit Doktorandin in der Autonomous-Vision-Gruppe, die sowohl an der Universität Tübingen als auch am MPI-IS beheimatet ist. Ihre Koautoren sind ihre Forscherkolleg/innen Yiyi Liao und Michael Niemeyer, sowie Gruppenleiter Andreas Geiger.

Zwar gibt es bereits Methoden zur Synthese dreidimensionaler Bilder. Diese erfordern aber oft 3D-Trainingsdaten oder mehrere Bilder aus derselben Szene mit bekannten Kamerapositionen. Es kann schwierig sein, diese Informationen in realen Situationen zu sammeln. Ein selbstfahrendes Auto muss bespielweise sicher fahren können, wenn Fußgänger/innen plötzlich über die Straße laufen oder andere unerwartete Hindernisse auftauchen. Aus guten Gründen können solche Szenen im wirklichen Leben nicht vorab aufgezeichnet werden. Daher ist die Simulation ein wichtiger Aspekt im Hinblick auf das Training von Algorithmen.Als Antwort auf diese Herausforderung wollten die Wissenschaftler/innen ein 3D-Modell erstellen, das nur aus 2D-Bildern ohne bekannte Kameraposition lernt. Dies ist eine komplexe Aufgabe, und bestehende Ansätze erzeugen entweder eine niedrige Bildauflösung oder inkonsistente Objektdarstellungen, wenn sich der Blickwinkel ändert. Mit GRAF strebten die Forschenden ein Modell an, das sich auf eine hohe Bildauflösung skalieren lässt und gleichzeitig konsistente Objektdarstellungen liefert. Langfristig könnten solche Modelle realistische Simulationen für Trainingsroboter oder autonome Fahrzeuge erzeugen. Um herauszufinden, wie ein generatives Modell allein auf der Grundlage von 2D-Bildern die Dreidimensionalität der Welt erfassen kann, bauten die Forschenden eine virtuelle Kamera in ihr Modell ein. Sie steuerten dann die Position dieser Kamera, sodass sie die Objekte in den Bildern aus verschiedenen Winkeln betrachten konnte.

Die 3D Objekte werden durch eine spezielle Repräsentation, bekannt als „Radiance Fields“, speichereffizient im Computer dargestellt. Dies ist entscheidend, damit die Methode auf eine hohe Bildauflösung skaliert. Aus einem bestimmten Kamerastandpunkt kann jedes 3D-Objekt dann in ein 2D-Bild gerendert werden. Durch den Vergleich der erzeugten Renderings mit realen Bildern lernt das Modell, 3D-konsistente Bilder aus verschiedenen Blickwinkeln hinweg zu erzeugen.

„Wir haben unser Modell anhand mehrerer synthetischer und realer Datensätze analysiert und festgestellt, dass unser Ansatz mit ‚Radiance Fields‘ gut hochauflösend skaliert und dabei über verschiedene Kameraperspektiven hinweg konsistent bleibt“, sagt Schwarz. Die Wissenschaftler/innen testeten GRAF nicht nur an Bildern von Objekten wie Autos und Stühlen, sondern auch an natürlichen Bildern von Menschen, Vögeln und Katzen – mit sehr guten Ergebnissen. In einem nächsten Schritt planen sie, ihren Ansatz über einzelne Objekte hinaus auf noch komplexere Szenen der realen Welt auszudehnen.

Weitere Informationen über das GRAF-Projekt finden Sie unter https://autonomousvision.github.io/graf/.

Zwei führende Akteure auf dem Gebiet der künstlichen Intelligenz (KI) haben eine Absichtserklärung (Memorandum of Understanding, MoU) über eine künftige enge Zusammenarbeit geschlossen: NEC Laboratories Europe sowie die Cyber Valley Forschungseinrichtungen Max-Planck-Institut für Intelligente Systeme (MPI-IS), Universität Stuttgart und Universität Tübingen. Diese Kooperation entsteht auch vor dem Hintergrund, dass das Land Baden-Württemberg und seine japanische Partnerprovinz, die Präfektur Kanagawa, ihre Kräfte bündeln und die Entwicklung der KI-Technologie unterstützen.

Die Absichtserklärung umreißt die Absicht der NEC Laboratories Europe GmbH und der Cyber Valley Forschungspartner, die wissenschaftliche Zusammenarbeit und die Unterstützung regionaler KI-Start-ups auszuloten.

Cyber Valley ist Europas größtes Forschungskonsortium im Bereich der künstlichen Intelligenz mit Partnern aus Industrie und Wissenschaft, unter anderem in den Bereichen maschinelles Lernen und intelligente Systeme. Die Vereinbarung stellt für das Land Baden-Württemberg eine wichtige Errungenschaft dar, da sie die Position von Cyber Valley als führendes Konsortium in der KI-Forschung weiter stärkt.

Das MoU wurde am 19. November auf der Kooperationsveranstaltung Baden-Württemberg – Kanagawa bekannt gegeben. Die virtuelle Veranstaltung, die von Baden-Württemberg International ausgerichtet wurde, stellte die wissenschaftliche Zusammenarbeit zwischen dem Land Baden-Württemberg und der Präfektur Kanagawa in den Vordergrund. Baden-Württemberg International ist das Kompetenzzentrum des Landes Baden-Württemberg für internationale wirtschaftliche und wissenschaftliche Zusammenarbeit.

Die Vereinbarung zwischen NEC Laboratories Europe und den Cyber Valley Forschungspartnern legt den Grundstein für ein starkes, diversifiziertes wissenschaftliches Wachstum in Baden-Württemberg. „Wir freuen uns auf die Zusammenarbeit mit NEC Laboratories Europe im Bereich der KI-Forschung und der Förderung von Start-ups in der Region. Mit Cyber Valley haben das MPI-IS, die Universität Stuttgart und die Universität Tübingen einen weltweit bekannten KI-Hotspot entwickelt, der weiterhin einige der besten Talente und führenden Unternehmen in diesem Bereich anzieht. Dieses MoU stellt einen weiteren Meilenstein in der Entwicklung dieses Ökosystems dar“, sagt Michael Black, Direktor der Abteilung Perzeptive Systeme am MPI-IS und Cyber Valley Sprecher.

NEC Laboratories Europe ist die europäische Forschungsabteilung der NEC Corporation, einem weltweit führenden Unternehmen für Technologie- und Kommunikationsinfrastrukturen und -lösungen. Zu den Stärken von NEC gehören die originäre Forschung im Bereich der KI und deren angewandter Einsatz. Für Cyber Valley wird die zukünftige Forschungszusammenarbeit von NEC eine globale Perspektive in KI-Forschungsbereichen wie der Biotechnologie bieten.

Für NEC Laboratories Europe bietet die Zusammenarbeit gemeinsame wissenschaftliche Erkenntnisse und das Potenzial für beschleunigte wissenschaftliche Entdeckungen. Dr. Jürgen Quittek, Geschäftsführer von NEC Laboratories Europe, erklärt: „KI ist eine Technologie mit großem Potenzial, unsere Gesellschaft zu verändern. Dennoch sind die technischen Herausforderungen so gewaltig, dass selbst führende Institutionen von einer Zusammenarbeit erheblich profitieren können.“

Vertiefende Gespräche werden Anfang 2021 stattfinden, um den Umfang und die Art der Zusammenarbeit zu definieren – mit der Absicht, die Beziehung in einer rechtsverbindlichen Vereinbarung zu formalisieren.

Wissenschaftler des Max-Planck-Instituts für Intelligente Systeme entwickeln künstliche Flimmerhärchen, die so programmiert werden können, dass sie sich in Wellen bewegen. In Experimenten zeigen sie, wie die millimeterkleinen Zilien viskose Flüssigkeiten genauso effektiv pumpen können wie ihr natürliches Vorbild. Ihre Forschung trägt dazu bei, das Geheimnis zu lüften, welches Bewegungsmuster einen maximalen Flüssigkeitsstrom erzeugt. Die in Science Advances veröffentlichten Ergebnisse tragen zu einem besseren Verständnis der Biomechanik echter Zilien bei und helfen bei der Entwicklung millimeterkleiner Roboter, die Flüssigkeiten pumpen und so eines Tages im menschlichen Körper eingesetzt werden können.

Stuttgart – Wissenschaftler des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) haben millimeterkleine magnetisch geladene Zilien entwickelt, die viskose Flüssigkeiten genauso effektiv pumpen können wie echte Flimmerhärchen, die in der Natur weit verbreitet sind. Ihr Forschungsprojekt „Bioinspired cilia arrays with programmable nonreciprocal motion and metachronal coordination“ wurde im Fachjournal Science Advances veröffentlicht. Die Autoren Dr. Xiaoguang Dong, Dr. Wenqi Hu, Ziyu Ren und Prof. Dr. Metin Sitti sind Mitglieder der Abteilung für Physische Intelligenz am MPI-IS, deren Direktor Sitti ist.

Zilien sind haarähnliche Strukturen, die zum Beispiel in den Atemwegen vorkommen. Dort liegen sie wie ein Teppich auf der Schleimhaut. Durch die Zilienbewegung wird Schleim und an ihm haftende, unerwünschte Substanzen aus den Atemwegen befördert. Ähnliche Flimmerhärchen kommen auch in den Eileitern vor, die Eizellen in Richtung der Gebärmutter transportieren. Auch Korallen haben Zilien – dünne gemeinschaftlich schlagende Geißelhaare, die Wasser aufwirbeln und so Nährstoffe und Sauerstoff anschwemmen.

Der Roboter, den die Wissenschaftler nun entwickelt haben, ähnelt echten Flimmerhärchen sehr. Der einzige Unterschied ist die Größe: Jedes Replikat einer Zilie ist knapp einen Millimeter lang. Das ist hundertmal grösser als ein natürliches Flimmerhärchen, wie es zum Beispiel in einer Lunge vorkommt.

Die Wissenschaftler bauten die künstlichen Flimmerhärchen aus einem Elastomer, einem gummiähnlichen Kunststoff, in den sie magnetisch geladene Partikel in einem ganz bestimmten Muster einbetteten. So wird jedes Härchen programmierbar: Die Forscher können nicht nur die Bewegung jedes einzelnen Flimmerhärchens fernsteuern, sondern auch die koordinierte Bewegung aller Flimmerhärchen im Zusammenspiel mit ihren Nachbarn.

Abbildung 1: Inspiriert von natürlichen Flimmerhärchen (links), pumpen die künstlichen Flimmerhärchen (rechts) – dank ihrer optimal koordinierten Bewegung – sehr effizient verschiedene Flüssigkeiten und Partikel entlang. Bildnachweis: Abteilung für Physische Intelligenz (MPI-IS).

Die Forscher schalteten ein rotierendes externes Magnetfeld an und zeigten, dass ihre künstlichen Flimmerhärchen eine wellenförmige Bewegung ausführten, die echten Flimmerhärchen sehr ähnelte (Abbildung 1). Sie verwendeten einen roten Farbstoff und zeigten mit Hilfe eines bildgebenden Verfahrens, wie die Härchen eine viskose Flüssigkeit (Glyzerin) entlangpumpen und Partikel dank der optimal koordinierten Bewegung der Härchen effizient transportieren (Abbildung 2).

Abbildung 2: Die bioinspirierten Zilien pumpen eine viskose Flüssigkeit (Glyzerin). Die Bewegung wird durch einen roten Farbstoff sichtbar, der sich langsam nach rechts ausbreitet. Maßstabsbalken, 1 mm. Bildnachweis: Abteilung für Physische Intelligenz (MPI-IS).

Die Forscher zeichneten die peitschenartig schlagende Bewegung der künstlichen Geißelhaare mit einer Hochgeschwindigkeitskamera auf, wie in diesem Video zu sehen ist. Der Clip zeigt, wie sich die schlanken Strukturen koordiniert bewegen, ähnlich wie echte Flimmerhärchen: Die künstlichen Konstrukte bewegen sich weder synchron noch zufällig hin und her. Vielmehr führen sie eine koordinierte wellenartige Bewegung aus, die einer La-Ola-Wanderwelle ähnelt. Mehrere wissenschaftliche Studien haben gezeigt, dass diese sogenannte metachronale Welle – Zilien, die einzeln in einem Muster geschlagen – im Laufe der Evolution perfektioniert wurde: Sie erzeugt einen optimalen Flüssigkeitsstrom.

Die Erforschung natürlicher Flimmerhärchen und ihres kollektiven Verhaltens ist eine herausfordernde Aufgabe, da echte Zilien oft nur wenige Mikrometer klein sind. Selbst mit einem Mikroskop sind Flimmerhärchen nur sehr schwer zu sehen. Zudem ist es unmöglich, ihre Bewegung zu kontrollieren. Indem sie Zilien künstlich nachbildeten, gelang es den Stuttgarter Wissenschaftlern nun aber, den grundlegenden quantitativen Zusammenhang zwischen der metachronalen Koordination und dem damit ausgelösten Flüssigkeitsstrom experimentell aufzuzeigen.

„Mit unserem künstlichen System können wir die Flimmerhärchen-Bewegung ähnlich wie echte Flimmerhärchen in einem größeren Maßstab nachahmen, wobei immer die gleichen physikalischen Gesetze gelten. Auf diese Weise können wir viele verwertbare Daten erzeugen. Wir können quantifizieren, welche Bewegungsmuster einen maximalen Flüssigkeitsstrom erzeugen“, sagt Xiaoguang Dong.

In mehreren Experimenten zeigte das Team, dass nur antiplektische metachronale Wellen den Flüssigkeitsstrom verbessern können. Antiplektisch bedeutet, dass die Wellenausbreitungsrichtung entgegengesetzt zu der des Flüssigkeitsstroms ist. „Unsere Beobachtung beweist die kritische Funktion der antiplektischen metachronalen Wellen und enthüllt die grundlegende quantitative Beziehung zwischen der metachronalen Koordination und dem induzierten Flüssigkeitsstrom sowohl in künstlichen als auch in natürlichen Flimmerhärchen“, sagt Ziyu Ren.

Das Team ist davon überzeugt, dass ihr Forschungsprojekt weitere Forschung inspirieren wird: „Unsere künstlichen Flimmerhärchen könnten für die weitere Untersuchung vieler interessanter wissenschaftlicher Fragen genutzt werden, z.B. wie sich die Strömungsmuster der Flüssigkeit ändern, wenn die Dynamik der Flimmerhärchen, die Geometrie der Ränder oder die Art der umgebenden Flüssigkeit variiert wird“, sagt Wenqi Hu.

„Mein Team, die Abteilung für Physische Intelligenz, lässt sich von verschiedenen biologischen Systemen inspirieren. Wir wollen die zugrundeliegenden physikalischen Prinzipien ihrer Fortbewegung, Intelligenz und ihrer Verhaltensweisen erforschen und dann dieses Wissen nutzen, um hochmoderne Miniaturroboter zu entwickeln. Auf diese Weise wollen wir nicht nur die biologischen Systeme besser verstehen: In Zukunft wollen wir unsere Roboter auch als innovative kabellose medizinische Geräte einsetzen, um die Medizin voranzubringen und so zum Wohlergehen unserer Gesellschaft beizutragen“, sagt Sitti.

About the scientists:

Dr. Xiaoguang Dong is a Postdoctoral Researcher in the Physical Intelligence Department. He received a Ph.D. degree in Mechanical Engineering from Carnegie Mellon University, USA in 2019. His research focus is developing miniature soft robots and devices for answering scientific questions in biomechanics and resolving engineering challenges in biomedical applications.

Dr. Wenqi Hu comes from South West China. He received his Ph.D. from the University of Hawaii in 2014. He has been working on soft millirobots since he joined the Physical Intelligence Department team in Stuttgart back in 2014.

Ziyu Ren is a Ph.D. student in the Physical Intelligence Department at the Max Planck Institute for Intelligent Systems in Stuttgart. Ziyu received his BSc and MSc degrees in mechanical engineering from Beihang University, China in 2014 and 2017. In his Ph.D. he focuses on developing magnetic soft millirobots.

Prof. Metin Sitti has been the Director of the Physical Intelligence Department at the Max Planck Institute for Intelligent Systems in Stuttgart, Germany since 2014. As his current ancillary academic positions, he is a professor at ETH Zurich, Switzerland, professor at Koç University, Turkey, and an honorary professor at the University of Stuttgart, Germany. He was a professor in the Department of Mechanical Engineering and Robotics Institute at Carnegie Mellon University, Pittsburgh, USA (2002-2014), and a research scientist at the University of California at Berkeley, USA (1999-2002). He received the BSc (1992) and MSc (1994) degrees in electrical and electronics engineering and physics from Boğaziçi University, Turkey, and the Ph.D. degree (1999) in electrical engineering from the University of Tokyo, Japan.

Sitti and his team aim to understand the principles of design, locomotion, perception, learning, and control of small-scale mobile robots made of smart and soft materials. The intelligence of such robots mainly comes from their physical design, material, adaptation, and self-organization more than from their computational intelligence. Such physical intelligence methods are essential for small-scale milli- and micro-robots especially due to their inherently limited on-board computation, actuation, powering, perception, and control capabilities. Sitti envisions his novel small-scale robotic systems to be applied in healthcare, bioengineering, manufacturing, or environmental monitoring to name a few.