Learning of physics-based models for visio-tactile object perception and manipulation

cyvy Research Project

Heutige autonome Systeme fallen noch immer weit zurück hinter den vielseitigen Fähigkeiten des Menschen Szenen wahrzunehmen und mit Objekten umzugehen. In diesem Projekt werden Jörg Stückler und sein Team untersuchen, wie Roboter selbstüberwacht lernen können, visuelles und taktiles Feedback für die Objektwahrnehmung und -manipulation zu nutzen. Die Forscher werden einen Ansatz entwickeln, der Roboter befähigen soll, ein Modell darüber zu lernen, wie sie mit Objekten interagieren können. Dabei werden die Interaktion und Objekte über taktile sowie visuelle Messungen wahrgenommen. Der Ansatz wird für die Bewegungsplanung eines Roboters in einer Reihe von Objekthandhabungsaufgaben evaluiert.

MachineData: Machine

cyvy Research Project

Beim maschinellen Lernen geht es um die Daten. Maschinen, denen große Datensätze zugeführt werden, lernen, Regelmäßigkeiten in den Daten selbstständig zu entdecken – so wie das Gehirn aus der immer wiederkehrenden Beobachtung der Umgebung Rückschlüsse zieht. Die Verfügbarkeit großer Datensätze hat bei den jüngsten Durchbrüchen im Bereich des maschinellen Lernens eine wichtige Rolle gespielt. In den letzten Jahren haben Datensätze unter anderem die Sprachverarbeitung, Spracherkennung oder Computer Vision ermöglicht oder verbessert. Einige Forscher argumentieren sogar, dass Daten wichtiger sind als neue Algorithmen. 

 

Bei Maschinen und Systemen wie autonomen Robotern oder selbstfahrenden Autos ist dies jedoch anders. Im Bereich der physikalischen Systeme haben Datensätze noch nicht zu vergleichbaren Durchbrüchen geführt. 

 

Sebastian Trimpe und seine Forschungsgruppe Intelligent Control Systems beschäftigen sich mit der Frage, ob reichhaltige und qualitativ hochwertige Datensätze, die auf Maschinen gesammelt werden (z.B. Daten, die auf einem Motor gesammelt werden), für das Lernen im Kontext physischer Maschinen ähnlich nützlich sein können. Das Team wird in Zusammenarbeit mit Cyber Valley Industriepartnern verschiedene Datensätze auf einer Vielzahl von physischen Maschinen sammeln und empirisch untersuchen, ob diese Daten für eine Lernaufgabe auf einer anderen Maschine nützlich sind. 

 

Darüber hinaus werden konzeptionelle und grundlegende Forschungsfragen gestellt wie: Wann sind die Daten für ein dynamisches Lernproblem ausreichend aussagekräftig? Welche Daten können sinnvoll von einer Maschine auf eine andere übertragen werden? Und wie können vorhandene Datensätze für die Modellierung und Steuerung neuer Maschinen genutzt werden? 

 

Die entwickelten maschinendynamischen Datensätze und Maßstäbe sowie alle wissenschaftlichen Ergebnisse sollen der Forschungsgemeinschaft zur Verfügung gestellt werden.

 

 


 

Self-supervised learning of mobility affordances for vision-based navigation

cyvy Research Project

Zukünftige mobile Serviceroboter, wie z.B. Lieferroboter oder selbstfahrende Autos, müssen selbständig in ihrer Umgebung lernen können, um sich an Veränderungen anpassen zu können. Dadurch würden sie sich nicht nur effizienter fortbewegen können, sondern Ingenieure würden auch davon befreit werden, Roboter durch manuelle Programmierung auf die jeweilige Umgebung abzustimmen.

 

In diesem Projekt werden Jörg Stückler und sein Team untersuchen, wie mobile Roboter ihre Fahreigenschaften in ihrer Umgebung selbstüberwacht lernen können. Der Ansatz soll Bewegungsmodelle lernen, die die Auswirkungen von Aktionen von mobilen Robotern in ihrer Umgebung vorhersagen können. Die Forscher werden einen kamerabasierten Navigationsansatz zur Planung von Bewegungen anhand der gelernten Modelle entwickeln. Das Verfahren wird für die autonome Navigation eines mobilen Roboters evaluiert. 

Relaxing restrictive interdependence assumptions in networks -

cyvy Research Project

Sogenannte Netzwerkmodelle helfen, komplexe Systeme mit vielen einzelnen Elementen zu beschreiben. In verschiedenen Forschungsbereichen, wie z.B. den Sozialwissenschaften, der Biologie und der Informatik, gibt es bereits zahlreiche solcher Netzwerkmodelle. Diese wurden vor allem in den letzten Jahren genutzt, um neue Schlussfolgerungen aus bereits bekannten Daten zu ziehen. Vor allem die Verfügbarkeit großer Datenmengen hat diese Entwicklung befördert.

Ein beliebtes Netzwerkmodell sind generative Modelle. Hierbei werden latenteVariablen eingeführt, welche die wissenschaftlichen Erkenntnisse auf diesem Wissensgebiet (das „Domänenwissen“) integrieren und die komplexen Wechselwirkungen erfassen. Diese Variablen sind aber meist so komplex, dass sie selbst bereits als eigenständige Modelle gelten. Bedingt durch diese Variablen sind die Netzwerkkanten unabhängig und die Verteilung von Wahrscheinlichkeiten innerhalb des Netzwerkes kann zusammengefasst bzw. vereinfacht werden. Nachteil dieser Modelle ist, dass bei einigen Szenarien aus der realen Welt die Interaktionen innerhalb des Netzwerkes nicht gut abgebildet werden. Das bedeutet, dass die mathematische Beschreibung aus dem Modell nicht mit der Realität übereinstimmt. Hauptproblem sind hier die Variablen, welche zu sehr eingeschränkt sind.

Im Vergleich dazu benutzen Netzwerk-Ensemble-Modelle keine solchen einzelnen Variablen, sondern netzwerkspezifische Größen (z.B. Verteilungsgrad oder Clustering-Koeffizient). Doch auch diese Modelle leiden unter verschiedenen Problemen, welche die praktische Anwendung einschränken.

 

Mit diesem Projekt hier wird Caterina de Baccos Gruppe nun bestimmte Merkmale dieser beiden Modelle, des generativen und des Netzwerk-Ensemble-Modells, mit Methoden aus der statistischen Physik kombinieren, um bessere prinzipienbasierte Modelle zu entwickeln. Darüber hinaus soll deren effiziente Anwendung auf konkrete Problemstellungen (z.B. Wiederholbarkeit oder das gleichzeitige Auftreten verschiedener Beziehungsformen zwischen zwei Knoten) gewährleistet werden.

A scalable machine leaning approach to improving human decision making

cyvy Research Project

Mit zunehmender Technologisierung und Automatisierung werden Millionen von Arbeitsplätzen sich dramatisch verändern oder gar ganz wegfallen. Dieses Projekt versucht eine wissenschaftlich fundierte Lösung zu finden um die daraus resultierenden gesellschaftlichen Probleme abzumildern. Intelligente Trainingsprogramme sollen den Arbeitnehmer*innen schnell und kostengünstig die notwendigen Fähigkeiten vermitteln, um in der veränderten Arbeitswelt der Zukunft zurechtzukommen.

 

Unser allgemeiner und vielseitig verwendbarer Ansatz baut auf Computermodellen des menschlichen Lernens und der Entscheidungsfindung auf. Er nutzt maschinelles Lernen und künstliche Intelligenz, um den betroffenen Arbeitnehmer*innen die Strategien beizubringen, die sie brauchen um den Selbstmanagement-Herausforderungen der sich ändernden Arbeitsbedingungen zu begegnen.

 

Wir werden diesen Ansatz testen, indem wir eine Reihe von sogenannten „intelligenten Tutoren“ (Computerprogramme) entwickeln, welche optimale Entscheidungsstrategien für immer realistischere Szenarien entdecken und vermitteln. Das Potenzial dieses Ansatzes werden wir veranschaulichen, indem wir einen Tutor entwickeln, der die Zeitmanagement-Fähigkeiten einer bestimmten Berufsgruppe (z.B. Wissenschaftler) in einer simulierten Arbeitsumgebung trainiert. Im Idealfall kann dieser dann weitsichtige Strategien zur Planung von Projekten, zur Priorisierung von Aufgaben und zum effektiven Selbst-Management vermitteln, die im Arbeitsalltag nützlich sind.

ACTrain: A personalised companion for enhancing executive functions based on adaptive meta-cognitive feedback

cyvy Research Project

In unserem digitalen Zeitalter sind Informationen allgegenwärtig und konkurrieren um unsere Aufmerksamkeit. Dabei lenken uns gerade soziale Medien häufig von unseren eigentlichen Aufgaben ab. Dies verhindert, dass sich Schüler*innen und Studierende lange genug konzentrieren können, um effektiv zu lernen. Auch unsere Wirtschaft erfährt durch die sinkende Effektivität und Produktivität enorme finanzielle Verluste. Wie die Forschung zeigt, können wir gezielt trainieren, Ablenkungen zu widerstehen und auf ein bestimmtes Ziel fokussiert zu bleiben. Allerdings verwenden bestehende Trainingsansätze oft künstliche Aufgaben, die sich nicht in den Alltag übertragen lassen.

 

Um dieses Problem zu lösen, entwickeln wir die intelligente Computersoftware ACTrain. Sie verwandelt den Alltag in eine optimale Lernumgebung, in der die Nutzenden mit ihren eigenen Zielen trainieren während sie lernen, studieren oder arbeiten. Als persönlicher Assistent soll ACTrain einen Namen und ein individuelles Erscheinungsbild erhalten, um die Motivation der Nutzenden zu steigern. Das Herzstück von ACTrain ist ein intelligentes Feedback, das den Wert vermittelt, konzentriert zu bleiben und nicht abgelenkt zu werden. Unser Mechanismus basiert auf mathematischen Modellen davon, wie die Fähigkeiten zur Kontrolle der Aufmerksamkeit erlernt werden. Wir sind überzeugt davon, dass dieser neuartige Trainingsansatz seinen Weg in die moderne Bildungs- und Arbeitswelt finden wird. Damit können wir Millionen von Menschen dabei unterstützen, ihre Ziele effektiver zu erreichen und damit ihr Leben zu verbessern.

Mechanisms of representation transfer

cyvy Research Project

In diesem Projekt untersuchen wir neue Möglichkeiten Eigenschaften des biologischen Sehsystems auf künstliche neuronale Netze zu übertragen, um sie robuster gegen Veränderungen von Bildmerkmale zu machen, die den Bildinhalt nicht verändern – wie z.B. die Veränderung des Bildstils. Derzeit gibt es keinen Lern-Algorithmus, der es schafft robust das Erlernte auf andere nicht-trainierte Bildmerkmale zu übertragen. Selbst bei leichten Veränderungen des Bilds, z.B. durch Hinzufügen von Rauschen oder Veränderungen des Stils, begehen künstliche neuronale Netze schnell Fehler, obwohl unser Wahrnehmungsapparat keine Probleme hat den Inhalt des Bilds zu erkennen. Auch wenn die Meisten von uns unter dem Einfluss einer bestimmten Umwelt mit spezifischen Bildmerkmalen aufwachsen (beispielsweise der Schwäbischen Alb), kann unser Wahrnehmungsapparat das Erlernte problemlos auf ganz andere Umgebungen (beispielsweise der Umweltstatistik in einer Wüste oder die eines Gemäldes) übertragen.

 

Frühere Arbeiten haben gezeigt, dass künstliche tiefe neuronale Netzwerke ganz andere Bildinformationen (Merkmale) zur Entscheidungsfindung nutzen als unser Sehsystem. Während wir beispielsweise Objekte meist anhand ihrer Form kategorisieren, stützen sich diese Netzwerke hauptsächlich auf lokale Muster in den Bildern. Derzeit ist es noch sehr schwierig, die in unserer menschlichen Wahrnehmung verwendeten Bildmerkmale in künstliche Systeme einzubauen, da wir schlicht noch zu wenig über die genauen Eigenschaften biologischer Systeme wissen.

 

Aus diesem Grund wollen wir Mechanismen entwickeln, die robuste Merkmale direkt aus Messungen von Gehirnaktivität auf künstliche Systeme übertragen können. Wir werden zunächst unter kontrollierten Bedingungen untersuchen, mit welchen Mechanismen diese Merkmale zwischen den Netzwerken übertragen werden können. In der finalen Phase des Projekts werden wir öffentlich zugängliche Messdaten neuronaler Aktivität des Sehsystems nutzen und testen, welche Eigenschaften der Daten sich auf künstliche Netze mit den von uns entwickelten Methoden übertragen lassen.

 

 

Soft-sensing interfaces with multifunctional smart materials

cyvy Research Project

Die Cyber Valley Forschungsgruppe "Locomotion in Biorobotic and Somatic Systems" untersucht die Mechanik der Fortbewegung und die zugrunde liegenden morphologischen Anpassungen, wie sie von der Natur im Laufe der Evolution perfektioniert wurden. Die Forscher wenden ihre Erkenntnisse auf die Entwicklung von lebensechten Robotern sowie auf multi-funktionale Materialien an, die denen in der Natur vorkommenden sehr ähnlich sind. Ihre Forschung ist an der Schnittstelle von Ingenieurwesen und Biologie angesiedelt – ein relativ neues und vielversprechendes Gebiet. 

In ihrem aktuellen Projektantrag geht es Dr. Ardian Jusufi und Hritwick Banerjee darum, einen flexiblen, dehnbaren und biokompatiblen externen Sensor aus multifunktionalen intelligenten Materialien zu entwickeln. Dieser könnte eines Tages im Gesundheitswesen eingesetzt werden – bei Menschen und in der nicht-invasiven Veterinärmedizin. Der Sensor würde wie eine zweite Hautschicht an Gewebe anhaften, so dass er, egal wie sich eine Person oder ein Tier bewegt, an Ort und Stelle bleibt. Der Sensor könnte dann die Gesundheit einer Person erkennen, den Blutdruck und andere biometrische Werte erfassen oder messen, ob eine Person einen unregelmäßigen Herzschlag hat, der möglicherweise auf einen Herzinfarkt hindeutet. 

Mögliche Einsatzgebiete gehen jedoch über ein breites Spektrum an biomedizinischen Anwendungen hinaus: Der weiche und flexible Sensor könnte in intelligente Kleidung, tragbare Elektronik, in weiche Roboter oder zur Verbesserung der Mensch-Maschine Interaktion eingebaut werden. So stellen sich die Forscher beispielsweise vor, dass solche Sensoren in selbstfahrende Autos eingebaut werden könnten. Wenn eine Person den Sensor berührt, während sie im Fahrzeug sitzt, könnte der Sensor einen medizinischen Notfall erkennen und ein Signal an den Autopiloten senden, sofort zum nächsten Krankenhaus zu fahren.

Der Weg zur Entwicklung solcher sogenannter Soft-Interfaces ist sehr steinig. Es liegen viele Herausforderungen vor den Wissenschaftlern. Die grundlegenden Eigenschaften eines solchen Sensors müssten zu dem, was es bereits gibt, stark verbessert werden. Es geht darum, die Flexibilität, Empfindlichkeit, Wiederholgenauigkeit, Linearität, oder Haltbarkeit zu erforschen, um nur einige wenige Kriterien zu nennen. 

Fazit: Die Hauptziele des Forschungsprojektantrags der Wissenschaftler sind 

- Herstellung eines druckempfindlichen taktilen Abtastsystems, das dehnungsunabhängig ist und die Schnittstelle zwischen hochdehnbaren und biokompatiblen leitenden Materialien verbessert, die eine ausgezeichnete Haftung bieten.

- Entwickelung einer Sensorhülse mit einer Multistimulierungsfunktion, die in eine einzige Hybridplattform eingebettet ist, die sich aktiv an den Körper anpassen kann, ohne die Wirksamkeit zu beeinträchtigen

- Erforschung innovativer Anwendungen für innovative Soft-Sensoren in der Automobil- und Unterhaltungsindustrie, einschließlich der Integration mit mobilen Soft-Robotern, rehabilitativen Systemen und möglicherweise kollisionssicherer chirurgischer Robotik.

Thumb ticker allgower1
(University of Stuttgart)
Thumb ticker pi  053
(University of Tübingen, Germany)
Thumb ticker ports 160922 1261headcrop2
(Max Planck Institute for Intelligent Systems)
Thumb ticker kjkuchenbecker1
(Max Planck Institute for Intelligent Systems)
Thumb ticker bernhard sch%c3%b6lkopf  germany
(Max Planck Institute for Intelligent Systems)
Thumb ticker bildschirmfoto 2019 03 15 um 14.12.22
(Max Planck Institute for Intelligent Systems)
no image
(Porsche AG)
no image
(Amazon)
no image
(ZF Friedrichshafen AG)
Thumb ticker bosch research thomas kropf cr p 0578
(Robert Bosch GmbH)
no image
(BMW Group)
no image
(IAV GMbH)