News Category: Press Release

Die Universität Tübingen bietet ab dem Wintersemester 2022/23 den deutschlandweit ersten Profilbereich „Künstliche Intelligenz in den Medizinischen Strahlenwissenschaften“ an. Im Masterstudiengang „Medizinische Strahlenwissenschaften“ werden Studierende sowohl auf Spezialgebieten der medizinischen Strahlenwissenschaften als auch in Methoden der künstlichen Intelligenz (KI) ausgebildet.

Zu den Lehrinhalten gehören Forschungsgebiete im Bereich der Strahlentherapie, der nicht-invasiven Bildgebung und der Tumor- und Strahlenbiologie genauso wie maschinelles Lernen, Computer Vision oder Grundlagen für ein besseres Verständnis, für die Analyse und Visualisierung wissenschaftlicher Daten.

Schon heute werden KI-Methoden in der Krebsbehandlung eingesetzt, unter anderem für die Auswertung komplexer Daten oder bei Therapieentscheidungen. Das im Masterprofil erworbene Wissen kann beispielsweise zur Optimierung der Bildgebung für die Bestrahlungsplanung eingesetzt werden, zur Konturierung von Organen und Tumoren mittels mehrschichtigen Lernens (Deep Learning) oder zur besseren Kontrolle von Strahlenbehandlungen. Absolventinnen und Absolventen können zudem künftig zur Weiterentwicklung individualisierter Diagnostik- und Therapieverfahren durch künstliche Intelligenz beitragen, sowohl in der Forschung als auch in der Industrie.

Im Profilbereich lehren Forschende aus der Medizinischen Fakultät und der Mathematisch-Naturwissenschaftlichen Fakultät der Universität Tübingen und des Universitätsklinikums Tübingen sowie aus Cyber Valley: Europas größtes Forschungskonsortium im Bereich der künstlichen Intelligenz verbindet Partner aus Politik, Wissenschaft, Wirtschaft und Gesellschaft. Das Ökosystem im Südwesten Deutschlands wächst kontinuierlich um weitere multidisziplinäre Initiativen und macht die Region Stuttgart-Tübingen zum Hotspot für Forschung und Innovation in den Bereichen maschinelles Lernen, Robotik und Computer Vision.
 
Zudem ist das Masterprofil Teil der Initiative „KI in der Medizin“, in der die Universität, die Medizinische Fakultät und die Max-Planck-Institute gemeinsam mit weiteren zahlreichen Cyber Valley Partnern den Einsatz künstlicher Intelligenz in der Medizin und den Lebenswissenschaften vorantreiben.

Ein internationales Forschungsteam aus Tübingen und Cold Spring Harbor (New York) hat eine bahnbrechende Methode gefunden, mit der das typische Tempo von Veränderungen bestimmt werden kann. Die neue Methode vermeidet bisherige systematische Fehler bei der Schätzung von Zeitskalen, z. B. bei der neuronalen Aktivität im Gehirn. Die Ergebnisse werden jetzt in der Fachzeitschrift Nature Computational Science veröffentlicht. In ersten Anwendungen auf neuronale Aufzeichnungen aus der Sehrinde beweist sich die Methode als ein leistungsfähiges Instrument für die Neurowissenschaften und viele andere Disziplinen.

Jeder Prozess in der Natur hat sein eigenes Tempo: Neuronen brauchen Millisekunden für ihren Signalaustausch, demografischer Wandel geschieht über Jahre hinweg, und Klimawandel ist eine Frage von Jahrzehnten oder sogar Jahrhunderten. Den Zeitraum, den ein Prozess typischerweise für eine Änderung braucht, nennt man seine Zeitskala, und um die Zeitskala zu begreifen ist ein tiefes Verständnis vom Prozess selbst nötig.

Wie lange dauert Veränderung typischerweise?

In der Wissenschaft der Statistik ist diese Idee der Zeitskala sehr präzise gefasst. Um beim Beispiel der neuronalen Prozesse zu bleiben: der Zustand des Gehirns zum jetzigen Zeitpunkt ist abhängig von seinem Zustand vor einer Weile. Wie stark dieser Einfluss ist, drückt sich in der zeitlichen Korrelation aus. Diese Korrelation nimmt im Laufe der Zeit ab: je mehr Zeit verstrichen ist, desto schwächer die Abhängigkeit. Genau das ist die Zeitskala: eine Zahl, die beschreibt, wie schnell die Korrelation typischerweise abnimmt, wie schnell also das Gehirn seinen früheren Zustand vergisst.
In der Praxis kann es schwierig sein, Zeitskalen aus empirischen Daten zu bestimmen. Normalerweise berechnet man, wie sehr die gemessene Gehirnaktivität zu verschiedenen Zeitpunkten korreliert und bestimmt aus dieser abnehmenden Abhängigkeit die Zeitskala.

Den Kuchen nachbacken, um seinen Zuckergehalt zu bestimmen

„Leider ist diese Art Zeitskalenmessung fehlerhaft und kann zu irreführenden Ergebnissen führen“, erklärt Roxana Zeraati, Forscherin an der Universität Tübingen und am Max-Planck-Institut für biologische Kybernetik. „Das Problem ist, dass die empirischen Daten immer nur über endliche (oft kurze) Zeit hinweg erhoben werden. Daher wird die durchschnittliche Abhängigkeit von Vorkommnissen zu verschiedenen Zeitpunkten systematisch unterschätzt.” Zeraati betont, wie wichtig es ist, Zeitskalen korrekt zu messen: „Viele neurowissenschaftlichen Ergebnisse beruhen auf präzisen Schätzungen von Zeitskalen. Um nur ein Beispiel zu nennen: Wir glauben, dass abweichende Zeitskalen mit Autismus in Verbindung stehen. Aber man war sich bislang nicht darüber im Klaren, dass die Zeitskalen möglicherweise falsch geschätzt werden.“

Daher entwickelten Zeraati und ihre Kolleginnen eine neuartige Idee zur Ermittlung von Zeitskalen: Die Forscherinnen schlagen vor, mit Hilfe eines Computermodells neue, künstliche Daten zu erzeugen, die den empirischen Daten genau entsprechen. Anna Levina, die als Juniorprofessorin in Tübingen Zeraatis Doktorarbeit betreut, erläutert die Methode anhand einer einfachen Analogie: „Wenn Sie Schwierigkeiten haben, den Zuckergehalt im Kuchen Ihrer Großmutter chemisch zu bestimmen – vielleicht weil die Glasur in den Kuchen gesickert ist und die Messungen verfälscht – können Sie stattdessen den Kuchen in mehreren Varianten mit unterschiedlichem Zuckergehalt nachbacken. Der Kuchen, der dem Original am nächsten kommt, gibt dann Aufschluss darüber, wie viel Zucker im Kuchen der Großmutter war, eben weil Sie ja wissen, wie viel Zucker Sie für Ihre eigenen Kuchen verwendet haben.“

Untersuchungen des Gedächtnisses

Die Wissenschaftlerinnen testeten anschließend ihre neue Methode an neuronalen Daten aus der Sehrinde, die für eine frühere Studie aufgenommen worden waren. „Wir fragten uns, ob spontane Fluktuationen der neuronalen Aktivität von einer einzigen Zeitskala bestimmt werden oder ob der beobachtbare Prozess vielleicht die Summe mehrerer Prozesse mit unterschiedlichen Zeitskalen ist“, sagt Levina. „In diesem speziellen Fall sahen wir, dass zwei verschiedene intrinsische Zeitskalen in den Prozess im Gehirn involviert waren – so etwas konnte noch nie zuvor beobachtet werden.“

Zeraati ergänzt: „Auf ähnliche Weise können wir fast jeden intrinsischen Prozess im Gehirn analysieren, zum Beispiel, wie sich Neuronen an die Vergangenheit erinnern. Das macht unsere neue Schätzmethode zu einem unglaublich wertvollen Werkzeug für Neurowissenschaften und andere Disziplinen.“

Robotische Exoskelette unterstützen die Bewegungen ihrer Träger:innen und helfen so zum Beispiel Gehbehinderten beim Laufen. Damit die Kooperation zwischen Mensch und Maschine optimal gelingt und das Exoskelett jederzeit das richtige Maß an Unterstützung bietet, sind komplexe Einstellungen erforderlich. In einer Kooperation zwischen der University of Michigan und der Universität Stuttgart haben Forschende nun eine Methode demonstriert, mit der Benutzer:innen das Verhalten eines Exoskeletts für das Sprunggelenk in weniger als zwei Minuten selbst einstellen und dabei unbewusste Vorlieben berücksichtigen können. Darüber berichtete das Fachmagazin Science Robotics in der Ausgabe vom 30. März 2022.

Exoskelette mit Antrieb sind in der Regel nicht sofort einsatzbereit, sondern müssen von Expert:innen eingestellt werden, um die unterschiedlichen Eigenschaften des menschlichen Körpers, die Biomechanik des Gangs und die Vorlieben der Benutzer:innen zu berücksichtigen. Alternativ kann dies durch die automatische Auswertung quantifizierbarer Daten wie der Stoffwechselrate oder der Muskelaktivität geschehen, um zum Beispiel den Energieverbrauch zu minimieren. Oder man bittet die Benutzer:innen, wiederholt zwischen verschiedenen Einstellungen zu vergleichen, um herauszufinden, welche sich am besten anfühlt. Die Einstellung, die den Energieaufwand minimiert, ist jedoch nicht unbedingt die bequemste. Und die Benutzer:innen zwischen zahlreichen Einstellungen wählen zu lassen, braucht Zeit und verdeckt zudem, wie die Einstellungen miteinander interagieren und das Benutzererlebnis beeinflussen.

Mensch im Mittelpunkt

Anstelle von physiologischen Messungen setzen Dr. Kim Ingraham und Prof. Elliot Rouse an der University of Michigan sowie Prof. David Remy vom Institut für Nichtlineare Mechanik und Forschender im Exzellenzcluster SimTech der Universität Stuttgart daher bewusst auf subjektives Feedback. Sie stellen die Benutzer:innen in den Mittelpunkt und geben ihnen die Möglichkeit, die Einstellungen direkt zu verändern und Präferenzen, die schwer zu erkennen oder zu messen sind, selbst zu berücksichtigen. So können die Benutzer:innen schnell und unabhängig entscheiden, welche Funktionen – zum Beispiel Komfort, Leistung oder Stabilität – ihnen am wichtigsten sind und dann die entsprechenden Einstellungen wählen, ohne dass ein Experte nachjustieren muss. „Selbst entscheiden zu können, wie sich die Unterstützung durch ein Exoskelett anfühlt, wird die Zufriedenheit der Benutzer:innen und damit die Akzeptanz dieser Geräte in Zukunft erhöhen“, sagt Kim Ingraham, „denn egal, wie hilfreich ein Exoskelett sein mag: Wenn es nicht bequem ist, werden die Leute es nicht tragen.“

Um die Machbarkeit des Konzepts zu testen, stattete das Forschungsteam Benutzer:innen mit Sprunggelenks-Exoskeletten und einem Touchscreen aus und ließen sie auf einem Laufband gehen. Auf dem Touchscreen konnten die Teilnehmer:innen der Studie beliebige Punkte auswählen. Ohne es zu wissen, veränderten sie damit das Drehmoment des Exoskeletts sowie dessen Timing. Diese beiden Parameter steuern, wie sich die Unterstützung anfühlt.

v.l. Dr. Kim Ingraham, Prof. David Remy und Prof. Elliot Rouse
© Privat, Universität Stuttgart/Uli Regenscheit, UM Robotics/Megan Ocelnik

Verlässliche Daten für individuelle Anpassung

„Obwohl wir die Zuordnung zwischen Touchscreen und Parametern in jeder Wiederholung des Experiments änderten, fanden alle Teilnehmer:innen immer wieder zu ihren bevorzugten, individuellen Einstellungen zurück“, sagt David Remy. „Dies zeigt, wie wichtig eine individuelle Anpassung ist und das Benutzer:innen dafür sehr verlässliche Daten liefern“. Überrascht waren die Forschenden auch, wie schnell die Benutzer:innen ihre bevorzugten Einstellungen fanden: Auch Menschen, die noch keine Erfahrung mit einem Exoskelett hatten, gelang dies im Schnitt in einer Minute und 45 Sekunden – ohne dass sie wussten, welche Parameter sie einstellten. Zudem änderten sich die Präferenzen im Laufe des Experiments: Nutzer:innen, die schon Erfahrung mit dem Exoskelett haben, bevorzugten ein deutlich höheres Maß an Unterstützung als die Erstnutzer:innen.

Die Forschenden wollen grundlegend untersuchen, wie die Vorlieben der Menschen in die Steuerung von Exoskeletten einbezogen werden können. Als Nächstes wollen sie herausfinden, warum Menschen das bevorzugen, was sie bevorzugen, wie sich diese Präferenzen auf ihren Energieverbrauch, ihre Muskelaktivität und ihre Physiologie auswirken, und wie man eine präferenzbasierte Steuerung in der realen Welt automatisch umsetzen könne.

Die Zusammenarbeit zwischen der University of Michigan und der Universität Stuttgart wurde durch die Carl-Zeiss-Stiftung im Rahmen des Wissenschaftler:innen-Rückkehrprogramms GSO/CZS gefördert. Das Programm unterstützt Universitäten bei der Besetzung von Professuren mit deutschen Wissenschaftler:innen aus dem Ausland.

Ein Team von Wissenschaftler:innen des Max-Planck-Instituts für Intelligente Systeme und der University of California, Irvine, hat ein Roboterbein konstruiert, das wie sein natürliches Vorbild sehr energieeffizient ist. BirdBot profitiert von einer Fuß-Bein-Kopplung durch ein Netzwerk aus Muskeln und Sehnen, das sich über mehrere Gelenke erstreckt. Auf diese Weise benötigt BirdBot weniger Motoren als bisherige Laufroboter und könnte theoretisch riesig groß gebaut werden. Nun haben die Forschenden ihre Arbeit in Science Robotics veröffentlicht.

Wenn ein Tyrannosaurus Rex vor 66 Millionen Jahren fast die gleiche Beinstruktur hatte wie ein Vogelstrauß, der heute im Zoogehege rumrennt, dann nehmen Wissenschaftler:innen an, dass sich diese Beinstruktur im Laufe der Evolution bewährt hat. Der Aufbau der Beine hat sich seit Millionen von Jahren zwar verändert, viele Bestandteile sind aber sehr ähnlich. Ein Gütesiegel der Natur.

Graziös, elegant, kraftvoll – Laufvögel wie der Strauß sind ein mechanisches Wunderwerk. Die teilweise über 100 kg schweren Tiere rennen mit bis zu 55 km/h durch die Savanne. Diese Höchstleistung ist der Beinstruktur zu verdanken, so die Vermutung. Anders als Menschen klappen Vögel den Fuß nach hinten zurück, während sie das Bein zum Körper hochziehen. Warum machen das die Tiere, wieso ist diese Fußbewegung beim Gehen und Rennen energieeffizient, und wie lässt sich der Aufbau der Vogelbeine mit all seinen Knochen, Muskeln und Sehnen auf Laufroboter übertragen?

Mehr als fünf Jahre hat Alexander Badri-Spröwitz sich diesen Fragen gewidmet. Am Max-Planck-Institut für Intelligente Systeme leitet er die Forschungsgruppe Dynamische Lokomotion. Die Gruppe arbeitet an der Schnittstelle zwischen Biologie und Robotik im Bereich der Biomechanik und Neurokontrolle. Die dynamische Fortbewegung von Tieren und Robotern steht hier im Fokus.

Zusammen mit seinem Doktorand Alborz Aghamaleki Sarvestani hat Badri-Spröwitz ein Roboterbein konstruiert, das wie sein natürliches Vorbild sehr energieeffizient ist: BirdBot braucht weniger Motoren als andere Maschinen und könnte theoretisch riesig groß gebaut werden. Am 16. März publizierten Badri-Spröwitz, Aghamaleki Sarvestani, der Robotiker und Direktor am MPI-IS Metin Sitti sowie Monica A. Daley, Professorin für Biologie an der University of California, Irvine, ihre Forschungsarbeit im renommierten Fachjournal Science Robotics.

Seilzug aus Muskeln und Sehnen

Menschen ziehen beim Gehen den Fuß hoch und beugen das Knie, der Fuß und die Zehen aber zeigen nahezu unverändert nach vorne. Bei Vögeln ist es anders. In der Schwungphase klappen Vögel die Füße nach hinten weg. Badri-Spröwitz und sein Team führen diese Bewegung auf eine mechanische Kopplung zurück. „Es ist nicht das Nervensystem, es sind keine elektrischen Impulse, es ist keine Muskelaktivität“, vermutet Badri-Spröwitz. „Wir sehen, dass das Netzwerk aus Muskeln und Sehnen, welches sich über mehrere Gelenke hinweg erstreckt, diese Kopplung ermöglicht. Diese mehr-gelenkigen Muskel-Sehnen-Seilzüge bedingen das Einklappen des Fußes in der Schwungphase. Bei unserem Roboter haben wir die gekoppelte Mechanik im Bein und Fuß implementiert und gezeigt, dass ein Roboter damit sehr energieeffizient und robust laufen kann. Das lässt uns vermuten, dass der Muskel-Sehnen-Seilzug für echte Vögel ähnliche Effizienzvorteile bietet.“

Die Kopplung der Bein- und Fußgelenke sowie die dabei wirkenden Kräfte könnten der Grund sein, warum ein riesiges Tier wie ein Vogelstrauß nicht nur sehr schnell rennen, sondern auch mühelos stehen kann, mutmaßten die Forschenden. Ein Mensch von über 100 kg kann zwar auch gut und lange stehen, aber nur bei durchgestreckten Knien. Würde die Person leicht in die Hocke gehen, wäre es nach ein paar Minuten vorbei. Dem Vogel jedoch macht seine geknickte Beinstruktur scheinbar nichts aus; manche Vögel können sogar im Stehen schlafen. Bei einem Roboter-Vogelbein sollte das ebenfalls funktionieren: es sollte keine Motorenleistung notwendig sein, um die Konstruktion aufrecht zu halten.

Roboterbein geht auf dem Laufband

Um ihre Annahme zu überprüfen, bauten die Forscher ein Bein, das einem Laufvogel nachempfunden ist. Sie konstruierten ihr Roboter-Vogelbein so, dass der Fuß keinen Motor, sondern nur ein mit einem Feder-Seilzug ausgestattetes Gelenk hat. Der Fuß ist also über Seilzüge aus Sehnen und Rollen mechanisch mit den restlichen Beingelenken gekoppelt. Jedes Roboterbein ist mit nur zwei Motoren ausgestattet: Ein Motor am Hüftgelenk sorgt dafür, dass das Gelenk vor und zurück schwingt und das Bein auf diese Art vor und zurück bewegt. Ein weiterer Motor am Kniegelenk kann das Knie beugen und hochziehen. Fertig gebaut, ließen die Forschenden BirdBot auf einem Laufband gehen um zu sehen, wie der Fuß des Roboters beim Gehen ein- und ausklappt. „Die Fuß- und Beingelenke kommen in der Standphase ohne Motoren aus,“ sagt Aghamaleki Sarvestani. „Die Kraft kommt hier aus der Feder, und die Koordination aus dem mehrgelenkigen Seilzugmechanismus. Beim Bein-Anziehen in der Schwungphase schaltet der Fuß dann die Beinfeder – den Muskel – weg“, fügt Badri-Spröwitz hinzu. Ein Video zeigt das laufende Roboter-Vogelbeine im Labor der Forschungsgruppe.

Null Kraftaufwand beim Stehen und beim Bein-Anziehen

Im Stand sieht man, wie das Bein null Energie aufwendet und trotzdem unerschütterlich dasteht. „Früher mussten unsere Roboter entweder beim Stehen oder beim Bein-Anziehen gegen die Feder oder mit einem Motor arbeiten, um das Bein in der Schwungphase nicht mit dem Boden zu kollidieren. Dieser Energieeintrag ist bei BirdBot jetzt nicht mehr notwendig“, sagt Badri-Spröwitz und Aghamaleki Sarvestani fügt hinzu: „Insgesamt ist damit nur ein Viertel der Energie notwendig im Vergleich zu vorhergehenden Laufrobotern.“

Laufband wieder an, der Roboter läuft los, und mit jedem Beinschwung schaltet der Fuß die Beinfeder aus. Der Fuß entkoppelt den Seilzug und das Bein schwingt lose. Dieses Schalten zwischen Stehen und Gehen wird bei den meisten Robotern durch einen Motor am Gelenk gewährleistet. Ein Sensor sendet ein Signal an die Steuerung, die den Motor an- und ausschaltet. „Bisher mussten die Motoren sich ein- und abschalten, je nachdem, ob das Bein in der Schwung- oder Standphase war. Jetzt aber macht der Fuß das für die Laufmaschine. Wir brauchen nur noch einen Motor am Hüftgelenk und einen zum Knie-Beugen in der Schwungphase, den Rest macht das Bein allein. Das Ein- und Auskuppeln der Beinfedern überlassen wir der von Vögeln inspirierten Mechanik. Das ist robust, schnell und energieeffizient“, sagt Badri-Spröwitz.

Dr. Daley stellte in mehreren früheren Studien fest, dass der Aufbau eines Vogelbeines nicht nur Energie spart beim Laufen und Stehen, er ist auch so von der Natur angepasst, dass das Tier kaum stolpert und sich verletzt. In Experimenten mit Perlhühnern, die über zugedeckte Schlaglöcher laufen, konnte sie die bemerkenswerte Robustheit der Vögel bei ihrer Fortbewegung quantifizieren. Eine morphologische Intelligenz ist in das System eingebaut, die das Tier schnell agieren lässt – ohne darüber nachdenken zu müssen. Daley und ihre Kollegen haben gezeigt, dass die Tiere ihre Beine bei der Fortbewegung nicht nur mithilfe des Nervensystems steuern. Liegt unerwartet ein Hindernis im Weg, ist es nicht immer der Tast- oder Sehsinn des Tieres, der zum Einsatz kommt.

„Der Aufbau mit mehr-gelenkigen Muskeln und Sehnen und die spezielle Fußbewegung kann erklären, warum sogar schwere, große Laufvögel so schnell, robust, und energieeffizient laufen. Wenn ich davon ausgehe, dass beim Umschalten im Vogel alles auf Sensorik basiert, und es mal eine Stolperstelle gibt, könnte es passieren, dass das Tier nicht schnell genug reagieren kann. Die Sensorik, die Reizweiterleitung, und das Reagieren kosten Zeit“, sagt Daley.

Daleys 20-jährige Arbeit an laufenden Vögeln zeigt, dass Vögel schneller reagieren, als es das Nervensystem zulässt, was darauf hinweist, dass die Mechanik hier einen wesentlichen Beitrag leistet. Jetzt, da das Team BirdBot gebaut hat, ein physikalisches Modell, das direkt zeigt, wie diese Mechanismen funktionieren, macht alles mehr Sinn: das Bein kann mechanisch bei einer Bodenunebenheit umschalten. Das funktioniert sofort, ohne Zeitverzögerung. Wie Vögel zeichnet sich auch der Roboter durch eine hohe Robustheit bei der Fortbewegung aus.

Ob im Maßstab eines Tyrannosaurus Rex oder einer kleinen Wachtel – es ist egal, ob es sich um ein kleines oder ein riesiges Roboterbein handelt. Theoretisch können jetzt meterhohe Beine für Tonnen-schwere Roboter gebaut werden, die mit wenig Leistungsaufwand herumlaufen.

Wie immer führen die in der Gruppe Dynamischen Lokomotion gewonnenen Erkenntnisse über Roboter zu Erkenntnissen über die von der Evolution angepassten Tiere und vice versa. Ein Wechselspiel, das Hypothesen testet und manchmal bestätigt, und dabei sowohl das Forschungsfeld der Robotik als auch der Biologie voranbringt.

In dem Bestreben, den Tastsinn von Robotern zu verbessern, entwickeln Wissenschaftler:innen des Max-Planck-Instituts für Intelligente Systeme einen Sensor, der einem Daumen gleicht und im Inneren mit einer Kamera ausgestattet ist. Das Team trainiert ein tiefes neuronales Netz, um aus den Kamerabildern Informationen abzuleiten, wo und wie stark der Sensor berührt wird. Aus gefilmten Verformungen der flexiblen Außenhülle des Sensors generiert das neuronale Netz ein dreidimensionales Abbild der Kräfte, die auf den künstlichen Daumen einwirken. Die Erfindung verbessert die haptische Wahrnehmung von Roboterfingern erheblich und kommt dem Tastsinn der menschlichen Haut einen wesentlichen Schritt näher.

In einer Publikation im Fachjournal Nature Machine Intelligence stellt ein Team von Wissenschaftler:innen des Max-Planck-Instituts für Intelligente Systeme (MPI-IS) einen robusten, weichen und haptischen Sensor namens „Insight“ vor. Mit Hilfe von Maschinellem Sehen und einem tiefen neuronalen Netzwerk kann der Sensor genau abschätzen, an welcher Stelle Objekte mit ihm in Kontakt kommen und wie groß die einwirkenden Kräfte sind. Das Forschungsprojekt ist ein wichtiger Schritt hin zu Robotern, die wie Menschen und Tiere ihre Umgebung ertasten können. Wie sein natürliches Vorbild ist der Sensor sehr empfindlich, robust und präzise.

Der einem Daumen nachempfundene Sensor besteht aus einer weichen Hülle, die ein leichtes, steifes Skelett in sich einschließt. Dieses Skelett hält die Struktur aufrecht, ähnlich wie Knochen das weiche Gewebe eines Fingers stabilisieren. Die Hülle besteht aus einem Elastomer, das mit dunklen, aber reflektierenden Aluminiumflocken angemischt wurde. Dadurch bekommt die Hülle eine gräuliche Farbe und ist undurchsichtig, so dass kein Licht von außen eindringen kann. Im Inneren dieser fingergroßen Kapsel ist eine winzige 160-Grad-Fischaugenkamera eingebaut. Sie nimmt bunte Lichtmuster auf, die von einem Ring aus LEDs erzeugt werden.

Wenn ein oder mehrere Objekte die Sensorhülle berühren, ändert sich das Farbmuster im Inneren des Sensors. Die Kamera nimmt mehrmals pro Sekunde Bilder auf und füttert mit diesen Daten ein tiefes neuronales Netz. Dem Algorithmus entgeht nichts: in jedem Pixel erkennt er selbst kleinste Veränderung des Lichts. Innerhalb eines Sekundenbruchteils kann das trainierte Modell herausfinden, wo genau ein Objekt den „Finger“ berührt, wie stark die Kräfte sind und in welche Richtung sie wirken. Das Modell leitet daraus das ab, was Wissenschaftler:innen eine force map nennen: ein dreidimensionales Abbild der Kräfte, die auf den künstlichen Daumen einwirken.

Abbildung 1 veranschaulicht den Sensor, das erzeugte bunte Kamerabild und die Berechnung des tiefen neuronalen Netzes: wo genau fand eine Berührung statt, mit welcher Kraft und in welche Richtung über die Oberfläche hinweg fand die Berührung statt. Auch ein Video veranschaulicht die Funktionsweise des Sensors.

„Unser Sensor zeigt eine hervorragende Leistung dank des innovativen mechanischen Designs der Hülle, des maßgeschneiderten Bildgebungssystems im Inneren, der automatischen Datenerfassung und dank modernster Deep Learning Methoden“, sagt Georg Martius, Forschungsgruppenleiter am MPI-IS. Dort leitet er die Autonomous Learning Group. Sein Doktorand Huanbo Sun ergänzt: „Unsere einzigartige Hybridstruktur aus einer weichen Schale, die ein steifes Skelett umschließt, sorgt für hohe Empfindlichkeit und Robustheit. Unsere Kamera kann selbst die kleinsten Verformungen der Oberfläche mit einem einzigen Bild erkennen.“ Tatsächlich stellten die Forscher beim Testen des Sensors fest, dass er empfindlich genug ist, um seine eigene Orientierung im Verhältnis zur Schwerkraft zu spüren.

Das dritte Mitglied des Teams ist Katherine J. Kuchenbecker, Direktorin der Abteilung für Haptische Intelligenz am MPI-IS. Sie bestätigt, dass der neue Sensor nützlich sein wird: „Bisherige weiche haptische Sensoren hatten nur einen kleinen Bereich, in dem sie Dinge erfassen konnten. Sie waren empfindlich und schwierig herzustellen und konnten oft keine Kräfte spüren, die parallel zur Haut verlaufen. Das aber ist für einen Roboter, der ein Glas Wasser hält oder auf einem Tisch eine Münze verschiebt, unerlässlich.“

Doch wie kann ein Sensor lernen, was ihn berührt? Huanbo Sun entwarf einen Versuchsaufbau, um Trainingsdaten zu sammeln. Diese Daten benötigt das maschinelle Lernverfahren, um die Korrelation zwischen der Veränderung der Bildpixel und den angewandten Kräften zu verstehen. Ein Stab stupst den Sensor überall auf seiner Oberfläche, der Computer wiederum zeichnet die Krafteinwirkung zusammen mit dem Kamerabild im Inneren des Sensors auf. Auf diese Weise erzeugten die Forscher etwa 200.000 Messungen. Es dauerte fast drei Wochen, um die Daten zu sammeln und einen weiteren Tag, um den Deep Learning Algorithmus zu trainieren. Der Daumen überstand dieses lange Experiment mit vielen verschiedenen Krafteinwirkungen – ein Beleg für die Robustheit des mechanischen Designs von Insight.

Eine weitere Besonderheit des daumenförmigen Sensors ist, dass es einen Bereich mit einer dünneren Elastomerschicht gibt, die einem Fingernagel nachempfunden ist. Dieses Grübchen ist so konzipiert, dass es selbst kleinste Kräfte und verschiedene Objektformen erkennen kann. Für diese sehr empfindliche Zone wählten die Wissenschaftler:innen eine Elastomerdicke von 1,2 mm statt der 4 mm, die sie ansonsten für den Fingersensor verwendeten.

„Das Hard- und Softwaredesign, das wir in unserer Arbeit vorstellen, lässt sich auf eine Vielzahl von Anwendungsfällen mit unterschiedlichen Formen und Präzisionsanforderungen übertragen. Die Programmierung des Deep Learning Algorithmus, die Datenerfassung, das Training und was das System daraus ableitet sind allgemeingültig und können helfen, viele andere Sensoren zu entwickeln“, schließt Huanbo Sun ab.