Mechanisms of representation transfer

cyvy Research Project

In diesem Projekt untersuchen wir neue Möglichkeiten Eigenschaften des biologischen Sehsystems auf künstliche neuronale Netze zu übertragen, um sie robuster gegen Veränderungen von Bildmerkmale zu machen, die den Bildinhalt nicht verändern – wie z.B. die Veränderung des Bildstils. Derzeit gibt es keinen Lern-Algorithmus, der es schafft robust das Erlernte auf andere nicht-trainierte Bildmerkmale zu übertragen. Selbst bei leichten Veränderungen des Bilds, z.B. durch Hinzufügen von Rauschen oder Veränderungen des Stils, begehen künstliche neuronale Netze schnell Fehler, obwohl unser Wahrnehmungsapparat keine Probleme hat den Inhalt des Bilds zu erkennen. Auch wenn die Meisten von uns unter dem Einfluss einer bestimmten Umwelt mit spezifischen Bildmerkmalen aufwachsen (beispielsweise der Schwäbischen Alb), kann unser Wahrnehmungsapparat das Erlernte problemlos auf ganz andere Umgebungen (beispielsweise der Umweltstatistik in einer Wüste oder die eines Gemäldes) übertragen.

 

Frühere Arbeiten haben gezeigt, dass künstliche tiefe neuronale Netzwerke ganz andere Bildinformationen (Merkmale) zur Entscheidungsfindung nutzen als unser Sehsystem. Während wir beispielsweise Objekte meist anhand ihrer Form kategorisieren, stützen sich diese Netzwerke hauptsächlich auf lokale Muster in den Bildern. Derzeit ist es noch sehr schwierig, die in unserer menschlichen Wahrnehmung verwendeten Bildmerkmale in künstliche Systeme einzubauen, da wir schlicht noch zu wenig über die genauen Eigenschaften biologischer Systeme wissen.

 

Aus diesem Grund wollen wir Mechanismen entwickeln, die robuste Merkmale direkt aus Messungen von Gehirnaktivität auf künstliche Systeme übertragen können. Wir werden zunächst unter kontrollierten Bedingungen untersuchen, mit welchen Mechanismen diese Merkmale zwischen den Netzwerken übertragen werden können. In der finalen Phase des Projekts werden wir öffentlich zugängliche Messdaten neuronaler Aktivität des Sehsystems nutzen und testen, welche Eigenschaften der Daten sich auf künstliche Netze mit den von uns entwickelten Methoden übertragen lassen.