Wie man einem Plastikfilm das Sehen lehrt

Den weltweit ersten biegbaren und transparenten Bildsensor hat das Institut für Computergrafik der Johannes Kepler Universität (JKU) Linz bereits 2013 der Öffentlichkeit vorgestellt. Nun hat das Team um Institutsvorstand Prof. Oliver Bimber den nächsten Durchbruch geschafft: Ein neuartiges Machine-Learning-Verfahren ermöglicht die Rekonstruktion von fast gestochen scharfen Bildern.

Der Bildsensor besteht aus einem dünnen und transparenten Polycarbonat-Film, der mit fluoreszierenden Partikeln angereichert ist. Licht, das den Film durchdringt, wird teilweise im Inneren absorbiert, in einer anderen Wellenlänge emittiert und zum Filmrand transportiert. Dort wird mit einer ausgeklügelten Technik ein zweidimensionales Lichtfeld vermessen (d.h. der Anteil des transportierten Lichtes, der an jeder Stelle den Rand in alle Richtungen verlässt). Aus diesem Lichtfeld lässt sich genau das Bild errechnen, das auf der Filmoberfläche optisch abgebildet wird.

Sensor lernt Rekonstruktion
Die bisherigen Bildrekonstruktionsansätze verfolgten dabei ähnliche mathematische Ansätze, wie man sie auch in der Computertomografie nutzt. Die Bildauflösung ist bei solch einem rein rechnerischen Ansatz allerdings stark beeinträchtigt. Das neue Verfahren errechnet die Bilder nicht länger einfach aus den gemessenen Lichtsignalen. Vielmehr wird der Sensor einmalig mit vielen tausenden von Zufallsbildern trainiert, um eine deutlich bessere Bildrekonstruktion zu erlernen. Diese Bilder stammen aus öffentlichen Online-Bilddatenbanken, wie z.B. Flickr oder Picasa. Nach ausgiebigem Training ist der Sensor dann in der Lage, mit dem angeeigneten Wissen über den Zusammenhang von Bild- und Lichtsignalen beliebig neue Bilder zu rekonstruieren – auch solche, die nicht trainiert wurden. Da sich aus dem Training Informationen ableiten lassen, die so komplex sind, dass sie sich rein mathematisch nicht (oder nur sehr schwer) beschreiben lassen, wird die Bildqualität mit dem Lernansatz deutlich verbessert.

Zahlreiche Anwendungsmöglichkeiten
Die neuen Ergebnisse werden nun in einem dritten Artikel zu diesem Projekt im renommierten Journal der Optical Society of America (OSA), Optics Express, veröffentlicht. Neben der initialen Präsentation des Sensors im Jahr 2013, wurde dort bereits Anfang 2014 die Möglichkeit zur Tiefenrekonstruktion mit Hilfe des Sensors publiziert.
„Wir leisten hier zwar in erster Linie Grundlagenforschung, stehen aber an der Schwelle zu weitreichenden Anwendungen“, so Prof. Bimber. Künftig könnte die neue Technologie z.B. dafür sorgen, dass Autowindschutzscheiben während der Fahrt den Zustand des Fahrers und der Passagiere überwachen oder Geschäftsauslagen die Blicke der Kunden auswerten.

Kooperation mit Microsoft
Das von Microsoft finanzierte, interdisziplinäre Grundlagenforschungsprojekt zielt auf die Entwicklung einer neuen Technologie ab, die die Möglichkeiten herkömmlicher Touchsensoren, die heute in vielen Geräten zu finden sind, enorm erweitert. Der nächste Schritt in der Entwicklung soll ebenfalls bahnbrechend werden: Das Projektteam um Prof. Bimber arbeitet bereits an einem weiteren Verfahren, das den Sensor nicht nur lehrt Bilder zu sehen, sondern sie auch zu verstehen.