JKU entwickelt lernenden Farbsensor

Über die Entwicklung des weltweit ersten biegbaren und transparenten Bildsensors an der Johannes Kepler Universität wurde in den vergangen Jahren viel berichtet. Nun ist dem Team um Oliver Bimber am Institut für Computergrafik ein weiterer Durchbruch gelungen: Die Rekonstruktion von Farbbildern mit Hilfe einer mehrschichtigen Kunststofffolie.

Gewöhnliche Bildsensoren messen den Rot-, Grün-, und Blauanteil von Farbbildern an benachbarten Bildpunkten (Pixeln), die mit unterschiedlichen Farbfiltern bestückt sind. Die Ortsauflösung der resultierenden Farbbilder entspricht dabei aber lediglich einem Drittel der eigentlichen Sensorauflösung. Anders bei dem neu entwickelten Sensor. Hier werden die Farbanteile in verschiedenen Schichten untereinander gemessen, ohne dabei die Ortsauflösung des Bildes zu beeinflussen. Ermöglicht wird dies durch die transparenten Eigenschaften der Sensorfolie. Dabei ähnelt das Messsignal in jeder Schicht dem eines Computertomographen — mit dem Unterschied, dass Licht anstelle von Röntgenstrahlung erfasst wird.

Programm schätzt Farbanteile
Gezeigt wird in der aktuellen Forschungsarbeit auch, dass für die meisten Abbildungen weniger Schichten nötig sind, als sie Farbkanäle beinhalten. Für gewöhnliche RGB Bilder reichen zum Beispiel zwei Schichten aus, die physikalisch jeweils nur den Grün- und Blaukanal vermessen. Der statistisch wahrscheinlichste Anteil des Rotkanals kann dann durch einen „Machine Learning“ Ansatz abgeschätzt werden („Machine Learnung“ erlaubt der Künstlichen Intelligenz, aus vorhandenen Informationen eigenständig zu lernen). „Im Prinzip wurden also bisher die verschiedenen Farbanteile an benachbarten Stellen gemessen, jetzt messen wir zwei Farbanteile an der selben Stelle und berechnen den dritten“, so Projektleiter Bimber.

Dazu analysierte das Team tausende von Bildern aus Bilddatenbanken wie Flickr, um die Zusammenhänge zwischen Rot-, Grün-, und Blauanteil zu ermitteln. Ausgeklügelte Algorithmen erlauben es nun dem Sensor, diese Zusammenhänge zu erlernen und das erlernte Wissen bei anderen Bildern anzuwenden, um den fehlenden Farbkanal aus den bekannten Kanälen zu rekonstruieren - und das in überraschend guter Qualität.