Wissenschaft & Technik

Wissenschaftler haben eine Kamera mit künstlicher Intelligenz entwickelt, die bei völliger Dunkelheit Vollfarbe aufnehmen kann

Nachtsicht

Wissenschaftler der University of Irvine haben ein Kamerasystem entwickelt, das künstliche Intelligenz (KI) mit einer Infrarotkamera kombiniert, um auch bei völliger Dunkelheit Farbfotos zu machen.

Das menschliche Auge nimmt Licht im sogenannten „sichtbaren Spektrum“ wahr, Lichtwellenlängen zwischen etwa 300 und 700 Nanometern. Infrarotlicht liegt über 700 Nanometer und ist für Menschen ohne die Hilfe spezieller Technologie unsichtbar, und viele Nachtsichtsysteme können Infrarotlicht erkennen und auf einen digitalen Bildschirm übertragen, der den Menschen eine monochrome Sicht ermöglicht.

Die Wissenschaftler versuchten, diesen Prozess noch einen Schritt weiter zu führen und kombinierten diese Infrarotdaten mit einem KI-Algorithmus, der Farben vorhersagt, um Bilder so zu rendern, wie sie aussehen würden, wenn Licht im sichtbaren Spektrum wäre.

Typische Nachtsichtsysteme rendern Szenen als monochromen grünen Bildschirm, und neuere Nachtsichtsysteme verwenden hyperempfindliche Kameras, um sichtbares Licht zu erkennen und zu verbessern. Wissenschaftler sagen, dass Computer-Vision-Arbeiten bei schwachem Licht Bildverbesserung und Deep Learning verwendet haben, um Objekte im Infrarotbereich zu erkennen und zu klassifizieren, aber nicht durch genaue Interpretation derselben Szene im sichtbaren Spektrum. Das wollen sie ändern.

„Wir haben versucht, einen Bildgebungsalgorithmus zu entwickeln, der von optimierten Deep-Learning-Architekturen unterstützt wird, bei dem die infrarote spektrale Beleuchtung einer Szene verwendet werden könnte, um eine Leistung des sichtbaren Spektrums der Szene vorherzusagen, als ob sie von einem Menschen mit Licht im sichtbaren Spektrum wahrgenommen würde.“ Wissenschaftler. in einer in Plos One veröffentlichten Forschungsarbeit.

“Dies würde es Menschen ermöglichen, eine Szene im sichtbaren Spektrum digital zu rendern, wenn sie sich ansonsten in völliger Dunkelheit befinden und nur von Infrarotlicht beleuchtet werden.”

Dieses Bild veranschaulicht den Zweck der Bildverarbeitung, die Vorhersage von Bildern des sichtbaren Spektrums nur mit Infrarotbeleuchtung und das eingehende Lernen für die NIR-Datenverarbeitung.

Um ihr Ziel zu erreichen, verwendeten die Wissenschaftler eine monochrome Kamera, die für sichtbares und nahes Infrarotlicht empfindlich ist, um eine Reihe von Bildern aus gedruckten Bildern von Gesichtern in multispektraler Beleuchtung zu erhalten, die sich bis zu typischem sichtbarem Rot (604 nm) und Grün (529 nm) erstrecken. ) und Blau. (447 nm) sowie infrarote Wellenlängen (718, 777 und 807 nm).

Obere Reihe: Spektrale Reflexion in 32 Kanälen gedruckter Farbpalettenfenster mit Farbfoto und zusammengeführten Kanälen 447, 529, 604. Untere Reihe: Spektrale Reflexion für 6 ausgewählte Lichtwellenlängen und sichtbares Spektrum färben ein Foto, das durch Zusammenführen 429 5, 604 erstellt wurde.

„Herkömmliche Kameras erfassen blaue (B), grüne (G) oder rote (R) Pixel von Daten, um ein Farbbild zu erzeugen, das für das menschliche Auge wahrnehmbar ist. Wir untersuchten, ob eine Kombination aus Rot- und Nahinfrarot (NIR)-Infrarotleuchten mithilfe von tiefgreifendem Lernen verarbeitet werden könnte, um ein Bild mit dem gleichen Erscheinungsbild zu rekonstruieren, als wäre es mit sichtbarem Licht sichtbar gemacht worden. „Wir haben einen kontrollierten optischen Rahmen mit begrenzten Pigmenten geschaffen, um unsere Hypothese zu testen, dass DL Szenen mit NIR-Beleuchtung, die ansonsten für das menschliche Auge unsichtbar ist, für Menschen sichtbar machen kann.“

Das Team war in der Lage, ein konvergentes neuronales Netzwerk zu optimieren, um Bilder des sichtbaren Spektrums nur aus Nahinfrarot-Informationen vorherzusagen. Die Studie ist das, was sie als den ersten Schritt zur Vorhersage des menschlichen Sehvermögens durch Nahinfrarotbeleuchtung bezeichnen.

„Um RGB-Farbbilder aus Einzel- oder Wellenlängenkombinationen vorherzusagen, haben wir die Leistung der folgenden Architekturen bewertet: eine grundlegende lineare Regression, ein von U-Net inspiriertes CNN und eine U-Net-Erweiterung mit Rückwärtsverlust (UNet-GAN) », erklären sie.

Links: Wahrheitsbild des sichtbaren Spektrums, bestehend aus roten, grünen und blauen Eingabebildern. Rechts: Vorhersagerekonstruktionen für UNet-GAN, UNet und lineare Regression unter Verwendung von drei Infrarot-Eingangsbildern.

“Weiterführende Arbeiten können einen wesentlichen Beitrag zu einer Vielzahl von Anwendungen leisten, darunter Nachtsicht und Untersuchungen von biologischen Proben, die für sichtbares Licht empfindlich sind”, sagten die Wissenschaftler.

So beeindruckend die ersten Ergebnisse auch sind, künstliche Intelligenz fehlt. Derzeit kann das System nur auf menschlichen Gesichtern erfolgreich arbeiten.

„Menschliche Gesichter sind natürlich eine sehr begrenzte Gruppe von Objekten, wenn Sie so wollen. „Es lässt sich nicht sofort in das Färben einer allgemeinen Szene übersetzen“, sagte Professor Adrian Hilton, Direktor des Center for Vision, Speech and Signal Processing (CVSSP) an der University of Surrey. Junger Wissenschaftler.

“So wie es derzeit aussieht, würde es wahrscheinlich nicht funktionieren, wenn Sie die trainierte Methode auf Gesichter in einer anderen Szene anwenden würden, es würde wahrscheinlich keinen Sinn machen.”

Mit mehr Input und Weiterbildung gibt es jedoch keinen Grund zu der Annahme, dass das System nicht noch genauer und zuverlässiger gemacht werden könnte.

Die Forschungsarbeit mit dem Titel „Deep learning to enable color vision in the dark“ kann auf Plos One gelesen werden.


Bildnachweis: Header-Foto mit Genehmigung über Depositphotos.

About the author

m-admin

Leave a Comment