Bildverarbeitung mit Hyperspektral-Sensoren: Das richtige Design für Ihre Anwendung

Bildverarbeitung mit Hyperspektral-Sensoren: Das richtige Design für Ihre Anwendung

Bei vielen Bildverarbeitungsanwendungen sind die wichtigen Informationen in der Farbe der Szenerie kodiert. Herkömmliche Farbkameras gewinnen diese Informationen basierend auf den drei Standardfarbkanälen Rot, Grün und Blau (RGB). Mit dieser Technik werden die Farben jedoch nur näherungsweise reproduziert und die Qualität ist oft nicht ausreichend um das Bildverarbeitungsproblem zuverlässig zu lösen.  Die hyperspektrale Bildgebung überwindet diese Einschränkung, indem bei annähernd gleichbleibend hoher räumlicher Auflösung eine viel größere Anzahl an Spektralbändern genutzt wird. Durch die Weiterentwicklung der Sensortechnik können die notwendigen Schmalband-Spektralfilter auf Sensorebene aufgebracht werden. Mit diesen Sensoren kann die Komplexität von Hyperspektralkameras deutlich reduziert werden. Von diesen kompakten, zuverlässigen und benutzerfreundlichen Hyperspektralkameras profitiert wiederum praktisch jede Anwendung, bei der genaue Farbinformationen der Schlüssel zum Erfolg sind.

Farbe ist einer der wichtigsten Parameter bei vielen Bildverarbeitungsanwendungen und oft wichtige Grundlage für die Klassifizierung, die Unterscheidung von Hintergrund und Vordergrund oder für die Objektidentifizierung. Zur Farberfassung sind Kameras üblicherweise mit den drei Breitband-Farbkanälen Rot, Grün und Blau (RGB) ausgestattet, die in Form eines regelmäßigen, mosaikähnlichen Filtermusters, der sogenannten Bayer-Matrix, auf dem Sensor implementiert werden. Diese drei Standardfilter ergeben jedoch nur ungenaue Farbinformationen, was für die zuverlässige Erkennung feiner Farbverläufe oft nicht ausreicht. Eine genaue Farbcharakterisierung ist jedoch oft der Schlüssel zum Erfolg, z. B. für die genaue Unterscheidung von Gewebe, Nerven und Blutgefäßen in der nichtinvasiven Chirurgie. Deshalb beeinträchtigen herkömmliche Farbsensoren in vielen Anwendungen die Leistung und den Erfolg.

Im Gegensatz dazu handelt es sich bei der hyperspektralen Bildverarbeitung, auch Bildspektroskopie genannt, um eine Kombination aus zweidimensionaler Abbildung und Schmalbandspektroskopie. Mit dieser Technik kann die Lichtintensität für jeden Pixel mit einer größeren Anzahl an Spektralbändern (meist einige Dutzend oder Hundert) aufgenommen werden. Dadurch erhält jeder Pixel des Bildes ein vollständiges Farbspektrum (und nicht nur die drei Werte für Rot, Grün und Blau). Auf diese Weise kann die Szenerie mit deutlich mehr Farbdetails und höherer Genauigkeit erfasst werden. Dies ermöglicht für die Objektklassifizierung Lösungsansätze auf Grundlage von spektralen Eigenschaften durch statistisches Matching oder neuronale Netze. Damit eröffnen sich völlig neue Möglichkeiten für den Einsatz von Bildverarbeitung in vielen zusätzlichen Industrien.

Durch die Fortschritte in der Sensorentwicklung und Verarbeitungs­geschwindigkeit profitieren zahlreiche Anwendungen von der hyperspektralen Bildverarbeitung, wie beispielsweise die Teileprüfung in der Industrie, Probenklassifizierung in Medizin und Biophysik, Fernerkundung aus der Luft und zur militärischen Zielerfassung, bis hin zur Reife-Inspektion im Landwirtschafts- und Lebensmittelbereich. In diesem Artikel werden die beiden häufigsten Funktionsweisen von Hyperspektralkameras erklärt und deren Eignung für verschiedene Anwendungsbereiche erläutert.

Funktionsweisen von Hyperspektralkameras

Die Spektralzerlegung von Licht wird üblicherweise durch einen schmalen Spalt in Kombination mit dispersiven optischen Elementen erreicht. Dieser Ansatz ermöglicht zwar eine hohe spektrale Genauigkeit, der erforderliche optische Aufbau in der Kamera ist aber aufwendig und komplex. Dies kann zu großen Kameraabmessungen, unzuverlässiger Leistung und hohen Kosten führen.

In den letzten Jahren haben die Fortschritte bei der Sensorentwicklung die Implementierung von präzise abgestimmten Schmalband-Spektralfiltern auf Pixelebene ermöglicht. Im Gegensatz zu den drei Filtern, die in herkömmlichen Farbsensoren mit Bayer-Matrix verwendet werden, verfügen Hyperspektralsensoren über Filtermuster aus zahlreichen, gleichmäßig verteilten Schmalbandfiltern, die den gesamten Spektralbereich erfassen. Je nach Anwendung kann dieser Bereich von Ultraviolett bis zu nahem Infrarot reichen und somit deutlich außerhalb der Wahrnehmung des menschlichen Auges liegen. Die Funktionsweisen von Hyperspektralkameras können je nach Eigenschaften der verwendeten Filtermuster in die beiden Hauptkategorien Snapshot-Mosaik und Pushbroom-Scanning unterteilt werden, die jeweils unterschiedliche Anforderungen an den Aufbau der Anwendung stellen.

Pushbroom Scanning

Die Bewegung der Kamera relativ zum erfassten Objekt ist bei vielen Bildverarbeitungsanwendungen eine natürliche Gegebenheit. Typische Beispiele sind die Teileinspektion auf Fließbändern, die Fernerkundung per Flugzeug oder Satellit und die autonome Überwachung der Landwirtschaft mit unbemannten Fahrzeugen. Für diese Anwendungen eignen sich Hyperspektralkameras mit der Pushbroom-Scanning Technik am besten, bei denen zusammenhängende Pixelreihen des Bildsensors mit spektral-benachbarten Schmalbandfiltern beschichtet sind. Durch die Bewegung der Kamera relativ zur Umgebung bewegt sich das Objekt über den Bildsensor. Indem die Zeilenerfassung des Sensors und die relative Bewegungsgeschwindigkeit synchronisiert werden, erfolgt die Erfassung des Bildes Zeile für Zeile bzw. aufgrund der zeilenweisen Filterbeschichtung des Sensors Spektralband für Spektralband. Das gesamte Spektrum liegt vor, nachdem sich das Objekt vollständig über den Sensor bewegt hat. Auf dem zweidimensionalen Flächensensor werden die Pixelreihen daher für die Verarbeitung einer räumlichen Dimension verwendet, während die Spalten die spektrale Dimension erfassen. Die zweite räumliche Dimension ergibt sich aus der Bewegung der Kamera relativ zur Umgebung, dem sogenannten Pushbroom-Scanning. Diese Funktionsweise wird in Abbildung 1veranschaulicht.

Die Anzahl der Spektralbänder in Hyperspektralkameras mit Pushbroom-Scanning Modus liegt gewöhnlich bei über Hundert. Dadurch ergeben sich sehr detaillierte spektrale Informationen, die wiederum zuverlässigere Ergebnisse bei der Identifizierung und Klassifizierung ermöglichen. Die erreichbare räumliche Auflösung ist sehr hoch, da sie sich aus der Rohauflösung des Sensors in der einen Dimension (gewöhnlich 2048-4096 Pixel) und der Scangeschwindigkeit in der anderen Dimension ergibt. Grundvoraussetzung für die hohen spektralen und räumlichen Auflösungen ist jedoch das Scanning, also die Relativgeschwindigkeit zwischen Kamera und Objekt, welches zu einem potentiell komplexeren Aufbau in der Applikation führen kann.  Es muss jedoch hervorgehoben werden, dass das Scanning oft der Anwendung inhärent ist und deshalb keinen Nachteil darstellt.

Snapshot-Mosaik

Hyperspektralkameras mit Snapshot-Mosaik Sensor sind herkömmlichen Farbkameras sehr ähnlich. Die Filterbeschichtung ist als Mosaik aus sich wiederholenden Kacheln angeordnet. Anders als bei der  Bayer-Matrix mit 2 × 2 Pixeln bestehen diese Kacheln jedoch meist aus 4 × 4 oder 5 × 5 Pixeln. In jeder dieser Kacheln sind die einzelnen Pixel mit unterschiedlichen Schmalbandfiltern beschichtet (siehAbbildung 2), wodurch die Anzahl der Spektralbänder im Vergleich zu den herkömmlichen Farbkanälen Rot, Grün und Blau deutlich erhöht wird. Die zusätzlichen spektralen Informationen bedingen jedoch aufgrund der vergrößerten Kachelabmessungen im Filtermosaik eine Verringerung der räumlichen Auflösung.

Spektralb-nder 

Abbildung 1: Schema des CMOSIS CMV2000 Sensors mit einem auf die Sensorreihen ausgerichteten Schmalband-Filtermuster. Jedes Spektralband deckt eine Fläche der vollen Breite (2048 Pixel) mal 8 Reihen ab. Der abgedeckte Spektralbereich von 600 nm bis 1000 nm wird mit 100 Spektralbändern erfasst. Der modifizierte Sensor wird von IMEC bereitgestellt und von mehreren Kameraherstellern implementiert. Foto: XIMEA https://www. ximea.com/support/attachments/4675/XIMEA_imec_HSI_technology-Part-V1.1.pdf

Mosaik

Abbildung 2: Schema des CMOSIS CMV2000 Sensors mit sich wiederholenden Kacheln aus 4 × 4 Pixeln. In jeder Kachel wird der gesamte Spektralbereich von 465 nm bis 630 nm mit 16 Spektralbändern erfasst. Der modifizierte Sensor wird von IMEC bereitgestellt und von mehreren Kameraherstellern implementiert. Foto: XIMEA https://www.ximea.com/ support/attachments/4675/XIMEA_imec_HSI_technology-Part-V1.1.pdf

Die resultierenden Rohauflösungen liegen meist im Größenbereich von 500 × 250 Pixel, können aber mit ausgefeilten Interpolationsalgorithmen erhöht werden.

Wie es der Name andeutet, können die vollständigen räumlichen und spektralen Informationen mit einem Snapshot gewonnen werden. Hyperspektralkameras mit Snapshot-Mosaik können deshalb auch für konventionelle Videoerfassung oder andere Anwendungen verwendet werden, bei denen Scanning nicht umsetzbar ist. Hyperspektralkameras mit Snapshot-Mosaik sind somit sehr vielseitig und können leicht in nahezu jede Anwendung integriert werden, bei der sonst herkömmliche Farbkameras verwendet werden. Dazu zählen die Qualitätskontrolle, Lebensmittelsortierung, Gewebeanalyse, Endoskopie und Mikroskopie. Der einzige Nachteil ist die begrenzte Anzahl von ungefähr 20 Spektralbändern im Vergleich zu über 100 bei Kameras mit Pushbroom-Scanning. Allerdings reicht dies bereits für viele Bildverarbeitungsproblemstellungen aus, die mit herkömmlichen Farbkameras nicht gelöst werden können.

Objektive und weitere Bildverarbeitung

Für den Einsatz von Objektiven gelten bei beiden oben beschriebenen Sensordesigns keine besonderen Einschränkungen. Es muss lediglich auf eine hohe Transmission und eine geringe chromatische Aberration im betreffenden Spektralbereich geachtet werden. Daher können Kameras mit hyperspektralen Bildsensoren leicht mit bereits existierenden Objektiven für die industrielle Bildverarbeitung verwendet werden.

Bei Hyperspektralkameras erfolgt die Datenausgabe in Form von 3D-Datenwürfeln mit zwei räumlichen und einer spektralen Dimension, d. h. eines vollständigen Spektrums für jeden Pixel. Das Prinzip eines solchen Datenwürfels wird in Abbildung 3 veranschaulicht. Dabei stehen x und y für die bekannten räumlichen Dimensionen des Bildes und die vertikal angeordneten λ1..n  für n Spektralbänder. Es sollte beachtet werden, dass eine umfangreiche Bildnachverarbeitung erforderlich ist, um die Rohinformationen in Daten umzuwandeln, die dann für die Objektidentifizierung oder -klassifizierung genutzt werden können.

Zusammenfassung

Durch die Entwicklung von Dünnschichtverfahren in der Halbleitertechnik ist es möglich, Schmalband-Spektralfilter auf Pixelebene zu implementieren. Mit dieser Technologie können Hyperspektralkameras als zuverlässige, kompakte und benutzerfreundliche Systeme implementiert werden, die in viele verschiedene Anwendungen integriert werden können. Diese reichen von der Präzisionslandwirtschaft mit Dronen über die genaue Unterscheidung zwischen Gewebe, Nerven und Blutgefäßen bei der nichtinvasiven Chirurgie bis hin zu deutlichen Verbesserungen bei der Lebensmittelsortierung oder Qualitätskontrolle. Insbesondere in Kombination mit leistungsfähigen Algorithmen wie neuronalen Netzen, die die gewünschten Informationen aus den großen Mengen von Rohdaten extrahieren und analysieren, verbessern Hyperspektralkameras praktisch alle Anwendungen, bei denen die Farbe des Objekts eine zentrale Rolle spielt.

W-rfel

Abbildung 3: Ein 3D-Datenwürfel, bei dem x und y für die räumlichen Dimensionen stehen und λ1..n für n Spektralbänder.
Foto: XIMEA https://www.ximea.com/support/ attachments/4675/XIMEA_imec_HSI_ technology-Part-V1.1.pdf

 

Bleiben Sie auf dem Laufenden mit FRAMOS. Melden Sie sich für unseren monatlichen Newsletter an

Contact Us

Anrede*
Vorname*
Nachname*
Jobtitel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachrichten
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung

Contact Us

Anrede*
Vorname*
Nachname*
Job Titel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachricht*
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung

Kontaktieren Sie uns

Anrede*
Vorname*
Nachname*
Jobtitel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachrichten
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung

Kontaktieren Sie uns

Anrede*
Vorname*
Nachname*
Job Titel*
Unternehmen*
E-Mail*
Telefon*
Land*
Nachricht*
Mit dem Absenden der Anfrage werden Ihre Daten verarbeitet, um mit Ihnen in Kontakt zu treten und Ihre Fragen zu beantworten. Weitere Informationen zur Verarbeitung Ihrer Daten finden Sie in unserer Datenschutzerklärung