Die Lg11059 ist die Bildverarbeitungslösung für den wachsenden UAV-Markt
Autor: Lumenera Corporation, www.lumenera.com
Hintergrund
Ein unbemanntes Luftfahrzeug (Unmanned Aerial Vehicle, UAV) ist ein Flugzeug, das ohne menschlichen Pilot an Bord fliegt. Es wird ferngesteuert oder fliegt autonom mit Hilfe vorprogrammierter Flugpläne oder anderer automatisierter Leitsysteme. Traditionell wurden unbemannte Luftfahrzeuge vor allem für militärische Missionen genutzt. Sie kommen zunehmend auch bei zivilen Anwendungen zum Einsatz, zum Beispiel zur Brandbekämpfung, Strafverfolgung, Beurteilung von Naturkatastrophen und bei der Umweltüberwachung.
Das moderne UAV entstand in den 1970er Jahren, motiviert durch den Bedarf des Militärs an einer sicheren Art und Weise, Gebiete mit hohem Risiko ohne Gefahr für das Leben eines Piloten zu überfliegen. Diese Flugmissionen profitieren von kleineren, kaum zu entdeckenden Luftfahrzeugen im Vergleich zu einem bemannten Flugzeug. Ingenieure in den USA begannen Experimente mit kleineren, langsameren und billigeren UAVs, die große Modellflugzeuge nachahmten. Deren wichtigstes Merkmal war die Aufnahme von kleinen Video-Kameras, die in Echtzeit Bilder zum Leitstand am Boden senden konnten. In den 1980er und Anfang der 1990er Jahre wurden die Luftfahrzeuge größer und leistungsfähiger. Mitte der 1990er Jahre waren sie daher bereits weit verbreitet. Dank ihrer Aufklärungs- und taktischen Fähigkeiten sind UAVs heute ein wichtiger Bestandteil des weltweiten Kampfes gegen den Terrorismus.
UAVs sind extrem flexible Geräte, die für eine Vielzahl von Anwendungen über die derzeitigen Anforderungen des Militärs, zur Terrorismusbekämpfung und zur Strafverfolgung hinaus genutzt werden können. Die Technologie-Entwicklung für zivile Anwendungen begann in den 1990er Jahren. Heute verlassen sich eine breite Palette von internationalen gemeinwirtschaftlichen Einrichtungen und privaten Unternehmen auf UAVs für diverse zivile und kommerzielle Einsätze. UAVs sind ein wachsendes Geschäft für die Rüstungsindustrie mit einem großen Wachstumspotenzial – in einer Zeit, in der das Militär weltweit versucht, größere Anschaffungen wie Kampfjets und Kriegsschiffe zu reduzieren. In Verbindung mit den vorgenannten Anwendungen steigt die Nachfrage nach UAVs im Allgemeinen und bildverarbeitenden Kameras im Besonderen.
Architektur
Das bildgebende System eines UAV beruht auf einer Reihe von Technologien, darunter Sensoren, DV-Geräte und drahtlose Kommunikation. Eine typische Plattform würde mehrere digitale Kameras umfassen, die mit einem GIS-Prozessor in Verbindung stehen. Georeferenzierte Bilddaten werden durch eine Datennetzwerk-Vermittlungsstruktur verteilt, wodurch die Systemkonfiguration einfach, erweiterbar und flexibel ist. Der Steuercomputer wird verwendet, um die Kamera auszulösen, die Bilder zu speichern und für die Übertragung vorzubereiten. Er zeichnet Daten wie Kameraeinstellungen, Höhe und Position auf, die den Bildern als Metadaten beigefügt werden. Die Daten werden dann über ein modernes Drahtlos-Netzwerk an die UAV-Bodenstation gesendet, das auch den Abruf großer Dateien in Echtzeit ermöglicht. Moderne UAVs sind in der Lage, Multi-Megapixel-Großformatbilder und Metadaten zu erfassen und zu streamen.
Der Bildgebungs-Steuercomputer ist normalerweise vom Flugsteuerungsrechner entkoppelt, wobei die beiden Computer Informationen in Echtzeit austauschen. Die Flugbahn und andere missionskritische Anforderungen werden von Ingenieuren in der Bodenstation in die Einsatzplanungs-Software programmiert, die den Autopiloten mit den notwendigen Daten zur Lenkung und Steuerung des Luftfahrzeugs während der Mission versorgt.
Mehrere Kameras können in eine einzige Baugruppe kombiniert werden, um die sensorischen Fähigkeiten des UAV-Systems zu erhöhen. Ein modulares System ermöglicht die Montage mehrerer Kamera-Module auf einem einzigen Kameraträger, um den Anforderungen einer bestimmten Mission gerecht zu werden. Der Einsatz mehrerer Kameras ermöglicht die Erfassung einer Mischung aus Farb-, Falschfarben- und Monochrom-Bildern, die den gleichen Zielbereich abdecken. Die optischen Achsen der Kameras müssen zueinander parallel sein und ihre Auslöser müssen für gleichzeitige Aufnahme synchronisiert sein. Bildverarbeitung wird dann verwendet, um die verschiedenen Bilder miteinander zu einem einzigen, sehr detaillierten Farbbild zu verschmelzen.
Mehrere Kameras werden auch verwendet, um schräge Bilder aufzunehmen, für die typischerweise eine vertikale und mehrere schräge Kameras gleichzeitig eingesetzt werden. Die Bilder von diesen Systemen ermöglichen die dreidimensionale Rekonstruktion einer Szene. Die eindeutigen Winkel in den Bildern von am Boden dargestellten Merkmalen ermöglichen eine axiale Information zu den vertikalen Seiten.
Mehrere Kameras können in einem Array positioniert werden, um volle 180° High-Definition-Snapshot-Bilder in einer Aufnahme zu ermöglichen. Dies bedeutet, dass das System ein einzelnes Bild einer gesamten Szene machen kann und hierzu große Mengen an Informationen aus dem erfassten Bild erhält. Der Detaillierungsgrad und die Genauigkeit von Bildern mit diesem Multi-Kamera-Konzept geht weit über das hinaus, was mit einer einzelnen Kamera mit einem Weitwinkel-Objektiv möglich wäre, da durch ein Objektiv Abbildungsfehler auftreten können und der Detaillierungsgrad an den Bildrändern abnehmen kann.
Die nach unten gerichteten Kameras im UAV können für Orthofotos genutzt werden, eine Luftaufnahme-Technik, die ein Bild mit überall konstantem Maßstab erstellt. Da sich der Maßstab mit der Position des Bildes nicht ändert ist es möglich, genaue Messungen von Winkeln, Flächen und Entfernungen mit relativ einfachen Berechnungen zu machen. Damit diese Technik funktioniert, muss die nach unten gerichtete Kamera exakt im rechten Winkel zum Boden ausgerichtet werden.
Kamera-Anforderungen
Kameras, die in UAVs eingesetzt werden, müssen eine Reihe sehr spezifischer Anwendungs-Anforderungen erfüllen. Traditionell sind luftgestützte Digitalkameras in drei spezifische Kategorien unterteilt worden:
- Kleinformat – Kameras mit Sensoren bis zu 16 Megapixel
- Mittelformat – Kameras mit Sensoren zwischen 16 und 50 Megapixel
- Großformat – Kameras mit Sensoren über 50 Megapixel
Die Grenze zwischen Klein-, Mittel- und Großformat-Sensoren hat sich mit der Zeit verschoben und wird sich weiterhin verschieben oder verwischen. Einige Unternehmen werben beispielsweise für Mittelformat-Kameras, die größere Sensoren als ihre bisherigen Großformat-Kameras aufweisen. Die Definition bezog sich ursprünglich auf die Sensorgröße. In der Vergangenheit war ein (35 mm) Kleinformat-Kamerasensor 24 x 36 mm groß, bis 60 x 90 mm war das Mittelformat und alles darüber war Großformat. Die Kosten in den verschiedenen Kategorien sind auch nicht scharf abgegrenzt, was neue Möglichkeiten eröffnet, wenn die sonst als Einstiegsmodelle betrachteten Kleinformat-Kameras immer mehr Fähigkeiten bekommen. Für weitere Verwirrung sorgt, dass ein 35 mm Sensor in der Luftbild-Branche als klein gilt, während er im Consumer-Bereich und in der Bildverarbeitungs-Branche als groß gilt.
Kleinformat-Kameras sind üblicherweise: a) Area-Array-(Vollbild-)Kameras mit zweidimensionalen CCD- oder CMOS-Arrays, und b) monochrom oder gekoppelt mit Mosaik-RGB-Filter für Farbbilder oder IR-Filter für Falschfarben-Bilder. Großformat-Kameras werden in der Regel als Stand-alone-Sensoren für traditionelle Wide-Area-Mapping-Anwendungen oder in großer Höhe eingesetzt, während Mittelformat-Kameras oft zur Erfassung von LIDAR-Daten verwendet werden.
Es gibt eine Reihe von Leistungsmerkmalen, die für den Einsatz digitaler Kameras in UAV-Anwendungen in Betracht gezogen werden müssen. Der Rest dieses Dokumentes diskutiert diese im Detail.
Überragende Bildqualität
In der Luftbildfotografie wird die Bildbewertungsskala NIIRS (National Imagery Interpretability Rating Scale) zur Definition und Messung der Qualität von Bildern und der Leistung von bildgebenden Systemen genutzt. Durch einen Bewertungs-Prozess ordnen Analysten Bildern entsprechend NIIRS einen Wert zu, der die Interpretierbarkeit eines gegebenen Bildes angibt. Das NIIRS-Konzept bietet die Möglichkeit, die Qualität eines Bildes direkt mit den Interpretations-Aufgaben, für die es verwendet werden kann, zu verknüpfen. Obwohl NIIRS in erster Linie bei der Auswertung von Luftbildern angewandt wird, bietet es einen systematischen Ansatz, um die Qualität fotografischer oder digitaler Bilder, die Leistungsfähigkeit von Bilderfassungsgeräten und die Auswirkungen von Bildverarbeitungs-Algorithmen zu messen.
Die Bildqualität einer digitalen Kamera hängt von mehreren Elementen ab. Ein größerer Sensor kann mehr Licht erfassen, da er größere Pixel hat. Bessere Bildqualität lässt sich durch Sensoren mit größeren Pixeln einfacher erreichen. CCD-Sensoren bieten eine bessere Leistung als CMOS-Sensoren, die mehr rauschen und einen geringeren Dynamikumfang aufweisen. Ein 35 mm digitaler CCD-Sensor ist erforderlich, um die Bildqualität zu erreichen, die von einer kleinen Luftbildkamera erwartet wird. Zum Vergleich: Consumer-Kameras oder Handy-Kameras verwenden sehr kleine Sensoren mit winzigen Pixeln und basieren auf CMOS-Technologie, die nicht die für UAV-Anwendungen erforderliche Qualität erreichen kann.
Hohe Auflösung
Hochauflösende Sensoren sind erforderlich, um den für ein Luftbild notwendigen Detaillierungsgrad zu erreichen. Kameras mit höherer Auflösung benötigen kein Zusammensetzen mehrerer Bilder mit geringer Auflösung, um die gleiche geographische Fläche abzudecken. Image Stitching erfordert mehrere Bildmanipulationen, um die richtige Farbbalance über alle Bilder herzustellen, die durch verschiedene Lichtempfindlichkeiten jeder Kamera uneinheitlich war, und auch Pan-Sharpening-Techniken, um die unterschiedliche Schärfe der einzelnen Bilder auszugleichen. Das Endergebnis kann ein Bild mit geringerer Qualität als von einem Einzel-CCD-Sensor mit hoher Auflösung sein.
Ein Vorteil höherer Auflösung ist, dass Flugbahnen mit größerem Abstand zueinander gewählt werden können, um einen Zielbereich zu erfassen. Dies führt zu geringeren Kosten und betrieblichen Vorteilen. Außerdem können Missionen in größerer Höhe geflogen werden und dennoch den gleichen Detaillierungsgrad erzielen, der für taktische Einschätzungen benötigt wird – ein Vorteil bei verdeckten Operationen.
Zuverlässige Kamera-Auslöser
Elektronische Auslöser sind zu bevorzugen, da mechanische Auslöser einen Mechanismus verwenden, der frühzeitig versagen kann. Zuverlässigkeit ist entscheidend bei UAV-Anwendungen, da gescheiterte militärische Missionen erhebliche Kosten verursachen oder fatale Folgen für Truppen auf dem Schlachtfeld haben können.
Ein Global Shutter ist erforderlich, da dieser Verschluss Bildverzerrung vermeidet. Sie wird durch einen Unterschied in der Belichtungszeit zwischen der ersten und der letzten Zeile des Pixelarrays auf dem Kamerasensor verursacht.
Bei Verschlüssen, die nicht opak genug sind, um alles Licht zu blockieren, können Schlieren auftreten. Wenn ein Sensor einen schlechten Verschluss hat, kann helles Licht vor Beginn der Bildintegration in die Pixel austreten, die Pixelaufnahmen mit Elektronen auffüllen und dadurch einen hellen Streifen über einem hellen Abschnitt des Bildes verursachen. Wenn dieser gleiche helle Bereich die Pixel sättigt, kann ein Schleier nach unten im Bild zu sehen sein, da diese Pixel in die Sensor-Schieberegister überlaufen, wenn das Bild ausgetaktet wird. Das Endergebnis ist ein Streifen unter dem hellen Bereich. Bei Kombination können diese Artefakte zu einem weißen Blooming-Effekt einer ganzen Pixelspalte führen.
Bildformat
Bilder müssen im RAW-Format erfasst werden. Eine RAW-Bilddatei enthält den am geringsten bearbeiteten Output des Bildsensors einer Digitalkamera. Dadurch sehen Sie exakt, was die Kamera sieht, ohne Informationen durch die Bearbeitung zu verlieren. RAW-Bilder ermöglichen hohe Flexibilität, da Benutzer Helligkeit, Kontrast, Schärfe und andere Variable bei der Bildanalyse präzise steuern können und dies nicht bereits bei der Aufnahme erfolgen muss. RAW-Bilddateien haben 12 oder 14 Bits Helligkeitsinformation pro Pixel, JPEG-Bilder dagegen nur 8 Bit pro Pixel, und können aufgrund der zusätzlichen Informationen, die jeder Bildpunkt enthält, feinere Details darstellen.
Gestochen scharfe Bilder
Das System muss scharfe Bilder in jedem einzelnen Flugzustand garantieren. Die Umgebungsbedingungen können von Mission zu Mission stark unterschiedlich sein und vor allem das Licht ist unvorhersehbar.
Schlechteres Licht erfordert längere Belichtungszeiten, um Bilder hoher Qualität mit der Kamera aufzunehmen. Dies führt jedoch zu einer Unschärfe im Bild, da sich das UAV konstant bewegt. Eine hochempfindliche Kamera ermöglicht kurze Belichtungszeiten, ohne dass die Bildqualität verloren geht. Selbst unter schwierigen Lichtbedingungen entstehen so garantiert scharfe Bilder.
Geringes Rauschen
Die Empfindlichkeit einer Kamera hängt von dem minimalen Lichtsignal ab, das ein Sensor noch erkennt. Dieser Parameter wird stark von dem Rauschen in einem Bild beeinflusst. Kameras, die unter schwierigen Lichtbedingungen wie UAV-Anwendungen arbeiten müssen, müssen ein minimales Rauschen aufweisen, um die Lichterfassung des Sensors zu maximieren. Das Rauschen der Kamera setzt der Kameraempfindlichkeit eine ultimative Grenze. Digitalkameras werden deshalb häufig anhand ihres verschiedenen Rauschens verglichen, da Rauschen aus verschiedenen Quellen kommen kann. Eine hochempfindliche, rauscharme Kamera eignet sich am besten für UAV-Anwendungen.
Schnelle Bildraten
Überragende Kameras sollten die höchsten Bildraten für die gewünschte Auflösung bieten. Das Abbilden einer Szene beinhaltet die Aufnahme mehrere Bilder, die dann zusammengefügt werden. Die Bilderfassung mit höherer Bildrate bietet mehr Flexibilität bei der Bestimmung der Überlappung zwischen aneinandergrenzenden Bildern, da mehr Bilder bei gegebener Fluggeschwindigkeit aufgenommen werden können. Mit dem Parameter, wie schnell die Kamera Bilder erfassen kann, muss der Flugsteuerungsrechner die Geschwindigkeit des UAVs bestimmen. Bei vergleichbaren Werten von Flughöhe und Sichtfeld kann das UAV mit einer Kamera mit schnellerer Bildrate auch schneller fliegen. Es fliegt kürzer und hat ein geringeres Risiko, entdeckt zu werden.
Hohe Auflösung und hohe Bildraten müssen bei Digitalkameras oft gegeneinander abgewogen werden.
Spezielle Bildsensoren, die weit mehr leisten als vergleichbare Consumer-Produkte sind erforderlich, um sowohl hohe Bildraten als auch hohe Auflösung zu erreichen. Schließlich kann auch die Daten-Schnittstelle der Kamera die Auflösung und Bildraten für UAV-Anwendungen begrenzen, da das Datenvolumen aus der Kamera rechtzeitig zu den anderen missionskritischen Komponenten transportiert werden muss.
Flexibilität
Die Flexibilität des Systems ist besonders wichtig, um die Leistung des UAV individuell zu gestalten und die Kosten unter Kontrolle halten. Dies erfordert die Möglichkeit, Kameras und Objektive für eine Vielzahl von Missionskriterien austauschen zu können. Wie bereits erwähnt, kann die Flexibilität durch die Verwendung von Standard-Schnittstellen erreicht werden, die in Verbindung mit einer gemeinsamen Software-Architektur eine Reihe von Kameras unterstützt. Dies ermöglicht den Austausch von Kameras, ohne die Steuersoftware jedes Mal neu programmieren zu müssen, wenn Verbesserungen erfolgen oder eine andere Kamera-Architektur erforderlich ist. Das ist sehr nützlich für kleine und mittlere Unternehmen, die mit einer breiten Palette von Anwendungen arbeiten und dabei versuchen, ihre Betriebskosten zu senken.
Standard-Datenschnittstelle
Um einen schnellen Transfer der Bilddaten zu ermöglichen, muss die Kamera mit einer Hochgeschwindigkeits-Datenschnittstelle ausgerüstet sein. Eine Daten-Schnittstelle nach Industriestandard ermöglicht ein Mischen von Modulen, die jeweils eine bestimmte Funktion erfüllen, z. B. Flug-Computer, Bildspeicher, die Kommunikation mit der Bodenstation, um nur einige zu nennen. Das UAV erfordert effiziente Möglichkeiten, die großen Datenmengen, die hochauflösende Kameras der neusten Generation erzeugen, zu extrahieren, verarbeiten, analysieren, speichern und verteilen.
Gigabit Ethernet ist eine Netzwerktechnologie, die ideal für UAV-Anwendungen ist und heutzutage weit verbreitet genutzt wird. Zukünftige Systeme werden vielleicht mit schnelleren Varianten (10 Gigabit Ethernet) arbeiten, wenn der Wettlauf zu noch höheren Kameraauflösungen und gesteigerten Systemfähigkeiten so weitergeht. Kleinere UAV-Anwendungen können sich mit einem einfachen Bordcomputer mit USB-Bus zur Kommunikation mit Peripherie wie Kameras zufrieden geben, insbesondere durch Nutzung von USB 3.0, dessen Datendurchsatz den von Gigabit Ethernet übertrifft.
Robuste Konstruktion
UAVs stellen eine anspruchsvolle Betriebsumgebung für Digitalkameras dar. Sie müssen robust genug sein, Stöße und Vibrationen des Flugbetriebs zu überstehen. Sie müssen auch leicht und kompakt sein, um die Nutzlast des Flugzeugs zu reduzieren. Diese strengen Voraussetzungen können bis ins Extreme verschärft werden und zur Nutzung von Komponenten führen, die militärischen Anforderungen genügen. Die Kosten militärisch genutzter UAVs sind um ein Vielfaches höher als der Wert, der bei zivilen Anwendungen bereits als unwirtschaftlich gilt. Für zivile Anwendungen reichen kommerzielle Kameras, die robust und kompakt konstruiert sind, normalerweise aus. Selbst bei militärischer Ausrüstung geht der Trend wo möglich zu kommerziellen Standardlösungen, da die Militärs weltweit mit kleineren Budgets zurechtkommen müssen. Gute kommerzielle Kameras haben daher auch in einigen militärischen UAVs eine Chance.
Objektiv-Optionen
Die höhere Auflösung der Kameras ist eine Herausforderung für Objektivhersteller, die entsprechende Leistung für die höheren Auflösungen bringen müssen. Verbesserungen der Kameratechnologie erfordern äquivalente Verbesserungen der Objektive. Bei steigender Kameraauflösung werden Verzerrungen oder Abbildungsfehler im Glas bei Objektiven schlechter Qualität viel offensichtlicher. Aus diesem Grund ist es wichtig, dass ein Objektivhersteller hochwertiges Glas für Objektive verwendet, die an hochauflösenden Kameras verwendet werden. Der Objektivanschluss einer Kamera sollte eine große Auswahl von Qualitätsobjektiven aufnehmen können. Scharfstellen, Blendeneinstellung und Zoomfunktion sollten direkt in der Kamera erfolgen, damit diese Einstellungen entweder automatisch oder ferngesteuert durchgeführt werden können, wenn sich die Bedingungen während der Mission ändern.
Lumenera Lg11059 Kamera
Die Lg11059 ist eine 11 Megapixel-Kamera mit 5 fps bei einer Auflösung von 4008 x 2672. Diese industrietaugliche Kamera mit 35 mm hochauflösendem CCD-Sensor und einem vollständig integrierten Canon EF-Objektiv-Controller ist die ideale Lösung für anspruchsvolle Umgebungen wie UAVs. Ein vollständig elektronischer Global Shutter nimmt eine Momentaufnahme zu einem bestimmten Zeitpunkt, zu dem alle Zeilen gleichzeitig und nach quasi identischer Belichtungszeit erfasst werden, was zu einer absolut scharfen High-Speed-Aufnahme führt.
Die Lg11059 Kamera nutzt ihren qualitativ hochwertigen CCD-Sensor maximal aus und liefert entweder lebendige Farben oder sehr empfindliche Tageslicht- und nahe IR Monochrom-Bilder. Volles Streaming von nicht komprimiertem Video und Fotos werden über unsere Standard-API-Schnittstelle oder über die GigE Vision-Schnittstelle einfach gesteuert. Mit einer Region von Interesse und Binning-Modi kann die Kamera mit schnelleren Bildraten (14 fps bei 640 x 480 Auflösung) arbeiten, während sie nur die benötigten Bilddaten liefert. Die Synchronisation der Bilderfassung erfolgt über einen Hardware- oder Software-Trigger und wird von 32 MB Speicher an Bord für Bildspeicherung ergänzt, um die Bereitstellung der Bilder zu gewährleisten.
Das robuste und kompakte Design der Lg11059, die 76,2 x 76,2 x 82,6 mm misst, macht sie ideal zur Installation in kompakten Systemen, in denen es auf kleine Baugröße ankommt. Die voll verriegelte Gigabit-Ethernet-Verkabelung, Netzanschluss und digitale I/O-Schnittstelle sorgen für eine einfache Plug-and-Play-Installation und minimieren das Kabelwirrwarr an der Kamera auf ein Standardkabel. Vereinfachte I/O-Verkabelung durch einen verriegelten Hirose-Stecker, der 4 Ausgänge und 3 Eingänge unterstützt, die automatisch oder manuell durch Software gesteuert werden können. Die Verwendung verriegelter Anschlüsse gewährleistet zuverlässigen Betrieb selbst bei starken Vibrationen. Die Kamera ist frei von Ventilatoren oder Kühllöchern, was die Zuverlässigkeit weiter steigert.
SDK-Anwendung
Das Lumenera Camera SDK bietet eine vollständige Suite von Features und Funktionen, mit der Sie die Leistung Ihrer Kamera innerhalb Ihrer Anwendung maximieren können. Das SDK ist kompatibel mit allen USB- und GigE-Kameras. Microsoft DirectX/DirectShow, Windows API und .NET API Schnittstellen stehen zur Verfügung und ermöglichen Ihnen Anwendungsentwicklung in Entwicklungsumgebungen wie C/C++, VB.NET oder C#.NET. Volle IntelliSense Auto-Vervollständigung und Dokumentation wird mit der .NET API-Schnittstelle zur Verfügung gestellt und durch ein vollständiges API-Handbuch ergänzt, das sämtliche Funktionen und Eigenschaften der Kamera beschreibt.
Kamera Highlights
- 11-Megapixel-Kamera, mit 5 fps bei voller Auflösung (4008 x 2672)
- Lebendige Farben, hohe Lichtempfindlichkeit, monochrome NIR Bilder
- Full-Streaming von unkomprimierten Videos und Standbild-Erfassung
Download Artikel (pdf) Veröffentlichung: SPS Magazin
