Die Kombination von IMU- und Vision-Sensordaten verbessert die Posenschätzung und damit die Sicherheit von Drohnen und UVA’s deutlich
Drohnen erleben einen Boom in der Industrie, der Überwachung und für die Freizeit – das weitere Potenzial der unbemannten Flugobjekte für Überwachungs- und Transportaufgaben ist immens. Wurden die Drohnen in der Vergangenheit vom Boden gesteuert, ist die aktuelle Generation zumeist autonom. Eingebaute Kameras werden nicht nur dazu verwendet, Aufnahmen der Welt zu machen, sondern auch, um sich darin zurechtzufinden und auf Ereignisse und Hindernisse zu reagieren. Dazu muss die Drohne ihre genaue Position im Raum kennen. Eine Kombination aus Bildverarbeitung und Beschleunigungsmessung bestimmt diese Pose deutlich exakter und sorgt so für ein stabileres und sicheres Flugverhalten.
Wenn eine Drohne fliegt, muss sie jederzeit über alle sechs Freiheitsgrade wissen, wie ihre Position und Orientierung im dreidimensionalen Raum ist. Eine solche Posenbestimmung über die Translation und Rotation ist entscheidend für einen kollisionsfreien und stabilen Flug. Für Entwickler von Drohnen ist es sehr schwer, mit einer einzigen IMU oder einem einzelnen Vision-Sensor sowohl die Rotation als auch die Translation im Raum mit einer hinreichenden Genauigkeit zu messen. Ein hybrider Ansatz, der die IMU- und Vision-Daten einer Drohne kombiniert, führt dagegen zu einer sehr exakten Posenschätzung und vereint die Stärken beider Messverfahren.
Kombination der Vorteile beider Sensoren
Ein IMU-Sensor misst die Beschleunigung und Drehung eines Objektes, seine Ausrichtung bzw. Rotation wird dabei aus den Rohdaten abgeleitet. Theoretisch könnten solche Beschleunigungsmessungen auch zur Ableitung der Position bzw. Translation genutzt werden. Innerhalb dieser Berechnungen müssten Entwickler jedoch zweimal integrieren – was zu einer hohen Fehlerwahrscheinlichkeit führt. Ein IMU-Sensor allein ist daher keine gute Quelle für präzise Standortinformationen.
Im Gegensatz dazu ist ein Bildsensor sehr gut für die Standortbestimmung geeignet, für die Bestimmung der Orientierung jedoch suboptimal. Gerade im Weitwinkel und bei Beobachtungen aus großen Abständen ist es für das Visionssystem sehr schwer, die Orientierung mit nur ansatzweiser Genauigkeit zu messen. Ein hybrides System gepaart aus den IMU- und Vision-Daten einer Drohne ermöglicht eine deutlich genauere Messung über alle sechs Freiheitsgrade im Raum und erzielt weit exaktere Ergebnisse als die einzelnen IMU- oder Bildsensoren.
„Die größten Herausforderungen bei der Konfiguration einer solchen Sensor-Fusion bestehen darin, einen gemeinsamen Koordinaten-Referenzrahmen für die Rotations- und Translationsdaten festzulegen sowie das Rauschen der Bildsensoren möglichst gering zu halten,“ sagt Mahdi Saleh, R&D-Ingenieur bei FRAMOS.
Ein beliebter Ansatz zur Erstellung eines solchen Referenzrahmens setzt auf lineare Kalman-Filter, welche die Daten der IMU- und der Bildsensoren für die hybride Posenschätzung zusammenführen. Für ein Vision-System, welches auf einer Drohne montiert oder in dieser eingebettet ist, wird das SLAM-Verfahren (Simultaneous Localization and Mapping) genutzt, um die Umgebung zu kartieren und bestimmt gleichzeitig die eigene Position darin. SLAM liefert damit das räumliche Bewusstsein der Drohne und stellt sicher, dass sie weder mit Bäumen, Gebäuden, Menschen oder anderen Objekten kollidiert.
Faktoren für ein hybrides Sensor-System bei Drohnen
Die Messqualität der Posenbestimmung wird von mehreren Faktoren beeinflusst. Primär hängt die Qualität und Genauigkeit der Messung von der Qualität der ausgewählten IMU selbst ab. Preiswerte IMU-Sensoren erzeugen tendenziell hohe Rauschpegel, was zu diversen Fehlern und Abweichungen führen kann. Essentiell ist etwa eine korrekte Kalibrierung des Kalman-Filters, um die Eigenschaften und das Rauschmodell des Sensors korrekt zu verstehen. Selbst IMU‘s vom gleichen Modell und Hersteller haben leicht unterschiedliche Rauschmuster, die für die Berechnung berücksichtigt werden müssen.
„Auf Seiten der Bildverarbeitung hängen die Details der Implementierung hauptsächlich davon ab, ob ein Bildsensor mit Global- oder Rolling-Shutter verwendet wird“, sagt Mahdi Saleh. „Ein Global-Shutter beleuchtet jeden Pixel gleichzeitig und verhindert damit Bewegungsartefakte. Rolling-Shutter-Sensoren sind meist kostengünstiger, durch leicht unterschiedliche Auslesezeiten können aber Verzerrungen im Bild auftreten“, gibt der Vision-Experte zu bedenken.
Die Artefakte können mit den IMU-Informationen und verschiedene Filtermethoden korrigiert werden. Heutzutage können auch Methoden der Künstlichen Intelligenz das Rauschen des Bild- oder IMU-Sensors wirksam reduzieren und korrigieren.
Kombination von IMU- und Vision-Daten
Eine weitere Herausforderung bei Hybridsystemen besteht darin, dass die Bildraten der Vision-Sensoren oft sehr langsam sind, die Bilder kommen meist mit einer Geschwindigkeit von weit unter 100 Hz an. Die IMU-Daten dagegen kommen mit sehr hoher Frequenz, manchmal mit weit über 1 KHz. Drohnenentwickler müssen während der Implementierung einen Weg finden, die Informationen aus beiden Systemen zu einem identischen Zeitpunkt abzugleichen. SLAM-Techniken, wie die Continuous Trajectory Estimation, können die Bewegung der Drohne beispielsweise vorhersagen, indem sie davon ausgehen, dass die Drohne sich kontinuierlich fortbewegt.
Entwickler können damit sowohl die IMU- als auch die Vision-Daten in einen gemeinsamen Bezugsrahmen integrieren und die Messungen zu einem bestimmten Zeitpunkt der vorhergesagten Flugbahn zuordnen. Zwischen zwei beliebigen Bildaufnahmen liefern mehrere IMU-Messungen zusätzliche Referenzpunkte. Die Drohne wird so in ihrem Flug ständig zeit-synchronisiert und mit IMU-Daten aktualisiert. Vice versa korrigieren jedes Mal, wenn Bilddaten aufgenommen werden, diese dann automatisch die IMU-Informationen.
Hardware-Anforderungen, Implementierung und Testing
In Anbetracht des begrenzten Bauraums von Drohnen und der allgemeinen Ressourcenbeschränkung in Embedded Systemen ist die Implementierung einer robusten Konfiguration für die Synchronisation von IMU- und Vision-Daten eine echte Herausforderung. Alle eingesetzten Komponenten müssen leicht, schlank und gleichzeitig so leistungsstark wie möglich sein, sie dürfen nur wenig Speicher und Strom verbrauchen. Speziell bei Drohnen müssen SoC-Entwickler zudem ihre Sensoren physisch und softwareseitig gut stabilisieren, da die Propellerbewegungen extreme Erschütterungen verursachen, welche die Bildkomponenten und das Designs stark beeinflussen.
Sowohl der Vision-Sensor als auch die IMU verfügen jeweils über individuelle lokale Referenzsysteme zur Messung ihrer eigenen Pose. Auch diese müssen vorab kalibriert werden, um sicherzustellen, dass ein hybrider SLAM einen exakten gemeinsamen Referenzrahmen hat. Jedes System muss also zunächst einzeln kalibriert und dann in Bezug aufeinander ko-kalibriert werden, um die genaue Position im gemeinsamen Referenzrahmen zu erhalten. Am Markt gibt es verschiedene Datensätze, um die Posenbestimmung von UAV’s in Hybrid-Bauweise und die entwickelten Pipelines zu prüfen. Der am häufigsten verwendete Datensatz ist EuRoC, er liefert sowohl rohe Vision-Daten wie auch IMU-Daten, um die Algorithmen zu testen und mit anderen Methoden zu vergleichen.
Bildsensoren sind meist von Anfang an in den Designs von autonomen Flugobjekten wie Drohnen vorgesehen – sie sind aber nicht die einzige benötigte Messtechnologie für alle Implementierungen. Gerade die Kombination mit anderen Sensoren wie IMU’s können in einer viel robustere Implementierung der Drohnen und ein stabileres Flugverhalten mit weniger Fehlern münden. Von den Verbesserungen dieser “Sensor-Fusion”-Konfigurationen profitieren alle Anwendungen, die auf autonome Geräte setzen. Sensor Fusion ist ein hervorragender Ansatz, um halb- und vollautonome Fahrzeuge, Industrieroboter, Drohnen und weitere autonome Geräte exakter und sicherer zu machen.
Dieser Artikel ist Teil einer Artikelserie der Embedded Vision Alliance.
Der Artikel wurde von FRAMOS verfasst und wird in Kooperation mit der Embedded Vision Alliance und weiteren Firmen veröffentlicht – die komplette Artikelserie “Multi-sensor Fusion for Robust Device Autonomy” finden Sie auf den Seiten der Embedded Vision Alliance.
