In den vergangenen beiden Jahrzehnten haben bedeutende technologische Fortschritte in den Bereichen eingebettete Systeme, Robotik, industrielle Automatisierung und autonome Fahrzeuge stattgefunden. Eine gemeinsame Voraussetzung für all diese Innovationen besteht darin, dass Maschinen in der Lage sein müssen, die Welt in drei Dimensionen wahrzunehmen. Während das menschliche Auge und das Gehirn natürlicherweise eine dreidimensionale Umgebung verarbeiten können, bedarf es spezifischer depth-sensing Technologien, um Maschinen eine ähnliche Wahrnehmung zu ermöglichen. Ein tieferes Verständnis der zugrundeliegenden Technologien und Prinzipien ist daher von zentraler Bedeutung, um die Zukunft der Automatisierung und Robotik zu gestalten.
Gerätetypen
Time-of-Flight und LiDAR sind weit verbreitete Technologien zur depth-sensing Erfassung, die in verschiedenen Anwendungen eingesetzt werden. Es gibt jedoch keine universelle Lösung, die für jede Anwendung geeignet ist. In einigen Fällen kann es sogar sinnvoll sein, mehrere Ansätze zur Tiefenerfassung zu kombinieren, um die Vorteile der einzelnen Technologien zu nutzen.
Strukturierte Lichtkameras
Strukturierte Lichtkameras nutzen einen Projektor, der die Szene mithilfe von Streifen, Balken oder Lichtpunkten beleuchtet, um die Tiefe und Konturen von Objekten zu berechnen. Indem sie Verzerrungen im reflektierten Muster beobachten, können strukturierte Lichtkameras präzise Informationen über die Szene erlangen. Ähnlich wie Stereokameras hängt die Triangulation der Tiefe jedes Punktes im reflektierten Muster von der Baseline oder dem Abstand zwischen dem Lichtprojektor und dem Kameraobjektiv ab.
Manche Kameras mit strukturiertem Licht scannen die Szene schnell mit phasenverschobenen Lichtmustern ab, um präzise Konturen zu erfassen, die bei einem einzelnen Scan möglicherweise nicht erkennbar wären. In einigen Fällen werden Projektor und Stereokameras kombiniert, um die Präzision von 3D-Scannern mit strukturiertem Licht zu erhöhen. Durch die Kombination dieser Technologien können strukturierte Lichtkameras eine hohe Genauigkeit und Effizienz bei der Erkennung und Vermessung von Objekten in einer Vielzahl von Anwendungen bieten.
Strukturierte Lichtkameras sind ein vielversprechender Ansatz zur Tiefenerfassung, der äußerst präzise Tiefendaten liefert. Sie ermöglichen die Erstellung von Tiefenkarten mit einer Genauigkeit von bis zu 100 Mikrometern. Allerdings sind sie nur bei sehr kurzen Reichweiten nützlich und verlieren schnell an Präzision bei größeren Reichweiten.
Die Erstellung der Tiefenkarten ist zudem rechenintensiv und erfordert im Vergleich zu anderen Tiefensensortechnologien mehr Zeit. Aus diesem Grund sind sie nicht für Echtzeitanwendungen geeignet und funktionieren am besten bei stationären Objekten.
Es ist auch zu beachten, dass das Umgebungslicht die projizierten Muster stören kann. Daher werden strukturierte Lichtkameras in der Regel nur in Innenräumen eingesetzt, wo die Lichtverhältnisse kontrolliert werden können.
Stereo-Tiefenkameras
Stereo-Tiefenkameras arbeiten nach dem Prinzip des menschlichen Binokularsehens mit zwei Kameras, die einige Zentimeter voneinander entfernt sind. Die Verarbeitungssoftware der Kamera erkennt dieselben Merkmale in beiden Sensoren und nutzt den daraus resultierenden Versatz zur Triangulation, um die Tiefe eines Punktes zu berechnen.
Die meisten Stereotiefenkameras nutzen aktive Abtastung und besitzen einen strukturierten Lichtprojektor, um Punkte auf flachen oder strukturlosen Oberflächen zu finden. Meist verwenden sie Nah-Infrarot-Sensoren (NIR), um das projizierte Infrarotmuster zu erkennen, und einige Modelle wie die Intel RealSense™-Kamera besitzen einen RGB-Sensor, um Farbinformationen in die resultierende Tiefenkarte zu integrieren.
Trotz des rechenintensiven Prozesses der Merkmalsdetektion und -korrelation liefern Stereotiefenkameras effektiv Tiefeninformationen in Echtzeit bei verschiedenen Lichtverhältnissen. Allerdings sind sie aufgrund der Baseline – dem Abstand zwischen den beiden Kamerasensoren – und der Auflösung der Sensoren auf einen begrenzten effektiven Betriebsbereich beschränkt. Je weiter entfernt die Objekte von der Kamera sind, desto geringer wird der Abstand zwischen den entsprechenden Merkmalen, den die Sensoren nicht mehr auflösen können.
Stereotiefenkameras eignen sich in der Regel für Entfernungen von bis zu 6 Metern von der Kamera.
LiDAR-Sensoren
LiDAR-Systeme (Light Detection and Ranging) nutzen einen Laser-Sender, der fokussiertes Licht auf die zu erfassende Szene projiziert und ein Rastermuster von Lichtpunkten erzeugt. Der Sensor im System zeichnet das Intervall zwischen dem Aussenden und der Rückkehr des Lichtimpulses auf, um die Entfernung zu berechnen, basierend auf der Lichtgeschwindigkeit. Diese Entfernungsinformationen werden genutzt, um ein “Bild” der Szene zu generieren, welches auf den gemessenen Entfernungen und Richtungen basiert. Diese “Frames” enthalten mehrere hundert bis tausende von Einzelpunkten und bilden bei Abschluss eines Scans eine “Punktwolke”. Durch kontinuierliches Scannen können 3D-Karten des erfassten Gebiets generiert werden.
LiDAR-Systeme werden in verschiedenen Anwendungen eingesetzt, da sie in der Lage sind, effektiv auf große Entfernungen von mehreren hundert Metern zu arbeiten und in einer Vielzahl von Lichtverhältnissen zu funktionieren. Allerdings sind sie aufgrund ihrer aktiven Technologie empfindlich gegenüber Umgebungslicht im Freien. LiDAR-Sensoren verwenden typischerweise Infrarotlaser mit einer Wellenlänge von 905 Nanometern oder 1550 Nanometern. Die Laser mit kürzeren Wellenlängen eignen sich besser für die Vermessung großer Entfernungen, während Infrarotlaser mit längeren Wellenlängen für augensichere Anwendungen, wie z.B. die Navigation von Robotern in der Nähe von Menschen, besser geeignet sind.
ToF-Kamerasysteme
Time-of-Flight-Kameras sind eine weitere verbreitete aktive Tiefenerkennungs-Technologie. Es gibt zwei verschiedene Ansätze für Time-of-Flight-Tiefenerkennungssysteme: Direkte Time-of-Flight-Kameras (manchmal auch “dToF”-Kameras genannt) und indirekte Time-of-Flight- oder iToF-Kameras. Beide Ansätze haben spezifische Vorteile für bestimmte Anwendungen.Direkte Lichtlaufzeit (dToF)
Direkte ToF-Kameras funktionieren ähnlich wie LiDAR-Sensoren. Sie senden unsichtbare Infrarot-Laserimpulse aus und erfassen dann das von Objekten reflektierte Licht, um die Szene abzutasten. Anhand der Zeit, die der Lichtimpuls benötigt, um vom Sender zum Objekt und zurück zu gelangen, kann die Entfernung zu jedem Punkt berechnet werden.
Diese Kameras verwenden spezielle Sensorpixel, die als SPAD-Pixel (Single Photon Avalanche Diode) bezeichnet werden. Diese können die plötzliche Photonenspitze erfassen, wenn ein Lichtimpuls reflektiert wird, und diese Zeitdauer aufzeichnen. SPAD-Pixel sind vergleichsweise groß und werden beim Laserscan in Gruppen ausgelesen.
Aufgrund der Arbeitsweise der Sensorpixel weisen direkte ToF-Kameras in der Regel eine begrenzte Auflösung auf. Trotzdem sind sie kompakt, relativ kostengünstig und eignen sich für eine Vielzahl von Anwendungen, bei denen keine hohe Auflösung oder Echtzeitleistung erforderlich ist.
Indirekte Lichtlaufzeit (iToF)
Indirekte Time-of-Flight- oder “iToF”-Kameras nutzen diffuse Infrarot-Laserstrahlen von einem oder mehreren Emittern, um die Szene in einer Abfolge modulierter Laserimpulse oder -blitze zu beleuchten. Die Laseremitter werden mit hoher Frequenz gepulst, um das Licht kontinuierlich zu modulieren. Anstatt direkt das Intervall zwischen den Lichtimpulsen und dem Zeitpunkt, zu dem sie zur Kamera zurückkehren, zu messen, zeichnen iToF-Kameras die Phasenverschiebung der Wellenform auf, die in jedem Pixel des Sensors aufgezeichnet wird, und vergleichen diese. Dadurch kann die Entfernung zu jedem Punkt in der Szene berechnet werden.
Indirekte ToF-Sensoren erlauben die Bestimmung der Entfernung zu jedem Punkt der Szene in einer einzigen Aufnahme.
Vorteile und Nachteile von ToF
Alle Tiefenerkennungs-Technologien haben ihre Vor- und Nachteile. Es gibt keine “Einheits”-Technologie, die für jede Anwendung perfekt geeignet ist. Time-of-Flight-Kameras bieten jedoch Vorteile, die sie im richtigen Kontext sehr nützlich machen.Vorteile von ToF-Kameras
Time-of-Flight-Kameras bieten eine Vielzahl von Vorteilen, die sie besonders nützlich in bestimmten Anwendungen machen. Insbesondere haben sie in der Regel keine beweglichen Teile, was für alle indirekten ToF-Kameras gilt, die eine diffuse Laserbeleuchtung verwenden. Obwohl einige direkte Flugzeitkameras MEMS-Chips (Micro Electro-Mechanical Systems) oder andere bewegliche Teile zur Ausrichtung des Lasers verwenden, ist ihre Konstruktion im Allgemeinen kompakt, leicht und relativ preisgünstig. Sie können je nach erforderlicher Leistung für ihre Laseremitter so klein gemacht werden, dass sie in sehr kleine Geräte, einschließlich Smartphones, integriert werden können.
Eine weitere wichtige Eigenschaft von ToF-Kameras ist ihre Fähigkeit, bei sehr schwachen Lichtverhältnissen oder sogar in völliger Dunkelheit zu arbeiten, da sie über eine eigene Beleuchtung verfügen. Darüber hinaus bietet die Genauigkeit von ToF-Kameras im Allgemeinen eine höhere Leistung als andere Tiefenerkennungs-Technologien, mit Ausnahme von strukturierten Lichtkameras. Je nach Betriebsbereich der Kamera kann die Genauigkeit im Bereich von 1 mm bis 1 cm liegen. Insgesamt bieten ToF-Kameras eine Vielzahl von Vorteilen, die sie zu einer wertvollen Wahl in verschiedenen Anwendungsbereichen machen können.
Insbesondere indirekte ToF-Kameras sind in der Lage, hochauflösende Tiefeninformationen mit bis zu 640×480 Pixeln und bis zu 60 Bildern pro Sekunde zu liefern, was sie für Echtzeit- und Hochgeschwindigkeitsanwendungen besonders nützlich macht. Darüber hinaus sind ToF-Kameras im Vergleich zu anderen Tiefenerkennungs-Technologien wie strukturierten Lichtkameras und LiDAR-Sensoren relativ kostengünstig.
Nachteile von ToF-Kameras
Allerdings gibt es auch einige Nachteile von ToF-Kameras, insbesondere in hell beleuchteten Situationen oder im Freien, wo das Umgebungslicht die Laseremitter beeinträchtigen kann. Auch können ToF-Kameras durch stark reflektierende oder retroreflektierende Oberflächen verwirrt werden, sowie durch das einfallende Licht anderer ToF-Kameras im gleichen Sichtfeld. In solchen Fällen können andere Tiefenerkennungs-Technologien, wie z. B. Stereo-Tiefenkameras, effektiver sein.
Dennoch ist die ToF-Technologie stetig weiterentwickelt und wird immer robuster und flexibler. So hat Sony Semiconductor Solutions kürzlich den IMX570 ToF-Sensor vorgestellt, der über einen speziellen Verarbeitungsschaltkreis verfügt, um die Auswirkungen von unerwünschtem Umgebungslicht zu reduzieren und die Genauigkeit und den Betriebsbereich des Sensors in stark beleuchteten Umgebungen oder bei hellem Sonnenschein zu verbessern.
Anwendungen der Time-of-Flight-Technologie
Wie jede Tiefenerkennungstechnologie haben Time-of-Flight-Kameras einige Einschränkungen und Nachteile. Ihre Flexibilität und leichte Integration machen sie jedoch für eine Vielzahl von Anwendungen geeignet.
ToF-Kameras werden in der industriellen und Robotik-Anwendung eingesetzt, um Tiefeninformationen zu liefern, einschließlich der Bereitstellung von Maschinen-Vision für Pick-and-Place-Roboter, der Objekterkennung auf Fertigungsstraßen, der Objektklassifizierung für Robotik-Anwendungen und der Bereitstellung von Navigation für mobile Roboter oder Autonome Fahrzeuge (AGVs). Ein gutes Beispiel hierfür ist die Verwendung als Führungssystem für autonome Gabelstapler in einem automatisierten Lager.
Da ToF-Kameras ihre eigene Beleuchtung liefern, können sie in einer Vielzahl von Umgebungen und Lichtverhältnissen sowohl drinnen als auch draußen eingesetzt werden.
Industrie- und Robotikanwendungen
ToF-Kameras finden in der Industrie und Robotik Anwendung, beispielsweise in der Maschinensicht für Pick-and-Place-Roboter, der Objekterkennung an Fertigungslinien, der Objektklassifikation für Robotik sowie für die Navigation von mobilen Robotern oder autonomen fahrerlosen Transportfahrzeugen (AGVs). Ein gutes Beispiel ist die Anwendung als Leitsystem für autonome Gabelstapler in einem automatisierten Lagerhaus. Da ToF-Kameras ihre eigene Beleuchtung bereitstellen, können sie in einer Vielzahl von Umgebungen und Lichtverhältnissen sowohl drinnen als auch draußen eingesetzt werden.
ToF-Kameras werden für die Tiefenerfassung in industriellen und robotischen Anwendungen eingesetzt, einschließlich der Bereitstellung von Maschinenvision für Pick-and-Place-Roboter, Objekterkennung auf Montagelinien, Objektklassifizierung für Robotik sowie für die Bereitstellung von Navigationsfunktionen für mobile Roboter oder Autonomous Guided Vehicles (AGVs). Ein gutes Beispiel wäre die Anwendung als Leitsystem für autonome Gabelstapler in einem automatisierten Lager.
Durch die eigene Beleuchtung können ToF-Kameras in einer Vielzahl von Umgebungen und Lichtverhältnissen sowohl drinnen als auch draußen eingesetzt werden.
Logistik und Lagerautomatisierung
Einer der Vorteile von ToF-Kameras ist, dass sie hochauflösende Tiefendaten in hoher Geschwindigkeit liefern, mit Bildraten von bis zu 60 fps. Das bedeutet, dass eine einzige ToF-Kamera, zum Beispiel über einem Förderband montiert, Pakete genau nach Größe sortieren kann – und dabei genauso schnell arbeitet wie das Förderband selbst.
Aus diesem Grund werden ToF-Kameras in der Logistik und Lagerautomatisierung weit verbreitet eingesetzt, um Pakete zu sortieren oder Robotern eine schnelle und präzise Handhabung, Stapelung und Palettierung von Paketen zu ermöglichen.
Mobilität und Automobil
ToF-Kameras finden ihren Einsatz in Mobilität, Transport und Automobilanwendungen – sowohl innerhalb als auch außerhalb des Fahrzeugs. Aufgrund der präzisen, Echtzeit-Tiefeninformationen, die sie liefern, sind ToF-Kameras nützlich, um eine Situationserfassung um das Fahrzeug herum zu gewährleisten.
ToF-Kameras werden eingesetzt, um Navigations- und Situationserfassungsfähigkeiten für selbstfahrende Autos bereitzustellen oder als Mittel, um genaue Reichweiten-Daten für Automobilhilfsfunktionen wie automatische Parkassistenz-Funktionen zu liefern.
ToF-Kameras finden sich auch im Fahrzeuginneren, wo sie für Aufmerksamkeitsverfolgung (um sicherzustellen, dass der Fahrzeugbediener die Straße im Auge behält), Gestenerkennung und Passagierüberwachung (um sicherzustellen, dass jeder sicher auf seinem Sitz sitzt) eingesetzt werden.
Retail-Automatisierung
Neue Anwendungen für ToF-Kameras entstehen im aufstrebenden Bereich der Retail-Automatisierung. Aufgrund ihrer Fähigkeit, Tiefe wahrzunehmen, werden ToF-Kameras nicht verwirrt, wenn Menschen eng beieinander stehen. Sie sind daher nützlich für Anwendungen wie Personen zählen, Tracking und Lokalisierung sowie für Flussanalysen (um zu beobachten, wie Menschen durch einen Einzelhandelsbereich gehen).
ToF-Kameras werden auch verwendet, um Funktionen für nahtlose Kassensysteme bereitzustellen, da sie nützlich sind, um Gesten zu erkennen und festzustellen, ob Personen Gegenstände halten.
Entertainment und Gaming
Eine aufstrebende Anwendungsmöglichkeit für ToF-Kamerasysteme ist der Bereich der Unterhaltungselektronik. ToF-Kameras können kostengünstig und kompakt genug hergestellt werden, um in eine Vielzahl von Verbrauchergeräten integriert zu werden, einschließlich Mobiltelefonen. Da sie ihre eigene Beleuchtung bereitstellen, werden ToF-Kameras bereits in Handys eingebaut, um in schlecht beleuchteten Situationen ein Fokus-Hilfssystem für sichtbare Lichtkameras bereitzustellen.
Aufgrund ihrer Fähigkeit, Tiefeninformationen aufzuzeichnen, eignen sich ToF-Kameras auch sehr gut für die Gestenerkennung, da sie nicht irritiert werden, wenn die Hände des Subjekts vor ihrem Körper vorbeigehen. Next-Generation-Videospielkonsolen und Virtual-Reality-Systeme nutzen ToF-Kameras, um die Hand- und Körperpositionen der Spieler zu verfolgen, um ein intensiveres Spielerlebnis zu bieten.
Vergleich von Tiefensensor-Technologien
Die folgende Tabelle vergleicht die Vor- und Nachteile der in diesem Dokument behandelten Tiefensensor-Technologien:| Eigenschaften | Strukturiertes Licht | Stereovision | LiDAR | dToF | iToF |
|---|---|---|---|---|---|
| Prinzip | Beobachtet Verzerrungen im projizierten Muster | Vergleicht Merkmale in zwei Stereo-Bildern | Misst die Laufzeit des reflektierten Lichts von einem Objekt | Misst die Laufzeit des reflektierten Lichts von einem Objekt | Misst Phasenverschiebung von modulierten Lichtimpulsen |
| Softwarekomplexität | Sehr hoch | Hoch | Niedrig | Niedrig | Mittel |
| Relative Kosten | Hoch | Niedrig | Variiert | Niedrig | Mittel |
| Genauigkeit | µm - mm | cm | Hängt von der Entfernung ab | mm-cm | mm-cm |
| Betriebsbereich | Niedrig, aber skalierbar | ~6m | Sehr skalierbar | Skalierbar | Skalierbar |
| Schwaches Licht | Gut | Schwach | Good | Good | Good |
| Im Freien | Schwach | Gut | Gut | Fair | Fair |
| Scangeschwindigkeit | Langsam | Mittel | Langsam | Schnell | Sehr schnell |
| Kompaktheit | Mittel | Niedrig | Niedrig | Hoch | Mittel |
| Stromverbrauch | Hoch | Skalierbar - Niedrig | Skalierbar - Hoch | Mittel | Skalierbar - Mittel |
Bewertung von iToF für Ihre Anwendung
FRAMOS hat ein ToF-Kameradevelopment-Kit eingeführt, das für Visionssystem-Ingenieure gedacht ist, die die Time-of-Flight-Technologie untersuchen oder ToF-Kameras für Machine-Vision-Anwendungen entwickeln möchten. Das FSM-IMX570-Entwicklungskit bietet Visionssystem-Ingenieuren einen einfachen, kohärenten Rahmen, um schnell einen funktionsfähigen Prototyp eines indirekten Time-of-Flight (iToF) Kamerasystems auf Basis von Sonys branchenführender iToF-Technologie zu entwickeln.
Wenn Sie daran interessiert sind, die Time-of-Flight-Technologie für eine neue Anwendung zu evaluieren oder ein Kameradevelopment-Projekt im Sinn haben, kann das FSM-IMX570-Entwicklungskit Ihnen eine einfache Möglichkeit bieten, mit der Technologie zu experimentieren oder Ihr eigenes Prototyp-Kamerasystem zu entwickeln.
Klicken Sie hier, um die Produktinformationsseite des Development-Kits anzuzeigen.
