Event-basierte Bildsensoren

Erfassen Sie nur die wichtigsten Ereignisse

Einführung

Bei vielen Kamerasystemen für die Überwachung von Ereignissen ist ein Großteil der erfassten Daten von Bild zu Bild gleich. wobei normalerweise nur wenige Pixelcluster Werte ändern. Damit erfasst der Sensor permanent das gesamte Sichtfeld und sendet die Daten jedes einzelnen Pixels innerhalb dieses Feldes, selbst wenn es sich um die gleichen Daten wie beim vorherigen Bild handelt. Bei der Betrachtung einer feststehenden Szene bleiben die meisten dieser Pixeldaten von Bild zu Bild unverändert und benötigen somit unnötig Bandbreite und Prozessor-Ressourcen.

Ereignisbasierte Vision-Sensoren (EVS) helfen dabei, dieses Problem zu lösen, indem sie nur Daten von Pixeln senden, bei denen eine Veränderung der Intensität festgestellt wurde. Auf diese Weise können die Datenmenge, die über den Datenbus des Sensors übertragen wird, sowie die für die Analyse des Bildes erforderlichen Prozessor-Ressourcen minimiert werden. Darüber hinaus reagieren die einzelnen Pixel autonom auf Helligkeitsveränderungen, so dass der Sensor kleine und/oder hochfrequente Änderungen mit geringerem Bandbreitenbedarf erkennen kann.

Pixel-Architektur

Ein Pixel auf einem EVS-Sensor funktioniert ähnlich wie das menschliche Auge Licht wahrnimmt. Rezeptoren in der Netzhaut wandeln Licht in ein elektrisches Signal um, das im Gehirn verarbeitet wird. Die neuronalen Zellen erkennen Licht und Schatten und senden diese Informationen, falls sie eine Veränderung in der Szene erkennen, an den visuellen Kortex (Teil der Großhirnrinde).

In ähnlicher Weise wird das im EVS empfangene Licht in der Lichtempfangseinheit (dem Pixel) erfasst. Dieses Hellligkeitssignal durchläuft zunächst eine Verstärkerschaltung und anschließend einen Komparator, wo es mit einem vorherigen Wert verglichen wird. Wenn das Signal ansteigt oder abfällt, kann ein Ereignis festgestellt werden. Die daraus resultierenden Ereignisse können schließlich an anderer Stelle in der Kamera oder im Bildverarbeitungssystem weiterverarbeitet werden.

Anstelle einer Matrix von Pixelwerten, wie bei den konventionellen Bildsensoren, wird ein Datenstrom von Ereigniswerten gesendet, der die Pixelkoordinaten (X,Y), den Zeitpunkt des Ereignisses und die Lichtpolarität (dunkel zu hell oder hell zu dunkel) für jedes Pixel, das eine Veränderung erkannt hat. Nachdem ein Pixel ein Ereignis ausgelöst hat, wird es auf den neuen Helligkeitswert referenziert. Auf diese Weise entsteht ein Ereignisdatenstrom, der im Gegensatz zu konventionellen bildbasierten Kameras Bildraten von über 10k fps ermöglicht.  (Referenz: Erläuterung der EVS-Technologie von Sony: https://www.sony-semicon.co.jp/e/products/IS/industry/technology/evs.html)

Über Prophesee

Prophesee ist der Entwickler der weltweit fortschrittlichsten neuromorphen Bildverarbeitungssystemen. Diese Systeme bestehen aus patentierten Metavision®-Sensoren und -Algorithmen, die es Maschinen ermöglichen, nun auch das zu sehen, was für sie bisher unsichtbar war.

Partnerschaft von Sony und Prophesee

Für die neueste EVS-Generation hat Sony Semiconductor Solutions, ein weltweit führender Anbieter von CMOS-Sensortechnologie und -herstellung, sich mit Prophesee zusammengetan, um zwei neue Sensoren zu produzieren.

Die 1MP IMX636- und VGA IMX637-Sensoren bieten die für einen Event-basierten Vision-Sensor branchenweit kleinste Pixelgröße von 4,86 µm. Sie verfügen über einen integrierten H/W-Ereignisfilter, um unnötige Ereignisdaten zu entfernen, wie z. B. periodische Ereignisse aufgrund von Lichtflimmern oder andere Ereignisse, zum Beispiel bei Objekten, bei denen eine Bewegung unwahrscheinlich ist.

Mit 10- bis 1.000-mal weniger generierten Daten, einem Dynamikbereich von >120 dB und einer Zeitauflösung im Mikrosekundenbereich (entspricht mehr als 10.000 Bildern pro Sekunde) eröffnet Prophesee Metavision® ein riesiges Potenzial neuer Möglichkeiten in Bereichen wie die industrielle Automatisierung, Sicherheit und Überwachung, Mobilität, IoT und AR/VR. Die Lösungen von Prophesee Metavision® verbessern die Sicherheit, Zuverlässigkeit, Effizienz und Benutzerfreundlichkeit in einer Vielzahl von Anwendungsfällen.

Seit ihrer Einführung vor 150 Jahren haben alle konventionellen Video-Tools Bewegung durch die Aufnahme von mehreren Standbildern pro Sekunde wiedergegeben. Durch die schnelle Anzeige solcher Bilder entsteht die Illusion einer kontinuierlichen Bewegung. Vom Daumenkino bis zur Filmkamera wurde die Illusion immer überzeugender, aber an der grundlegenden Struktur hat sich nie wirklich etwas geändert.

Für einen Computer ist diese Bewegungsdarstellung jedoch von geringem Nutzen. Die Kamera ist zwischen den einzelnen Bildern „blind“ und verliert Informationen über die sich bewegenden Objekte. Selbst wenn die Kamera Bilder aufzeichnet, enthalten ihre „Schnappschüsse“ keine Informationen über die Bewegung von Elementen in der Szene. Schlimmer noch, in jedem Bild werden die gleichen irrelevanten Hintergrundobjekte wiederholt aufgezeichnet, wodurch übermäßig viele nicht hilfreiche Daten generiert werden.

 

Informationen, keine Rohdaten

Inspiriert von der menschlichen Netzhaut bietet der patentierte Event-basierte Vision-Sensor von Prophesee eine neue Art von Pixeln: Jeder Pixel verfügt über ein eigenes intelligentes Embedded-Processing. Auf diese Weise werden die Pixel unabhängig voneinander aktiviert, wodurch sie 10- bis 1.000-mal weniger Daten erzeugen.

Erfassen von Informationen zwischen den Bildern

Bei einem sich schnell bewegenden Objekt wird deutlich, dass die konventionelle Vision-Technologie nur eine Abfolge von Bildern generiert. Zwischen diesen Bildern gibt es Lücken, die Maschinenblindheit bedeutet.

Prophesee Sensoren unterliegen dieser Einschränkung nicht, so dass Maschinen erstmals auch zwischen die einzelnen Bilder sehen können – und zwar sehr viel schneller (im Millisekundenbereich).

Ereignis-basierter optischer Fluss: Bewegungen Pixel für Pixel besser verstehen

Überzeugen Sie sich von diesem wichtigen Computer-Vision-Baustein unter event-basierten Gesichtspunkten. Sie werden damit Bewegungen wesentlich effizienter analysieren und verstehen können – und zwar durch kontinuierliche Pixel-für-Pixel-Erfassung und nicht mehr durch sequenzielle Bild-für-Bild-Analyse. Erfassen Sie Merkmale nur bei sich bewegenden Objekten und verringern Sie den Leistungsbedarf um das 17-fache im Vergleich zu konventionellen bildbasierten Ansätzen.

Überwachung von Vibrationen

Überwachen Sie Schwingungsfrequenzen eines Zielobjekts mit hoher Pixelgenauigkeit kontinuierlich aus der Ferne (nichtinvasiv). Diese Frequenzerkennung kann auf jeden Pixel in einer Szene angewendet werden. Bei jeder Bewegung des Ziels kommt es zu einer messbaren Helligkeitsänderung, die ein Ereignis erzeugt, bei dem die Pixelkoordinaten, Helligkeit, Polarität und der Zeitstempel aufgezeichnet werden. Auf diese Weise wird ein umfassendes kontinuierliches Verständnis von Schwingungsmustern für Schwingungen von 1 Hz bis in den kHz-Bereich mit einer Genauigkeit von 1 Pixel ermöglicht.

Anwendungsbeispiele für Event-basierte Sensoren

Industrielle Automatisierung

Industrielle Prozesse, Inspektion, Überwachung, Objektidentifizierung, Erkennung und Verfolgung, Handhabung, Hochgeschwindigkeits-Bewegungssteuerung (Motion Control) / Robotik und FTS (Fahrerlose Transportsysteme)

IoT & Überwachung

Bewegungserkennung und -analyse, Einbrucherkennung, Erfassung von Verkehrsdaten, Führung von Menschenmengen, Personenzählung, ständige visuelle Erkennung, Gestenerkennung, unbedenklich hinsichtlich der Privatsphäre

Automobilbereich & Mobilität, Drohnen

Autonomes Fahren, Notbremsassistent, Fahrerassistenz, Kollisionsvermeidung, Fußgängerschutz, Insassenerkennung und -klassifizierung, Fahrerüberwachungssysteme, visuelles SLAM (simultane Lokalisierung und Kartierung)

Medizinischer Bereich

Sterilitätstests an lebenden Proben für die Gentherapie, Wiederherstellung des Sehvermögens, Blutproben-Rückverfolgbarkeit

GERNE BEANTWORTEN WIR IHRE FRAGEN ZU DEN BILDSENSORTECHNOLOGIEN. ODER FORDERN SIE NOCH HEUTE EIN MUSTER AN.