Event-basierte Bildsensoren

Erfassen Sie nur die wichtigsten Ereignisse

Event-Based Sensoren

Einführung

Bei vielen Kamerasystemen für die Überwachung von Ereignissen ist ein Großteil der erfassten Daten von Bild zu Bild gleich. wobei normalerweise nur wenige Pixelcluster Werte ändern. Damit erfasst der Sensor permanent das gesamte Sichtfeld und sendet die Daten jedes einzelnen Pixels innerhalb dieses Feldes, selbst wenn es sich um die gleichen Daten wie beim vorherigen Bild handelt. Bei der Betrachtung einer feststehenden Szene bleiben die meisten dieser Pixeldaten von Bild zu Bild unverändert und benötigen somit unnötig Bandbreite und Prozessor-Ressourcen. Ereignisbasierte Vision-Sensoren (EVS) helfen dabei, dieses Problem zu lösen, indem sie nur Daten von Pixeln senden, bei denen eine Veränderung der Intensität festgestellt wurde. Auf diese Weise können die Datenmenge, die über den Datenbus des Sensors übertragen wird, sowie die für die Analyse des Bildes erforderlichen Prozessor-Ressourcen minimiert werden. Darüber hinaus reagieren die einzelnen Pixel autonom auf Helligkeitsveränderungen, so dass der Sensor kleine und/oder hochfrequente Änderungen mit geringerem Bandbreitenbedarf erkennen kann.

Pixel-Architektur

Ein Pixel auf einem EVS-Sensor funktioniert ähnlich wie das menschliche Auge Licht wahrnimmt. Rezeptoren in der Netzhaut wandeln Licht in ein elektrisches Signal um, das im Gehirn verarbeitet wird. Die neuronalen Zellen erkennen Licht und Schatten und senden diese Informationen, falls sie eine Veränderung in der Szene erkennen, an den visuellen Kortex (Teil der Großhirnrinde).

In ähnlicher Weise wird das im EVS empfangene Licht in der Lichtempfangseinheit (dem Pixel) erfasst. Dieses Hellligkeitssignal durchläuft zunächst eine Verstärkerschaltung und anschließend einen Komparator, wo es mit einem vorherigen Wert verglichen wird. Wenn das Signal ansteigt oder abfällt, kann ein Ereignis festgestellt werden. Die daraus resultierenden Ereignisse können schließlich an anderer Stelle in der Kamera oder im Bildverarbeitungssystem weiterverarbeitet werden.

Anstelle einer Matrix von Pixelwerten, wie bei den konventionellen Bildsensoren, wird ein Datenstrom von Ereigniswerten gesendet, der die Pixelkoordinaten (X,Y), den Zeitpunkt des Ereignisses und die Lichtpolarität (dunkel zu hell oder hell zu dunkel) für jedes Pixel, das eine Veränderung erkannt hat. Nachdem ein Pixel ein Ereignis ausgelöst hat, wird es auf den neuen Helligkeitswert referenziert. Auf diese Weise entsteht ein Ereignisdatenstrom, der im Gegensatz zu konventionellen bildbasierten Kameras Bildraten von über 10k fps ermöglicht. (Referenz: Erläuterung der EVS-Technologie von Sony: https://www.sony-semicon.co.jp/e/products/IS/industry/technology/evs.html)

Über Prophesee

Prophesee ist der Entwickler der weltweit fortschrittlichsten neuromorphen Bildverarbeitungssystemen. Diese Systeme bestehen aus patentierten Metavision®-Sensoren und -Algorithmen, die es Maschinen ermöglichen, nun auch das zu sehen, was für sie bisher unsichtbar war.

Partnerschaft von Sony und Prophesee

Starten Sie die Evaluierung des bahnbrechenden ereignisbasierten Bildsensors, der von Sony Semiconductor Solutions veröffentlicht und in Zusammenarbeit zwischen Sony und PROPHESEE realisiert wurde.

Für die neueste EVS-Generation hat Sony Semiconductor Solutions, ein weltweit führender Anbieter von CMOS-Sensortechnologie und -herstellung, sich mit Prophesee zusammengetan, um zwei neue Sensoren zu produzieren.

Die 1MP IMX636- und VGA IMX637-Sensoren bieten die für einen Event-basierten Vision-Sensor branchenweit kleinste Pixelgröße von 4,86 µm. Sie verfügen über einen integrierten H/W-Ereignisfilter, um unnötige Ereignisdaten zu entfernen, wie z. B. periodische Ereignisse aufgrund von Lichtflimmern oder andere Ereignisse, zum Beispiel bei Objekten, bei denen eine Bewegung unwahrscheinlich ist.

Diese beiden Sensoren wurden durch eine Zusammenarbeit zwischen Sony und Prophesee ermöglicht, indem die CMOS-Bildsensortechnologie von Sony mit der einzigartigen ereignisbasierten Metavision®-Sensortechnologie von Prophesee kombiniert wurde.

Ermöglicht wurde dies durch die Kombination der technischen Merkmale des CMOS-Bildsensors von Sony, der durch die Verwendung einer Cu-Cu-Verbindung eine geringe Pixelgröße und eine hervorragende Leistung bei schlechten Lichtverhältnissen aufweist, mit der ereignisbasierten Metavision®-Sensortechnologie von Prophesee, die eine schnelle Pixelreaktion, eine hohe zeitliche Auflösung und eine hohe Datenausleseleistung ermöglicht.

Prophesee Metavision®

Mit 10- bis 1.000-mal weniger generierten Daten, einem Dynamikbereich von >120 dB und einer Zeitauflösung im Mikrosekundenbereich (entspricht mehr als 10.000 Bildern pro Sekunde) eröffnet Prophesee Metavision® ein riesiges Potenzial neuer Möglichkeiten in Bereichen wie die industrielle Automatisierung, Sicherheit und Überwachung, Mobilität, IoT und AR/VR. Die Lösungen von Prophesee Metavision® verbessern die Sicherheit, Zuverlässigkeit, Effizienz und Benutzerfreundlichkeit in einer Vielzahl von Anwendungsfällen.

Seit ihrer Einführung vor 150 Jahren haben alle konventionellen Video-Tools Bewegung durch die Aufnahme von mehreren Standbildern pro Sekunde wiedergegeben. Durch die schnelle Anzeige solcher Bilder entsteht die Illusion einer kontinuierlichen Bewegung. Vom Daumenkino bis zur Filmkamera wurde die Illusion immer überzeugender, aber an der grundlegenden Struktur hat sich nie wirklich etwas geändert. Für einen Computer ist diese Bewegungsdarstellung jedoch von geringem Nutzen. Die Kamera ist zwischen den einzelnen Bildern „blind“ und verliert Informationen über die sich bewegenden Objekte. Selbst wenn die Kamera Bilder aufzeichnet, enthalten ihre „Schnappschüsse“ keine Informationen über die Bewegung von Elementen in der Szene. Schlimmer noch, in jedem Bild werden die gleichen irrelevanten Hintergrundobjekte wiederholt aufgezeichnet, wodurch übermäßig viele nicht hilfreiche Daten generiert werden.

Prophesee annonciert Metavision® Intelligence Suite 3.0

Seit Juli 2022 bietet Prophesee SA die neuste Version der 5-fach preisgekrönten Metavision® Intelligence Suite (event-basierte Bildverarbeitungssoftware) kostenlos an, inklusive kommerzieller Lizenz.

Sie enthält ein komplettes Set von Machine Learning Tools, neue wichtige Open-Source-Module, fertige Anwendungen, Code-Beispiele und ermöglicht eine völlig kostenlose Evaluierung, Entwicklung und Freigabe von Produkten mit der enthaltenen kommerziellen Lizenz. Die kostenlosen Module in Metavision Intelligence 3.0 sind über C++ und Python APIs verfügbar und beinhalten ein umfassendes Toolkit für maschinelles Lernen.

Mit diesem fortschrittlichen Toolkit können Ingenieure auf einfache Weise Computer-Vision-Anwendungen auf einem PC für eine Vielzahl von Märkten entwickeln, darunter Industrieautomation, IoT, Überwachung, Mobile, Medizin, Automotive und für noch viele mehr.

Informationen, keine Rohdaten

Inspiriert von der menschlichen Netzhaut bietet der patentierte Event-basierte Vision-Sensor von Prophesee eine neue Art von Pixeln: Jeder Pixel verfügt über ein eigenes intelligentes Embedded-Processing. Auf diese Weise werden die Pixel unabhängig voneinander aktiviert, wodurch sie 10- bis 1.000-mal weniger Daten erzeugen.

Erfassen von Informationen zwischen den Bildern

Bei einem sich schnell bewegenden Objekt wird deutlich, dass die konventionelle Vision-Technologie nur eine Abfolge von Bildern generiert. Zwischen diesen Bildern gibt es Lücken, die Maschinenblindheit bedeutet. Prophesee Sensoren unterliegen dieser Einschränkung nicht, so dass Maschinen erstmals auch zwischen die einzelnen Bilder sehen können – und zwar sehr viel schneller (im Millisekundenbereich).

Ereignis-basierter optischer Fluss: Bewegungen Pixel für Pixel besser verstehen

Überzeugen Sie sich von diesem wichtigen Computer-Vision-Baustein unter event-basierten Gesichtspunkten. Sie werden damit Bewegungen wesentlich effizienter analysieren und verstehen können – und zwar durch kontinuierliche Pixel-für-Pixel-Erfassung und nicht mehr durch sequenzielle Bild-für-Bild-Analyse. Erfassen Sie Merkmale nur bei sich bewegenden Objekten und verringern Sie den Leistungsbedarf um das 17-fache im Vergleich zu konventionellen bildbasierten Ansätzen.

Überwachung von Vibrationen

Überwachen Sie Schwingungsfrequenzen eines Zielobjekts mit hoher Pixelgenauigkeit kontinuierlich aus der Ferne (nichtinvasiv). Diese Frequenzerkennung kann auf jeden Pixel in einer Szene angewendet werden. Bei jeder Bewegung des Ziels kommt es zu einer messbaren Helligkeitsänderung, die ein Ereignis erzeugt, bei dem die Pixelkoordinaten, Helligkeit, Polarität und der Zeitstempel aufgezeichnet werden. Auf diese Weise wird ein umfassendes kontinuierliches Verständnis von Schwingungsmustern für Schwingungen von 1 Hz bis in den kHz-Bereich mit einer Genauigkeit von 1 Pixel ermöglicht.

FSM-IMX636 Event-Basierte Bildsensoren Development Kit

Das FSM-IMX636 Devkit, das auf SONY’s und PROPHESEE’s innovativen IMX636 Sensor basiert, erlaubt es Produktentwicklern, Ingenieuren und Innovatoren das Potential der EVS-Technologie in ihren Applikationen auf einfache Art und Weise zu testen.

Im Vergleich zum herkömmlichen frame-based Image Sensing, ist mit diesem Kit der Prototypenbau schneller abgewickelt und das Festhalten von sich ultra-schnell bewegenden Objekten oder auch der Frequenzen von Maschinenvibrationen zu einem Bruchteil des Bearbeitungsaufwands der Übertragungsrate und des Energieverbrauchs möglich.

Entdecke EVS-Technologie mit dem FSM-IMX636 Development Kit