Was ist Embedded Vision?
Die wachsende Anzahl von „intelligenten“ Geräten und Maschinen in der Industrie und dem Consumer-Bereich stellt neue Anforderungen an die Einbettung von Bildverarbeitungsfunktionalitäten und -systemen. Egal ob selbstfahrendes Auto, intelligenter Staubsauger oder der interagierende Roboter als Kollege in der industriellen Fertigung – erst vollständig integrierte Vision-Systeme als nativer Bestandteil der neuartigen Anwendungen machen diese sinnvoll nutzbar.
Das Internet of Things (IoT) ermöglicht die Schwarmintelligenz ganzheitlicher Systeme, indem es alle Geräte miteinander verbindet, sodass sie entsprechend interagieren können. Embedded-Vision-Technologien stellen in IoT-Systemen die Augen und das Gehirn (KI) für eine autonome Entscheidungsfindung ohne menschliche Interaktion bereit, sodass die Vision of Things (VoT) innerhalb des Internet of Things intelligent handeln kann.
Embedded Vision ermöglicht visuelle Intelligenz für Maschinen und bringt ihnen so das Sehen und Denken bei. Embedded Vision beschreibt die Kombination von Bildverarbeitung innerhalb eines Gerätes mit dem digitalen Processing und intelligenten Algorithmen, um die gewonnenen Bild- und Videodaten auszuwerten. So kann die „sehende und denkende“ Maschine auf Ereignisse und Prozesse reagieren sowie mit der Umgebung interagieren. Die integrierte Bildverarbeitung ist die Grundlage für eine sichere Mensch-Maschine-Kollaboration und das vernetze Arbeiten von Robotern und Maschinen in der automatisierten Industrie 4.0.
FRAMOS Embedded Vision Solutions
Sensor Modules Adapters (FSA)
Processor Board Adapters (FPA)
Embedded Vision Knowledge Base
Fachartikel
Werden Sie zum Embedded Vision Experten!
Whitepapers
Wertvolle Tipps für die Arbeit mit Embedded Vision Systemen in der Praxis!
Case Studies
Bildverarbeitung und Embedded Vision Systeme in der Praxis
Was unterscheidet Embedded Vision von klassischer Bildverarbeitung?
Reguläre Bildverarbeitungssysteme bestehen meist aus einer Kamera, die über eine reguläre Datenschnittstelle mit einem Host-PC verbunden ist. Im System sind die Bildaufnahme einerseits und der Steuerprozess für die Inspektion andererseits meist getrennt. Die Verarbeitung des Videodatenstroms und der Bilder ist größtenteils ausgelagert und erfordert häufig die Interaktion eines Benutzers für die Validierung und/oder Entscheidungsfindung. So erkennt eine Überwachungsanwendung vielleicht Personen, jedoch muss ein Sicherheitsbeamter jedes anormale Vorkommnis auswerten, um festzustellen, ob tatsächlich eine Bedrohung vorliegt, die einer unverzüglichen Reaktion bedarf. Eine Sicherheitsanwendung auf Basis von Embedded Vision könnte hingegen die Bedrohung auswerten, feststellen, ob es sich bei der Bedrohung um eine potenziell gefährliche Person handelt, und die Behörden direkt informieren, damit diese entsprechend reagieren können. In diesem Fall ist die Bildverarbeitungstechnologie innerhalb eines Geräts – ein Komplettsystem mit intelligenter Onboard-Verarbeitung – in der Lage, eine angemessene Antwort ohne zusätzliche menschliche Interaktion zu geben.
Embedded Vision ist nicht nur Bestandteil des Geräts, sondern dessen intelligentes Auge. In ihrer Ganzheit sorgt Embedded Vision dafür, dass menschliche Interaktion innerhalb der Bildverarbeitungspipeline so gering wie möglich gehalten wird oder überhaupt nicht mehr notwendig ist. So können Maschinen selbstständig Entscheidungen treffen, indem sie die Daten mittels einer Komplettlösung erfassen, analysieren und interpretieren.
Aus Entwicklersicht unterstützen klassische Vision-Systeme zahlreiche verschiedene Branchen und Industrien, sie müssen eine Vielzahl möglicher zu programmierender Aufgaben abdecken. Dieses breite Aufgabenspektrum ist der Hauptgrund für die hohe benötigte Offboard-Verarbeitungskapazität. Embedded Vision ist dagegen stärker auf bestimmte Anwendungen und Szenarien fokussiert, meist wird ein Embedded Vision-System für eine dezidierte Aufgabe konzipiert. Dieser zweckorientierte Ansatz eröffnet neue Möglichkeiten und gibt Verarbeitungskapazitäten frei, die für neuronale Netze und intelligente Algorithmen genutzt werden können. Für die Hersteller von Produkten mit Bildverarbeitungstechnologie bedeutet dies, dass sie kein Universalprodukt bereitstellen müssen, welches alle denkbaren Anwendungsfälle abdeckt. Sie können sich auf die Entwicklung und auf das „Wie“ eines bestimmten Systems konzentrieren und spezialisieren, welches nach dem Verkauf vom Kunden auf dessen spezielle Anforderungen noch angepasst wird.
Klassische Bildverarbeitung
Separates System für das Erfassen der Bilddaten und deren Verarbeitung; ausgelagerte Analyse für Entscheidungen; zur Abdeckung möglichst vielen Aufgaben und Anwendungen gedacht.
Embedded Vision
Vollintegriertes Komplettsystem, das Bilddatenströme erfasst und Daten onboard verarbeitet und interpretiert; autonome Entscheidungsfindung, die eine Aktivität triggert. Meist für eine bestimmte Aufgabe konzipiert.
Vorteile von Embedded Vision
Wichtig für die Ausbreitung der ganzheitlich integrierten Systeme war und ist die fortschreitende Miniaturisierung bei gleichzeitig steigender Leistung. So kann auch eine Drohne sehen, ohne maßgeblich an Umfang oder Gewicht zuzunehmen – was für den Energieverbrauch, die Wendigkeit und die Reichweite von enormer Wichtigkeit ist. Intelligente „erkennende“ Anwendungen können damit in stationären sowie auch in mobilen und sogar tragbaren Geräten eingebaut sein.
Dr. Christopher Scheubel, FRAMOS IP & Business Development, sagt dazu: „Die Miniaturisierung ermöglicht den Ersatz von externen Machine Vision-Systemen durch integrierte Embedded Vision. Diese Entwicklung wird sich in den nächsten Jahren, beispielsweise durch neue Technologien wie die Intel® RealSense™ Suite, weiter beschleunigen. In ein paar Jahren wird fast jedes Gerät durch Embedded Vision-Systeme sehen und denken können.”
Geringerer Platzbedarf
Weniger Gewicht
Geringerer Stromverbrauch
Niedrigere Kosten pro Einheit
Anwendungen für Embedded Vision
Embedded Vision sorgt als integrierte Technologie in Geräten und Maschinen dafür, dass alle Branchen und jede Art von Anwendung Nutzen aus Bildverarbeitung ziehen. Sehende Roboter, sich selbst positionierende Laser oder Hindernis-umfliegende Drohnen sind einige industrielle Beispiele. Im Consumer-Bereich lassen selbstfahrende Autos, intelligente Stifte oder Kaffeemaschinen das große Potenzial von Embedded Vision erahnen.
Industrielle Anwendungen | Consumer Anwendungen |
|---|---|
Drohen für Prozessüberwachung und Optimierung | Home Robotics bspw. Staubsaugerroboter und Mähroboter |
Mensch-Maschine Kollaboration | Home Security |
Qualitäts- und Prozesskontrolle | Entertainment (Virtual Reality) |
Mixed Reality (MR) für bspw. Montageaufgaben | Wearables bspw. Helme und Kleidung |
Echte Embedded-Vision Produkte für OEMs, Industriekunden und Anwender
Embedded Vision reduziert die Bildverarbeitungstechnologie auf die einfachste Formel: Erfassen, Verarbeiten, Reagieren. Effizienz ist dabei der alles entscheidende Aspekt. Ein echtes Embedded Vision-System besteht aus den folgenden Bausteinen:
- Sensor oder Sensormodul
- Steuereinheit für den Empfang und das Weiterleiten der Bilder an die Verarbeitungseinheit
- Lokale oder Cloud-basierte Verarbeitungseinheit mit vollständiger Imaging-Pipeline
- Neuronale Netzwerke und Algorithmen für die intelligente Verarbeitung der Bilder
Embedded Vision erfordert einen höheren Analyse- und Verarbeitungsaufwand der Bilddaten, sodass ein Embedded-Vision-Produkt üblicherweise eine Backend-Verarbeitung umfasst, welche auf einem ISP oder einer GPU erfolgt. Dort ausgeführte intelligente Algorithmen erlauben es dem Rechner, die eingehenden Bilddaten zu analysieren, zu verarbeiten und sie zu interpretieren, um Entscheidungen zu treffen und entsprechend zu reagieren. Embedded-Vision-Produkte stellen nicht nur Daten, sondern auch auf diesen Daten basierende Ergebnisse bereit.
“Embedded Vision muss nicht unbedingt klein, aber auf jeden Fall smart sein.” – Darren Bessette
Embedded Vision für Smart Factory und IoT
Aufgrund der beschriebenen Eigenschaften und der hohen Gestaltungsvielfalt sind Embedded Vision-Systeme die Basis für die intelligente Automatisierung der Industrie 4.0 und die moderne Fertigung. Das Potenzial der sehenden, denkenden und damit interaktiven Maschinen kommt in Internet of Things-Umgebungen und vernetzte Systemen vollumfänglich zum Tragen.
Embedded Vision trifft nicht nur Ja/Nein-Entscheidungen anhand bestimmter Kriterien, sondern bietet eine weiter gefasste Form von Intelligenz, die neuronale Netzwerke nutzt, um Bilddaten und ‑informationen zu verarbeiten und zu analysieren. Embedded-Vision-Systeme stellen somit eine Weiterentwicklung dar – von vordefinierten, auf bestimmtem Input basierenden Aktionen hin zu konkreten Reaktionen auf nicht-vorhersehbare Situationen, mit einer Entscheidungsfindung in Echtzeit und der daraus resultierenden Aktivität. Dies erinnert an die Funktionsweise von Smart Cameras, erlaubt jedoch eine kontinuierliche Anpassung und Erweiterung mit jeder neuen Reaktion und je mehr Szenarios durchgeführt und ausgewertet werden. Zusätzlich werden die neuen intelligenten Kameras immer tiefer in alle Arten von Geräten integriert. So entstehen neue IoT-Geräte, die bewusster agieren und Input aus ihrer Umgebung besser verarbeiten können. Auf diese Weise ermöglicht Embedded Vision immer mehr sehende und denkende Geräte im Internet of Things.
Viele industrielle Produkte und Konsumgüter verfügen bereits über eine Internetanbindung und tauschen Daten untereinander, in lokalen Netzwerken sowie über die Cloud aus. Kommt nun noch das Sehen hinzu, lassen sich diese Geräte mittels Eye-Tracking oder der Gesichts- bzw. Gestenerkennung steuern. Ein Kühlschrank, der über eine eingebaute Kamera verfügt, könnte beispielsweise erkennen, welche Lebensmittel herausgenommen und aufgebraucht werden, um diese dann automatisch zur Online-Einkaufsliste der Familie hinzuzufügen oder auch direkt zu bestellen. Intelligente Embedded Vision kann in Sicherheitsanwendungen Personen zählen, Heatmaps erstellen oder „auffällige“ Personen identifizieren und die Daten in definierten Netzwerken teilen. Bei selbstfahrenden Autos lenken die intergierten Kameras das Fahrzeug, halten es innerhalb der Fahrspur sowie Straße und vermeiden Hindernisse, die ohne jegliche Vorwarnung auftauchen können. Dieses Beispiel unterstreicht die Bedeutung von Embedded Vision in Anwendungen, bei denen es nicht nur darum geht, eine Szene zu betrachten, sondern sie auch zu verstehen und direkt entsprechend zu reagieren.
Aus technischer Sicht erkennt ein intelligentes Embedded-Vision-System nicht nur Mängel oder Anomalien anhand vordefinierter Kriterien, sondern es kann auch adäquat reagieren, um diese Mängel bzw. Anomalien zu korrigieren oder zu vermeiden. Embedded Vision bietet damit eine umfassendere Sicht auf die Welt, indem es die Umgebung erkennt, versteht und identifiziert, meist ohne eine weitere notwendige Interaktion von außen.
Von der Auswahl von Einzelkomponenten bis zur komplexen Systemkomposition für Embedded Vision stehen unsere Ingenieure mit technischer Expertise und unterstützenden Dienstleistungen beratend zur Seite. Mit Engineering Services unterstützen wir Sie bei der individuellen Anpassung oder kompletten Entwicklung maßgeschneiderte Lösungen für Ihr Embedded Vision-System. FRAMOS begleitet Sie an jeder Stelle Ihrer Wertschöpfungskette als Partner von der Entscheidungsfindung bis hin zum fertigen Produkt.