Was ist Embedded Vision?

Integrierte Bildverarbeitung lässt Maschinen sehen und denken
Was ist Embedded Vision

Die wachsende Anzahl von „intelligenten“ Geräten und Maschinen in der Industrie und dem Consumer-Bereich stellt neue Anforderungen an die Einbettung von Bildverarbeitungsfunktionalitäten und -systemen. Egal ob selbstfahrendes Auto, intelligenter Staubsauger oder der interagierende Roboter als Kollege in der industriellen Fertigung – erst vollständig integrierte Vision-Systeme als nativer Bestandteil der neuartigen Anwendungen machen diese sinnvoll nutzbar.

Das Internet of Things (IoT) ermöglicht die Schwarmintelligenz ganzheitlicher Systeme, indem es alle Geräte miteinander verbindet, sodass sie entsprechend interagieren können. Embedded-Vision-Technologien stellen in IoT-Systemen die Augen und das Gehirn (KI) für eine autonome Entscheidungsfindung ohne menschliche Interaktion bereit, sodass die Vision of Things (VoT) innerhalb des Internet of Things intelligent handeln kann.

Embedded Vision ermöglicht visuelle Intelligenz für Maschinen und bringt ihnen so das Sehen und Denken bei. Embedded Vision beschreibt die Kombination von Bildverarbeitung innerhalb eines Gerätes mit dem digitalen Processing und intelligenten Algorithmen, um die gewonnenen Bild- und Videodaten auszuwerten. So kann die „sehende und denkende“ Maschine auf Ereignisse und Prozesse reagieren sowie mit der Umgebung interagieren. Die integrierte Bildverarbeitung ist die Grundlage für eine sichere Mensch-Maschine-Kollaboration und das vernetze Arbeiten von Robotern und Maschinen in der automatisierten Industrie 4.0.

FRAMOS Embedded Vision Solutions

Sensor Modules Adapters (FSA)

Processor Board Adapters (FPA)

FRAMOS Embedded Vision Portfolio

FRAMOS Sensor Modules (FSM), Adapters (FSA) and Processor Board Adapters (FPA) for seamless integration

Embedded Vision Knowledge Base

Fachartikel

Werden Sie zum Embedded Vision Experten!

Whitepapers

Wertvolle Tipps für die Arbeit mit Embedded Vision Systemen in der Praxis!

Case Studies

Bildverarbeitung und Embedded Vision Systeme in der Praxis

Was unterscheidet Embedded Vision von klassischer Bildverarbeitung?

Reguläre Bildverarbeitungssysteme bestehen meist aus einer Kamera, die über eine reguläre Datenschnittstelle mit einem Host-PC verbunden ist. Im System sind die Bildaufnahme einerseits und der Steuerprozess für die Inspektion andererseits meist getrennt. Die Verarbeitung des Videodatenstroms und der Bilder ist größtenteils ausgelagert und erfordert häufig die Interaktion eines Benutzers für die Validierung und/oder Entscheidungsfindung. So erkennt eine Überwachungsanwendung vielleicht Personen, jedoch muss ein Sicherheitsbeamter jedes anormale Vorkommnis auswerten, um festzustellen, ob tatsächlich eine Bedrohung vorliegt, die einer unverzüglichen Reaktion bedarf. Eine Sicherheitsanwendung auf Basis von Embedded Vision könnte hingegen die Bedrohung auswerten, feststellen, ob es sich bei der Bedrohung um eine potenziell gefährliche Person handelt, und die Behörden direkt informieren, damit diese entsprechend reagieren können. In diesem Fall ist die Bildverarbeitungstechnologie innerhalb eines Geräts – ein Komplettsystem mit intelligenter Onboard-Verarbeitung – in der Lage, eine angemessene Antwort ohne zusätzliche menschliche Interaktion zu geben.

Embedded Vision ist nicht nur Bestandteil des Geräts, sondern dessen intelligentes Auge. In ihrer Ganzheit sorgt Embedded Vision dafür, dass menschliche Interaktion innerhalb der Bildverarbeitungspipeline so gering wie möglich gehalten wird oder überhaupt nicht mehr notwendig ist. So können Maschinen selbstständig Entscheidungen treffen, indem sie die Daten mittels einer Komplettlösung erfassen, analysieren und interpretieren.

Aus Entwicklersicht unterstützen klassische Vision-Systeme zahlreiche verschiedene Branchen und Industrien, sie müssen eine Vielzahl möglicher zu programmierender Aufgaben abdecken. Dieses breite Aufgabenspektrum ist der Hauptgrund für die hohe benötigte Offboard-Verarbeitungskapazität. Embedded Vision ist dagegen stärker auf bestimmte Anwendungen und Szenarien fokussiert, meist wird ein Embedded Vision-System für eine dezidierte Aufgabe konzipiert. Dieser zweckorientierte Ansatz eröffnet neue Möglichkeiten und gibt Verarbeitungskapazitäten frei, die für neuronale Netze und intelligente Algorithmen genutzt werden können. Für die Hersteller von Produkten mit Bildverarbeitungstechnologie bedeutet dies, dass sie kein Universalprodukt bereitstellen müssen, welches alle denkbaren Anwendungsfälle abdeckt. Sie können sich auf die Entwicklung und auf das „Wie“ eines bestimmten Systems konzentrieren und spezialisieren, welches nach dem Verkauf vom Kunden auf dessen spezielle Anforderungen noch angepasst wird.

Klassische Bildverarbeitung
Separates System für das Erfassen der Bilddaten und deren Verarbeitung; ausgelagerte Analyse für Entscheidungen; zur Abdeckung möglichst vielen Aufgaben und Anwendungen gedacht.

Embedded Vision
Vollintegriertes Komplettsystem, das Bilddatenströme erfasst und Daten onboard verarbeitet und interpretiert; autonome Entscheidungsfindung, die eine Aktivität triggert. Meist für eine bestimmte Aufgabe konzipiert.

Vorteile von Embedded Vision

Wichtig für die Ausbreitung der ganzheitlich integrierten Systeme war und ist die fortschreitende Miniaturisierung bei gleichzeitig steigender Leistung. So kann auch eine Drohne sehen, ohne maßgeblich an Umfang oder Gewicht zuzunehmen – was für den Energieverbrauch, die Wendigkeit und die Reichweite von enormer Wichtigkeit ist. Intelligente „erkennende“ Anwendungen können damit in stationären sowie auch in mobilen und sogar tragbaren Geräten eingebaut sein.

Dr. Christopher Scheubel, FRAMOS IP & Business Development, sagt dazu: „Die Miniaturisierung ermöglicht den Ersatz von externen Machine Vision-Systemen durch integrierte Embedded Vision. Diese Entwicklung wird sich in den nächsten Jahren, beispielsweise durch neue Technologien wie die Intel® RealSense™ Suite, weiter beschleunigen. In ein paar Jahren wird fast jedes Gerät durch Embedded Vision-Systeme sehen und denken können.”

Geringerer Platzbedarf

Weniger Gewicht

Geringerer Stromverbrauch

Niedrigere Kosten pro Einheit

Anwendungen für Embedded Vision

Embedded Vision sorgt als integrierte Technologie in Geräten und Maschinen dafür, dass alle Branchen und jede Art von Anwendung Nutzen aus Bildverarbeitung ziehen. Sehende Roboter, sich selbst positionierende Laser oder Hindernis-umfliegende Drohnen sind einige industrielle Beispiele. Im Consumer-Bereich lassen selbstfahrende Autos, intelligente Stifte oder Kaffeemaschinen das große Potenzial von Embedded Vision erahnen.

Industrielle Anwendungen
Consumer Anwendungen
Drohen für Prozessüberwachung und Optimierung
Home Robotics bspw. Staubsaugerroboter und Mähroboter
Mensch-Maschine Kollaboration
Home Security
Qualitäts- und Prozesskontrolle
Entertainment (Virtual Reality)
Mixed Reality (MR) für bspw. Montageaufgaben
Wearables bspw. Helme und Kleidung

Echte Embedded-Vision Produkte für OEMs, Industriekunden und Anwender

Embedded Vision reduziert die Bildverarbeitungstechnologie auf die einfachste Formel: Erfassen, Verarbeiten, Reagieren. Effizienz ist dabei der alles entscheidende Aspekt. Ein echtes Embedded Vision-System besteht aus den folgenden Bausteinen:

Embedded Vision erfordert einen höheren Analyse- und Verarbeitungsaufwand der Bilddaten, sodass ein Embedded-Vision-Produkt üblicherweise eine Backend-Verarbeitung umfasst, welche auf einem ISP oder einer GPU erfolgt. Dort ausgeführte intelligente Algorithmen erlauben es dem Rechner, die eingehenden Bilddaten zu analysieren, zu verarbeiten und sie zu interpretieren, um Entscheidungen zu treffen und entsprechend zu reagieren. Embedded-Vision-Produkte stellen nicht nur Daten, sondern auch auf diesen Daten basierende Ergebnisse bereit.

Embedded Vision muss nicht unbedingt klein, aber auf jeden Fall smart sein. – Darren Bessette 

Typische Embedded-Vision-Komponenten haben einen geringen Platzbedarf, aber dies bedeutet keineswegs, dass sie nur in kleinen oder kostengünstigen Geräten eingesetzt werden können. Das Beispiel des selbstfahrenden Autos ist das genaue Gegenteil von Embedded Vision in kleinen, kostengünstigen Geräten. Embedded Vision ist also vielmehr die vollständig in ein Gerät integrierte intelligente Bildverarbeitung, die ohne menschliche Interaktion auskommt, um den Bilddatenstrom zu verarbeiten und auf diesen zu reagieren. Mit Embedded Vision können Maschinen sehen und denken – damit bildet sie die Basis für die „Vision of Things“.

Embedded Vision für Smart Factory und IoT

Aufgrund der beschriebenen Eigenschaften und der hohen Gestaltungsvielfalt sind Embedded Vision-Systeme die Basis für die intelligente Automatisierung der Industrie 4.0 und die moderne Fertigung. Das Potenzial der sehenden, denkenden und damit interaktiven Maschinen kommt in Internet of Things-Umgebungen und vernetzte Systemen vollumfänglich zum Tragen.

Embedded Vision trifft nicht nur Ja/Nein-Entscheidungen anhand bestimmter Kriterien, sondern bietet eine weiter gefasste Form von Intelligenz, die neuronale Netzwerke nutzt, um Bilddaten und ‑informationen zu verarbeiten und zu analysieren. Embedded-Vision-Systeme stellen somit eine Weiterentwicklung dar – von vordefinierten, auf bestimmtem Input basierenden Aktionen hin zu konkreten Reaktionen auf nicht-vorhersehbare Situationen, mit einer Entscheidungsfindung in Echtzeit und der daraus resultierenden Aktivität. Dies erinnert an die Funktionsweise von Smart Cameras, erlaubt jedoch eine kontinuierliche Anpassung und Erweiterung mit jeder neuen Reaktion und je mehr Szenarios durchgeführt und ausgewertet werden. Zusätzlich werden die neuen intelligenten Kameras immer tiefer in alle Arten von Geräten integriert. So entstehen neue IoT-Geräte, die bewusster agieren und Input aus ihrer Umgebung besser verarbeiten können. Auf diese Weise ermöglicht Embedded Vision immer mehr sehende und denkende Geräte im Internet of Things.

Viele industrielle Produkte und Konsumgüter verfügen bereits über eine Internetanbindung und tauschen Daten untereinander, in lokalen Netzwerken sowie über die Cloud aus. Kommt nun noch das Sehen hinzu, lassen sich diese Geräte mittels Eye-Tracking oder der Gesichts- bzw. Gestenerkennung steuern. Ein Kühlschrank, der über eine eingebaute Kamera verfügt, könnte beispielsweise erkennen, welche Lebensmittel herausgenommen und aufgebraucht werden, um diese dann automatisch zur Online-Einkaufsliste der Familie hinzuzufügen oder auch direkt zu bestellen. Intelligente Embedded Vision kann in Sicherheitsanwendungen Personen zählen, Heatmaps erstellen oder „auffällige“ Personen identifizieren und die Daten in definierten Netzwerken teilen. Bei selbstfahrenden Autos lenken die intergierten Kameras das Fahrzeug, halten es innerhalb der Fahrspur sowie Straße und vermeiden Hindernisse, die ohne jegliche Vorwarnung auftauchen können. Dieses Beispiel unterstreicht die Bedeutung von Embedded Vision in Anwendungen, bei denen es nicht nur darum geht, eine Szene zu betrachten, sondern sie auch zu verstehen und direkt entsprechend zu reagieren.

Aus technischer Sicht erkennt ein intelligentes Embedded-Vision-System nicht nur Mängel oder Anomalien anhand vordefinierter Kriterien, sondern es kann auch adäquat reagieren, um diese Mängel bzw. Anomalien zu korrigieren oder zu vermeiden. Embedded Vision bietet damit eine umfassendere Sicht auf die Welt, indem es die Umgebung erkennt, versteht und identifiziert, meist ohne eine weitere notwendige Interaktion von außen.

Von der Auswahl von Einzelkomponenten bis zur komplexen Systemkomposition für Embedded Vision stehen unsere Ingenieure mit technischer Expertise und unterstützenden Dienstleistungen beratend zur Seite. Mit Engineering Services unterstützen wir Sie bei der individuellen Anpassung oder kompletten Entwicklung maßgeschneiderte Lösungen für Ihr Embedded Vision-System. FRAMOS begleitet Sie an jeder Stelle Ihrer Wertschöpfungskette als Partner von der Entscheidungsfindung bis hin zum fertigen Produkt.

Starten Sie Ihr Embedded Vision Projekt

Sensoren

Das Herzstück aller Imaging-Systeme

Sensoren

Das Herzstück aller Imaging-Systeme

Module

Embedded Vision Module für eine reibungslose Integration

Module

Embedded Vision Module für eine reibungslose Integration

3D

3D-Vision für autonome Applikationen

3D

3D-Vision für autonome Applikationen

Optiken

Umfassende Auswahl an Optiken

Optiken

Umfassende Auswahl an Optiken

Mikrodisplays

MOLED´s für AR/VR & Digitale Sucher

Mikrodisplays

MOLED´s für AR/VR & Digitale Sucher