FRAMOS Sensor Module Ecosystem
Embedded Vision Anwendungen stellen besondere Anforderungen an die Bildverarbeitung. Bildsensoren sind nicht nur ein Teil von Stand-alone–Kameras, wie sie häufig in der Industrie Einsatz finden. Heute werden sie sehr eng mit Prozessoren in heterogene „Embedded Systeme“ integriert. Das FRAMOS Sensor Module Ecosystem bietet Vision-Ingenieuren und Entwicklern gebrauchsfertige Zusammenstellungen aus Referenz- Hard- und –Software, um die Markteinführung zu beschleunigen und Ressourcen mit Fokus auf die individuelle Innovation optimal einzusetzen.
Das FRAMOS Ecosystem mit Sensormodulen und Adaptern
Jedes Embedded Vision System hat spezifische Anforderungen, die in den meisten Fällen nur durch eine kundenspezifische Lösung erfüllt werden können. Eine integrierte Bildverarbeitungsanwendung wird durch den direkten Anschluss von Bildsensoren an SoCs (System-on-Chip) realisiert, die eine herausragende Effizienz bieten, indem sie leistungsstarke Mikroprozessoren mit dedizierten Signalprozessoren, Grafikprozessoren– und KI-Engines auf einem einzelnen chip integrieren. Mit dem FRAMOS Sensor Module Ecosystem aus austauschbaren Komponenten können Vision-Ingenieure und Entwickler diese Komponenten schnell und einfach miteinander kombinieren und ihre Produkte vom Konzept bis zur Marktreife entwickeln.
Das System ist mehr als nur ein Produkt von der Stange
- Große Auswahl an Bildsensoren von Sony, Pyxalis und onsemi auf Modulen mit einheitlichem Standard-Anschluss PixelMate™
- Durchdachtes Adapter-Konzept ermöglicht die freie Kombination aller Sensoren und Prozessoren im FSM Ecosystem
- Gebrauchsfertige Treiber liefern sofort Bilder auf führende Plattformen
- Bewährte Elektronik und Software erlauben die Entwicklung unter Nutzung von bekannten und zuverlässigen Implementierungen
- Kundenspezifische Sensor-Boards oder vollintegrierte optische Module vereinfachen die Kundenseitigen Beschaffungs- und Produktionsprozesse.
- Unser starkes Partnernetzwerk unterstützt Sie bei der Implementierung einzelner Bausteine bis zur fertigen Komplettlösung – Sie entscheiden selbst, von welcher Unterstützung Sie am meisten profitieren.
Zügig zu einem funktionierenden Proof of Concept
FRAMOS bietet Ihnen Komponenten und Schnittstellen, um die einzelne Baugruppen optimal kombinieren zu können. Gerne arbeiten wir mit Ihnen während des gesamten Entwicklungsprozesses zusammen – vom Konzept bis zur Serienfertigung und darüber hinaus.
Sensor Module (FSM)
Sensormodul-Adapter (FSA)
Prozessorboard-Adapter (FPA)
| Name | Resolution [MP] | Chromatics | Shutter Type | Data Interface | Interface Connector |
|---|
Sensor Modules Adapters (FSA)
Processor Board Adapters (FPA)
FRAMOS Sensor Module (FSM)
Selbst versierte Elektronikentwickler unterschätzen die Herausforderungen bei der Integration von Bildsensoren, da für ein gutes und solides Kameradesign fachübergreifende Erfahrung unerlässlich ist. Dies beinhaltet neben spezifischer Erfahrung der Digital- und Analogtechnik auch die angeschlossenen Produktionsprozesse sowie das weite Feld von Optik und Mechanik. Das Tempo im Design-Prozess hängt dabei von der Erfahrung des Entwicklers im Umgang mit Bildsensoren und deren angeschlossene Komponenten ab. Insbesondere im analogen Bereich, der die Robustheit und Qualität des Bildes definiert sowie der Optikintegration und Lieferkette, die schlussendlich maßgeblich für eine konstante Abbildungsqualität ist. Eine wiederholte Überarbeitung des Designs einschließlich Hardware-Herstellung und die aufwändige Qualifikation von dritt Herstellern, ist in diesem Prozess kaum kalkulierbar. Jede Entwicklungsschleife dauert mehrere Wochen oder sogar Monate, um die Ursache eines unerwünschten Verhaltens zu lokalisieren, Hardware neu zu entwerfen und herzustellen, um etwaige Tests zu wiederholen.
FRAMOS bietet Module mit Sensoren und standardisierten Anschlüssen in einer etablierten Konstruktion, sowie langfristige Lieferantenbeziehungen. Das Design basiert auf über 20 Jahren Erfahrung in der Kamera-Entwicklung. Das Modul enthält dabei alle Komponenten, die der Bildsensor benötigt, wobei die Spannungsgenerierung, Takterzeugung und Trigger-Logik auf einem separaten Board (FSA) untergebracht sind. Ganz im Sinne des „Embeddings“ kann der Kunde so selbst entscheiden, ob und wo er diese Bauteile innerhalb seines Systems platzieren möchte um die Effizienz des Systems zu maximieren. Gleichzeitig werden Wärme- und elektromagnetische Störquellen vom Bildsensor separiert, um bestmögliche Bildqualität auf kleinstem Formfaktor zu erreichen.
Wesentliche Vorteile
- Einfach anstecken: Bildsensoren auf Leiterplatte mit standardisiertem Anschluss, ab Lager verfügbar.
- Große Auswahl: Auflösungen von 0.4 bis 24 MP, Rolling- und Global Shutter Bildsensoren in verschiedenen optischen Formaten
- MIPI CSI-2 (D-PHY) Ausgang direkt vom Sensor oder durch Konverter
- Wandler-Boards für SubLVDS- und SLVS-Bildsensoren
- Standardisierte Abmessungen mit kompakten Grundflächen von 26,5 x 26,5 mm² und 28 x 28 mm²
Adapter im FRAMOS Sensor Module Ecosystem
Entscheidend für den Projekterfolg ist, dass so früh wie möglich mit der Entwicklung und Verifizierung der individuellen Software-Idee so nah wie möglich an der tatsächlichen Applikation begonnen werden kann. Bei jedem Bildverarbeitungssystem besteht diese Hardware in erster Linie aus einer Komponente für die Bilderfassung zusammen mit einer Prozessoreinheit, die die kundenspezifische Implementierung ausführen kann. Unterschiedliche Anwendungen stellen jedoch verschiedene Anforderungen an diese Komponenten. Sie erfordern einen einfachen Auswahlprozess und ggf. eine schnelle Anpassung einzelner Komponenten.
Hardware-Anpassungen, speziell in der integrierten Elektronik, sind dabei in der Regel sehr ressourcen- und zeitaufwändig und können so den gesamten Projekterfolggefährden. Ein wesentlicher Bestandteil des FRAMOS Sensor Module Ecosystems ist daher die Verfügbarkeit von Adaptern für eine Vielzahl von Sensor-Prozessor-Kombinationen. Sie fungieren als Bindeglied und bieten Standard-Konnektivität und ein bewährtes Referenzdesign für alle folgenden Entwicklungsphasen. Aus diesem Grund sind die Kern-Funktionsgruppen in zwei separate Boards aufgeteilt: FRAMOS Sensor Adapter (FSA) und FRAMOS Prozessor Adapter (FPA).
FSA mit sensorbezogenen Funktionen
FRAMOS Sensor Adapter (FSA) stellen die Sensorspezifischen Einzelspannungen, Sequenzen und Referenztakte zu Verfügung, sowie optional Processing-Funktionen wie Datenkonvertierung und Signalverarbeitung. Sie können vom Kunden an verschiedenen Stellen im Systemdesign implementiert werden: Auf dem Mainboard unter Nutzung der bereits vorhandenen Architektur, in der Nähe des Sensors oder in einer ganz anderen Konstellation:
- FSA enthält die für den Betrieb der Bildsensoren erforderliche Peripherie
- Als Piggy-Back auf dem FRAMOS Sensor Modul (FSM) stapelbar
- Optionen zur Signalwandlung: z.B. SubLVDS und SLVS zu MIPI CSI-2 (D-PHY)
- Diskrete Signalverarbeitung: z.B. Bildvorverarbeitung.
Die wichtigsten Vorteile
- Weniger Redundanz: Der Kunde kann das Modul auf dem Mainboard platzieren und vorhandene Ressourcen voll nutzen
- Bessere Bilder: Keine Beeinträchtigung der Bildqualität durch benachbarte Komponenten
- Flexibilität: Der Kunde kann auch ohne neuer Sensor-Implementierung weitere Funktionen hinzufügen
- Gemeinsame Entwicklung des Systemkonzepts um kundenspezifische „All-in-One-Board“ Anpassungen optimal und mit geringstem Aufwand umzusetzen.
FRAMOS Sensor Adapter (FSA)
FRAMOS Processor Adapter (FPA)
Konnektivität zu Prozessor-Boards durch FPA
FRAMOS Prozessor Adapter (FPA) passen spezifischeSignale, Spannungen, Kommunikationsschnittstellen und Anschlüsse für Prozessorboards von Drittanbietern an. Diese Adapter sind die Basis zur Einbindung von Bildsensor-Frontends in das zentrale Prozessorsystem des Kunden. FPA-Boards ermöglichen im FRAMOS Sensor Module Ecosystem dank ihrer PixelMate™ Standard-Schnittstelle die physische Kombination des gesamten FRAMOS Sensor Modul Portfolios mit einer Vielzahl von verschiedenen Prozessor-Boards.
Unterstützte Prozessor-Entwicklungskits
FRAMOS Prozessor Adapter mit MIPI CSI-2 sind standardmäßig für Entwicklungskits des NVIDIA® Jetson AGX Xavier™, Jetson™ TX2, Jetson Nano™, Jetson Xavier™ NX, Jetson™ TX2 NX sowie für das 96Boards Consumer Edition Ökosystem (mit über 16 Single-Board-Computern) verfügbar. Darüber hinaus ermöglicht ein Xilinx spezifisches FPA SubLVDS-, SLVS-, SLVS-EC- und MIPI CSI-2-Konnektivität für eine Reihe von Xilinx-Entwicklungsboards mit FMC-Connector.
Software-Support
Mit einsatzbereiter Hardware fehlt noch eine wichtige, häufig unterschätzte Komponente, bis man das erste Bild auf dem Bildschirm erhält bzw. in eigenen Programmen nutzen kann: der Gerätetreiber. Die Arbeit mit proprietären Hardware-Schnittstellen auf Seite der Sensor- als auch der Prozessor-Plattform erfordert solides Know-how und Zeit, um die Eigenheiten der zugrunde liegende Architekturen zu verstehen und richtig miteinander zu verknüpfen. Die Herstellung von Kommunikation und Streaming-Kanälen sind nur ein erster Schritt, dem die Implementierung von komplexen Registersequenzen für die Sensor-Initialisierung sowie dessen einzelner Funktionen folgen. Die optimale Konfiguration der Plattform sowie die Abstimmung der Sensoreinstellungen, um ein einwandfreies Bild bei solider Performance zu erreichen, kann schnell viel Zeit in Anspruch nehmen.
Das FSM Ecosystem Softwarepaket
Für einen reibungslosen Start und um Entwickler von Anfang an zu entlasten, bietet das Softwarepaket für das FSM Ecosystem Referenztreiber für den Betrieb aller Sensoren auf den unterstützten Prozessor-Plattformen. Das Hauptaugenmerk liegt darauf einen schnellen Start zu ermöglichen: alle grundlegende Funktionen um auf den Sensor zuzugreifen und Bilder zu übertragen stehen zur Verfügung. Darüber hinaus werden, im Falle der NVIDIA Jetson™ Familie, sensorspezifische Kalibrierungsdateien bereitgestellt, die den im Jetson integrierten ISP optimal konfiguriert. Die anwendungsspezifische Finalisierung des Treibers sowie weiteres ISP Tuning wird durch den Kunden oder FRAMOS auf Projektbasis durchgeführt, um auch hier eine optimale, effiziente Einbettung ins Gesamtsystem zu Erreichen.
Plattform-Support
Für folgende Plattformen sind in den entsprechenden Entwicklungskits Treiber verfügbar: NVIDIA® Jetson AGX Xavier™, Jetson™ TX2, Jetson™ TX2 NX, Jetson Nano™ und Jetson Xavier™ NX. Auch Treiber für weitere Plattformen sind bereits verfügbar und auf Anfrage erhältlich. Zudem können Treiber auch auf Projektbasis erstellt werden.
Development Kits
Das FRAMOS Sensor Module Ecosystem besteht aus einer Vielzahl an Modulen, Adaptern und Zubehör. Damit Sie sofort loslegen können, bieten wir Ihnen verschiedene Development Kits, die alles enthalten, was Sie für einen reibungslosen Start benötigen. Auf Wunsch kann die Ausstattungsliste um weitere Komponenten individuell erweitert werden. Es enthält in der Regel:
- Ein oder mehrere FRAMOS Sensor Modul(e) mit M12-Objektiv oder C/CS Mount
- Entsprechende FRAMOS Sensor Adapter
- FRAMOS Prozessor-Adapter für bis zu vier Module je Prozessorboard.
- Zubehör wie 150 mm Flexkabel,und 1/4" Stativadapter
- Software Download
Umfang des Softwarepakets
- Plattform und Gerätetreiber für die MIPI CSI-2 order SLVS-EC
- V4L2 basierende Sub-Device Treiber (low-level C API)
- Optimierte V4L2 Bibliothek (LibSV) mit C/C++ API
- Sensor und Kit-Objektiv optimierte ISP Demo-Konfiguration
- Displaying und Processing Beispiele:
- OpenCV (Software)
- LibArgus (Hardware)
Embedded Vision Services von FRAMOS
- Neutrale Beratung durch Branchenexperten, die auf Ihr Anliegen eingehen, Ihre Anforderungen verstehen und die richtigen Lösungen mit Ihnen zusammen entwickeln.
- Bedarfsanalyse für die Auswahl geeigneter Komponenten und Unterstützung bei der Wahl der optimalen Sensoren, Optiken und Schnittstellen.
- Unterstützung bei der Produktsuche in unserem Netzwerk aus verschiedenen Lieferanten, um Produkte zu finden, die Ihren Anforderungen entsprechen.
- Messungen und Tests um Bildsensoren wie Optiken objektiv und anforderungsgerecht zu Bewerten
- Evaluierungsboards und Referenzdesigns die Ihnen dabei helfen, Sensormodule in Ihr System-Design zu integrieren.
- Rapid Prototyping zum Bewerten und Vergleichen verschiedener Optionen und Lösungen im Rahmen Ihrer Produktentwicklung.
- Kompetenter Design-in-Support unterstützt Sie bei der Entwicklung, indem offene Fragen geklärt und alle nötigen Daten, Testmessungen und Entwicklungstools bereitgestellt werden.
- Kundenspezifische Designs: Unser Team steht Ihnen als zuverlässiger Entwicklungspartner gerne zur Seite, um Ihnen spezielle Möglichkeiten für Sensormodule, IP und SoCs aufzuzeigen. Wir unterstützen Sie bei der Anpassung bestehender Lösungen oder entwickeln für Sie komplett neue Lösungen, die genau auf Ihr Embedded Vision System zugeschnitten sind.
Mit praxisorientierter Markt– und Projekterfahrung steht FRAMOS seinen Kunden als technischer Berater, Entwicklungspartner und externer Anbieter zur Seite, damit sie in kürzester Zeit innovative Imaging–Lösungen entwickeln und auf den Markt einführen können.