Mit fortschrittlichen KI-, 3D- und Hyperspektral-Ansätzen verwandelt Bildverarbeitung herkömmliche Handys in präzise Analysegeräte für Lebensmittel.
Über 200 Millionen Menschen leiden weltweit an Diabetes Typ-1- oder Typ-2 sowie an Fettleibigkeit. Die moderne Vision-Technologie kann jetzt bei der Bekämpfung dieser Krankheiten helfen. Das amerikanische Start-Up FoodPhone™ hat eine Handy-Hülle und App entwickelt, die über ein einfaches Smartphone-Foto den Nährstoffgehalt einer Mahlzeit sofort und wissenschaftlich exakt erkennt – einfach wie das Teilen in Social Media. Die FoodPhone™-Applikation basiert auf der Intel® RealSense™ 3D-Technologie und bestimmt das Volumen, die Textur und die Form aller Arten von Lebensmitteln mit nur einem Bild. Neben dem Zählen von Kohlenhydraten und Kalorien erkennt das innovative Embedded Vision-Case die Inhaltsstoffe von Lebensmitteln anhand ihrer chemischen Zusammensetzung und zeigt diese dem Benutzer sofort als vertraute Nährwerttabelle an. Die Qualität, die Frische und der Reifegrad von Lebensmitteln können mit einem Blick „unter die Schale“ noch im Geschäft überprüft werden – NIR-Funktionen (Near IR) erkennen sowohl sichtbare als auch unsichtbare kleine Fehler oder Druckstellen. Die Auswahl von Obst oder Gemüse wird zum Kinderspiel – mit FoodPhone zeigt in Zukunft das Handy auf die beste und reifste Avocado.
Milliarden Menschen weltweit achten auf ihre Ernährung
Diabetiker, Sportler, Fitnessliebhaber und viele andere, die auf ihr Gewicht achten, müssen aufpassen, was sie essen. Allein in den USA nutzen täglich über 100 Millionen Menschen Smartphones, um ihr Gewicht, ihre Fitness und ihre Ernährung zu überwachen. In allen modernen Gesellschaften nimmt die Zahl der Diabetesfälle rapide zu. Insbesondere für Diabetiker ist das Zählen von Kohlenhydraten der Schlüssel zur Bewältigung ihrer Krankheit. Im Ernstfall ist es eine Frage auf Leben und Tod, denn die Menge an Kohlenhydraten beeinflusst die regulierende Insulindosis. Die Kohlenhydrate einer Mahlzeit sind damit die wichtigste Information, die ein Diabetiker für die kontinuierliche Blutzuckerüberwachung und für die korrekte Einstellung automatischer Insulinpumpen benötigt. Und genau da liegt das Problem: Diese für den Patienten sehr schonenden und bequemen Geräte sind nur mit der richtigen Benutzereingabe hilfreich. Manuelle Mengeneingaben sind aber oft sehr ungenau geschätzt. Dies führt zu falschen Insulindosierungen, die nicht nur sehr gefährlich, sondern für einen Diabetiker sogar lebensbedrohlich sein können.
Einziges Smartphone-Bild erstellt Nährwerttabelle
Heutige Smartphones haben eine gute Kamera, einen Internet-Zugang und verfügen über leistungsstarke Prozessoren, die Algorithmen der Künstlichen Intelligenz (KI) verarbeiten können. Instagram sei dank nehmen die Handys im Alltag Millionen von Food-Bildern pro Minute auf. Die Idee von FoodPhone ist es, diese Smartphones in Diät-Helfer zu verwandeln, welche Lebensmittel direkt auf dem Teller analysieren. Die FoodPhone-App mit ihrer patentierten SpectraPixel™-Technologie nimmt dazu ein Bild auf, verbindet sich mit der firmeneigenen cloud-basierten KI und erkennt den Inhalt der Mahlzeit – insbesondere die chemische Zusammensetzung, die Portionsgröße in Gramm sowie die Qualität und Haltbarkeit. Die App kann mehrere Sorten Essen auf dem Teller unterscheiden und auch zubereitete Speisen wie etwa Kartoffelbrei erkennen. Dies leisten mehrere multispektralen Kameras und NIR-Sensoren, welche in einem handelsüblichen Handy-Case integriert sind. Der Nutzer erhält damit sofort eine wissenschaftliche Analyse seiner Mahlzeiten.
Bild 1: Nährwerttabelle von FoodPhone für ein Mittagessen
Diese Analyse liefert Details über die Kohlenhydrate, Fette, Proteine und andere Nährstoffe sowie die exakte Portionsgröße von Mahlzeiten. Durch die Kombination verschiedener Bildverarbeitungstechnologien und künstlicher Intelligenz identifiziert FoodPhone die präzise Menge und Zusammensetzung von Lebensmitteln. Die Nutzer müssen dazu weder Daten eingeben, noch ihr Essen berühren oder die Menge abschätzen. Und sie bekommen das Ergebnis sofort – die Handyhülle liefert sehr benutzerfreundlich und effizient Nährwertangaben mit einer Genauigkeit von über 90%. Christopher M. Mutti, Gründer und CEO von FoodPhone, sagt, dass die Technologie mit ihrer Mischung aus Künstlicher Intelligenz und Augmented Reality die Ausbreitung von Diabetes positiv beeinflussen wird und Menschen, die auf ihre Ernährung achten, bei der Erreichung ihrer Ziele unterstützen kann.
 |
 |
Bild 2 und 3: Durch die Aufnahme von scheinbar einem Bild erhält der Benutzer sofort eine wissenschaftliche Analyse seiner Mahlzeit.
Idee, Innovation und Implementierung
“Ursprünglich habe ich nur einen einfachen Weg gesucht, Kalorien zu zählen”, sagt Mutti heute. Als leidenschaftlicher Hockeyspieler war er gezwungen, auf seine Ernährung zu achten, sein Gewicht und die Kalorien unter Kontrolle zu halten. Er wollte in Bestform sein. Aber in analogen Zeiten oder später mit Hilfe von Computer und Internet war das Kalorienzählen für ihn nicht nur ungenau, sondern auch äußerst kompliziert und dauerte lang. Der gelernte Maschinenbauingenieur wollte auf einfache und schnelle Weise sehen, was und wieviel er isst. Die Idee, eine Mahlzeit mit einem Bild von einer Kamera oder einem Handy zu analysieren, hatte er schon um die Jahrtausendwende, doch die Technik war noch nicht soweit. 2013 begann er daran zu arbeiten.
Die Rechenleistung von Smartphones hatte sich bereits so weit entwickelt, dass sie komplexe Algorithmen verarbeiten konnte; und durch wegweisende Projekte wie ImageNet der Stanford University war fortschrittliche vision-basierte KI-Technologie verfügbar. Zusammen mit einem Team von erfahrenen Wissenschaftlern aus den Bereichen Neuronale Netzwerke & KI, 3D- und Hyperspektral-Bildverarbeitung sowie erfahrenen Ingenieuren im Bereich Kamera- und Objektivdesign beschloss Mutti, Patente zu entwickeln, um seine Idee in die Tat umzusetzen.
Der erste Prototyp, von Mutti liebevoll als “Million Dollar Blue Box” bezeichnet, wurde aus off-the-shelf Komponenten gebaut und maß noch 8″ x 7″ x 3″. Die Box war die kleinste damals machbare Kombination von 3D, RGB und NIR, die reinen Materialkosten lagen bei etwa 3.000 US-Dollar. Es dauerte noch mehr als 5 Jahre, bis der technologische Fortschritt die Leistung, Winzigkeit und auch Erschwinglichkeit brachte, um FoodPhone zu einer praktikablen und günstigen Lösung für das tägliche Leben zu machen. Mutti nennt dies den “perfekten technologischen Sturm” und er ist die Grundlage für die Verwirklichung seiner Idee. Heutzutage sind die 3D-Kameras so groß wie ein kleiner Finger und machen es möglich, dass selbst Smartphones 3D-Daten erfassen und verarbeiten können. Mutti und sein Team haben mit Intel® RealSense-Kameras das perfekte Produkt in Größe und Preis gefunden, um die notwendigen Daten für die Erkennung und Analyse von Lebensmitteln zu liefern. Die Intel® RealSense™ Kameras werden dazu in eine Handyhülle eingebettet, die Größe und das Aussehen des Cases bleibt dabei fast unverändert. Dank der technologischen Fortschritte und der gesunkenen Preise aller Komponenten kann die FoodPhone-Handyhülle jetzt zu einem Einzelhandelspreis von wenigen hundert Dollar angeboten werden. Nach dem Kauf wechseln die Nutzer einfach ihre Handyhülle, laden die App herunter und können sofort beginnen, Fotos ihrer Mahlzeiten zu machen – das Handy zeigt innerhalb von Sekunden die genauen Nährwerte an.
Bild 4: Christopher M. Mutti, CEO von FoodPhone, ist leidenschaftlicher Hockeyspieler und suchte ursprünglich nach einer einfachen Möglichkeit, Kalorien zu zählen.
 |
 |
Abbildung 5 und 6: Designstudie und Prototyp der FoodPhone Handyhülle
Kombination verschiedener Vision-Daten durch Künstliche Intelligenz
Die FoodPhone-Applikation nutzt multispektrale und 3D-Bildverarbeitung, um die Nährstoffe sowie das Volumen und die Portion präzise zu identifizieren. Das Team um Mutti entwickelte die notwendige Software ohne einen Marker als Referenz im Sichtfeld des Bildverarbeitungssystems. Die Ingenieure entschieden sich für die Intel® D435 RealSense Tiefenkamera, da es sich um eine USB-Kamera handelt, die aus einem Stereo-Paar, einer RGB-Kamera und einem Infrarotprojektor besteht. Mutti hält für die Erzeugung hyperspektraler Bilder durch die Zusammenführung des Outputs mehrerer Kameras und verschiedenartiger Vision-Daten mehrere Patente.
Das Bildverarbeitungssystems geht auf dieselbe Art vor, wie auch ein Mensch sein Essen betrachtet: Farbe ist das erste Element, welches ihm auffällt. FoodPhone verwendet zunächst die RGB-Kamera, um die Farben auf dem Teller zu identifizieren. Dann erzeugt die Stereo-Kamera die 3D-Daten, um Form, Umriss und Textur der einzelnen Lebensmittel zu identifizieren – wie das menschliche Auge es ebenfalls tun würde. Die 3D-Rohdaten ergeben die Maße und das Gesamtvolumen oder die Portionsgröße des Essens an. Mit NIR-Daten, die von mehreren Kameras und Sensoren aufgenommen wurden, sind die FoodPhone-eigenen Algorithmen in der Lage, die chemische Zusammensetzung eines Lebensmittels auszuwerten, so wie es der Menschen schmeckt und riecht.
Dazu wird ein Overlay von mehr als zehn Bildern und ihrer Rohdaten in sichtbares Licht, Farbe, Spektraldaten und 3D-Informationen unterteilt. Aus den optischen, spektralen und physikalischen Informationen werden dann die spezifischen und individuellen Eigenschaften eines jedes Lebensmittels identifiziert. Anhand dieser Spektralprofile kann jedes Essen eindeutig bestimmt werden, da es einen einzigartigen spektralen Fingerabdruck besitzt.
 |
 |
Bild 7 und 8: Unterschiedliche Spektralprofile als einzigartiger Fingerabdruck für Gemüse und Fleisch.
“Wir haben mehrere Millionen Bildern verwendet, um unsere KI-Algorithmen zu trainieren”, sagt Christopher Mutti. “Es war sehr viel Arbeit, zehntausende Lebensmittelklassifikationen, Konfusionstabellen und andere Prozessschritte durchzuführen. Aber jetzt erreichen wir eine Genauigkeit von über 90%.“ Um die Nährwerttabellen und das Gewicht richtig berechnen zu können, müssen Farbe, Textur, spektrale Signatur und Volumen eines Lebensmittels übereinstimmen. Die Rohbilddaten werden zunächst von einem Intel® Edison, einem sehr kleinen SoC (System on a Chip), verarbeitet, um Kohlenhydrate, Proteine, Fette und Wassergehalt zu identifizieren. Von dort aus werden alle gesammelten Informationen in die Cloud übertragen und laufen durch die KI-basierte FoodPhone-Datenbank. Das Smartphone empfängt die Ergebnisse und zeigt sie als Nährwerttabelle auf dem Handy-Display an.
Die Technologie kann noch viel mehr
Die FoodPhone-Technologie hilft Menschen, Lebensmittel im Alltag analysieren – nicht nur bei einer Diät. Beim Einkaufen im Supermarkt zeigt die App die frischesten und gesündesten Produkte im Regal. Das führt zu weniger Fehlkäufen sowie weniger verdorbenen Produkten und spart gleichzeitig Geld. In Echtzeit bekommen die Verbraucher alle Informationen zu Inhaltsstoffen, Qualität und Frische auf ihrem Smartphone angezeigt. Menschen mit Lebensmittelallergien können die angegebenen Inhaltsstoffe ihrer Lebensmittel überprüfen und müssen keine “kryptische” Zutatenlisten entschlüsseln. Ein einfacher Handy-Shot der Lebensmittel liefert eine detaillierte Liste der Zutaten und eine genaue Haltbarkeit. Die NIR-Daten helfen unabhängig vom Mindesthaltbarkeitsdatum des Produkts, seine Reife, kleine Fehler und eventuelle Bakterien zu erkennen. Die frischeste und reifste Avocado ist nur einen Klick entfernt.
In zukunftsweisenden Smart-Home-Szenarien kann die Technologie von FoodPhone in jede Haushaltküche eingebaut sein. Montiert über der Arbeitsplatte könnte eine kleine Kamera jedes Lebensmittel oder die einzelnen Zutaten einer Mahlzeit scannen. Der Benutzer erhält direkt während der Zubereitung eine wissenschaftliche Analyse seiner Zutaten und die zusammengefasste Nährwerttabelle. All dies, während die Software von FoodPhone automatisch die wöchentliche Einkaufsliste des Benutzers oder dessen Lieferdienst-Bestellung aktualisiert.
Bild 9: Das über der Arbeitsplatte montierte FoodPhone-Gerät scannt fertig zubereitete Speisen.
Ein intelligenter IoT-Kühlschrank kann mit FoodPhone’s Technologie die verbrauchten Lebensmittel und ihre Haltbarkeit verfolgen, sowie ebenfalls direkt mit den Einkaufs- und Lieferlisten abgleichen. Nie mehr „Wurst ist alle“ – eine Familie könnte sehen und sofort nachkaufen, wenn ein beliebtes Essen zur Neige geht – beziehungsweise ihr Kühlschrank tut dies für sie.
Darüber hinaus kann die bildverarbeitungs- und KI-basierte Überprüfung von Lebensmitteln Lebensmittelbetrug bekämpfen und die wahren Inhaltsstoffe aufzeigen. Menschen können bessere und gesündere Entscheidungen treffen, wenn sie zugesetzte Chemikalien oder geheime Inhaltsstoffe kennen, die von manchen Herstellern zur Verlängerung der Haltbarkeit, für ein besseres Aussehen des Essens oder „zum süchtig machen“ von Produkten verwendet werden.
Erstklassiges Beispiel für den zukunftsweisenden Einsatz von Bildverarbeitung
Die innovative FoodPhone-Technologie ist ein perfektes Beispiel dafür, wie vision-basierte Applikationen in Alltagsgeräten wie Handys und intelligenten Haushaltsgeräten für wirklich innovative Anwendungen eingesetzt werden können, und nur sehr wenig Platz brauchen. Die Kombination verschiedener Arten von KI-basierter Bildverarbeitung – in diesem Fall 3D, RGB und NIR – zur Extraktion zusätzlicher Informationen zeigt, wie leistungsfähig moderne Vision-Systeme sind. Standardkameras mit integrierter Tiefenerfassung und Infrarot-Projektoren sind zu günstigen Preisen, sofort einsatzbereit und in sehr kleinen Größen erhältlich. Die einfach zu bedienende und erschwingliche Bildverarbeitungstechnologiekann Anwendungen in Industrie- und Verbrauchermärkten auf die nächste Stufe heben. Maschinen lernen nicht nur das Sehen, sondern sogar den Blick „unter die Schale“.
