Sensor Fusion & Physical AI

Multisensorielle Datenerfassung, Sensordatenverarbeitung und Datenfusion sind der Ursprung von FusionSystems; der Name des Unternehmens kommt daher. Heute verbinden wir diese Verfahren mit maschinellem Lernen (Machine Learning): Gelernte Modelle erkennen Objekte in den Daten der einzelnen Sensoren, die Fusion führt die Ergebnisse zu einem Bild der Umgebung zusammen.

Warum ein Sensor nicht genügt

Jeder Sensor hat Stärken und blinde Stellen. Eine Kamera erkennt, was ein Objekt ist, leidet aber unter Gegenlicht. Ein Laserscanner misst Entfernungen genau, sagt aber wenig über die Art des Objekts. Die Satellitenortung liefert eine Position, im Parkhaus jedoch keine. Verlässlich wird das Ergebnis erst, wenn die Quellen zusammengeführt, gegeneinander gewichtet und auf Plausibilität geprüft werden.

Dazu gehört die Verfolgung über die Zeit. Ein Objekt, das über viele Messungen hinweg verfolgt wird, ist sicherer erkannt als eines aus einer Einzelmessung, und seine Bewegung lässt sich vorhersagen.

Beispiel: spurgenaue Position

Ein Zustandsschätzer aus der Familie der Kalman-Filter führt die Quellen zusammen. Er liefert neben der Position auch eine Aussage darüber, wie genau sie ist.

Erprobung auf der Straße

Unser Versuchsfahrzeug erfasst das Umfeld rundum: mit einem Mehrkamerasystem für die dreidimensionale Erfassung, einem 360°-Laserscanner und einer Rundumkamera. Die Messdaten werden im Fahrzeug in Echtzeit ausgewertet. Bei Messfahrten in Chemnitz werden Verkehrsteilnehmer, Fahrbahn, Ampeln und Verkehrszeichen erkannt, lokalisiert, klassifiziert und mit einem Maß für die Verlässlichkeit bewertet. Mehr dazu im Projekt KI-gestützte Umfelderkennung für den autonomen ÖPNV.

Wenn der Mensch Teil des Geschehens ist

Dieselbe Technik erfasst Menschen. Ein sensorischer Stuhl mit Drucksensoren und eine Kamera beobachten dieselbe Bewegung aus zwei Blickwinkeln; ihre Daten werden zusammengeführt, damit das System zuverlässig erkennt, was die Person gerade tut. Im MotionComposer wird die erkannte Bewegung unmittelbar zu Klang. Hier zählt neben der Genauigkeit die Verzögerung: Die Rückmeldung muss so schnell kommen, dass sie als Folge der eigenen Bewegung erlebt wird.

Was wir unter Physical AI verstehen

Ein Sensor, der schon beim Erfassen bewertet, ist ein smarter Sensor. Kommen Steuerung und Aktorik hinzu, entsteht ein System, das eigenständig auf seine Umgebung einwirkt. Physical AI nennen wir KI, die in solchen Systemen arbeitet: in Fahrzeugen, fahrerlosen Transportsystemen und mobilen Arbeitsmaschinen und interaktiven Geräten. Sie muss in Echtzeit entscheiden, mit unvollständigen Messungen auskommen und Fehler eines Sensors erkennen.

Die mathematische Grundlage dafür, Zustandsschätzung und das parallele Verfolgen mehrerer Deutungen, beschreiben wir unter Hybrid AI & Decision Intelligence.