Zum Inhalt springen

KI-Technologien

Multimodal AI

Multimodale KI: Text, Bild, Audio und Sensordaten gemeinsam verstehen

Jede Datenquelle hat ihre Stärken und Grenzen. Verlässlich wird das Ergebnis, wenn Text, Bild, Audio, Sensor- und Geodaten gemeinsam interpretiert werden.

Straßenszene aus Fahrersicht mit farbig markierter Fahrbahn, erkannten Fahrzeugen und beschrifteten Verkehrszeichen, daneben Kartenausschnitte
Bild, Beschriftung und Karte: Mehrere Informationsarten werden gemeinsam ausgewertet.

Methoden und Verfahren

  • Vision-Language Models für Bild und Text im Zusammenhang
  • Anreicherung mit Referenzwissen, zum Beispiel Normdaten
  • Zusammenführen, Gewichten und Plausibilisieren mehrerer Quellen
  • Qualitätsprüfung des Gesamtergebnisses

Typische Daten

  • Text und Dokumentenbilder
  • Fotos und Videos
  • Audio
  • Sensordaten
  • Geodaten
  • Strukturierte technische Daten

Anwendungsbeispiele

  • Verkehrszeichen erkennen: Bildausschnitt, Normbeschreibung und Beispielsymbol werden gemeinsam ausgewertet
  • Dokumente als Objekte aus Text, Bild, Zeichen und Layout verstehen

Mit der Fusion von Sensordaten beschäftigen wir uns seit der Gründung. Heute ergänzen wir Bilder, Radar- und Laserdaten um Texte, Symbole, Datenbanken, Karten und Normen. Aus Sensorfusion wird multimodale KI.

Beispiel: Verkehrszeichen erkennen

Ein Verkehrszeichen im Kamerabild ist klein, oft verwittert, teilweise verdeckt oder im Gegenlicht. Wir kombinieren drei Wege zur Erkennung:

WegWas zusammengeführt wirdWirkung
Textuelle FusionSemantische Suche in einer Wissensbasis mit amtlichen NormdatenDer Kontext wird um Beschreibungen angereichert
Visuelle FusionText und BildausschnittHöhere Präzision durch die Bildanalyse
Multimodale FusionText, Bildausschnitt und normierte BeispielsymboleRobust durch den Vergleich mit dem Sollbild

Ein Bild-Sprach-Modell wertet den Bildausschnitt zusammen mit diesem Kontext aus. Die Arbeitsschritte verteilen wir auf spezialisierte Agenten; ein Qualitätsmechanismus prüft, ob die Entscheidung plausibel und belastbar ist.

Dasselbe Prinzip, andere Daten

Historische Dokumente wirken weit entfernt von autonomer Mobilität. Technologisch sind sie sehr ähnlich: komplexe visuelle Strukturen, Texte, Zeichen, Layouts und Zusammenhänge, die sich erst aus dem Ganzen ergeben. Deshalb übertragen wir unser Vorgehen von der Fahrzeugwahrnehmung auf Dokumente, Geodaten und Entwicklungsdaten.

Weiterführende Themen

KI-Technologien

Vision AI

Bild- und videobasierte KI, gewachsen aus langjähriger Erfahrung in der industriellen Bildverarbeitung.

KI-Technologien

Sensor Fusion & Physical AI

Informationen unterschiedlicher physischer Messquellen verbinden – Kamera, Radar, LiDAR und weitere Sensoren – als Grundlage für Systeme, die in der realen Welt handeln.

KI-Technologien

Document & Knowledge Intelligence

Große, heterogene Informationsbestände erschließen und unstrukturierte Information in fachlich nutzbare Wissensmodelle überführen.

Lösungen

Dokumenten- und Wissensintelligenz

Dokumente verstehen statt nur lesen: Archive, Akten und technische Unterlagen werden zu strukturiertem, befragbarem Wissen.

Sie möchten KI in Ihrem Unternehmen nutzbar machen?

Ob erste KI-Einführung oder komplexe Entwicklungsaufgabe – wir besprechen mit Ihnen die Anforderungen und geeigneten nächsten Schritte.

KI-Projekt besprechen