Multimediale und multimodale Daten verstehen

Das uns umgebende Ökosystem von Daten umfasst viele verschiedenen Datentypen von Audio, Bild und Video bis hin zu Zeitreihen, 3D-Daten und textuellen (Meta)daten, wie sie vor allem auf Plattformen der (sozialen) Medien zu finden sind. Multimediale KI befasst sich mit der Erkennung, dem Abruf, der Analyse und der Empfehlung von Mediendaten in unimodalen oder multimodalen Settings (letzteres beschreibt die Kombination zweier oder mehrerer verschiedener Mediendatentypen).

Forschungsfokus

Für unsere Multimedia-KI-Forschung in den Bereichen Computer Vision (CV), Natural Language Processing (NLP), Multimodal Retrieval (MMR) und Time Series Analysis & Pattern Analysis haben wir bereits Preise gewonnen. Wir bringen diese Forschung u.a. in der Analyse von sozialen Medien,  Immobilienmärkten, menschlichen Gangmustern, digitalem Erbe und Digital Humanities zum Einsatz.

Wir unterstützen Immobilienunternehmen durch die Einschätzung von Bodenqualität mithilfe von Satellitenaufnahmen und die Altersprognose von Gebäuden basierend auf Werbebildern. In Zusammenarbeit mit Paläographen erarbeiten wir digitalisierte mittelalterliche Manuskripte als Basis für die Abfragung und Identifikation von Autor*innen. Zur Unterstützung von Archäolog*innen verwenden wir 3D-Scans von Gesteinsoberflächen für die Segmentierung von menschgemachten prähistorischen Figuren aus dem Gestein.

Wir setzen NLP-Methoden zur Analyse von sozialen Medien ein, um beispielsweise Fake News oder Sexismus aufzuspüren. Wir kombinieren multiple Modalitäten für MMR zur Extraktion von Informationen aus sozialen Medien oder für eine präzisere Beurteilung von Immobilien. Wir unterstützen weiters Physiotherapeut*innen bei der Diagnose von Gangstörungen, indem wir zeitbasierte Gangmessungen in 2D und 3D analysieren und dabei charakteristische Muster erkennen und einordnen.
 

Projekte

ImmBild - Lagebewertung durch Bildanalyse

Die Lage ist der wichtigste Parameter für die Bestimmung des Wertes einer Immobilie. Im Projekt ImmBild wird der Wert einer Immobilie mit Hilfe von Computer Vision aus dem Satellitenbild berechnet.

ImmoAge - Visuelle Altersbestimmung von Immobilien

Baujahr bzw. Bauperiode und regionale Bauweisen von Einfamilienhäusern sind essentiell für die Bewertung von Immobilien. Mit Hilfe von Bilderkennungsverfahren sollen diese nun automatisiert analysie...

IMREA - Intelligente Multimodale Immobilienanalyse

Multimodale Informationsextraktions- und maschineller Lernverfahren zur Extraktion immobilienbezogener Attribute und Parameter aus heterogenen Eingabedaten

Sie wollen mehr wissen? Fragen Sie nach!

Studiengangsleiter Creative Computing (BA)
Department Medien und Digitale Technologien
Arbeitsplatz: A - Campus-Platz 1
M: +43/676/847 228 245