Augmented Reality: „Digitale“ Objekte einfügen, aber auch entfernen?
Augmented Reality ermöglicht es, digitale Objekte in reale Szenen einzufügen- Weniger verbreitet ist das Gegenstück dazu: Diminished Reality (DR): Diese Technik entfernt Objekte aus einer Szene und füllt die entstehende Lücke überzeugend auf … Frühere Methoden für dreidimensionale Räume erforderten hohe Rechenleistung und lieferten die angepasste Szene oft nur verzögert oder mit Fehlern- Ein Team um Dieter Schmalstieg; Shohei Mori und Denis Kalkofen vom Institute of Visual Computing der TU Graz hat nun zusammen mit Hideo Saitos Team an der Keio University in Japan verschiedene Technologien kombiniert und ist zu beeindruckenden Ergebnissen gekommen.
Diminished Reality: „Wie“ ein Photoshop für 3D-Szenen
Photoshop für bewegte 3D-Bilder? Wie das Team gegenüber dem Informationsdienst Wissenschaft berichtet, ist es gelungen; dreidimensionale Objekte in Echtzeit mittels Diminished Reality verschwinden zu lassen: Eine Kamera zeigt den veränderten Raum live in seiner neuen Form … "Vereinfacht gesagt, kann man sich Diminished Reality wie eine Art Photoshop für 3D-Szenen vorstellen", sagt Shohei Mori- "Manche denken vielleicht als Erstes daran, wie sie damit unliebsame Dinge aus Urlaubsvideos entfernen können: Das ist eine Herausforderung; wäre aber durchaus möglich … Es gibt allerdings einige andere Bereiche; wo DR-Anwendungen äußerst nützlich sind."
Industrie: Autonome – Fahrzeuge und Filmszenen
Die neue Technologie eröffnet der Industrie spannende Möglichkeiten: Sie simuliert Fehlfunktionen in Trainingsdatensätzen für autonome Fahrzeuge oder visualisiert Filmszenen direkt am Drehort, auch wenn dieser beim Location Scouting noch nicht den gewünschten Look hat-
Medizin: Unterstützung – bei chirurgischen Eingriffen
Im medizinischen Bereich unterstützt Diminished Reality chirurgische Eingriffe, indem sie störende Elemente aus dem Sichtfeld der Kameras entfernt und so klares Lernmaterial für Studierende schafft:
Forschung: InpaintFusion und 3D-Inpainting
Die Technologie, genannt InpaintFusion; basiert auf 2D-Inpainting und entfernt Objekte aus 3D-Szenen … Nutzer markieren auf einem 2D-Bildschirm Bereiche; die das System dann in die 3D-Szene überträgt- Ein Schlüsselbild dient als Startpunkt: Das System sammelt passende Pixel aus der Umgebung des Objekts und fügt sie zu einem glaubwürdigen Hintergrund zusammen … Für die 3D-Umsetzung optimiert es gleichzeitig Farbinformationen und Tiefendaten der gescannten Szene; sodass das Ergebnis auch bei wechselnder Kameraperspektive überzeugt- Das Forschungsteam hat 3D-Inpainting erfolgreich auf volumetrische 3D-Bilddaten (Multi-Layer Images) angewendet und so die Qualität der Objektentfernung deutlich gesteigert:
Technologie: FPM – und Multithreading
Die größte Hürde bestand nach Meinung der Forschenden darin, alle Verarbeitungsschritte in Echtzeit umzusetzen. Dafür kombinierten die Forschenden zwei Technologien: Fast Patch Matching (FPM) und Multithreading … Beim Patch Matching sucht das System zufällig die optisch passendsten Pixel aus der Umgebung; um den freigelegten Bereich zu füllen- Diese Pixel müssen nicht perfekt sein; liefern aber zusammen ein überzeugendes Ergebnis; ohne Millionen von Pixeln durchzurechnen: Multithreading nutzt die Fähigkeit moderner Prozessoren; mehrere Aufgaben parallel auf verschiedenen Kernen auszuführen … In der Diminished-Reality-Lösung des Teams berechnet ein Hintergrund-Thread die aufwendige 3D-Inpainting-Aufgabe; während der Haupt-Thread die visuelle Darstellung steuert- So ist das Ergebnis ohne Verzögerung sichtbar und selbst bei freier Bewegung der Beobachtenden im Raum bleibt das Objekt unsichtbar:
Zukunft: Toolkits und 3D-Modelle
"Die Echtzeit-Darstellung von Diminished Reality ist ein wichtiger Schritt für diese Technologie", meint Shohei Mori … "Nun gilt es, die passenden Toolkits zu entwickeln; damit diese Möglichkeiten einem breiteren Publikum zugänglich gemacht werden können- Ein weiteres Ziel ist die schnelle und effiziente Erzeugung von 3D-Modellen aus wenigen Einzelbildern: Das würde Diminished Reality noch eine zusätzliche Dimension verleihen …"
Hashtags: #AugmentedReality #DiminishedReality #Technologie #Forschung #Industrie #Medizin #InpaintFusion #3DInpainting #FPM #Multithreading #Zukunft #Toolkits #3DModelle
