Die Verwendung von Nvidias neuestem 3Dgrut für raytraced Splats in Kombination mit FishEye-Fotos aus Ultrawide 3K HDR-Videoaufnahmen der Insta360 Ace Pro ermöglicht eine explorative Analyse der Effizienz und Qualität dieser Technologie. Besonders in Verbindung mit dem Sharp-Frames-Python-Tool erweist sich der Workflow als benutzerfreundlich und die Videoaufnahmen als stabilisiert, mit brauchbarer Low-Light-Performance.
Erste Ergebnisse und Workflow
Die Videodateien zeichnen sich durch eine cleane und stabilisierte Verarbeitung aus.
Die Kamera selbst trägt jedoch nicht maßgeblich zur Qualität der generierten Splats bei, sondern liefert lediglich die Rohdaten.
Durch den Einsatz des PRO-Camera-Modus auf einem Handy könnten zukünftig weitere Verbesserungen erzielt werden.
Speicherbedarf und Herausforderungen
Eine zentrale Herausforderung besteht in den hohen VRAM-Kosten, insbesondere bei etwa 200 Fotos pro Splat. Während 3Dgrut mit weniger Bildern eine vergleichbare Detaildichte und Qualität erzielt, zeigt sich, dass 24 GB VRAM schnell ausgeschöpft sind. Um dies zu kompensieren, müssen die Bilder stark downsampled werden. Künftige Experimente sollen Pro-Weitwinkel-Handyvideos in Pinhole oder weiterhin im FishEye-Modus einbinden.
Integration weiterer Modelle und Möglichkeiten
Mit der erfolgreichen Installation von COLMAP auf einem eigens konfigurierten Linux-Rechner stehen nun weitere Optionen zur Verfügung:
Neue Modelle können getestet und verwendet werden.
3Dgrut bietet den Vorteil, gängige .PLY-Dateien bereitzustellen, die für die Weiterverarbeitung genutzt werden können.
Diese .PLY-Dateien sind direkt mit Three.js und der RAVE-Engine kompatibel, wodurch die Einbindung in bestehende Workflows vereinfacht wird.
Ausblick
Die nächsten Schritte beinhalten:
Vergleichende Tests mit Handy Kamer im Pro-Mode.
Weitere Tests um VRAM Speicherprobleme zu minimieren.
Weitere Untersuchungen zur Modellintegration mit COLMAP und 3Dgrut.
Die bisherigen Ergebnisse zeigen großes Potenzial für die Nutzung von Nvidias 3Dgrut, insbesondere im Bereich der Effizient der Auswertung besinders unperfekter Bilddaten. Zukünftige Experimente sollen das Modell weiter evaluieren und optimale Weorkflows mit möglichst einfachen mitteln bereitstellen.
