3D Scanning Changed Again. NeRFs Are SO Back!

Summary

Ein faszinierender Einblick in die neue Technologie von Google DeepMind: Smurf. Dies ist eine fortschrittliche Version von Nerfs, die Multi-Raum-Visualisierungen mit zentimetergenauer Detailgenauigkeit ermöglicht und Mobilgeräten wie Smartphones und Laptops via Webbrowser zugänglich ist. Smurf bietet eine beeindruckende Bildrate von über 144 FPS und übertrifft dabei sowohl die Geschwindigkeit von gausi-Splattung als auch die Qualität von Zip-Nerfs. Die Verwendung von Smurf führt zu weniger Artefakten und verlässlicheren Erfassungsanforderungen, was die Qualität der 3D-Visualisierungen verbessert. Darüber hinaus ermöglicht Smurf das Trainieren auf verzerrten Fischaugens Bildern, was die Effizienz bei der Erfassung großer Szenen steigert. Trotz seiner beeindruckenden Leistung erfordert Smurf jedoch eine umfangreiche Trainingsphase, was die breite Verbreitung in Anwendungen wie Google Maps immersive view einschränkt. Zusätzlich wird in einem neuen Google-AI-Paper gezeigt, wie man mit neuronalen Feldern UV-Mappings für Nerf-Modelle durchführt, was die Bearbeitung von Texturen in 2D-Software wie Photoshop erleichtert.

Takeaways

• 🚀 Google DeepMind hat kürzlich Smurf vorgestellt, eine neue Form von neuronalen Flussdiagrammen (Neural Radiance Fields, NRFs) mit hochauflösender Detaildarstellung und Echtzeitfähigkeit.
• 📱 Smurf kann auf geringes Ressourcen ausgelegten Geräten wie Mobiltelefonen und Laptops über einen Webbrowser laufen und 60 FPS (Bilder pro Sekunde) erreichen.
• 🏆 Smurf bietet eine Balance zwischen der Geschwindigkeit des Gaußischen Splatting und der Qualität von ZIP-Neuralen Flussdiagrammen (NeRFs).
• 🎮 Im Vergleich zu 3D-Gaussian Splatting bietet Smurf weniger Artefakte und verständnisvollere Erfassungsanforderungen, was die Qualität der Visualisierung verbessert.
• 🌐 Smurf reproduziert alle view-dependent Effects (blickabhängige Effekte), die in NeRFs geliebt werden, einschließlich der Abhängigkeit von sphärischen Harmoniken (sphärische Harmonische).
• 📷 Es ist möglich, Smurf direkt aus verzerrten Fischaugens Bildern zu trainieren, was die Effizienz bei der Erfassung großer Szenen verbessert.
• 🤖 Smurf nutzt eine Hierarchie von unterschiedlichen NeRF-Modellen, um die Szene zu zerlegen und nach Bedarf zu laden, was die Leistung auf Mobilgeräten erhöht.
• 📈 Smurf übertrifft sowohl 3D-Gaussian als auch Splatting in Bezug auf Leistung und Qualität und erreicht die Qualität von ZIP-Neuralen Flussdiagrammen mit 60 FPS.
• 🧠 Smurf erfordert jedoch eine umfangreiche Ausbildung von bis zu 200.000 Schritten auf einem leistungsstarken GPU, was eine große Einschränkung für die breite Verbreitung darstellt.
• 🎨 Ein weiteres Google-AI-Papier beschäftigt sich mit der Verwendung neuronaler Felder für UV-Mapping, was es ermöglicht, sauberere, parametrisierte Teile des Modells zu bearbeiten und zu bearbeiten.
• 🌟 Die Kombination dieser Technologien ermöglicht es, Texturen von NeRF-Modellen mit 2D-Bearbeitungswerkzeugen wie Photoshop oder Firefly zu bearbeiten, was kreative Möglichkeiten für 3D-Künstler und Designer eröffnet.

Q & A

Was ist Smurf und wie unterscheidet es sich von anderen Nerf-Technologien?

Smurf ist eine neue von Google DeepMind entwickelte Technologie, die als 'streamable multi-room Nerfs' bekannt ist. Es bietet eine hohe Framerate von über 144 FPS bei centimetergenauer Detailgenauigkeit und funktioniert auch auf mobilen Geräten. Es liegt zwischen der Geschwindigkeit von gausianischer Splatting und der Qualität von Zip-Nerfs und reduziert Artefakten, verbessert die Capture-Anforderungen und erlaubt die Reproduktion von view-dependent Effects wie bei herkömmlichen Nerfs.

Wie ist die Leistung von Smurf im Vergleich zu anderen 3D-Technologien?

Smurf bietet im Vergleich zu 3DGS eine bessere Qualität mit weniger Artefakten und verlässlicheren Capture-Anforderungen. Es erreicht eine Framerate von über 144 FPS, was in der Nähe des gausianischen Splattings liegt, aber mit besserer Qualität als Calcium Splatting.

Kann Smurf auf mobilen Geräten verwendet werden?

Ja, Smurf ist so konzipiert, dass es auf Low-Resource-Geräten wie Smartphones und Laptops über einen Webbrowser genutzt werden kann, wobei es bei 60 FPS rendert.

Was sind die Vorteile von Smurf in Bezug auf die Bearbeitung von Nerf-Modellen?

Smurf ermöglicht es, auf veränderbare Weise UV-Karten von Nerf-Modellen zu bearbeiten. Dies ermöglicht es Künstlern, die Texturen von Nerf-Modellen mit 2D-Bearbeitungswerkzeugen wie Photoshop oder Firefly zu verändern, ohne die komplexe Topologie der Modelle direkt bearbeiten zu müssen.

Wie viele Trainingsschritte erfordert Smurf für seine Implementierung?

Smurf erfordert ein umfangreiches Training von etwa 200.000 Schritten auf einer leistungsstarken GPU, was eine signifikante Einschränkung für die breite Verbreitung in Anwendungen wie Google Maps Immersive View darstellt.

Wie unterscheidet sich Smurf von anderen real-time SLAM-Technologien?

Smurf bietet eine neue Art der Realitätserfassung, die auf der Basis von Neuralen Feldern arbeitet und sich durch eine hohe Framerate und detaillierte Darstellung auszeichnet. Im Gegensatz zu einigen real-time SLAM-Technologien, die auf gausianischer Splatting basieren, bietet Smurf eine alternative Darstellung, die trotz intensiven Trainings effektiv auf mobilen Geräten funktioniert.

Wie können UV-Karten von Nerf-Modellen mit Smurf bearbeitet werden?

Mit Smurf können UV-Karten von Nerf-Modellen durch die Verwendung von neuralen Feldern für UV-Mapping bearbeitet werden. Dies ermöglicht es, die Modelle in 2D-Software wie Photoshop oder Firefly zu bearbeiten, um Texturen zu verändern oder hinzuzufügen, ohne die 3D-Geometrie direkt bearbeiten zu müssen.

Was ist der Hauptvorteil von Smurf in Bezug auf die Realitätserfassung?

Smurf ermöglicht eine hochauflösende und detaillierte Realitätserfassung mit geringeren Artefakten und verbesserten Capture-Anforderungen. Es bietet eine bessere Qualität als herkömmliche gausianische Splatting-Techniken und kann auf mobilen Geräten in Echtzeit genutzt werden.

Welche möglichen Anwendungen hat Smurf in der Zukunft?

Smurf könnte in Anwendungen wie Google Maps Immersive View eingesetzt werden, um Innen- und Außenansichten mit hoher Fidelity zu erkunden und zu ersetzen, was derzeit mit vorab gerenderten 360-Grad-Videos möglich ist. Es könnte auch in der Film- und Spielentwicklung oder der virtuellen Realität eingesetzt werden, um interaktive und detaillierte Szenen zu erstellen.

Welche Herausforderungen gibt es bei der Verbreitung von Smurf in der Industrie?

Die umfangreiche Trainingszeit von 200.000 Schritten auf leistungsstarken GPU ist eine Herausforderung für die Verbreitung von Smurf. Dies könnte den Einsatz in Anwendungen mit schnell wechselnden Inhalten oder in Echtzeit-Umgebungen einschränken.

Wie kann Smurf die Kreativität von Künstlern und Designern verbessern?

Smurf ermöglicht es Künstlern, durch die Verwendung von 2D-Bearbeitungswerkzeugen wie Photoshop und Firefly die Texturen von Nerf-Modellen zu verändern. Dies erweitert ihre kreativen Möglichkeiten, indem sie die Komplexität der 3D-Geometrie umgehen und ihnen die Fähigkeit gibt, ihre künstlerischen Fähigkeiten auf Nerf-Modelle anzuwenden.