3D Scanning Changed Again. NeRFs Are SO Back!

Creative Tech Digest

19 Jan 202407:05

Summary

TLDREin faszinierender Einblick in die neue Technologie von Google DeepMind: Smurf. Dies ist eine fortschrittliche Version von Nerfs, die Multi-Raum-Visualisierungen mit zentimetergenauer Detailgenauigkeit ermöglicht und Mobilgeräten wie Smartphones und Laptops via Webbrowser zugänglich ist. Smurf bietet eine beeindruckende Bildrate von über 144 FPS und übertrifft dabei sowohl die Geschwindigkeit von gausi-Splattung als auch die Qualität von Zip-Nerfs. Die Verwendung von Smurf führt zu weniger Artefakten und verlässlicheren Erfassungsanforderungen, was die Qualität der 3D-Visualisierungen verbessert. Darüber hinaus ermöglicht Smurf das Trainieren auf verzerrten Fischaugens Bildern, was die Effizienz bei der Erfassung großer Szenen steigert. Trotz seiner beeindruckenden Leistung erfordert Smurf jedoch eine umfangreiche Trainingsphase, was die breite Verbreitung in Anwendungen wie Google Maps immersive view einschränkt. Zusätzlich wird in einem neuen Google-AI-Paper gezeigt, wie man mit neuronalen Feldern UV-Mappings für Nerf-Modelle durchführt, was die Bearbeitung von Texturen in 2D-Software wie Photoshop erleichtert.

Takeaways

🚀 Google DeepMind hat kürzlich Smurf vorgestellt, eine neue Form von neuronalen Flussdiagrammen (Neural Radiance Fields, NRFs) mit hochauflösender Detaildarstellung und Echtzeitfähigkeit.
📱 Smurf kann auf geringes Ressourcen ausgelegten Geräten wie Mobiltelefonen und Laptops über einen Webbrowser laufen und 60 FPS (Bilder pro Sekunde) erreichen.
🏆 Smurf bietet eine Balance zwischen der Geschwindigkeit des Gaußischen Splatting und der Qualität von ZIP-Neuralen Flussdiagrammen (NeRFs).
🎮 Im Vergleich zu 3D-Gaussian Splatting bietet Smurf weniger Artefakte und verständnisvollere Erfassungsanforderungen, was die Qualität der Visualisierung verbessert.
🌐 Smurf reproduziert alle view-dependent Effects (blickabhängige Effekte), die in NeRFs geliebt werden, einschließlich der Abhängigkeit von sphärischen Harmoniken (sphärische Harmonische).
📷 Es ist möglich, Smurf direkt aus verzerrten Fischaugens Bildern zu trainieren, was die Effizienz bei der Erfassung großer Szenen verbessert.
🤖 Smurf nutzt eine Hierarchie von unterschiedlichen NeRF-Modellen, um die Szene zu zerlegen und nach Bedarf zu laden, was die Leistung auf Mobilgeräten erhöht.
📈 Smurf übertrifft sowohl 3D-Gaussian als auch Splatting in Bezug auf Leistung und Qualität und erreicht die Qualität von ZIP-Neuralen Flussdiagrammen mit 60 FPS.
🧠 Smurf erfordert jedoch eine umfangreiche Ausbildung von bis zu 200.000 Schritten auf einem leistungsstarken GPU, was eine große Einschränkung für die breite Verbreitung darstellt.
🎨 Ein weiteres Google-AI-Papier beschäftigt sich mit der Verwendung neuronaler Felder für UV-Mapping, was es ermöglicht, sauberere, parametrisierte Teile des Modells zu bearbeiten und zu bearbeiten.
🌟 Die Kombination dieser Technologien ermöglicht es, Texturen von NeRF-Modellen mit 2D-Bearbeitungswerkzeugen wie Photoshop oder Firefly zu bearbeiten, was kreative Möglichkeiten für 3D-Künstler und Designer eröffnet.

Q & A

Was ist Smurf und wie unterscheidet es sich von anderen Nerf-Technologien?
-Smurf ist eine neue von Google DeepMind entwickelte Technologie, die als 'streamable multi-room Nerfs' bekannt ist. Es bietet eine hohe Framerate von über 144 FPS bei centimetergenauer Detailgenauigkeit und funktioniert auch auf mobilen Geräten. Es liegt zwischen der Geschwindigkeit von gausianischer Splatting und der Qualität von Zip-Nerfs und reduziert Artefakten, verbessert die Capture-Anforderungen und erlaubt die Reproduktion von view-dependent Effects wie bei herkömmlichen Nerfs.
Wie ist die Leistung von Smurf im Vergleich zu anderen 3D-Technologien?
-Smurf bietet im Vergleich zu 3DGS eine bessere Qualität mit weniger Artefakten und verlässlicheren Capture-Anforderungen. Es erreicht eine Framerate von über 144 FPS, was in der Nähe des gausianischen Splattings liegt, aber mit besserer Qualität als Calcium Splatting.
Kann Smurf auf mobilen Geräten verwendet werden?
-Ja, Smurf ist so konzipiert, dass es auf Low-Resource-Geräten wie Smartphones und Laptops über einen Webbrowser genutzt werden kann, wobei es bei 60 FPS rendert.
Was sind die Vorteile von Smurf in Bezug auf die Bearbeitung von Nerf-Modellen?
-Smurf ermöglicht es, auf veränderbare Weise UV-Karten von Nerf-Modellen zu bearbeiten. Dies ermöglicht es Künstlern, die Texturen von Nerf-Modellen mit 2D-Bearbeitungswerkzeugen wie Photoshop oder Firefly zu verändern, ohne die komplexe Topologie der Modelle direkt bearbeiten zu müssen.
Wie viele Trainingsschritte erfordert Smurf für seine Implementierung?
-Smurf erfordert ein umfangreiches Training von etwa 200.000 Schritten auf einer leistungsstarken GPU, was eine signifikante Einschränkung für die breite Verbreitung in Anwendungen wie Google Maps Immersive View darstellt.
Wie unterscheidet sich Smurf von anderen real-time SLAM-Technologien?
-Smurf bietet eine neue Art der Realitätserfassung, die auf der Basis von Neuralen Feldern arbeitet und sich durch eine hohe Framerate und detaillierte Darstellung auszeichnet. Im Gegensatz zu einigen real-time SLAM-Technologien, die auf gausianischer Splatting basieren, bietet Smurf eine alternative Darstellung, die trotz intensiven Trainings effektiv auf mobilen Geräten funktioniert.
Wie können UV-Karten von Nerf-Modellen mit Smurf bearbeitet werden?
-Mit Smurf können UV-Karten von Nerf-Modellen durch die Verwendung von neuralen Feldern für UV-Mapping bearbeitet werden. Dies ermöglicht es, die Modelle in 2D-Software wie Photoshop oder Firefly zu bearbeiten, um Texturen zu verändern oder hinzuzufügen, ohne die 3D-Geometrie direkt bearbeiten zu müssen.
Was ist der Hauptvorteil von Smurf in Bezug auf die Realitätserfassung?
-Smurf ermöglicht eine hochauflösende und detaillierte Realitätserfassung mit geringeren Artefakten und verbesserten Capture-Anforderungen. Es bietet eine bessere Qualität als herkömmliche gausianische Splatting-Techniken und kann auf mobilen Geräten in Echtzeit genutzt werden.
Welche möglichen Anwendungen hat Smurf in der Zukunft?
-Smurf könnte in Anwendungen wie Google Maps Immersive View eingesetzt werden, um Innen- und Außenansichten mit hoher Fidelity zu erkunden und zu ersetzen, was derzeit mit vorab gerenderten 360-Grad-Videos möglich ist. Es könnte auch in der Film- und Spielentwicklung oder der virtuellen Realität eingesetzt werden, um interaktive und detaillierte Szenen zu erstellen.
Welche Herausforderungen gibt es bei der Verbreitung von Smurf in der Industrie?
-Die umfangreiche Trainingszeit von 200.000 Schritten auf leistungsstarken GPU ist eine Herausforderung für die Verbreitung von Smurf. Dies könnte den Einsatz in Anwendungen mit schnell wechselnden Inhalten oder in Echtzeit-Umgebungen einschränken.
Wie kann Smurf die Kreativität von Künstlern und Designern verbessern?
-Smurf ermöglicht es Künstlern, durch die Verwendung von 2D-Bearbeitungswerkzeugen wie Photoshop und Firefly die Texturen von Nerf-Modellen zu verändern. Dies erweitert ihre kreativen Möglichkeiten, indem sie die Komplexität der 3D-Geometrie umgehen und ihnen die Fähigkeit gibt, ihre künstlerischen Fähigkeiten auf Nerf-Modelle anzuwenden.

Outlines

00:00

🚀 Einführung in Smurf: Neues Streaming-Nerf-System mit hochauflösendem Detail

In diesem Abschnitt wird das neue Streaming-Nerf-System namens Smurf vorgestellt, das von Google DeepMind entwickelt wurde. Smurf verbindet die Geschwindigkeit des Gaußischen Splatting mit der Qualität von Zip-Nerf und ist auf mobilen Geräten wie Smartphones und Laptops einsetzbar. Es bietet 60 FPS bei centimetergenauen Details und hat weniger Artefakte als herkömmliche Methoden. Smurf verbessert auch die Erkennungsanforderungen und vermeidet die typischen 'floaters' und Löcher, die bei Gausian Splatting auftreten können. Es ist auch in der Lage, view-dependent effects zu reproduzieren, die bei herkömmlichen Nerf-Technologien bekannt sind, und bietet eine bessere Qualität als Calcium Splatting.

05:00

🎨 UV-Mapping mit Neural Fields für Nerf-Modelle

Der zweite Abschnitt konzentriert sich auf die Herausforderungen des Bearbeitens von Nerf-Modellen, insbesondere auf die Schwierigkeiten mit der UV-Map-Generierung, die für 3D-Künstler und Designer oft unübersichtlich ist. Googles neues AI-Paper, NVO, bietet eine Lösung für dieses Problem, indem es neurale Felder für UV-Mapping verwendet, um saubere, parametrisierte Teile des Modells zu ermöglichen. Dies erlaubt es, 2D-Bearbeitungswerkzeuge wie Photoshop oder Firefly zu verwenden, um die Texturen der Nerf-Modelle zu ändern, ohne die komplexe Topologie des Modells berücksichtigen zu müssen. Die Vorstellung von NVO zeigt, wie das neue System detailliertere und lesbarere UV-Maps erzeugt, die es den Künstlern ermöglichen, ihre Modelle effektiver zu bearbeiten.

Mindmap

Keywords

💡Nerfs

Nerfs ist ein Akronym für Neural Radiance Fields, eine künstliche Intelligenz-Technologie, die realistische, dreidimensionale Szene- und Lichtsimulationen ermöglicht. Im Video wird erläutert, dass Nerfs nach einer Phase der Verbesserungen mit neuen Algorithmen wie Smurf (Streamable multi-room Nerfs) zurückkehren und sich durch ihre detaillierte Darstellung und ihre Fähigkeit, auf mobilen Geräten zu funktionieren, auszeichnen.

💡Gaussian Splats

Gaussian Splats ist eine Technik zur Darstellung von 3D-Szenen, die durch die Verwendung von Gauß'scher Funktionen zur Approximation von Flächen arbeitet. Im Kontext des Videos wird diese Methode mit der neuen Technologie Smurf verglichen, die eine bessere Leistung und Qualität bietet.

💡Smurf

Smurf ist eine neue von Google DeepMind entwickelte Technologie, die als 'streamable multi-room Nerfs' bezeichnet wird. Es ermöglicht eine detaillierte Darstellung von Szenen mit einer hohen Framerate von 60 FPS und kann auf geringes Ressourcen ausgelegt werden, wie Mobiltelefonen und Laptops.

💡Centimeter-Level Detail

Centimeter-Level Detail bezieht sich auf die Genauigkeit und Auflösung von 3D-Darstellungen, bei der Details auf einer Längenmaß von Zentimeter genau wiedergegeben werden können. Im Video wird dies als eine der Merkmale von Smurf hervorgehoben, die eine höhere Qualität der visuellen Darstellung ermöglicht.

💡60 Frames Per Second

60 Frames pro Sekunde (FPS) ist eine Messgrenze für die Anzahl der Bilder, die pro Sekunde angezeigt werden können. Ein höherer FPS-Wert führt zu einer flüssigeren und realistischeren Bewegungswahrnehmung. Im Video wird die Fähigkeit von Smurf, mit 60 FPS zu rendern, als ein wichtiges Merkmal hervorgehoben, das die Leistungsfähigkeit der Technologie verdeutlicht.

💡Artifacts

Artifacts in diesem Kontext beziehen sich auf unerwünschte Pixel oder Verzerrungen in der Bilddarstellung, die durch die Verarbeitung oder das Rendern von 3D-Szenen entstehen können. Im Video wird darauf hingewiesen, dass Smurf weniger Artifacts als herkömmliche Nerf-Techniken erzeugt und somit zu einer klareren und realistischeren Visualisierung führt.

💡Capture Requirements

Capture Requirements beziehen sich auf die Anforderungen an die Einrichtung und die Prozesse, die notwendig sind, um 3D-Szenen aufzunehmen oder zu erstellen. Im Video wird Smurf als Technologie beschrieben, die weniger strenge Capture-Anforderungen hat, was die Benutzerfreundlichkeit und die Effizienz bei der Erstellung von 3D-Inhalten erhöht.

💡View-Dependent Effects

View-Dependent Effects beschreiben visuelle Effekte, die sich ändern, je nachdem, wie eine Szene betrachtet wird. Dies kann die Beleuchtung, die Farbe oder die Textur einer Szene betreffen. Im Video wird erwähnt, dass Smurf in der Lage ist, alle gewohnten view-dependent effects zu reproduzieren, was für eine realistische 3D-Darstellung wichtig ist.

💡Distorted Fisheye Imagery

Verzerrte Fischaugensicht-Bildgebung bezieht sich auf die Verwendung von Fischaugen-Objektiven, die ein starkes Verzerrungsmuster erzeugen, um ein breites Spektrum von einer Szene zu erfassen. Im Video wird erwähnt, dass Smurf trainiert werden kann, um direkt auf verzerrten Fischaugensicht-Bildern zu arbeiten, was die Effizienz bei der Erfassung großer Szenen verbessert.

💡UV Mapping

UV-Mapping ist ein Prozess im 3D-Modellierungsprozess, bei dem die Oberflächen einer 3D-Modell-Datei einer Textur zugeordnet wird. Im Video wird eine neue Technologie namens NVO vorgestellt, die es ermöglicht, Nerf-Modelle für UV-Mapping zu verwenden und somit 2D-Bearbeitungswerkzeuge für die Texturierung von 3D-Modellen zu nutzen.

💡Real-Time SLAM

Highlights

Nerfs are back with a new method called Smurf, offering streamable multi-room Nerfs with centimeter level detail.

Smurf is deployable to low resource devices like smartphones and laptops via the web browser, rendering at 60 frames per second.

Smurf strikes a balance between the speed of Gaussian splatting and the quality of zip Nerfs.

In comparison to zip Nerf's 0.25 frames per second, Smurf achieves over 144 frames per second in the same scene.

Smurf provides better quality than calcium splatting with fewer artifacts and more forgiving capture requirements.

Smurf solves the problem of floaters and holes in scenes where captures are missing.

The method reproduces view-dependent effects loved in Nerfs, unlike Gaussian splatting.

Smurf can train on distorted fisheye imagery directly, which is beneficial for wide-angle captures.

The hierarchical structure of Smurf allows for efficient loading and mobile competitiveness.

Smurf outperforms 3D gy and splatting, matching zip Nerf quality at 60 frames per second on mobile devices.

Extensive training of Smurf, around 200,000 steps on a powerful GPU, is a limitation for widespread adoption.

Google's new AI paper introduces neural fields for UV mapping, allowing for clean edits on Nerf models.

The UV mapping technique enables 2D editing tools like Photoshop to be used on Nerf textures.

The method in progress optimizes for cleanly parameterized chunks of the model, making it more human-readable and easier to work with in 2D software.

Reality capture is advancing rapidly, with Nerfs remaining competitive alongside Gaussian splatting-based representations.

The future of reality capture is bright, with ongoing research and development in both neural and non-neural fields.

Real-time 3D Gaussian splatting and its applications in SLAM (simultaneous localization and mapping) are gaining traction.

The new kid on the block, Gaussian splatting, is expected to continue evolving with a focus on real-time applications.