The End of dbt Core! Introducing dbt Fusion, the Next Evolution of dbt!

Summary

In diesem Video erklärt der Datenexperte die bedeutenden Änderungen, die DBT mit der Einführung des DBT Fusion-Engines vorgenommen hat. DBT Fusion ersetzt die vorherigen Versionen DBT Core und DBT Cloud und bietet eine verbesserte Leistung durch eine komplett in Rust geschriebene Architektur. Zu den neuen Funktionen gehören schnellere Parsing-Geschwindigkeiten, intelligente SQL-Vervollständigung, kostensparende Optimierungen und verbesserte Orchestrierung. DBT Fusion wird auch kommerziell lizenziert, was größere Unternehmen dazu zwingt, Verträge mit DBT abzuschließen. Das Video beleuchtet auch neue Erweiterungen und die Integration von KI in die Arbeitsabläufe, um den Einstieg in DBT zu erleichtern.

Takeaways

• 😀 DBT hat mit der Einführung des DBT Fusion-Engines einen großen Wandel im Bereich der Datenengineering vollzogen.
• 😀 DBT Core und DBT Cloud wurden eingestellt, und künftig gibt es nur noch das DBT Fusion-Engine.
• 😀 DBT Fusion wird in Rust neu geschrieben, was die Performance erheblich steigert – bis zu 30-mal schnellere Parsing-Geschwindigkeiten und verbesserte Kompilierzeiten.
• 😀 DBT Fusion bietet native SQL-Verständnisfunktionen und state-aware Orchestrierung, die das Schreiben und Testen von SQL-Code erleichtern.
• 😀 Die Optimierung von Rechenkosten wird durch integrierte Funktionen zur Vermeidung unnötiger Modellberechnungen und verbesserte Datenlinienführung ermöglicht.
• 😀 DBT Fusion ermöglicht effizientere Projektabwicklungen, auch bei bis zu 10.000 Modellen, und bietet Echtzeit-Fehlererkennung beim Schreiben von DBT-Code.
• 😀 Zwei neue Kompilierungsmodi wurden eingeführt: 'Ahead of Time' (Standard) und 'Just in Time' (für dynamische Templating-Modelle).
• 😀 Fusion führt eine statische Analyse des DBT-Codes durch, um SQL-Dialekte zu validieren und Fehler vor der Ausführung zu erkennen.
• 😀 DBT verfolgt mit der Einführung des Model Context Protocol Servers (MCP) die Integration von AI-Anwendungen und Machine-Learning-Modellen mit Datenbeständen.
• 😀 Die neue DBT Canvas-Funktion nutzt generative KI, um die Erstellung von DBT-Jobs und -Modellen zu unterstützen, was die Barriere für die Nutzung der Software senkt.

Q & A

Was ist DBT Fusion und warum ist es eine wichtige Neuerung?

DBT Fusion ist eine komplett neu geschriebene Version der DBT-Engine, die mit Rust entwickelt wurde. Sie bietet deutlich bessere Leistung, einschließlich bis zu 30-mal schnellerer Parsing-Geschwindigkeit und schnellerer Kompilierung. Sie bringt auch erweiterte Funktionen wie SQL-Autovervollständigung und intelligente Fehlererkennung mit, was die Effizienz bei der Erstellung von DBT-Jobs verbessert.

Was passiert mit DBT Core und DBT Cloud?

DBT Core wird offiziell eingestellt und nicht mehr unterstützt. Es wird keine Updates oder Bugfixes mehr geben, was es zu einem veralteten Produkt macht. DBT Cloud gibt es weiterhin, aber die DBT-Engine wird nun durch DBT Fusion ersetzt.

Was sind die Hauptvorteile von DBT Fusion im Vergleich zu DBT Core?

DBT Fusion bietet eine schnellere Leistung, eine verbesserte SQL-Verständnisfähigkeit, bessere Orchestrierung und eine effizientere Nutzung von Rechenressourcen. Die neue Engine reduziert unnötige Modellläufe und ermöglicht eine genauere und schnellere Fehlererkennung, was DBT-Jobs insgesamt effizienter und benutzerfreundlicher macht.

Wie wirkt sich die Umstellung auf DBT Fusion auf kommerzielle Nutzer aus?

Kommerzielle Nutzer, die zuvor DBT Core kostenlos verwendet haben, müssen nun auf DBT Fusion umsteigen. Dies erfordert eine kommerzielle Vereinbarung mit DBT für die Nutzung der Fusion-Engine, da DBT Fusion nicht mehr kostenlos für kommerzielle Anwendungen zur Verfügung steht.

Was ist der Unterschied zwischen der Ahead-of-Time- und der Just-in-Time-Kompilierung in DBT Fusion?

Die Ahead-of-Time-Kompilierung (AOT) ist die Standardmethode in DBT Fusion, bei der alle Modelle vor der Ausführung kompiliert werden, um Konsistenz und Leistung zu gewährleisten. Die Just-in-Time-Kompilierung (JIT) wird für Modelle verwendet, die dynamische Vorlagen benötigen und Echtzeitinformationen erfordern.

Welche neuen Funktionen bietet DBT Fusion in Bezug auf die Orchestrierung und Datenverarbeitung?

DBT Fusion bietet verbesserte state-aware Orchestrierung, mit Funktionen wie der Auswahl von Modellläufen, die nur durch Änderungen in den Daten beeinflusst werden. Es bietet auch eine granularere Nachverfolgung von Datenabhängigkeiten und ermöglicht Kostenoptimierungen, indem unnötige Berechnungen vermieden werden.

Was ist das Ziel der DBT MCP-Server-Technologie?

Der DBT MCP-Server ist ein Modellkontext-Protokollserver, der als Framework dient, um KI-Modelle mit Datenpipelines und Data-Warehouses zu integrieren. Er ermöglicht es, AI-Modelle, Metriken und Datenabhängigkeiten zu speichern und zu verwalten.

Was sind die Vorteile des DBT Canvas-Tools?

DBT Canvas ist ein KI-gesteuertes Tool, das es ermöglicht, DBT-Jobs mithilfe von generativer KI zu erstellen. Benutzer können mit einfachen Anfragen Modelle und SQL-Code generieren lassen, wodurch die Entwicklung schneller und zugänglicher wird, insbesondere für unerfahrene Nutzer.

Wie erleichtert DBT Fusion das Schreiben von SQL-Code?

DBT Fusion bietet eine verbesserte SQL-Komplettierung und Fehlererkennung in Echtzeit. Durch diese Funktion können Entwickler beim Schreiben von DBT-Code sofortige Rückmeldungen erhalten und Fehler schneller erkennen und beheben.

Wie unterscheidet sich der neue DBT Insights von den vorherigen Funktionen?

DBT Insights bietet eine detaillierte Analyse der Daten und zeigt, welche Abfragen und Transformationen innerhalb des Systems durchgeführt werden. Es hilft Nutzern, die Auswirkungen ihrer Abfragen besser zu verstehen und gibt tiefe Einblicke in die Datenverarbeitungsprozesse.