Apache Superset Extensions - Taking Open Source BI to the Next Level - OSA Con 2025

Summary

Este video presenta una de las iniciativas más ambiciosas de Apache Superset: la creación de un sistema de extensiones que permitirá a los usuarios personalizar y ampliar las funcionalidades de la herramienta sin modificar su código base principal. A través de demostraciones prácticas, se explica cómo construir extensiones tanto en el frontend como en el backend, facilitando la integración de nuevos componentes como visualizaciones, conectores y flujos personalizados. Este esfuerzo busca democratizar el acceso a la inteligencia empresarial (BI) y permitir una mayor flexibilidad para las organizaciones al integrar herramientas a medida.

Takeaways

• 😀 Apache Superset es una herramienta de inteligencia empresarial de código abierto y nivel empresarial, utilizada para visualizar y analizar datos desde diversas fuentes.
• 😀 El sistema actual de Apache Superset es monolítico, lo que dificulta agregar nuevas características o extensiones sin modificar el código base principal.
• 😀 Se están introduciendo las extensiones de Superset como solución para permitir la personalización de funcionalidades sin alterar el código base, facilitando su mantenimiento y desarrollo.
• 😀 El enfoque para agregar nuevas características se ha centrado en un modelo modular y mantenible, con propuestas específicas para áreas como la interfaz de usuario y la integración de IA.
• 😀 Las extensiones de Superset se pueden desarrollar utilizando un CLI, paquetes npm para dependencias de frontend, y paquetes PPI para dependencias de backend, lo que permite integrar nuevas funcionalidades sin modificar el código central.
• 😀 Los desarrolladores ahora pueden agregar nuevos componentes sin la necesidad de hacer 'fork' al proyecto principal, lo que facilita la integración y actualización de Superset.
• 😀 Se están trabajando en nuevas herramientas para mejorar la experiencia de desarrollo, como la mejora del CLI, la automatización de procesos de prueba y el empaquetado de las extensiones.
• 😀 El objetivo es reducir la complejidad del código base principal de Superset, a la vez que se habilitan interfaces para una mayor personalización mediante extensiones.
• 😀 Se está desarrollando una comunidad activa de trabajo en extensiones, con grupos de trabajo regulares y reuniones abiertas donde los desarrolladores pueden colaborar y compartir ideas.
• 😀 La misión de Superset es democratizar el acceso a los datos y la inteligencia empresarial, y ahora busca democratizar la creación de herramientas de BI, permitiendo que cualquier usuario cree extensiones personalizadas para mejorar sus flujos de trabajo.
• 😀 El futuro de Superset se ve prometedor, con la expectativa de que la flexibilidad de las extensiones y la integración de IA desplacen herramientas propietarias de BI y lleven a Superset a una adopción masiva.

Q & A

¿Cuál es el objetivo principal del nuevo enfoque de extensiones de Apache Superset?

El objetivo principal es permitir que los usuarios amplíen y personalicen las funcionalidades de Apache Superset de manera modular y mantenible, sin necesidad de modificar el código base principal. Esto facilita el desarrollo y la implementación de nuevas características sin afectar la estabilidad del proyecto.

¿Cuáles son los desafíos que enfrentaban los desarrolladores con la arquitectura anterior de Superset?

La arquitectura monolítica de Superset dificultaba la adición de nuevas funcionalidades personalizadas sin forquear el proyecto. Esto generaba problemas de mantenimiento y hacía que las actualizaciones del sistema fueran más complicadas. Además, las soluciones previas, como el sistema de plugins de gráficos, no se adoptaron ampliamente debido a su mala documentación y uso limitado.

¿Cómo contribuyen las extensiones a resolver estos problemas de extensibilidad?

Las extensiones permiten agregar nuevas funcionalidades a Superset sin modificar el código base principal. Usando un sistema de APIs bien definido, los desarrolladores pueden crear nuevas características (como tipos de gráficos, integraciones de bases de datos o nuevos componentes de UI) de forma más sencilla y modular.

¿Qué herramientas y paquetes se están introduciendo para facilitar el desarrollo de extensiones?

Se están introduciendo tres nuevos paquetes clave: un paquete CLI para construir extensiones, un paquete npm para las dependencias del frontend, y un paquete PPI para las dependencias del backend. Estos paquetes permiten que las extensiones interactúen con Superset sin modificar su código base.

¿Qué se mostró en el primer demo sobre la creación de una extensión?

En el primer demo, se mostró cómo construir una extensión funcional desde cero. Esto implicó crear un proyecto de extensión, desarrollar una API backend en Python y conectar un componente frontend en React. La extensión interactuó con la base de datos y mostró cómo los cambios se reflejaban automáticamente en el entorno de desarrollo.

¿Cómo funciona el modo de desarrollo para las extensiones en Superset?

El modo de desarrollo permite que las extensiones se recarguen automáticamente cada vez que se guardan cambios en el código fuente. Esto facilita la prueba y ajuste de nuevas funcionalidades sin tener que reiniciar manualmente el servidor o volver a construir la extensión cada vez.

¿Qué es la extensión 'Query Insights' y cómo funciona?

La extensión 'Query Insights' muestra metadatos relevantes sobre las consultas SQL ejecutadas, como conjuntos de datos, información sobre los propietarios, columnas certificadas y particiones. En el demo, esta extensión interactúa con la API backend para obtener estos datos y luego los presenta en una tabla interactiva en la interfaz de usuario de SQL Lab.

¿Qué papel juega la inteligencia artificial (IA) en el futuro de las extensiones de Superset?

La integración de la inteligencia artificial en Superset permitirá la creación de herramientas BI más inteligentes, adaptadas a las necesidades específicas de las organizaciones. La IA se usará para mejorar las capacidades analíticas y facilitar la automatización de ciertos procesos dentro del entorno de BI.

¿Cuál es la visión a largo plazo de Apache Superset con respecto a las extensiones?

La visión es democratizar la creación de herramientas BI, permitiendo que cualquier usuario pueda desarrollar herramientas personalizadas para su propio flujo de trabajo. Superset busca ser flexible, permitiendo la creación de visualizaciones y flujos de trabajo a medida que se adapten a las necesidades de cualquier organización, con la posibilidad de crear un mercado de extensiones personalizadas.

¿Cómo se involucrará la comunidad en el desarrollo de estas extensiones?

La comunidad será clave en el desarrollo y mejora del sistema de extensiones. Superset organiza reuniones abiertas, como las town halls y los grupos de trabajo de extensiones, donde cualquier miembro de la comunidad puede participar para aportar ideas y ayudar a dar forma al futuro de estas nuevas capacidades. También hay un espacio activo en Slack para discusiones asincrónicas.