Primer ETL Usando SQL Server Data Tools

Summary

En este tutorial práctico, se muestra cómo utilizar las herramientas de Microsoft para configurar y diseñar un proceso de ETL. El objetivo es exportar datos de una tabla llamada 'fifa' en una base de datos 'ss' a otra base de datos llamada 'destino'. Se inicia eliminando contenido previo y seguidamente se crea un paquete, se establece una conexión a la instancia de origen de datos, y se configura un Data Flow. Se selecciona la tabla de origen, se establece la conexión y se configura el destino, asegurándose de que los nombres de las columnas coincidan para el mapeo automático. Finalmente, se ejecuta el flujo de datos para verificar que los datos se exportaron correctamente, y se sugiere que en el próximo video se explorarán técnicas para agregar paquetes existentes a un proyecto en SQL Server Data Tools.

Takeaways

• 😀 El video es una guía práctica sobre cómo utilizar las herramientas de Microsoft para configurar y diseñar una tarea de ETL.
• 📝 Se comienza eliminando el contenido de una tabla previamente creada para realizar el ejercicio práctico.
• 🔗 Se menciona la necesidad de exportar datos desde una tabla llamada 'fifa' en una base de datos 'ss' a otra base de datos llamada 'destino'.
• 🧼 Se realiza una limpieza en la tabla 'fifa' dentro de la base de datos 'destino' para prepararla para la inserción de datos.
• 🔧 Se crea un paquete y se le renombra a 'fifa' para comenzar la configuración de la conexión a la instancia de origen de datos.
• 🔄 Se establece una conexión OLEDB a la instancia de origen de datos especificando el servidor, método de autenticación y la base de datos.
• 🔍 Se verifica la conexión a la instancia de origen de datos haciendo clic en 'probar conexión'.
• 📚 Se crea un 'Data Flow' para gestionar las tareas relacionadas con la transferencia de datos.
• 🔌 Se selecciona y configura el origen de datos, en este caso, una conexión a SQL Server, y se especifica la tabla 'fifa' como fuente.
• 📈 Se agrega y configura el destino de los datos, que es otra base de datos en SQL Server, y se establece la conexión hacia la base de datos 'destino'.
• 🔗 Se enlazan los componentes del Data Flow asegurando que el flujo de datos sea secuencial y se manejen posibles errores.
• 🗂 Se realiza el mapeo de columnas entre el origen y el destino, asegurando que los datos se inserten correctamente en la tabla de destino.
• 🚀 Se ejecuta el paquete para verificar que los datos se transfieren correctamente de la tabla de origen a la tabla de destino.
• 📹 En el próximo video se discutirán técnicas para agregar paquetes existentes a un proyecto de SQL Server Data Tools.

Q & A

¿Qué es lo que vamos a realizar en el video?

En el video vamos a realizar nuestro primer ejercicio práctico utilizando la herramienta de Microsoft para la configuración y diseño de ETL, eliminando contenido de una tabla y exportando datos desde una base de datos llamada 'ss' a otra llamada 'destino'.

¿Cuál es la primera acción que se realiza en el proceso práctico?

La primera acción es eliminar el contenido que ya había en la tabla del primer ejemplo anteriormente creada.

¿Qué herramienta de Microsoft se utiliza para este ejercicio práctico?

Se utiliza la herramienta de Microsoft SQL Server Data Tools (SSDT) para la configuración y diseño de ETL.

¿Cómo se asegura que la eliminación de la tabla se haya realizado correctamente?

Se ejecuta una query para limpiar la tabla y se verifica que se haya ejecutado correctamente.

¿Qué es un paquete en el contexto de SQL Server Data Tools?

Un paquete en SQL Server Data Tools es una colección de tareas y flujos de datos que se pueden ejecutar juntas para realizar una tarea específica, como el movimiento de datos.

¿Cómo se renombra un paquete en SQL Server Data Tools?

Se hace clic derecho sobre el paquete y se selecciona la opción de renombrar, luego se introduce el nuevo nombre que refleje la tarea que realiza.

¿Qué es una conexión OLEDB y cómo se crea en SQL Server Data Tools?

OLEDB es un protocolo de acceso a datos que permite conectarse a diferentes fuentes de datos. Para crear una conexión en SQL Server Data Tools, se hace clic derecho en el espacio de conexiones y se selecciona 'Crear nueva conexión', especificando el servidor, método de autenticación y la base de datos.

¿Qué es un Data Flow y cómo se crea en SQL Server Data Tools?

Un Data Flow es una parte integral de un paquete de SQL Server Data Tools que se utiliza para mover datos entre orígenes y destinos. Se crea haciendo clic derecho y seleccionando 'Nuevo Data Flow...'.

¿Qué son las tareas Source y Destination y cómo se utilizan en un Data Flow?

Las tareas Source y Destination son componentes clave en un Data Flow que se utilizan para definir el origen de los datos y el destino donde se moverán los datos respectivamente. Se seleccionan y se configuran para trabajar con una conexión específica.

¿Cómo se configura el origen de datos en un Data Flow?

Se selecciona el tipo de conexión o origen de datos, se elige la base de datos y se especifica la tabla o vista desde la que se obtendrán los datos. También se puede hacer una previsualización de los datos y seleccionar las columnas que se utilizarán.

¿Qué es el mapeo de columnas y cómo se realiza en SQL Server Data Tools?

El mapeo de columnas es el proceso de asociar las columnas del origen con las del destino para asegurar que los datos se muevan correctamente. Se realiza seleccionando las columnas en el origen y mapeándolas a las correspondientes en el destino.

¿Cómo se garantiza que los datos se muevan correctamente de un origen a un destino en un Data Flow?

Se configuran correctamente las conexiones de origen y destino, se eligen las tablas y columnas adecuadas y se prueba la ejecución del Data Flow para verificar que los datos se mueven como se espera.

¿Qué se puede hacer si los nombres de las columnas en el origen y el destino no coinciden?

Si los nombres de las columnas no coinciden, se puede mapear manualmente cada columna seleccionando el nombre correspondiente en el origen y en el destino.

¿Cómo se maneja un error en el proceso de un Data Flow?

Se pueden arrastrar flechas rojas desde el componente donde se produjo el error hacia otro componente, como un archivo de Excel, para manejar el error de una manera específica.

¿Qué indica el cheque verde en SQL Server Data Tools al ejecutar un Data Flow?

El cheque verde en SQL Server Data Tools indica que el Data Flow se ha ejecutado correctamente sin errores.

Outlines

00:00

😀 Configuración de la tarea de exportación de datos

En este primer párrafo se describe el proceso de configuración de un ejercicio práctico utilizando herramientas de Microsoft para la gestión de datos. Se inicia eliminando contenido de una tabla previamente creada y se verifica la ejecución del comando. Luego, se exporta información de una tabla llamada 'fifa' en la base de datos 'ss' a otra base de datos llamada 'destino'. Se menciona la creación de un paquete y la configuración de una conexión a la instancia de origen de datos. Se detalla el proceso de selección de servidor, autenticación y base de datos, así como la verificación de la conexión. Finalmente, se comienza el diseño de un 'data flow' para gestionar el movimiento de datos.

05:02

😉 Elección y configuración del origen de datos

Este párrafo se enfoca en la selección y configuración del origen de datos para el 'data flow'. Se destaca la importancia de renombrar objetos y se describe el proceso de conexión a una tabla o vista y la opción de escribir una consulta SQL. Se elige la primera opción para conectarse directamente a una tabla y se selecciona la tabla 'fifa'. También se menciona la posibilidad de previsualizar datos y la configuración de columnas, incluyendo el cambio de nombres si es necesario. Se concluye con la adición de un destino al 'data flow' y la necesidad de enlazar componentes en secuencia para garantizar la ejecución correcta de la tarea.

10:07

🎯 Configuración del destino y mapeo de columnas

En el tercer párrafo, se aborda la configuración del destino de los datos y cómo mapear las columnas del origen al destino. Se detalla el proceso de crear una conexión de destino y la selección de la base de datos y tabla donde se enviarán los datos. Se menciona la opción de realizar una carga rápida y se describe el mapeo automático y manual de columnas, destacando la importancia de que los nombres coincidan para el mapeo automático. Se concluye con la finalización del diseño del 'data flow' y la ejecución de la tarea para verificar su correcto funcionamiento, asegurándose de que la tabla de destino esté vacía antes de la ejecución.

15:08

📚 Próximos pasos: Agregar paquetes existentes a un proyecto

El último párrafo del script indica que en el próximo video se abordará cómo agregar paquetes existentes a un proyecto en SQL Server Data Tools. Esto sugiere que el contenido siguiente se centrará en la integración y gestión de paquetes en un entorno de desarrollo de soluciones de datos.

Keywords

💡SSIS

SSIS (SQL Server Integration Services) es una herramienta de Microsoft para la integración y transformación de datos. En el video, se utiliza SSIS para configurar y diseñar el flujo de datos entre diferentes bases de datos. Se menciona cuando se habla de la creación de paquetes y la conexión a instancias de datos.

💡Data Flow

Data Flow es una parte fundamental de SSIS que se encarga del movimiento de datos de un origen a un destino. En el video, se aborda el diseño del Data Flow para exportar datos de una tabla llamada 'fifa' en una base de datos 'ss' a otra instancia llamada 'destino'.

💡Origen de datos

Origen de datos hace referencia al punto de partida de los datos en una operación de integración o transformación. En el contexto del video, el origen de datos es la tabla 'fifa' en la base de datos 'ss', de donde se extraerán los datos para ser exportados.

💡Destino de datos

Destino de datos es el lugar final donde se dirigirán los datos tras su transformación o movimiento. En el video, el destino de los datos es una base de datos en la instancia 'destino', donde se creará o se vaciará una tabla para recibir los datos exportados.

💡Conexiones

Las conexiones son enlaces establecidos entre el servidor de SSIS y las bases de datos de origen y destino. Se crean conexiones para autenticarse y acceder a las bases de datos donde residen los datos de interés. En el video, se habla de la creación de conexiones con servidores SQL para establecer el origen y destino de los datos.

💡Transformación de datos

La transformación de datos es el proceso de manipular o cambiar la estructura de los datos de una forma u otra para satisfacer necesidades específicas. Aunque en el video no se realiza ninguna transformación, se menciona como una parte potencial del flujo de datos SSIS.

💡Exportación de datos

La exportación de datos es el acto de mover datos desde una ubicación a otra, generalmente desde una base de datos a un archivo o a otra base de datos. El video se centra en la exportación de datos de una tabla en una base de datos a otra.

💡Consulta SQL

Una consulta SQL (Lenguaje de Consulta Estructurada) es una instrucción utilizada para recuperar o manipular datos en una base de datos. En el video, aunque no se profundiza en la escritura de consultas SQL, se sugiere su uso como una opción para seleccionar los datos de origen.

💡Mapeo de columnas

El mapeo de columnas es el proceso de asociar columnas de datos de origen con columnas en el destino para asegurar que los datos se muevan de la manera correcta. En el video, se destaca el mapeo automático de columnas cuando tienen el mismo nombre y la posibilidad de mapear manualmente si es necesario.

💡Administración de errores

La administración de errores implica tener en cuenta lo que sucede si algo sale mal en el proceso de integración de datos. En el video, se menciona la posibilidad de manejar errores al dirigir el flujo de datos hacia un archivo de Excel en caso de fallo, aunque en este caso se decide no utilizar esa opción.

💡Proyectos de SSIS

Un proyecto de SSIS es una colección de paquetes relacionados que se trabajan en SQL Server Data Tools (SSDT). El video sugiere que en futuras sesiones se abordará cómo agregar paquetes a un proyecto existente en SSIS.

Highlights

El video comienza con la intención de realizar un ejercicio práctico sobre la herramienta de Microsoft para la configuración y diseño de ETL.

Se menciona la eliminación del contenido de una tabla previamente creada para comenzar el ejercicio.

Se destaca la necesidad de exportar datos desde una tabla llamada 'ss.fifa' a una base de datos llamada 'destino'.

Se realiza una limpieza en la tabla 'fifa' de la base de datos 'destino' para prepararla para el ejercicio.

Se crea un paquete y se le renombra a 'fifa' para comenzar la configuración de la conexión de origen de datos.

Se crea una conexión a la instancia de origen de datos mediante una conexión OLEDB.

Se especifica el nombre del servidor, método de autenticación y la base de datos a utilizar en la conexión.

Se verifica la configuración de la conexión haciendo clic en el botón 'probar conexión'.

Se crea un Data Flow para gestionar las tareas relacionadas con el movimiento de datos.

Se selecciona SQL Server como origen de datos y se establece la conexión con la base de datos.

Se elige la tabla 'fifa' como fuente de datos y se accede a sus registros para previsualización.

Se seleccionan las columnas de la tabla 'fifa' que se desea trabajar y se renombran si es necesario.

Se agrega una tarea de destino a la configuración y se establece una nueva conexión a la base de datos de destino.

Se enlazan los componentes del Data Flow para asegurar una secuencia de ejecución correcta.

Se configura el destino del Data Flow, especificando la tabla de destino y cómo se van a mapear las columnas.

Se mapean manualmente las columnas entre el origen y el destino si los nombres no coinciden.

Se utiliza la opción 'by machinegames' para mapear automáticamente las columnas cuando tienen el mismo nombre.

Se ejecuta el paquete diseñado en SQL Server Data Tools para probar la configuración del Data Flow.

Se verifica que los datos se hayan exportado correctamente a la base de datos de destino.

Se anuncia que en el próximo video se hablará sobre cómo agregar paquetes existentes a un proyecto de SQL Server Data Tools.

Transcripts

bien en este vídeo vamos a entrar ya

como habíamos acordado en la parte

totalmente práctica realizando nuestro

primer ejercicio dentro de ese puede

servir lata tours vamos como tarea a

crear el mismo de el que habíamos

realizado a través del management

estudio pero ya utilizando la

herramienta que microsoft nos proveen

para la configuración y diseño de teles

lo primero que vamos a hacer es eliminar

el contenido que tenemos en la tabla que

ya habíamos creado

en nuestro primer ejemplo anteriormente

hacemos un truco kate vemos que se

ejecutó de manera correcta y volvemos a

nuestro ambiente de trabajo les recuerdo

que lo que vamos a hacer es exportar

desde la tabla desde la base de datos

que se llama ss y ese la tabla llamada

fifa a donde la vamos a exportar a la

base cita de datos que tenemos en la

misma instancia llamada destino

lo primero que vamos a hacer es limpiar

la tabla que ya teníamos dentro de la

base de cita de datos que se llama

destino con el nombre fifa exportada ya

tengo la query aquí escrita simplemente

la ejecutamos y nos aseguramos que se

ejecute de manera correcta

como primer paso ya yo he creado acá un

paquete y luego es renombrado con el

nombre de fifa lo primero que vamos a

hacer es crear nuestra conexión a la

instancia que se encuentra donde se

encuentra nuestro origen de datos para

eso hacemos clic derecho sobre el

espacio utilizado para crear las

conexiones y elegimos una conexión de

tipo oled seleccionamos la opción de

crear una nueva conexión y aquí

procedemos a especificar cuál es el

nombre de nuestro servidor el método de

autenticación y la base de datos que

vamos a estar utilizando

les había dicho que se encuentran dentro

de ss y es

si deseo probar que todo está

configurado de forma correcta hago un

clic sobre el botón probar conexión

vemos que está bien y continuamos

nuestro diseño de lt l

ya vemos acá que tenemos nuestra primera

conexión creada luego de eso les había

comentado en el vídeo anterior que todos

los todas las tareas que están

relacionadas con llevar datos o mover

datos o exportar datos de un origen a un

destino deben realizarse a través de un

data flow de acuerdo si presionamos la

tecla f 2 o hacemos un clic derecho y

renombra mos ese objeto podemos ponerle

como les he exhortado en otras

oportunidades un nombre que haga alusión

a la tarea que realiza el objeto que

estamos trabajando en este momento una

vez renombrado procedemos a el diseño de

nuestro data flow haciendo doble clic

sobre él y lo siguiente que vamos a

configurar es el origen de nuestros

datos

ya tenemos acá la conexión y aquí tengo

dentro de favoritos en el pool bots de

integration services las dos tareas que

más utilizamos en un data flow el source

y el destination como primera opción

vamos a elegir naturalmente el origen de

edad

acá le voy a decir con qué tipo de

conexión o con qué tipo de origen de

datos voy a estar trabajando selecciono

sql server y como ya tengo creada mi

conexión simplemente debo elegir la aca

a la derecha en el caso contrario que la

conexión no existiera pudiera crearla

simplemente presionando acá el botón de

'me o dando doble clic sobre él

continuamos entonces y ya tengo mi sol

conectado a la base de datos pero me

falta

la siguiente etapa de la configuración

que es saber de dónde vienen esos datos

elegir correctamente mi fuente

como siempre les digo renombrar

cada uno de los objetos

hacemos doble clic sobre el soul y nos

va a salir acá un editor que si bien es

cierto que tiene unas opciones más

avanzadas en este momento vamos a

enfocarnos únicamente en lo básico

dentro del acceso a los datos puedo

elegir una de cuatros opciones las que

vamos a estar utilizando con mayor

frecuencia es la primera que se va a

conectar directamente a una tabla o a

una vista y la tercera que nos va a

permitir escribir una consulta sql

con código transfer en el caso nuestro

vamos a irnos directamente a la primera

opción

y en esta lista desplegable elegimos la

tabla con la que vamos a estar

trabajando

valga la aclaración que en este mismo

apartado se listan también las vistas en

el caso que estén creadas dentro de la

base de datos de la conexión que hayamos

elegido acá

podemos también dentro de esta pantalla

visualizar o hacer una previsualización

de los datos nos brinda alrededor de 200

de 200 registros desde la tabla o la

vista que estemos utilizando como fuente

de datos

esta parte de acá me va a mostrar las

columnas con las que yo realmente deseo

trabajar si las voy a utilizar todas si

solamente voy a utilizar algunas si

deseo

cambiarle el nombre de salir de esas

columnas porque así me lo exige un

documento técnico por un tema de

estándares o por la razón que fuera

simplemente aquí podemos cambiarle o

agregarle cualquier nombre

las columnas que van a ir como salida

vamos a dejar todo tal cual y hacemos

clic en el botón no crema

como no vamos a trabajar ninguna

transformación desde nuestro origen a

nuestro destino recuerden que estamos

emulando el ejemplo que hicimos

directamente desde el manejo en estudio

lo que vamos a hacer es agregar

destino a nuestro eterno de acuerdo

como destino estoy también utilizando

una base cita de datos hecha en sql

server voy a proceder a crear una nueva

conexión

para indicarle

a mi objeto de destino en este caso

hacia donde me va a llevar los datos que

tenemos dentro de la tabla fifa

y todo lo demás lo voy a dejar igual y

aquí voy a seleccionar

la base de datos de destino pruebo que

mi conexión se realice de manera

satisfactoria

y procedo a presionar el botón ok

vamos a cambiar acá ponerle un nombre es

cierto

y lo próximo que debo hacer es enlazar

esos dos objetos es importante que sepan

que si bien es cierto con el control

flow puedo tener n cantidad de

componentes que se ejecuten en paralelo

o sea que no sean dependientes uno del

otro

dentro del data flow esa condición si es

totalmente inevitable que exista sea una

acción sucede después que otra termina

de acuerdo

la forma de enlazar mis componentes es

arrastrando la flecha de color azul en

este caso hacia el componente que se va

a ejecutar inmediatamente el anterior

termine en el caso de que queramos de

algún modo de gestionar los errores

imaginando que algo falló algo salió mal

en este componente entonces quiero

enviar que eso que sucedió mal quiero

manejar ese error de una manera

particular entonces podemos arrastrar

la flecha roja hacia cualquier otro

destino

y lo que va a hacer es que

inmediatamente este objeto falle va a

tomar la ruta que está en este caso

apuntando hacia el archivo de excel y

voy a eliminarlo porque no lo vamos a

utilizar en este momento y procedemos

entonces a dar doble clic sobre nuestro

destino porque aquí nos faltan dos de

las cosas más importantes la número uno

es hacia dónde vamos a enviar esos datos

ya con ya configuramos la conexión de

destino pero nos falta elegir hacia qué

tabla vamos a enviar esos datos y cómo

se van a mapear cómo se van a combinar

las columnas desde mi origen hacia mi

destino donde yo voy a insertar el aire

y dónde voy a insertar el nombre porque

no siempre se van a llamar del mismo

modo aunque en el ejemplo que estamos

utilizando para hacerlo más fácil y más

práctico si trate de que se llamaran

igual

dentro d

la pantalla de configuración que yo

tengo acá seleccionada como lo hicimos

acá con el componente de destino mi

conexión tengo varias formas o varias

modalidades de cargar o no datos

no voy a abundar mucho en este tema

porque hay algunos factores ahí que son

un poquito más profundo y que son de

temas

un mayor nivel de avance

en este caso lo vamos a dejar como una

carga rápido a una vista oa una tabla de

acuerdo

lo dejamos tal cual y lo que hacemos acá

es seleccionar el destino hacia dónde

vamos a enviar esos datos tienen la

opción aquí de crear una tabla desde

cero tal como habíamos visto en el

ejemplo desde el manejo en estudio en

nuestro caso como ya existe esta opción

es totalmente innecesario hay una serie

de opciones acá que cuando estemos

adentrando

a niveles más avanzados vamos a ir

explicando los con mayor nivel de

detalle

inmediatamente tenemos ya ha configurado

nuestro destino

el pdl no está del todo terminado hasta

que no hago acá el cruce de las columnas

o el mapeo les había comentado que como

se llaman igual el aquí lo lo mapeo de

manera automática

en caso de que no sea así que no se

llaman del mismo modo podemos elegir de

esta desde esta lista desplegable cada

una de los nombres de las columnas y su

correspondiente en el destino bien

sí

si se fijan acá he eliminado varias

varios de los mapeos o de los cruces

entre las columnas de origen y destino

para para mostrarles la forma en que

pueden mapear columnas de manera manual

y de manera automática siempre y cuando

coincidan en el nombre aunque se llamen

del mismo modo de manera manual todo lo

que debo hacer como les comentaba

anteriormente es elegir acá la columna

que se corresponde en el origen y

destino

y de manera automática todo lo que debo

hacer siempre y cuando vuelvo y recalco

los nombres sean iguales es hacer un

clic derecho en esta en esta área de

trabajo y seleccionar la última opción

que lo va a hacer ahí lo dice

perfectamente by machinegames será

cuando los nombres sean totalmente

iguales ahí queda ya ha configurado mi

destino hacemos clic en el botón ok y si

queremos probar que realmente todo

funciona vamos a comprobar primero que

la tabla está

vacía no contiene ningún valor

ejecutamos nuestro cuadro y

efectivamente vemos que no hay nada

y acá procedemos entonces a ejecutar ya

nuestro primer hotel diseñado de este el

sql server data tools

me está indicando con este cheque verde

que todo salió correctamente para

detenerlo debo hacer click en el botón

ok

y vamos a comprobar que los datos están

ya exportado de manera correcta en

nuestro siguiente vídeo vamos a estar

conversando sobre la manera de agregar

paquetes ya existente a un proyecto de

sql server data tools