Extracción y Transformación de los Datos en Data WareHouse

Extracción y Transformación de los Datos

SQL puede conectarse a cualquiera de los formatos creados por Microsoft Office, archivos texto y a bases de datos como FOXPRO y ACCESS muy usadas por múltiples sistemas de escritorio que resuelven problemas importantes en muchas empresas. Además puede conectarse a cualquier SGBD (Sistema Gestor de Bases de Datos) que posea un driver ODBC compatible con Microsoft o implemente la tecnología OLE DB. El poder obtener datos de páginas de Excel con datos resumidos o exportarlas a este, para que los usuarios más avanzados puedan crear gráficos y otros. Es algo que convierte a SQL en la herramienta perfecta para crear sistemas Data Warehouse. Para realizar estas tareas Microsoft cuenta con una rama dentro del árbol de administración del SQL Enterprise Manager,  que contiene un área de diseño con los elementos que se necesitan para diseñar un paquete de transformación de datos (DTS Package).
Para crear un paquete solo se hace clic derecho sobre el área vacía de esa rama y se selecciona la opción New Package, inmediatamente se abre una ventana con un área de diseño que permite empezar a diseñar el paquete en cuestión. Hay tres elementos fundamentales a la hora de diseñar un paquete:

1. Las conexiones: que permiten conectarse a cualquier fuente de datos como las que relacionamos anteriormente.
2. Las tareas: que permiten transformar los datos de cada conexión antes de que sean copiados a otra conexión. Estas tareas pueden ejecutar Scripts de ActiveX, pueden transferir otros archivos desde o hacia un sitio FTP, pueden enviar un mensaje a un operador de SQL. Además de poder filtrar datos, crear nuevas tablas en la BD resultante, etc.
3. Los flujos de trabajo: que permiten definir hacia donde irán los datos luego de que se le apliquen las respectivas acciones que los transformarán a la nueva forma deseada.

Así usando estos tres elementos fundamentales se crea una especie de script gráfico que sigue una secuencia lógica para dar como resultado la transformación de los datos almacenados de un formato a otro como SQL Server desde donde podrán ser analizados con el Data Warehouse.
Aunque desde el Enterprise Manager de SQL Server se puede ejecutar los paquetes que se crean haciendo clic derecho sobre ellos y seleccionando Execute o en un Schedule. Existen varias herramientas adicionales que pueden usarse desde la ventana de comandos del sistema operativo. De ellas, la más interesante para el uso de scripts es dtsrun. Para obtener la ayuda completa de esta podemos ejecutar dtsrun /? En una pc (Computadora Personal) con SQL Server instalado. 

Ejemplo: Uso de la herramienta dtsrun desde un script de windows
@echo off
Copy \\srvaplics\aplics\*.mdb d:\convertsql /Y
if (%ERRORLEVEL% NEQ 0) echo “Error al copiar la base de datos”
else dtsrun /S SASSQL /U sa /P Pepe2006 /N loadaccessdb

Como podemos ver a dtsrun se le pasan como parámetros el nombre del servidor el usuario con derechos para ejecutar el paquete, el password de este y el nombre del paquete a ejecutar. Existen otra serie de opciones que pueden ser consultadas en la ayuda de la herramienta. El uso de esta herramienta puede estar relacionado como vemos en el ejemplo con la copia de bases de datos hacia lugares desde donde es más seguro la obtención de sus datos.

A continuación mostraremos un ejemplo práctico de cómo diseñar un paquete para obtener el balance de comprobación desde un fichero TXT exportado por el sistema contable SENTAI.

Ejemplo: Obtención de Balance de SENTAI

1. Creación de un nuevo paquete desde el SQL Enterprise Manager
2. Arrastrar hacia el área de diseño la conexión hacia un archivo TXT
3. Configurar la conexión especificando el archivo y su formato
4. Arrastrar hacia el área de diseño una conexión al servidor SQL al que se va a importar el estado de las cuentas.
5. Configura esta conexión especificando la base de datos a usar
6. Hacer clic sobre la conexión al archivo texto para seleccionarlo.
7. Hacer clic sobre la acción (trasform data task) y seguido se hace clic sobre la conexión al Server SQL del área de diseño.
8. Hacemos clic derecho sobre la línea que une a ambos ahora y editamos las propiedades de la transformación para asegurarnos de que están de acuerdo a nuestros objetivos.
9. Presionamos el botón de salvar para guardar el paquete.
10. Escriba el nombre del paquete y cierre la ventana de diseño.

Ahora podrá ver el nombre del paquete y si desea ejecutarlo solo debe hacer clic derecho sobre este y seleccionar Execute. Así las cuentas y sus saldos serán insertados en la nueva base de datos de contabilidad de la empresa.  
 

Ejemplo: Vista gráfica del paquete creado