Parámetros Planificación Carga ETL

Ver el tema anterior Ver el tema siguiente Ir abajo

Parámetros Planificación Carga ETL

Mensaje  equipoBI el Lun 09 Mar 2009, 14:05

Buenos días,

estamos diseñando las planificaciones de carga de los datos para un data warehouse que tenemos y aparte de otras dudas, una importante que tenemos es la posibilidad de pasar parámetros para no tener que cargar todos los datos en cada ejecución.

A ver si alguien sabe como hacer esto u otra alternativa,

Muchas gracias.

Saludos.

Alberto
Equipo BI Seresco

equipoBI

Cantidad de envíos : 128
Fecha de inscripción : 24/02/2009

Ver perfil de usuario

Volver arriba Ir abajo

RE: Parámetros Planificación Carga ETL

Mensaje  molveira el Lun 09 Mar 2009, 20:01

Hola Alberto,

En el diseño de las correspondencias (mappings) se pueden incluir parámetros tanto de entrada como de salida. Son operadores de la paleta del diseñador de correspondencias.

Una vez añadido uno de estos operadores en el diseñador, accedéis a su página de detalles (botón derecho, Abrir Detalles) y en la pestaña de Atributos de Salida establecéis los parámetros que se desea que tenga la correspondencia, especificando nombre, tipo, etc. A partir de aquí estos atributos añadidos pueden ser utilizados en el diseño de la correspondencia del mismo modo que los campos, expresiones o constantes de otros operadores.

Suponed ahora una situación en la que se desea cargar sólo los datos recibidos desde la última carga realizada, necesitamos por un lado conocer la última fecha de carga y, por otro, establecer un nuevo valor para esa fecha si la carga termina correctamente. Una solución podría ser la siguiente:

  1. Crearíamos una tabla de parámetros con tuplas formadas por: clave, valor,… En la cual almacenaríamos las fechas de últimas cargas ((tabla1, fecha1), (tabla2, fecha2)…)

  2. En el Warehouse creamos una función que, dada una clave, nos proporcione la fecha correspondiente, sacándola de la tabla de parámetros. Las funciones aparecen bajo la categoría de las Transformaciones, junto con Procedimientos y Paquetes. También se puede utilizar un operador de búsqueda de claves para localizar el registro correspondiente.

  3. Crearíamos también un Procedimiento con un parámetro de entrada indicando la clave cuyo valor hay que modificar. Se entiende que el valor nuevo podría ser la fecha actual en que se ejecute el procedimiento.

  4. El siguiente paso sería crear un flujo de proceso (process flow) en el que podemos seguir los siguientes pasos:

    1. Arrastrar la función, la correspondencia y el procedimiento mencionados en los puntos anteriores al editor de flujo de proceso. Los podemos encontrar en sus categorías correspondientes en el panel del Explorador seleccionando la pestaña de Objetos Disponibles.

    2. Creamos una transición desde el objeto START al objeto función que hemos arrastrado.

    3. En el panel Explorador seleccionamos la pestaña Objetos Seleccionados, donde aparecen todos los que tenemos añadidos al editor de proceso. Desplegamos las propiedades del objeto correspondiente a la función y ahí podemos ver que aparecen tanto los parámetros de entrada que hayamos establecido para la función como la salida que tiene.

    4. Para establecer el valor de un parámetro se selecciona y se busca su atributo Valor en el panel de Detalles del Objeto. Cubrir este valor con el nombre de la propiedad cuyo valor deseamos recuperar en la tabla de parámetros (ver punto 1).

    5. Creamos una transición del objeto función al objeto correspondencia añadidos al editor.

    6. En el panel Objetos Seleccionados desplegamos ahora las propiedades del objeto correspondencia, se podrán ver todos los parámetros de entrada que hayamos añadido en la pestaña de Atributos de Salida del operador de parámetro de entrada.

    7. Para establecer el valor de uno de estos parámetros se selecciona y se cubren adecuadamente los valores de las propiedades Enlace o Valor. Con Valor podemos dar un valor fijo al parámetro, con Enlace podremos seleccionar la salida de la función, puesto que en el paso e hemos creado una transición de la función a esta correspondencia, con lo que le estaríamos pasando a la correspondencia el valor del parámetro obtenido con la función.

    8. Creamos una transición desde el objeto correspondencia al objeto procedimiento.

    9. Al procedimiento le configuramos, de modo similar a la función, el parámetro a actualizar. Según lo descrito en el punto 3 esto cambiaría a la fecha y hora actuales el valor del parámetro correspondiente en la tabla de parámetros.

La idea es obtener los valores para uno o varios parámetros, pasárselos a la correspondencia y actualizar el/los valores de esos parámetros dejándolos preparados para la siguiente ejecución.


Saludos

Mar

molveira

Cantidad de envíos : 1
Fecha de inscripción : 19/02/2009

Ver perfil de usuario

Volver arriba Ir abajo

Ver el tema anterior Ver el tema siguiente Volver arriba

- Temas similares

 
Permisos de este foro:
No puedes responder a temas en este foro.