Mejorar los tiempo de Ejecución de los ETL's y Answers

Ver el tema anterior Ver el tema siguiente Ir abajo

Mejorar los tiempo de Ejecución de los ETL's y Answers

Mensaje  D. Campo el Vie 10 Jul 2009, 04:33

Buenas Tardes,

Tengo una tabla de hechos que tiene 16 dimensiones, estoy tratando de hacer la carga inicial, la cual debera cargar 49.000.000 de registros pero los tiempos de respuesta son muy elevados, quisiera saber si ustedes conocen alguna configuracion o caracterica especial para hacer que la carga sea mucho mas rapida.

Cabe aclarar que los datos de origen estan cargados en una unica tabla por ETL, y que cada una de las dimensiones tiene en promedio 400.000 registros.

Adicionalmente, quisiera tambien saber como hago para mejorar los tiempo de respuesta en Answers.

¿Alguien podría ayudarme?

D. Campo

Cantidad de envíos : 101
Localización : Caracas
Fecha de inscripción : 13/05/2009

Ver perfil de usuario

Volver arriba Ir abajo

Re: Mejorar los tiempo de Ejecución de los ETL's y Answers

Mensaje  bvillamor el Jue 16 Jul 2009, 11:28

Hola,
he movido tu mensaje de la categoría Trucos a Dudas OWB para tenerlo mejor colocado.

Cuando las tablas a rellenar por una correspondencia, o cubos como imagino que es tu caso, son muy grandes, la estrategia que da mejores tiempos es truncar la tabla, desactivar las restricciones, hacer la inserción de datos y volver a activar las restricciones.

El trunctate+insert es mucho más rápido que el update+insert y desactivar las restricciones hace que cada inserción tenga que comprobar menos cosas, como por ejemplo que cada clave de dimensión exista en la dimensión correspondiente. Para hacer esto tienes que utilizar operadores pre-mapping y post-mapping en las correspondencias, necesitas uno para la función WB_TRUNCATE_TABLE, otro para WB_DISABLE_ALL_CONSTRAINTS y el post-mapping para WB_ENABLE_ALL_CONSTRAINTS.

Prueba si con este método mejoran tus tiempos de respuesta. De todos modos algo básico que puede mejorar el rendimiento es tener la base de datos bien configurada para almacén de datos y con los parámetros de memoria ajustados según proponga el asesor de Oracle.

En cuanto a la mejora de rendimiento de Answers, si tienes cubos con 49 millones de registros seguramente sea buena idea que crees tablas de agregados para que las consultas más generales puedan acceder a los agregados y sólo las que piden mucho detalle tengan que ir al cubo más pesado.

Te puede interesar el capítulo de 'Moving large volumes of data' del manual de usuario de OWB, te dejo la url http://download.oracle.com/docs/cd/B31080_01/doc/owb.102/b28223/ref_trans_mod.htm#CFIIICHI

Saludos,

Begoña.

bvillamor

Cantidad de envíos : 388
Localización : Madrid
Fecha de inscripción : 18/02/2009

Ver perfil de usuario http://www.adiante.es

Volver arriba Ir abajo

Re: Mejorar los tiempo de Ejecución de los ETL's y Answers

Mensaje  D. Campo el Lun 03 Ago 2009, 16:21

Gracias Begoña por tu respuesta, los tiempos de respuesta mejoran considerablemenre. Ahora quisiera mejorar los tiempos de respuesta al cargar las dimensiones, estas las tengo configuradas para un almacenamiento de cambio lento, ¿Qué propiedades podría utilizar para acelerar tambien la carga en ellas?.

Saludos.

D. Campo

Cantidad de envíos : 101
Localización : Caracas
Fecha de inscripción : 13/05/2009

Ver perfil de usuario

Volver arriba Ir abajo

Re: Mejorar los tiempo de Ejecución de los ETL's y Answers

Mensaje  Contenido patrocinado Hoy a las 20:37


Contenido patrocinado


Volver arriba Ir abajo

Ver el tema anterior Ver el tema siguiente Volver arriba

- Temas similares

 
Permisos de este foro:
No puedes responder a temas en este foro.