Este componente consiste en crear procesos que se ejecutan por medio
de un programador de tareas de manera nocturna o por medio de una aplicación en
ejecución manual por demanda, cuya
función es la de ayudar en el proceso de transporte de datos de un origen a un
destino incluyendo procesos de limpieza, transformación de datos en caso de ser
necesarios y generación de cálculos.
El objetivo principal es contar con una base de datos diseñada bajo un
esquema estrella, que facilite la carga de información a los modelos OLAP y la
explosión de reportes. Normalmente se debe tener contemplado la realización de
1 proceso de carga de tipo transaccional (Tablas de Hechos) y de los catálogos
(Tablas de Dimensiones). Es importante mencionar que este componente es
importante para la validación de la integridad de los datos.
El
proceso funcionara bajo los siguientes pasos:
a. Extraer. La primera parte del proceso
consiste en extraer los datos desde los sistemas de origen. Una parte
intrínseca del proceso de extracción es la de analizar los datos extraídos, de
lo que resulta un chequeo que verifica si los datos cumplen la pauta o
estructura que se esperaba. De no ser así los datos son rechazados, registrados
en el log que se envía vía e-mail.
b. Transformar. La fase de transformación
aplica una serie de reglas de negocio o funciones sobre los datos extraídos
para convertirlos en datos que serán cargados. Algunas fuentes de datos
requerirán alguna pequeña manipulación de los datos. No obstante en otros casos
pueden ser necesarias aplicar algunas de las siguientes transformaciones que
están consideradas en este proceso de transformación.
·
Integración
del código de Producto que servirá como llave de búsqueda para ubicarlo en el
catálogo de productos por medio de las equivalencias, con el objetivo que esto
nos permita recuperar la información completa de clasificación del producto. De
no ser así los datos son rechazados y registrados
en el log que se envía vía e-mail.
·
Obtener nuevos valores calculados (métricas
o indicadores) que pos su naturaleza ofrezcan ventajas en desempeño realizarse
desde este proceso. Esto se determinara en la etapa de diseño, identificando
los cálculos a realizarse en este proceso o a nivel reporte. (Ver el punto
Datamart, en el cuadro de métricas marcadas como calculadas).
·
Unir datos
de múltiples fuentes (Ej. búsquedas, combinaciones, etc.).
·
Generación
de campos clave en el destino.
·
La
aplicación de cualquier forma, simple o compleja, de validación de datos, y la
consiguiente aplicación de la acción que en cada caso se requiera:
i. Datos OK: Entregar datos a la siguiente etapa (Carga).
ii. Datos erróneos: Ejecutar políticas de tratamiento de
excepciones (Ej. Rechazar el registro completo y enviar la información al Log).
c. Carga. La fase de carga es el momento
en el cual los datos de la fase anterior (transformación) son cargados en el
sistema de destino. El Destino mantendrá un historial de los registros de
manera que se pueda hacer uso para la consulta de estos a través del tiempo y
permitir comparativos. El procedimiento
de carga estará basada en la entrega a un DataMart mediante el proceso de
acumulación simple, la acumulación simple consiste en realizar un resumen de
todas las transacciones comprendidas en el período de tiempo seleccionado y
transportar el resultado como una única transacción hacia el datamart,
almacenando un valor calculado que consistirá típicamente en un sumatorio o un
promedio de la magnitud considerada.
Comentarios