Ir al contenido principal

Business Intelligence Proceso de Carga de Datos ETL, Vista modo Componente

Este componente consiste en crear procesos que se ejecutan por medio de un programador de tareas de manera nocturna o por medio de una aplicación en ejecución manual por demanda,  cuya función es la de ayudar en el proceso de transporte de datos de un origen a un destino incluyendo procesos de limpieza, transformación de datos en caso de ser necesarios y generación de cálculos.

El objetivo principal es contar con una base de datos diseñada bajo un esquema estrella, que facilite la carga de información a los modelos OLAP y la explosión de reportes. Normalmente se debe tener contemplado la realización de 1 proceso de carga de tipo transaccional (Tablas de Hechos) y de los catálogos (Tablas de Dimensiones). Es importante mencionar que este componente es importante para la validación de la integridad de los datos.

El proceso funcionara bajo los siguientes pasos:

a.     Extraer. La primera parte del proceso consiste en extraer los datos desde los sistemas de origen. Una parte intrínseca del proceso de extracción es la de analizar los datos extraídos, de lo que resulta un chequeo que verifica si los datos cumplen la pauta o estructura que se esperaba. De no ser así los datos son rechazados, registrados en el log que se envía vía e-mail.

b.    Transformar. La fase de transformación aplica una serie de reglas de negocio o funciones sobre los datos extraídos para convertirlos en datos que serán cargados. Algunas fuentes de datos requerirán alguna pequeña manipulación de los datos. No obstante en otros casos pueden ser necesarias aplicar algunas de las siguientes transformaciones que están consideradas en este proceso de transformación.
·         Integración del código de Producto que servirá como llave de búsqueda para ubicarlo en el catálogo de productos por medio de las equivalencias, con el objetivo que esto nos permita recuperar la información completa de clasificación del producto. De no ser así los datos son rechazados y  registrados en el log que se envía vía e-mail.
·         Obtener nuevos valores calculados (métricas o indicadores) que pos su naturaleza ofrezcan ventajas en desempeño realizarse desde este proceso. Esto se determinara en la etapa de diseño, identificando los cálculos a realizarse en este proceso o a nivel reporte. (Ver el punto Datamart, en el cuadro de métricas marcadas como calculadas).
·         Unir datos de múltiples fuentes (Ej. búsquedas, combinaciones, etc.).
·         Generación de campos clave en el destino.
·         La aplicación de cualquier forma, simple o compleja, de validación de datos, y la consiguiente aplicación de la acción que en cada caso se requiera:
                                          i.    Datos OK: Entregar datos a la siguiente etapa (Carga).
                                         ii.    Datos erróneos: Ejecutar políticas de tratamiento de excepciones (Ej. Rechazar el registro completo y enviar la información al Log).


c.     Carga. La fase de carga es el momento en el cual los datos de la fase anterior (transformación) son cargados en el sistema de destino. El Destino mantendrá un historial de los registros de manera que se pueda hacer uso para la consulta de estos a través del tiempo y permitir comparativos.  El procedimiento de carga estará basada en la entrega a un DataMart mediante el proceso de acumulación simple, la acumulación simple consiste en realizar un resumen de todas las transacciones comprendidas en el período de tiempo seleccionado y transportar el resultado como una única transacción hacia el datamart, almacenando un valor calculado que consistirá típicamente en un sumatorio o un promedio de la magnitud considerada.

Comentarios

Entradas más populares de este blog

Desarrollo de Software: EDT (Estructura de desglose de trabajo) o WBS (Work Breakdown Structure)

Definición La EDT es una descomposición jerárquica-orientada a los entregables del proyecto- de los trabajos que ejecutara  el equipo de trabajo, para crear los productos requeridos. Es un paso muy importante en la definición del alcance de un proyecto.
La EDT organiza y define el alcance total del proyecto, mediante la subdivisión de trabajo en piezas más pequeñas y manejables. En cada nivel inferior de la estructura se tiene un incremento en el detalle de los trabajos del proyecto.
El trabajo incluido en el nivel más bajo de la WBS se le denomina paquetes de trabajo, los cuales pueden ser programados, monitoreados y supervisados.

Principios Básicos de una EDT Una unidad de trabajo deberá aparecer en un solo lugar en la EDT .El contenido del trabajo de un elemento de la EDT es la suma de los elementos inferiores.Un elemento de la EDT es responsabilidad de una sola persona , a pesar de que muchas personas pueden estar trabajando en él.El EDT debe ser coherente con la forma en que el tra…

Arquitectura Básica de un Data Warehouse

Concepto Data Warehousing
Data warehousing soporta el procesamiento informático al proveer una plataforma sólida, a partir de los datos históricos para hacer el análisis. Facilita la integración de sistemas de aplicación no integrados. Organiza y almacena los datos que se necesitan para el procesamiento analítico, informático sobre una amplia perspectiva de tiempo.
Un Data Warehouse o Depósito de Datos es una colección de datos orientado a temas, integrado, no volátil, de tiempo variante, que se usa para el soporte del proceso de toma de decisiones gerenciales.
Se puede caracterizar un data warehouse haciendo un contraste de cómo los datos de un negocio almacenados en un data warehouse, difieren de los datos operacionales usados por las aplicaciones de producción.
Base de Datos Operacional Data Warehouse Datos Operacionales Datos del negocio para Información Orientado a la aplicación Orientado al sujeto Actual Actual + histórico Detallada Detallada + más resumida Cambia continuamente E…

Nuestros Servicios Administrados para TI

Nuestros servicios administrados representan una combinación perfecta de la aplicación de la metodología ITIL y nuestra experiencia de brindar un servicio de primera clase a nuestros clientes por más de una década.
Los servicios profesionales enmarcados que ofrecemos en esta propuesta estarán bajo las prácticas de ITIL V3 y Administración de Proyectos PMI, para su correcta implementación, administración, configuración, puesta a punto y operación.  Considerando los procesos y función siguientes: 
Gestión de Incidentes. Establece los lineamientos de acuerdo con las mejores prácticas de ITIL v3 y de los lineamientos acordados con NUESTRO CLIENTE para poder restablecer la operación normal del servicio lo antes posible, y así minimizar el impacto a las interrupciones del servicio sobre las operaciones del negocio asegurando el cumplimiento de los Acuerdos de Niveles de Servicio (SLA). Algunos de los lineamientos principales a considerar.La Administració…