Data Mart

19
Data Mart Introducción Un Data Mart es una versión especial almacén de datos (data warehouse). La diferencia principal es que la creación de un data mart es específica para una necesidad de datos seleccionados, enfatizando el fácil acceso a una información relevante. Los productos Data Warehouse han nacido para resolver problemas de análisis de grandes masas de información. Simplifica el desarrollo de todo el mecanismo de su base de datos y con ello baja substancialmente todo el coste del proyecto, así como su duración. Normalmente, Data Mart resuelve aplicaciones a nivel departamental. Son subconjuntos de datos con el propósito de ayudar a que un área específica dentro del negocio pueda tomar mejores decisiones. Definiciones de Data Mart

description

Base de datos orientadas a data mart

Transcript of Data Mart

Data Mart

Introduccin Un Data Mart es una versin especial almacn de datos (data warehouse). La diferencia principal es que la creacin de un data mart es especfica para una necesidad de datos seleccionados, enfatizando el fcil acceso a una informacin relevante. Los productos Data Warehouse han nacido para resolver problemas de anlisis de grandes masas de informacin. Simplifica el desarrollo de todo el mecanismo de su base de datos y con ello baja substancialmente todo el coste del proyecto, as como su duracin. Normalmente, Data Mart resuelve aplicaciones a nivel departamental. Son subconjuntos de datos con el propsito de ayudar a que un rea especfica dentro del negocio pueda tomar mejores decisiones.Definiciones de Data Mart Un Data mart es una base de datos departamental, especializada en el almacenamiento de los datos de un rea de negocio especfica. Se caracteriza por disponer la estructura ptima de datos para analizar la informacin al detalle desde todas las perspectivas que afecten a los procesos de dicho departamento. Un data mart es un almacn de datos histricos relativos a un departamento de una organizacin, as que puede ser simplemente una copia de parte de un Data Warehouse? para uso departamental. El Data mart es un sistema orientado a la consulta, en el que se producen procesos batch de carga de datos (altas) con una frecuencia baja y conocida. Es consultado mediante herramientasOLAP Conclusiones lo tanto para crear el Datamart de un rea funcional de la empresa es preciso encontrar la estructura ptima para el anlisis de su informacin. En sntesis, se puede decir que losdata martsson pequeosdata warehousecentrados en un tema o un rea de negocio especfico dentro de una organizacin.Data mart vs Data warehouse? Al hablar de los data marts, es inevitable la comparacin con los data warehouse y al final se acaba diciendo (o entendiendo) que son como estos, peroen pequeo, y en cierto modo esto es as, pero esta idea suele hacer caer en los siguientes errores sobre la implementacin y funcionamiento de los data marts.Caractersticas Data Mart Son poblados por usuario finales Se actualizan contantemente Contiene informacin detallada Escalable Orientada al temaBeneficios Data Mart Acelera las consultas reduciendo el volumen de datos a recorrer Estructura los datos para su adecuado acceso por una herramienta Segmentar los datos en diferentes plataformas de hardware Los costos que implica la construccin de un Data Mart son muchos menores a un Data Warehouse

Desventaja Data Mart No permite el manejo de grandes volmenes de informacinMercados De Datos Data Mart Data mart es especfica para una necesidad de datos seleccionados, enfatizando el fcil acceso a una informacin relevante. Data Mart se destaca por una definicin de requerimientos ms fcil y rpida. Tambin se simplifica el desarrollo de todo el mecanismo de su base de datos y con ello baja substancialmente todo el coste del proyecto, as como su duracin.

Data mart vs Data warehouse? Son ms simples de implementar que un Data Warehouse:FALSO, la implementacin es muy similar, ya que debe proporcionar las mismas funcionalidades. Son pequeos conjuntos de datos y, en consecuencia, tienen menor necesidad de recursos:FALSO, una aplicacin corriendo sobre un data mart necesita los mismos recursos que si corriera sobre un data warehouse. Las consultas son ms rpidas, dado el menor volumen de datos:FALSO, el menor volumen de datos se debe a que no se tienen todos los datos de toda la empresa, pero s se tienen todos los datos de un determinado sector de la empresa, por lo que una consulta sobre dicho sector tarda lo mismo si se hace sobre el data mart que si se hace sobre el data warehouse. En algunos casos aade tiempo al proceso de actualizacin:FALSO, actualizar el data mart desde el data warehouse cuesta menos (ya que los formatos de los datos son o suelen ser idnticos) que actualizar el data warehouse desde sus fuentes de datos primarias, donde es necesario realizar operaciones de transformacin (ETL).Razones para crear un Data Mart Dar a los usuarios acceso a los datos que ellos necesitan para analizarlos mas a menudo Pueden fcilmente extenderse a la toma de decisiones estratgicas, que pueden brindar beneficios grandes y tangibles.

Permite entender y administrar simultneamente macro y micro-perspectivas del rea de comercio exterior, lo que puede ahorrar incontables horas de trabajo y ayudar a evitar errores que pueden ser el resultado de suposiciones que se hicieron con base en datos incompletos o incorrectos.

Ventajas y Desventajas de Data Mart

Ventajas:Campos CompartidosOrigen comnProcesamiento DistribuidoDesventajas:Tiempo largo de desarrollo

Elementos Bsicos de un Data Warehouse

Elementos Bsicos de un Data Mart

Algunas Herramientas ETL Ab Initio Barracuda Software (Integrator) MakeWare Soluciones Tecnologicas http:// Benetl Biable http://www.visiontecnologica.com www.makeware.net BITool - ETL Software http://www.bitool.com/ BOPOS TLOG-4690 rhiscom (back-office POS) CloverETL [1] Cognos Decisionstream Data Integrator (herramienta de Business Objects) Data Migraton Toolset de Backoffice Associates (BoA) http://www.boaweb.com/migrationtoolset.htm Genio, Hummingbird IBM Websphere DataStage (Previously Ascential DataStage) Informtica PowerCenter metaWORKS ( Document Tools) Microsoft DTS (incluido en SQL-Server 2000) Microsoft Integration Services (MS SQL Server 2005) MySQL Migration Toolkit Scriptella ETL - Libre, Apache-licensed ETL Oracle Warehouse Builder WebFocus-iWay DataMigrator Server

Fases de construccin, Data Mart

Construccin del Data mart Construccin de los Procesos de Cargas Construccin de los reportes analticos Construccin de los procesos de pruebaFases de construccinConstruccin del Data mart:Esta actividad tiene el objetivo de construir el modelo de datos, la metadata de la herramienta de Explotacin y La Arquitectura del Modelo Multidimensional en la herramienta de explotacin.Construccin de los Procesos de Cargas:En sta actividad es cuando se debe desarrollar los procesos de carga de datos, las rutinas de limpieza, los flujos de cargas de datos, las interfaz de acceso, los importadores e integradores de datos, los programas de entrada de datos.Construccin de los reportes analticos:Consiste en construir los reportes, tableros de control, dashboard, scorecard.Construccin de los procesos de prueba: Se debe construir los programas, reportes, informes que permita probar los procesos de cargas y los reportes entregados.Modelo Modelo Bottom up El Modelo Paralelo Modelo Top down con Retroalimentacin. Modelo Bottom up con Retroalimentacin Modelo Paralelo con Retroalimentacin

El modelo Top Down: Est basado en la estructura de la Data warehouse, la cual se construye a partir de los datos que se puedan obtener de los diferentes sistemas operacionales o externos (datos aislados) a travs de un proceso de extraccin, transformacin y transportacin (ETT). Top Down:Tiene como base un sistema de Data warehouse para toda la empresa y a partir de este se desarrollan los Data marts para las divisiones o departamentos.Modelo Bottom up: En este modelo los Data marts se construyen a partir de los datos dispersos y la Data warehouse se construye a partir de los Data marts existentes, esta construccin se realiza a travs de dos procesos diferentes de extraccin, transformacin y transportacin. El Modelo Paralelo:El diseo del modelo paralelo se basa en dos alternativas, en la primera se tratan los Data marts con entidades independientes de los Data waehouse y en la segunda, esta independencia se trata de forma temporal.Modelo Top down con Retroalimentacin: Este modelo incluye la posibilidad de agregar datos que no estn presentes en la Data warehouse y que se requieran para cumplir con los requerimientos de un anlisis especfico.Modelo Bottom up con Retroalimentacin: Permitir que la integracin de los datos e informacin dada en los Data marts se pueda implementar durante la construccin de la Data warehouse.Modelo Paralelo con Retroalimentacin: El desarrollo principalmente trabaja con la retroalimentacin que tenga el Data mart, ya que su inicio depende de un perodo de ajuste entre ste y el modelo de datos de la Data warehouse. Mientras las entradas y salidas se estn dando en los Data marts, en la Data warehouse estos mismos se estn realizando, dado a las caractersticas de paralelismo que existe entre ellos.

3.3.2 Fases de construccin. Posibles etapas para la construccin de un Data mart: Anlisis. Construccin. Post-produccin.

Metodologas de diseo. En los manuales de Oracle se sugiere la siguiente metodologa: Artculo: Design the Data Mart Autor: Oracle Business Intelligence Standard Edition One TutorialRelease 10g (10.1.3.2.1)E10312-01 http://download-west.oracle.com/docs/cd/E10352_01/doc/bi.1013/e10312/dm_design.htm Clic aqu para enlace local al documento.

Metodologas de diseo. Moody y Kortink, describen una opcin de metodologa en el artculo: Artculo: From Enterprise Models to Dimensional Models: A Methodology for Data Warehouse and Data Mart Design Autores: Daniel L. Moody, Mark A.R. Kortink Clic aqu para un enlace local al documento.

3.3.3 Tecnologas. Algunos autores clasifican las tecnologas de software en las categoras de front_end y back-end. El front-end es la parte del software que interacta con el o los usuarios y el back-end es la parte que procesa la entrada desde el front-end. La separacin del sistema en "front ends" y "back ends" es un tipo de abstraccin que ayuda a mantener las diferentes partes del sistema separadas. La idea general es que el front-end sea el responsable de recolectar los datos de entrada del usuario, que pueden ser de muchas y variadas formas, y procesarlas de una manera conforme a la especificacin que el back-end pueda usar. La conexin del front-end y el back-end es un tipo de interfaz.Tecnologas.Una clasificacin ms especfica del software para los Data mart y Data warehouse y algunos ejemplos: Herramientas de Consulta y Reporte (Crystal Reports). Herramientas de Base de Datos (OLAP Office, Analysis Services). Sistemas de Informacin Ejecutivos Bases de Datos usados para Data Warehouse (Oracle, MySQL, SQL Server, etc.).TECNOLOGIAS DATAMART: Aspect Data Mart es una solucin completa de reportes para la empresa, que le proporciona un mayor entendimiento de las operaciones de sus negocios y reduce el tiempo que consumen estas tareas. Esta solucin consolida datos de mltiples fuentes para darle una perspectiva de las operaciones del centro de contacto de su empresa y as poder identificar rpidamente los procesos de cambio necesarios. TECNOLOGIAS Herramientas Front-end Herramientas de BD

HERRAMIENTAS FRONT-ENDTambin conocidas como herramientas de acceso a los datos o herramientas de presentacin. El front-end es la parte del software que interacta con el o los usuarios Herramientas front-end Herramientas de consulta: usan consultas predefinidas y las capacidades de informacin incorporadas para que los usuarios tenga accesos a los datos. Aplicaciones de usuarios: Muchos programas de aplicacin comunes como Microsoft Excel pueden proporcionar acceso front-end a bases de datos de apoyo. Herramientas de desarrollos de programas: Muchas instalaciones cliente-servidor necesitan aplicaciones front-end especiales personalizados para sus tareas de obtencin de datos. Son esenciales para acceder y analizar los datos en el datamart. El valor de un datamart es difcil de determinar por la habilidad del usuario para extraer la informacin ms significativa sobre la cual se toman las decisiones del negocio. Un interfaz de usuario efectivo minimiza el nmero de acciones de usuario requeridas para obtener el resultado deseado por lo que deber estar navegando intuitivamente a no ser que el usuario memorice los comandos. Las herramientas de acceso a la informacin pueden soportar acceso, anlisis, visualizacin y data mining de los datos de una forma predefinida Interfaz Front-End. Es una aplicacin donde los usuarios interactan directamente con las funciones del sistema, cubre todas las interfaces con las cuales un usuario interacta con los sistemas, ya sean locales o remotos, sus funciones principales son: Diseo de formatos. Presentacin. Lgica de la aplicacin. Manipulacin de datos. Herramientas de consulta. Utileras/mens