La limpieza de datos o datacleansing consiste en una serie de técnicas que, aplicadas sobre los registros de una base de datos permiten la depuración y enriquecimiento de los mismos, a la vez que se reducen las duplicaciones e inconsistencias a nivel de datos.

Data Governance: ¿qué?, ¿cómo?, ¿por qué?

La gestión de los datos y la informaciónLa toma de decisiones está basada en la información que obtenemos de los datos empresariales. Toda toma de decisiones implica aceptar un riesgo, pero lo cierto es que no siempre es fácil disponer de datos rigurosos...

Ante esta situación, ¿cómo podemos alcanzar el auténtico valor de los datos y ofrecer una visión consistente del rendimiento empresarial?, ¿cómo conseguir un adecuado análisis de la información teniendo en cuenta los cambios constantes que ocurren en nuestras organizaciones?

¿Le estamos dando la importancia que se merecen a los Procesos de Calidad de Datos?

Limpieza de datos: detección de duplicados en BBDD diferentesDentro de las actividades de Gestión de los Datos que realiza una organización resultan cada vez más críticos los procesos que supervisan y garantizan la calidad de los datos.

El volumen de información crece constantemente en las organizaciones y disponer de almacenes de datos fiables resulta imprescindible para realizar un correcto análisis y explotación de los mismos evitando inconsistencias, conclusiones erróneas y facilitando el desarrollo de futuros sistemas basados en maestros de datos consistentes, depurados, enriquecidos y fiables..

Una aproximación a Solvencia II y Business Intelligence

El entorno financiero actual, la inestabilidad económica y un mercado global poco robusto han dado lugar a cambios importantes en el manejo del Riesgo. Han surgido en estos años diferentes marcos de regulación como Basilea II en el entorno bancario.

En este artículo nos vamos a centrar en el acuerdo de capitales alcanzado para entidades aseguradoras: Solvencia II.

Data profiles de SQL Server IS almacenados en tablas

 

La tarea de Data Profile de SQL Server Information Services almacena los resultados del perfilado en un documento XML que se puede examinar con el Data Profile Viewer. En el artículo Dataprofiling con SQL Server 2008 explico cómo se utiliza esta nueva Task de SSIS.

Aunque este método sea muy sencillo, a veces puede no resultar suficiente. Si se aborda un proyecto de calidad de datos puede interesar, por ejemplo, almacenar un histórico de los perfilados para poder evaluar cómo ha ido mejorando la calidad de los datos tratados...

 

 

Data profiling con SQL Server 2008

Data Profile viewer de SSISUna de las múltiples mejoras que aporta SQL Server 2008 en la parte de ETL con Integration Services es su capacidad para realizar perfilado de datos con su nueva Data Profile Task.

El data profiling es una de las primeras tareas que se suelen abordar en procesos Calidad de Datos, y consiste en realizar un primer análisis sobre los datos de origen, normalmente sobre tablas, con el objetivo de empezar a conocer su estructura, formato y nivel de calidad. Se hacen consultas a nivel de tabla, columna, relaciones entre columnas, e incluso relaciones entre tablas.

 

La Data Profile Task de SSIS funciona seleccionando una tabla de una base de datos SQLServer 2000 o superior (no sirven otras bases de datos), las opciones de perfilado que se quiera realizar sobre los datos de la tabla, y un fichero XML donde se almacenarán los resultados cuando se ejecute la misma...

Integracion y calidad de datos en el PowerDay 2008

En marzo-abril se celebró la séptima edición de Powerday, un evento anual que organiza PowerData, y que este año tenía por objetivo proporcionar a los asistentes una visión global de la estrategia adecuada para sacar el máximo partido a los datos. Yo tuve la oportunidad de asistir al de Barcelona, y disfrutar con las interesantes ponencias que se realizaron en el mismo. 

Fueron presentaciones de una media hora, en las que se habló sobre la importancia de la calidad de datos y los procesos de integración, sobre la situación tecnológica y de mercado actual y, por supuesto, sobre cómo facilitar las cosas con la utilización de herramientas de Informática como PowerCenter.

Estos son los títulos de las presentaciones:

Caso de estudio: Business Intelligence aplicado a la banca

En estas diapositivas se presenta el caso de estudio BIEN, sobre un banco que se plantea la necesidad de un mayor conocimiento de sus clientes para poder definir adecuadamente sus estrategias de negocio.
Gracias a la utilización de herramientas de Business Intelligence, en concreto de Data Warehouse y Data Mining, y a la definición de unos claros objetivos de negocio, este banco pudo analizar el comportamiento de sus clientes, segmentarlos, tomar decisiones estratégicas en función de este comportamiento, realizar predicciones y analizar los resultados de la aplicación de estas decisiones, valorando así el retorno de la inversión...

Oracle Warehouse Builder 10g disponible sin cargo

Si trabajas con bases de datos Oracle y te estás planteando la posibilidad de utilizar una herramienta ETL (Extract, Transform & Load) para la alimentación de un Data warehouse, o simplemente para facilitar integraciones o migraciones de datos, te puede ir muy bien saber que Oracle permite la utilización de la versión básica de su herramienta de ETL Oracle Warehouse Builder 10g Release 2, sin coste adicional de licencias.

Eso sí, has de disponer de al menos una licencia de Oracle Database Standard Edition One, Oracle Database Standard Edition o Oracle Database Enterprise Edition.

Para más detalles, consultar el artículo de Oracle Press Oracle Anuncia la Disponibilidad General de Oracle Warehouse Builder 10g Release 2


Coméntalo en el foro de OWB

Herramientas de ETL

 

Esquema típico de funcionamiento de herramienta ETLListado de las principales herramientas de ETL para la empresa que ofrecen los fabricantes de software ETL.

Las herramientas de ETL sirven para facilitar los procesos de Extracción, Transformación y Carga de cualquier sistema, y son especialmente útiles para el Data Warehousing, cuando se construyen sistemas de Data Warehouse en proyectos de Business Intelligence.