Calidad de datos

El miércoles 12 de mayo se celebró el 10º Forum de Business Intelligence, del que Dataprix ha sido Media Partner y al que tuve ocasión de asistir.

El evento me brindó una oportunidad para conocer de primera mano la opinión e impresiones de responsables de implantaciones de proyectos de Business Intelligence.

Encuentro muy acertado que la mayor parte de las intervenciones fueran por parte de Responsables del área de TI o de Data Warehouse de las empresas...

En el mercado de la Integración de Datos uno de los fabricantes líderes es Informatica. Esta compañía es el primer proveedor independiente de software de Integración de Datos. Su herramienta más conocida, y el corazón de su plataforma, es Informatica PowerCenter, que ya ha pasado por muchas versiones, y es una referencia en el mundo de la Integración. 

Pero aparte de PowerCenter, Informatica también dispone de otras herramientas que se orientan a propósitos más específicos, a la vez que se integran dentro de la plataforma, y siempre en el marco de la Integración de Datos...

La tarea de Data Profile de SQL Server Information Services almacena los resultados del perfilado en un documento XML que se puede examinar con el Data Profile Viewer. En el artículo Dataprofiling con SQL Server 2008 explico cómo se utiliza esta nueva Task de SSIS.

Aunque este método sea muy sencillo, a veces puede no resultar suficiente. Si se aborda un proyecto de calidad de datos puede interesar, por ejemplo, almacenar un histórico de los perfilados para poder evaluar cómo ha ido mejorando la calidad de los datos tratados.

La mejor manera de trabajar con datos históricos es utilizando una base de datos y almacenando estos datos en tablas, sobre las que se podrán hacer las consultas, informes y comparativas que haga falta. Para conseguirlo lo único que haría falta es pasar a tablas los metadatos que la tarea de perfilado ha almacenado en el fichero XML...

Una de las múltiples mejoras que aporta SQL Server 2008 en la parte de ETL con Integration Services es su capacidad para realizar perfilado de datos con su nueva Data Profile Task.

El data profiling es una de las primeras tareas que se suelen abordar en procesos Calidad de Datos, y consiste en realizar un primer análisis sobre los datos de origen, normalmente sobre tablas, con el objetivo de empezar a conocer su estructura, formato y nivel de calidad. Se hacen consultas a nivel de tabla, columna, relaciones entre columnas, e incluso relaciones entre tablas.

La Data Profile Task de SSIS funciona seleccionando una tabla de una base de datos SQLServer 2000 o superior (no sirven otras bases de datos), las opciones de perfilado que se quiera realizar sobre los datos de la tabla, y un fichero XML donde se almacenarán los resultados cuando se ejecute la misma...

Pervasive Business Intelligence se podría traducir como Business Intelligence Omnipresente, al menos a nivel de empresa. Se trata de hacer que el sistema de BI llegue a todos los niveles de la organización, en el momento oportuno, y con la información necesaria para cada uno. Puede abarcar incluso la integración con otros sistemas, normalmente operacionales, y también contemplar capacidades de interacción, no sólo de acceso a la información...