Qualitat de dades

El dimecres 12 de maig es va celebrar el 10è Fòrum de Business Intelligence, del qual Dataprix ha estat Mitjana Partner i al qui vaig tenir ocasió d'assistir.

L'esdeveniment va estar força interessant, i va ser una bona oportunitat per conèixer de primera mà l'opinió i impressions de responsables d'implantacions de projectes de Business Intelligence.

Trobo molt encertat que la major part de les intervencions fossin per part de Responsables de l'àrea de TI o de Data Warehouse de les empreses, ja que la visió i la manera de comunicar de la persona que dirigeix un projecte internament sol ser la més realista, i la que millor pot explicar les necessitats, la problemàtica i el que realment es pot considerar a nivell de negoci un èxit o un fracàs d'un projecte tecnològic.

En el mercat de la Integració de Dades un dels fabricants líders és Informàtica.Aquesta companyia és el primer proveïdor independent de programari d'Integració de Dades. La seva eina més coneguda, i el cor de la seva plataforma, és Informatica PowerCenter, que ja ha passat per moltes versions, i és una referència en el món de la integració.

Però a part de PowerCenter, Informàtica també disposa d'altres eines que s'orienten a propòsits més específics, al mateix temps que s'integren dins de la plataforma, i sempre en el marc de la Integració de Dades.

En la publicació electrònica MCData.ti es pot trobar una classificació bastant completa de diferents eines relacionades amb el business intelligence i la gestió de dades.  Aquesta és la descripció que es realitza de les eines de ETL (Extraction, Transformation and Load).

Empresa: Cognos

Producte: DecisionStream

Descripció: Eina específica per a sistemes SAP i Siebel que permet implantar ràpidament una sèrie de data marts relacionats per compondre un sistema integrat de BI.  Assegura que tots els usuaris tinguin accés a les dades per coordinar de forma eficient l'anàlisi, els informes i la presa de decisions.

Empresa: Computer Associates

Producte: Advantage Data Transformer - Enterprise Metadata Edition

Descripció: Eina de transformació i moviment de dades que permet crear datamarts i magatzems de dades de forma fàcil, transformacions complexes o una gestió robusta de metadades.

Producte: Advantage Data Transformer

En l'enllaç Managing Data Quality es pot accedir a un article de  Ron Hardman sobre com realitzar processos de neteja de dades amb Oracle Warehouse Builder.

L'article comença amb una introducció a la qualitat de les dades i maneres de gestionar-la, una de les quals la utilització de les opcions de neteja de dades d'Oracle Warehouse Builder.

L' interessant és que es mostra com obtenir un script amb dades de prova, i com configurar l'eina per provar les utilitats de Profiling, definició de Regles (Data Rules), i correcció o neteja  de les dades. D' aquesta manera es pot veure i provar de manera senzilla com implementar un procés bàsic de  Data Cleansing amb aquesta eina.

L' article original està en anglès però buscant a la web d'Oracle he trobat els  3 documents que adjunt, traduïts al castella, i relacionats amb OWB i la neteja de dades:

• Informe Executiu - Oracle Warehouse Builder 11g Versió 1 Informació General
• Oracle Warehouse Builder Data Quality Option
• Oracle Warehouse Builder Enterprise ETL Option

Una de les múltiples millores que aporta SQL Server 2008 a la part de ETL amb Integration Services és la seva capacitat per realitzar perfilat de dades amb la seva nova Data Profile Task.

El data profiling és una de les primeres tasques que se solen tractar en processos Qualitat de Dades, i consisteix en realitzar una primera anàlisi sobre les dades d'origen, normalment sobre taules, amb l'objectiu de començar a conèixer la seva estructura, format i nivell de qualitat. Se hacen consultas a nivel de tabla, columna, relaciones entre columnas, e incluso relaciones entre tablas. Es fan consultes a nivell de taula, columna, relacions entre columnes, i fins i tot relacions entre taules.

La Data Profile Task de SSIS funciona seleccionant una taula d'una base de dades SQLServer 2000 o superior (no serveixen altres bases de dades), les opcions de perfilat que es vulgui realitzar sobre les dades de la taula, i un fitxer XML d'emmagatzematge els resultats quan s'executi la mateixa...