Calidad de datos

Dataclean.es: un proyecto de servicios de limpieza de datos

carlos — Fri, 12 Dec 2008 12:23:00 +0100

Hace ya bastante tiempo me planteé la posibilidad de arrancar un proyecto para ofrecer servicios de limpieza de datos online. Si hablamos en términos de lo que ara se oye más, podríamos interpretarlo como un nuevo significado de las siglas DAAS: Datacleansing As A Service.

En aquel momento escogí el nombre de Dataclean.es, entre otras cosas porque el dominio estaba libre. Lo registré a mi nombre e hice una aproximación a un plan de empresa. Hasta comencé a preparar una web donde quería crear una primera versión sencilla de la idea. Este prototipo se quedó en prácticamente una simple estructura, pero pienso que puede servir para ilustrar la intención que tenía.

Como al final no me decidí a dar el gran paso y desarrollar el proyecto, y es una pena que el esfuerzo que dediqué a hacer el planteamiento se quede en un documento de mi portátil, he decidido compartir el plan de empresa, adjunto en este post. També he puesto online el prototipo web que comencé. Aviso que está tal como lo dejé, no funciona casi nada.

Lo he activado en Dataclean.es. Como podréis comprobar, mi intención era comenzar con servicios de depuración de Nombres, Direcciones, Teléfonos, NIFs y Cuentas Corrientes. De estas opciones, la única con la que se puede hacer algo (y es bien poco) es la de teléfonos. Obviamente la intención era desarrollar servicios mucho más sofisticados, utilizando bases de datos, y retornando datos depurados, enriquecidos y normalizados. También quería ofrecer servicios de matching y deduplicación, primero entre tipos de datos simples como los comentados, y después de registros o uniones de registros completos, con componentes o campos de diferentes tipos.

Bueno, espero que este post sirva al menos para animar el tema de Calidad de datos de Dataprix, que reconozco que últimamente tengo un poco olvidado, y espero ver en el tema DAAS: Datacleansing As A Service que he creado en el foro vuestras críticas y comentarios sobre la viabilidad del proyecto, sobre el Datacleansing As A Service en general, sobre otros enfoques posibles, o sobre cualquier aspecto relacionado con la temática o el documento del plan de empresa.

Informatica World 2008 en Las Vegas

carlos — Wed, 11 Jun 2008 00:20:35 +0200

Finalmente he podido asistir al Informatica World 2008 y qué menos que explicar un poco lo que me encontré por allí. La conferencia se celebró del 3 al 5 de junio bajo el lema 'Gain the Edge', una expresión con mucha fuerza en inglés pero difícil de traducir al castellano, a ver si alguien se anima y nos da una traducción válida.

El día 3 comenzó, después del desayuno, con una sesión general que llevaba por título Vision. Strategy. Technology Announcements. Industry leadership. En la misma, tanto Sohaib Abbasi, CEO y Presidente de Informática, como Chris Boorman, Ivan Chong y Girish Pancha, Vicepresidentes en las àreas de Márqueting, Calidad de Datos e Integración de Datos, respectivamente, nos mostraron su visión actual del mercado, cómo están evolucionando la tecnología y los negocios, y qué papel juegan en este marco los datos y las aplicaciones que los gestionan.

Mucho de lo que comentaron ya había podido escucharlo en las presentaciones del Powerday 2008 de Barcelona, cosa que muestra que la compañia mantiene una estrategia bien definida, y la comparte con sus partners.

Se hizo especial hincapié, cada ponente bajo la perspectiva de su àrea, del valor que representan los datos, y lo importante que es la habilidad de cada organización para gestionarlos, mantener su coherencia y calidad, garantizar su accesibilidad en el momento oportuno, protegerlos, sincronizarlos y poder intercambiarlos con otras organizaciones.

Nos hicieron notar que ahora ya no sólo se trata de crear un almacén de datos corporativo que nos porporcione información actualizada cada cierto intervalo de tiempo. La evolución tecnológica y de Internet, la globalización y la competencia nos hacen plantearnos que con el Data Warehouse no es suficiente. Se oyeron mucho los términos SaaS, Real Time y Data Quality, cosa que nos da pistas sobre hacia donde van encaminadas las nuevas funcionalidades de las herramientas de la compañia.

También realizaron una interesante demo sobre cómo una aplicación como Salesforce.com puede sincronizarse en tiempo real, y a través de Internet, con una hoja de cálculo de Google Docs. Este ejemplo de cloud to cloud computing lo prepararon mostrando en la pantalla de la izquierda Salesforce.com y en la de la derecha una spreadsheet de Google Docs, cada aplicación 'controlada' desde un portatil. En el portatil de Salesforce realizaron un cambio, y pudimos ver cómo se actualizaba al momento la hoja de cálculo. Después hicieron otra modificación en la hoja de cálculo, y la aplicación de Salesforce también se actualizó, todo a través de Internet. Para poner la guindilla después hicieron lo mismo, pero con un iPod touch, no hay que olvidar las posibilidades que nos brindan los nuevos dispositivos móviles cuando se conectan a la web.

También pudimos asistir a una animada presentación de Royce Bell, CEO de Accenture Information Management Services, que supo cómo mantener la atención de todo el mundo.

La sesión general de este Informatica World 2008 daba paso a las Breakout Sessions, cada una de ellas clasificada en una de las siguientes categorías:

Productos y Tecnología
Arquitectura
Gestión de Datos Empresarial
Soluciones
Presentación Técnica
Impacto sobre el negocio

Además se catalogaban según nivel de experiencia y rol del público al que iban dirigidas.

Los niveles eran Beginner, Intermediate y Advanced, y los roles Architect, Business and IT Influencer y Practitioner.

Así cada uno podía seleccionar las sesiones que más le interesaran y mejor se adaptaran a su perfil profesional.

En total había 56 sesiones, de las cuales había que elegir como mucho 8. Como son tantas, listaré a continuación sólo el título de cada una, dentro de cada categoría, todo en el idioma original, y subrayo las que yo seleccioné:

Products and Technology

What’s New in PowerCenter
Data Quality with Identity Resolution: A Leap Forward for Data Quality in the Enterprise
How to Get More from Informatica Metadata Manager
The Informatica Roadmap: Vision for V9
Informatica B2B Data Exchange: Building a Data Exchange
What’s New in Informatica Data Explorer and Informatica Data Quality 8.6
Protecting Private Data Using PowerCenter Data Masking
Real-Time Data Integration

Architecture

Customer Panel: Real-Time Integration Architectures for Right-Time Business Value
Informatica Architecture: Where to Start?
A Practical Approach to Building Data Services with PowerCenter 8.5
Informatica Orchestration and Human Workflow: Process-Enabled Data Integration and Data
Maximizing Operational Uptime: Real-Time Data Integration with Informatica
On Demand Data Integration: Overview and Demonstration
Deploying PowerCenter on Grid Computing Architectures
PowerCenter Data Federation Option: A Unified Platform for Data Integration Flexibility

Enterprise Data Management

Data Quality, The First Step on the Path to Master Data Management
Where Real-Time Data Integration Meets Real-Time Data Warehousing
IMS Health: Global Data Integration for Financial Information Management
Customer Master Data Management at Major Telecommunications Company KPN, Netherlands
Measuring and Improving Data Governance Maturity: A Practical Approach
Information Management: An Implementer’s Perspective
Measuring Data Quality in Philips Consumer Lifestyle
Lowering Cost and Risk with the Data Migration Factory
Data Profiling and Data Quality Improvement: A Practitioner's Approach
Velocity Methodology: Best Practices

Solutions

Campaign Marketing and Customer Relationship Management at Daimler AG
A Trip to Better and Faster Corporation Travel Management: A B2B Data Transformation Success
Informatica B2B Data Transformation: Success with LOGTEC for the Defense Logistics Agency
Assuring Success When Integrating Salesforce CRM with the Rest of Your Business: A Partner Profile with Case Studies from Ellie Mae and Millennium Pharma
Data Migration Success at G&K Services
Leveraging HP and Informatica for Large-Scale Data Migration Efforts: A Case Study at CVS Caremark
Strategy to Implementation: How to Get Started on your Data Quality Initiative
Identity Resolution: What It Is and Why It Is Important

Tech Talk

Extreme Automation: Traceability of Requirements through Testing, Governance and Compliance
Planning and Tuning Informatica for Large Loads
Tips to Improve Productivity Using Self-Service Support Tools
Command and Control: Using Informatica Workflows to Regulate Complex Business Processes
Informatica Developer: Tips and Tricks for Architecture and Development
Upgrading to the Latest PowerCenter Release: Tips and Tricks, Testing and Pitfalls to Avoid
Using Team-Based Development: A Practical Exposé
High-Volume Data Processing (>150GB) Using Informatica
Informatica Developer Tips for Troubleshooting Common Issues
Power of Informatica PowerCenter at Verizon Wireless

Business Impact

Driving Business Value with Integration Competency Centers: Customer Presentations, a Two-Part Series (Part 1 of 2)
Integration Competency Centers: Panel Discussion, a Two-Part Series (Part 2 of 2)
Anti-Money Laundering Compliance: Stopping Financial Crime - a Data Quality Approach
Quantifying Business Value with Informatica: Best Practices and Techniques for Funding Enterprise Data Integration and Data Quality Projects
Informatica B2B Data Exchange: Success with Paramount Pictures
Integration Competency Center at Duke Energy
Building a Business Case for B2B Data Exchange at a Major HMO
Data Governance in a Global Enterprise
Enterprise Data Warehouse at a Medical Device Manufacturing Company
Informatica B2B Data Transformation: Success with GfK Group

Como se puede apreciar, la categoría que más me interesó fue la de Gestión de Datos en la Empresa, seguida de la de Soluciones. De todas maneras debo aclarar que actualmente no utilizo productos de Informática, por lo que las categorías relacionadas con desarrollo o temas específicos del software no me resultaban tan atractivas.

Encontré la mayoría de las sesiones muy enriquecedoras, nadie mejor que los expertos de Informática para asentar conceptos sobre las últimas tendencias en gestión y calidad de datos, en Data Warehousing, o para recomendarte best practices, o pasos a seguir para abordar un proyecto de este tipo.

De todas maneras siempre lo mejor es la presentación de alguien que ha vivido en su empresa una implantación o una experiencia, y que la cuenta bajo una perspectiva más imparcial. En este sentido creo que la mejor sesión a la que asistí fue la Customer Data Management en KPN, presentada por Thomas Reichel (KPN) y Chris Phillips (Informatica)

Tras estos días de Breakout Sessions llegó el jueves 5 en que se celebró la sesión general que marcaba el final del evento. El título de la misma era Gaining the Edge. In Real Time

Después de haber mostrado en la sesión inicial la necesidad de las organizaciones de gestionar sus datos con la mayor eficiencia, y adaptándose al progreso tecnológico, esta sesión se enfocó más a cómo conseguirlo con la ayuda del software y el soporte de Informática, se mostraron las nuevas funcionalidades que ofrece la versión 9 del producto, y cómo aprovecharlas.

Me gustó la demo que realizó Ivan Chong sobre cómo gestionar y realizar procesos de Data Quality con esta nueva versión, pero lo que más me impresionó fue la presentación que hizo Ron Swift, vicepresidente de Teradata, sobre la importancia de gestionar datos en tiempo real para poder reaccionar a tiempo ante determinadas situaciones. Puso el acertado ejemplo de un casino que había implementado un sistema que analizaba en tiempo real el comportamiento de sus clientes mientras jugaban y que, si detectaba que alguno estaba perdiendo demasiado dinero, para no acabar perdiéndolo hacía saltar una alarma que avisaba para que el personal pudiera persuadirlo de seguir jugando.

Para finalizar sólo agradecer a Powerdata la invitación para poder asistir a esta edición del Informatica World, y el amable trato que me han brindado durante todo el viaje.

Integracion y calidad de datos en el PowerDay 2008

carlos — Mon, 26 May 2008 02:16:37 +0200

En marzo-abril se celebró la séptima edición de Powerday, un evento anual que organiza PowerData, y que este año tenía por objetivo proporcionar a los asistentes una visión global de la estrategia adecuada para sacar el máximo partido a los datos. Yo tuve la oportunidad de asistir al de Barcelona, y disfrutar con las interesantes ponencias que se realizaron en el mismo.

Fueron presentaciones de una media hora, en las que se habló sobre la importancia de la calidad de datos y los procesos de integración, sobre la situación tecnológica y de mercado actual y, por supuesto, sobre cómo facilitar las cosas con la utilización de herramientas de Informática como PowerCenter.

Estos son los títulos de las presentaciones:

El valor de los datos correctos trasciende el departamento TI
Principios prácticos para garantizar una buena calidad de los datos dentro de la organización
Enmascaramiento de datos: una respuesta efectiva a demandas de confidencialidad
Integración de datos corporativos en Caprabo
Importancia de contar con buenos datos en entornos analíticos
El modelo de organización en tiempo real impone nuevas exigencias en la gestión de la información
Tendencias del mercado español de gestión de datos

Encontré especialmente interesante la de Caprabo, realizada por Sergio Champel, el Jefe del Area de Arquitectura e Integración de esta empresa. Sergio explicó cómo se habían organizado tanto a nivel de gestión como de arquitectura para llevar a cabo con éxito un ambicioso proyecto de integración y remodelación del sistema de Business Intelligence de Caprabo, con el que han conseguido mejorar importantes procesos de negocio, y 'estrechar los lazos' entre los sistemas operacionales y el Data Warehouse.

Me llamó mucho la atención la frase Aprendemos a utilizar un martillo y todo nos parece un clavo, que Sergio mencionó para dejar claro lo que querían evitar cuando definieron la arquitectura. Me pareció un frase muy acertada, y aplicable a múltiples situaciones.

Destacar también que la presentación Importancia de contar con buenos datos en entornos analíticos la realizó Jorge Zaera, director general de Microstrategy.

Las demás fueron presentadas por expertos y directivos de Powerdata, que supieron mostrar los diferentes aspectos a tener en cuenta en todo lo relacionado con la integración y calidad de los datos, y qué papel juegan estas materias en las últimas tendencias tecnológicas del mercado, cada vez más orientadas al proceso y al servicio, como SaaS (Software as a Service), SOA (Service Oriented Architecture), BPM (Business Process Management), CPM (Corporate Process Management) o EIM (Enterprise Information Management)

Para el que prefiera hablar de cosas más tangibles, también se proporcionó una clasificación de tipos de proyectos que nos podemos encontrar en cuanto a la gestión de los datos:

Data warehouse
Migración de datos
Consolidación de datos
Master Data Management
Sincronización de datos
Intercambio de datos B2B

Tras las presentaciones se realizó un sorteo de un viaje a Las Vegas para asistir a Informatica World 2008. Resulta que el afortunado ganador del sorteo fui yo, por lo que en unas semanas espero estar publicando un nuevo artículo sobre mis experiencias en este evento al otro lado del charco.

Datacleansing con Power*MatchMaker

carlos — Wed, 19 Mar 2008 22:23:16 +0100

Power MatchMaker es una herramienta de Data Cleansing que SQLPower ha liberado convirtiendo la licencia en Open Source, junto con la de Power Architect (herramienta para modelización de datos). Como no es que haya demasiadas herramientas Open Source en el campo de la limpieza de datos, me ha podido la curiosidad y la he instalado para ver que tal funciona. La instalación ha sido muy sencilla, el software se descarga desde Descarga de Power MatchMaker, en diferentes versiones según el SO. Yo he probado la de windows, que se instala a golpe de botón en 2 minutos. Importante no olvidarse del requerimiento del Java Runtime 5. Una vez instalado, para ver como funciona lo mejor es seguir el tutorial que se encuentra en la misma ayuda de la herramienta. También recomiendo ver la demo accesible desde la misma página de MatchMaker. El funcionamiento del software es muy sencillo, se crea un repositorio sobre una de las diferentes BBDD sobre las que puede trabajar, y con las que conecta por JDBC, y se pueden crear proyectos de 3 tipos diferentes: Deduplicación, Datacleansing y Referencias cruzadas. Eso en teoría, porque la funcionalidad de referencias Cruzadas aún no está implementada y no se puede utilizar. El proyecto de Datacleansing tampoco aporta nada nuevo, ya que toda la funcionalidad que utiliza es un subconjunto de la que ofrece uno de Deduplicación, con lo que con crear un proyecto de este último tipo ya lo vemos todo. En cuanto a la deduplicación, se organiza el proceso en varios pasos:

1. Definición de procesos de transformación de los campos origen y comparación entre ellos

Se pueden definir varios procesos de comparación, aplicando diferentes operadores a los datos originales para obtener datos más significativos de cara a la comparación, y se define también exactamente lo que se quiere comparar. La interfaz para realizar estas acciones es muy intuitiva y visual, y en un momento se define todo. La pega es que los operadores de comparación son bastante simples. Aunque hay operadores como los de comparación fonética, se echan de menos funciones de fuzzy logic para comparar palabras parecidas, o que se trabaje un porcentaje de similitud por campo y por registro. Los resultados finales son que coincida o no todo lo que se ha definido. Lo único que se puede hacer es asignar una prioridad y un color para después distinguirlo visualmente a cada proceso de comparación. Se echan también de menos funciones específicas de direcciones u otro tipo de datos 'estandar', aunque hay un operador que realiza una validación de la dirección con Google Maps. Yo no he conseguido que me funcione, pero es algo a explorar con más calma. También se pueden definir diccionarios de traducción de palabras, cosa muy útil cuando se comparan nombres o direcciones, por ejemplo.

2. Ejecución de la comparación

Nada que destacar, con pocos registros funciona bien, habría que probar con tablas grandes y valorar el rendimiento.

3. Validación de las coincidencias

Esta parte también está muy bien. La herramienta muestra de una manera muy visual las coincidencias encontradas, con un color para cada proceso definido, y permite ver las diferencias entre registros, y descartar coincidencias, decidir cuál es el registro maestro (el que va a conservar los datos tras la fución), y qué es lo que se va a fusionar y cómo. Por defecto se escogen los datos del registro maestro, a menos que el campo sea nulo, y también se pueden concatenar los datos, o coger el máximo, el mínimo o la suma de todos. Si se quiere se puede dejar escoger a la herramienta automáticamente el registro que queda como maestro, y hacer que se fusionen todos los registros en los que se ha encontrado coincidencia. La herramienta está muy bien para trabajar con un número limitado de registros, que puedan ser revisados por una persona antes de la fusión, pero le falta un poco de 'inteligencia' para poder tratar con un número elevado de registros, y realizar fusiones sin necesitar intervención manual. También debería poderse escoger el dato maestro a nivel de campo, y no a nivel de registro, y con los mejores datos de cada campo crear el mejor registro maestro.

4. Proceso de fusión de registros

Funciona correctamente, deja un log y guarda los identificadores de lo que se fusiona en una tabla de resultados. Sólo hay que tener cuidado porque trabaja directamente sobre la tabla origen, y borra los registros que se han marcado como duplicados.

Conclusiones

En definitiva, es una herramienta muy útil para realizar procesos de limpieza, sobretodo si la cantidad de datos a revisar no es muy grande. Sin grandes complicaciones permite realizar todo el proceso y facilita mucho la comparación entre candidatos y la elección de los registros que quedarán como maestros. Tiene varios aspectos a mejorar, pero seguro que no se va a quedar en esta versión, sobretodo sabiendo que ahora es de código abierto.

Caso de estudio: Business Intelligence aplicado a la banca

carlos — Thu, 06 Dec 2007 21:33:23 +0100

En estas diapositivas se presenta el caso de estudio de un banco que se plantea la necesidad de un mayor conocimiento de sus clientes para poder definir adecuadamente sus estrategias de negocio. Gracias a la utilización de herramientas de Business Intelligence, en concreto de Data Warehouse y Data Mining, y a la definición de unos claros objetivos de negocio, este banco pudo analizar el comportamiento de sus clientes, segmentarlos, tomar decisiones estratégicas en función de este comportamiento, realizar predicciones y analizar los resultados de la aplicación de estas decisiones, valorando así el retorno de la inversión. La presentación está estructurada en los siguientes apartados: - La economía del negocio y la gestión de clientes - Modelamiento de valor - Modelamiento de potencial - Segmentación - Modelamiento de deserción - Aplicaciones prácticas - Resultados

| View | Upload your own