Data Integration

Conectar flujos de datos de Integration Services con bases de datos Oracle es muy sencillo, siempre que tengas bien configurado el driver de Oracle que te va a permitir esta conexión.

Los drivers que vienen por defecto no suelen funcionar bien para conectar con Oracle, y lo más recomendable es instalar y utilizar los conectores que proporciona Oracle, el famoso cliente de Oracle, tanto para trabajar con SQL Server Integration Services, como para crear aplicaciones directamente con Visual Studio..

La gestión de los datos no estructurados se ha convertido en uno de los principales retos a los que hacen frente las compañías en lo relativo a gestión de información y Big Data. En este post damos una breve introducción al tratamiento de los mismos y las problemáticas más comunes en su gestión..

Luego de un par de semanas de lectura y prueba, he concluido la lectura de Pentaho Data Integration 4 Cookbook, a continuación las reseñas:

1) Reseña general: este nuevo libro de Maria Carina Roldan se compone básicamente de muchas recetas que resuelven todo tipo de problemas con los que nos podemos (y de hecho es así) encontrar en situaciones reales. El libro agrupa las recetas por temáticas, brinda ejemplos muy ingeniosos y cuenta con explicaciones muy sencillas, pero de gran calibre..

Oracle Data Integrator es la herramienta de integración de datos de Oracle. Es la apuesta de Oracle en cuestiones de integración de datos y sustituye a OWB (Oracle Warehouse Builder). Forma parte de la solución OFM (Oracle Fusion Middleware) y está totalmente integrada con otras soluciones Oracle relacionadas con la gestión de datos..

Al abordar un proyecto de Business Intelligence es importante la correcta valoración de la herramienta ETL que vamos a utilizar. La herramienta en base a la cual vamos a implementar nuestros procesos de abastecimiento del Datamart , Datawarehouse o estructura de almacenamiento en base a la cual posteriormente explotaremos los datos. Se trata de una pieza fundamental para el diseño, construcción y posterior evolución de nuestro sistema B.I. Analizaremos únicamente cuestiones técnicas, sin entrar a los aspectos económicos o de otra índole (licencias, acuerdos, soporte técnico, evoluciones de la herramienta, etc..). Señalar que los procesos de ETL, van muy ligados a los procesos de data profiling y de calidad de datos, que aquí no vamos a considerar.

Existe cada vez una necesidad mayor en los entornos de Business Intelligence de disponer de la información en el menor tiempo posible, ciclos de generación de datos cada vez más cortos y actualización del dato casi en tiempo real. Se habla de ‘Operational Business Intelligence (OBI)’ y de ‘Real Time Decision Support’.

Es crítico para ello hacer llegar a los entornos analíticos los datos operacionales en el  menor tiempo posible. Surge la necesidad de un ‘Real Time Data Integration’.

En la optimización de estos procesos de integración de datos, tenemos que considerar tanto las fuentes origen de datos habituales (ERP’s, CRM’s, sistemas operacionales, Bases de Datos, ficheros planos, formatos Excel, XML ,etc..), como otras de naturaleza más inmediata como pueden ser colas de mensajería e información on-line accedida vía servicios webs o RSS.

Acabo de concluir la lectura de Pentaho Kettle Solutions. Este libro tan extenso como interesante, me ha llevado más tiempo de lectura de lo que había pensado, pero también me ha sorprendido con la calidad de su contenido y la diversidad de temas que abarca.

A continuación las reseñas: