Casi ninguna empresa decide de un día para otro que necesita ayuda con sus datos. El proceso es más lento: los informes empiezan a tardar, cada departamento trae «su» cifra a la reunión, y las decisiones importantes se acaban tomando por intuición porque nadie se fía del todo de los números. Cuando eso se vuelve la norma, el Business Intelligence de la empresa se ha quedado corto —aunque nadie lo haya dicho en voz alta.

El ELT —cargar primero el dato en crudo y transformarlo después, dentro del propio motor de destino— se ha vendido como una característica del cloud, pero es un patrón arquitectónico, no una función de Snowflake o BigQuery. Se puede hacer —y se hace— on-premise, sobre SQL Server, Oracle o PostgreSQL, y para muchas empresas con datos sensibles o restricciones de coste es una opción perfectamente válida.
Aquí explico qué es, por qué lo confundimos con la nube, cómo se implementa on-premise y cuándo conviene..

Un Data Warehouse (DWH o almacén de datos) es un sistema de almacenamiento centralizado diseñado para recopilar, integrar y analizar grandes volúmenes de datos de múltiples fuentes heterogéneas. A diferencia de las bases de datos operacionales, está optimizado para consultas analíticas complejas (OLAP) y sirve como la fuente única de verdad para la toma de decisiones empresariales..

La decisión entre data lake, data warehouse o lakehouse no es una mera elección tecnológica: define cómo su organización almacenará, procesará y extraerá valor de los datos durante los próximos años. Esta arquitectura condiciona los tiempos de acceso, los costes operativos, la agilidad analítica y, en última instancia, la capacidad competitiva de la empresa.

Puntos clave que vamos a tratar:
- Las características fundamentales, ventajas y limitaciones de cada arquitectura
- Criterios técnicos y de negocio para seleccionar la estrategia adecuada
- Patrones híbridos y arquitecturas convergentes (lakehouse)
- Migración y coexistencia de múltiples paradigmas
- Errores comunes y antipatrones que debe evitar..

¿Cómo encaja el Big Data con el BI? Hablando de BI yo siempre he visto el visto el Big Data como un origen de datos más para el Data Warehouse, pero con todo el bombo que se le está dando a esta tecnología a veces he llegado a entender que el Big Data iba a sustituir al Business Intelligence.

Incluso una vez tuve que escuchar en una conferencia sobre Big Data, y por boca de una persona que trabajaba con Big Data en una universidad la atrevida frase de 'Las bases de datos relacionales están muertas'..

En el presente post pretendemos mostrar la problemática que con frecuencia encontramos en los procesos de extracción, validación y carga de datos en los entornos Big Data. Un proceso ETL tradicional, extrae datos desde múltiples fuentes origen, después los valida, normaliza, realiza determinadas transformaciones y vuelca los mismos en un entorno datawarehouse para su posterior análisis. Cuando en los datos fuentes, tenemos volúmenes altos, una frecuencia de actualización alta en origen o bien son datos no estructurados, estos procesos ETL suelen tener problemas.. 

Me ha parecido muy interesante la iniciativa del Banco Central Europeo, de dar un servicio de estadísticas on-line en el llamado Statistical Data Warehouse (SDW).

Este Data Warehouse está dirigido a un amplio espectro de usuarios (analistas financieros, periodistas, empresas, economistas, investigadores, etc..). Ofrece on-line información macroeconómica de la zona euro: inflación, tipos de cambio, costes laborales, tasa de desempleo, productividad, déficit público, deuda pública, balanza de pagos, posición de inversión internacional, datos sociodemográficos, información fiscal, etc..