Una cadena de retail ficticia pero representativa aprovecha el fin de soporte de SQL Server 2016 para llevar su integración de SSIS a un modelo ELT sobre Microsoft Fabric. El capítulo que cierra la Parte III recorre el inventario de flujos con la matriz 3R,… Leer más sobre Caso aplicado: migración de ETL a ELT en una cadena de retail, del inventario de flujos al apagado del legado

El testing de pipelines de datos es la práctica de verificar la lógica de los pipelines antes de desplegarla, con datos de prueba controlados, igual que se testea cualquier software. Se organiza en tres niveles: tests unitarios, tests de integración y… Leer más sobre Testing de pipelines y datos: qué probar, cuándo y qué no merece la pena

Capítulo 25 de la Guía práctica para diseñar y operar la arquitectura de datos de tu empresa. Llevamos varios capítulos construyendo piezas: pipelines de ingesta resilientes, flujos CDC casi en tiempo real y controles de calidad que vigilan cada carga. Este… Leer más sobre Orquestación de pipelines: DAGs, reintentos y alertas

La calidad de datos en el pipeline consiste en verificar los datos de forma automática y continua mientras se mueven y transforman, en lugar de descubrir los errores cuando ya han contaminado informes y modelos. Se apoya en tres capas complementarias:… Leer más sobre Calidad de datos en el pipeline: validaciones, observabilidad y SLAs

El Change Data Capture (CDC) es la técnica que detecta y propaga los cambios de una base de datos (inserciones, actualizaciones y borrados) a otros sistemas casi en tiempo real. La aproximación log-based —leer el registro de transacciones de la base de datos—… Leer más sobre CDC y replicación: arquitectura para datos casi en tiempo real — Debezium, log-based vs trigger-based

Si la Parte II resolvía dónde se guarda el dato, esta tercera parte responde a una pregunta anterior y más incordiante: cómo llega hasta ahí. Entre el sistema que genera un registro y la tabla que alimenta un informe hay un recorrido de extracciones, colas,… Leer más sobre Parte III — Integración de datos y ETL/ELT

Casi ninguna empresa decide de un día para otro que necesita ayuda con sus datos. El proceso es más lento: los informes empiezan a tardar, cada departamento trae «su» cifra a la reunión, y las decisiones importantes se acaban tomando por intuición porque… Leer más sobre 7 señales de que tu pyme necesita ayuda con su Business Intelligence

El ELT —cargar primero el dato en crudo y transformarlo después, dentro del propio motor de destino— se ha vendido como una característica del cloud, pero es un patrón arquitectónico, no una función de Snowflake o BigQuery. Se puede hacer —y se hace— on… Leer más sobre ELT on-premise: el patrón del que nadie habla (y que quizá ya estás usando)

Airflow, Prefect, dbt, NiFi y Kafka son un ejemplo de stack de integración —el del modern data stack open-source, código primero— que este capítulo usa como hilo conductor para entender los cuatro planos de un pipeline: quién orquesta (Airflow, Prefect),… Leer más sobre Airflow, Prefect, dbt, NiFi y Kafka: comparativa práctica de las herramientas que mueven los datos de tu empresa

ETL transforma los datos antes de cargarlos en el destino; ELT los carga primero en crudo y los transforma después dentro del propio almacén analítico. La elección no es una cuestión de modernidad sino de tres variables: coste (dónde y cuántas veces se paga… Leer más sobre Patrones ETL vs ELT: cuándo transformar en origen o en destino