El testing de pipelines de datos es la práctica de verificar la lógica de los pipelines antes de desplegarla, con datos de prueba controlados, igual que se testea cualquier software.
Se organiza en tres niveles: tests unitarios, tests de integración y validación de contratos.
Es la disciplina complementaria de las validaciones en producción del capítulo 24: aquellas vigilan los datos reales en ejecución; el testing atrapa los errores de lógica cuando corregirlos cuesta minutos, no horas de madrugada..
Capítulo 25 de la Guía práctica para diseñar y operar la arquitectura de datos de tu empresa. Llevamos varios capítulos construyendo piezas: pipelines de ingesta resilientes, flujos CDC casi en tiempo real y controles de calidad que vigilan cada carga.
Este capítulo responde a la pregunta que las une todas: ¿quién dirige la orquesta? Hablamos de orquestación de pipelines: DAGs, dependencias, políticas de reintento y alertas..
La calidad de datos en el pipeline consiste en verificar los datos de forma automática y continua mientras se mueven y transforman, en lugar de descubrir los errores cuando ya han contaminado informes y modelos. Se apoya en tres capas complementarias: validaciones (tests explícitos que bloquean o marcan datos que incumplen reglas conocidas), observabilidad de datos (monitorización continua de frescura, volumen, esquema y distribución para detectar lo que nadie previó) y SLAs de calidad (compromisos medibles con los consumidores del dato). La regla de oro es el shift-left: cuanto antes se detecta un error en el flujo, más barato resulta corregirlo..
La ingesta de datos a escala es el proceso de capturar, mover y entregar grandes volúmenes de datos —en lotes o en flujo continuo— desde sus orígenes hasta las plataformas de almacenamiento y procesamiento, manteniendo la fiabilidad bajo carga variable y fallos parciales. Un pipeline de ingesta resiliente se sostiene sobre tres principios básicos: la idempotencia (reprocesar sin duplicar ni corromper), el backpressure (regular el caudal para no ahogar a quien va detrás) y los reintentos bien gobernados (recuperarse del fallo transitorio sin amplificarlo). Dominar estos tres conceptos —y la semántica de entrega que los une— es lo que separa una arquitectura que aguanta un Black Friday de otra que colapsa el primer martes con tráfico inusual.
El Change Data Capture (CDC) es la técnica que detecta y propaga los cambios de una base de datos (inserciones, actualizaciones y borrados) a otros sistemas casi en tiempo real. La aproximación log-based —leer el registro de transacciones de la base de datos— es hoy el estándar de facto porque no impacta en el rendimiento del sistema origen, mientras que las variantes trigger-based y query-based quedan relegadas a casos residuales. Debezium, la plataforma open source (Apache 2.0) del ecosistema Kafka, es la referencia del mercado, con su versión estable 3.5.2 publicada en junio de 2026..
Si la Parte II resolvía dónde se guarda el dato, esta tercera parte responde a una pregunta anterior y más incordiante: cómo llega hasta ahí. Entre el sistema que genera un registro y la tabla que alimenta un informe hay un recorrido de extracciones, colas, transformaciones, reintentos y validaciones que rara vez aparece en los diagramas de arquitectura y siempre aparece en los partes de incidencia.
Airflow, Prefect, dbt, NiFi y Kafka son un ejemplo de stack de integración —el del modern data stack open-source, código primero— que este capítulo usa como hilo conductor para entender los cuatro planos de un pipeline: quién orquesta (Airflow, Prefect), quién transforma (dbt), quién mueve los datos (NiFi) y sobre qué viajan los eventos en tiempo real (Kafka).
No son "las mejores" herramientas ni la única vía válida. El mercado ofrece desde plataformas comerciales integradas —Informatica, Azure Data Factory, AWS Glue, Talend y el resto del TOP 10 de Dataprix— hasta decenas de alternativas open-source por cada capa.
La pregunta correcta no es "¿qué cinco herramientas elijo?", sino entender los planos, elegir un arquetipo coherente con tu equipo y tu caso, y no usar una herramienta excelente para el trabajo equivocado..
El ELT —cargar primero el dato en crudo y transformarlo después, dentro del propio motor de destino— se ha vendido como una característica del cloud, pero es un patrón arquitectónico, no una función de Snowflake o BigQuery. Se puede hacer —y se hace— on-premise, sobre SQL Server, Oracle o PostgreSQL, y para muchas empresas con datos sensibles o restricciones de coste es una opción perfectamente válida.
Aquí explico qué es, por qué lo confundimos con la nube, cómo se implementa on-premise y cuándo conviene..
La integración de datos es la fontanería invisible sobre la que se sostiene toda la arquitectura: sin ella, el data lake del capítulo 8, los pipelines de los próximos capítulos y los dashboards de la Parte IV son cajas vacías. La decisión más importante no es qué herramienta comprar, sino cuándo mover los datos: en tiempo real, evento a evento, o agrupados en lotes a intervalos fijos.
El territorio de la integración de datos: de los sistemas origen al consumo, pasando por las grandes familias de patrones.
Este capítulo desgrana las cuatro piezas fundamentales —eventos, mensajería, colas y Change Data Capture (CDC)— y ofrece criterios de consultoría para no caer en el error más caro de todos: aplicar streaming a problemas que el batch resolvía a una décima parte del coste, o forzar el batch donde el negocio exige inmediatez.
ETL transforma los datos antes de cargarlos en el destino; ELT los carga primero en crudo y los transforma después dentro del propio almacén analítico. La elección no es una cuestión de modernidad sino de tres variables: coste (dónde y cuántas veces se paga el cómputo de transformación), latencia (cuánto tarda el dato en estar disponible y en qué estado) y gobernanza (qué datos sensibles pueden o no aterrizar en crudo en la plataforma analítica).
La mayoría de las organizaciones maduras acaban operando un patrón híbrido EtLT: una transformación ligera en vuelo —enmascarado de PII, deduplicación, normalización de formatos— seguida de la transformación pesada en el destino, gobernada como código..
Capítulo 25 de la Guía práctica para diseñar y operar la arquitectura de datos de tu empresa. Llevamos varios capítulos construyendo piezas: pipelines de ingesta resilientes, flujos CDC casi en tiempo real y controles de calidad que vigilan cada carga.
Este capítulo responde a la pregunta que las une todas: ¿quién dirige la orquesta? Hablamos de orquestación de pipelines: DAGs, dependencias, políticas de reintento y alertas..
Airflow, Prefect, dbt, NiFi y Kafka son un ejemplo de stack de integración —el del modern data stack open-source, código primero— que este capítulo usa como hilo conductor para entender los cuatro planos de un pipeline: quién orquesta (Airflow, Prefect), quién transforma (dbt), quién mueve los datos (NiFi) y sobre qué viajan los eventos en tiempo real (Kafka).
No son "las mejores" herramientas ni la única vía válida. El mercado ofrece desde plataformas comerciales integradas —Informatica, Azure Data Factory, AWS Glue, Talend y el resto del TOP 10 de Dataprix— hasta decenas de alternativas open-source por cada capa.
La pregunta correcta no es "¿qué cinco herramientas elijo?", sino entender los planos, elegir un arquetipo coherente con tu equipo y tu caso, y no usar una herramienta excelente para el trabajo equivocado..
El ELT —cargar primero el dato en crudo y transformarlo después, dentro del propio motor de destino— se ha vendido como una característica del cloud, pero es un patrón arquitectónico, no una función de Snowflake o BigQuery. Se puede hacer —y se hace— on-premise, sobre SQL Server, Oracle o PostgreSQL, y para muchas empresas con datos sensibles o restricciones de coste es una opción perfectamente válida.
Aquí explico qué es, por qué lo confundimos con la nube, cómo se implementa on-premise y cuándo conviene..
