El testing de pipelines de datos es la práctica de verificar la lógica de los pipelines antes de desplegarla, con datos de prueba controlados, igual que se testea cualquier software. Se organiza en tres niveles: tests unitarios, tests de integración y validación de contratos. Es la disciplina complementaria de las validaciones en producción del capítulo 24: aquellas vigilan los datos reales en ejecución; el testing atrapa los errores de lógica cuando corregirlos cuesta minutos, no horas de madrugada..

Capítulo 25 de la Guía práctica para diseñar y operar la arquitectura de datos de tu empresa. Llevamos varios capítulos construyendo piezas: pipelines de ingesta resilientes, flujos CDC casi en tiempo real y controles de calidad que vigilan cada carga. Este capítulo responde a la pregunta que las une todas: ¿quién dirige la orquesta? Hablamos de orquestación de pipelines: DAGs, dependencias, políticas de reintento y alertas..

La calidad de datos en el pipeline consiste en verificar los datos de forma automática y continua mientras se mueven y transforman, en lugar de descubrir los errores cuando ya han contaminado informes y modelos. Se apoya en tres capas complementarias: validaciones (tests explícitos que bloquean o marcan datos que incumplen reglas conocidas), observabilidad de datos (monitorización continua de frescura, volumen, esquema y distribución para detectar lo que nadie previó) y SLAs de calidad (compromisos medibles con los consumidores del dato). La regla de oro es el shift-left: cuanto antes se detecta un error en el flujo, más barato resulta corregirlo..