El metadato se reparte en dos mitades con economías opuestas: la que emiten los sistemas en cada ejecución y se regenera sola, y la que escribe una persona y se degrada con cada cambio. Este capítulo explica cómo automatizar la primera con OpenLineage y por qué conviene documentar al 100 % el conjunto pequeño de activos que de verdad se consulta, en lugar de perseguir un porcentaje de cobertura. Incluye panorama de plataformas, criterios de selección, anti-patrones, checklist y FAQ.

El testing de pipelines de datos es la práctica de verificar la lógica de los pipelines antes de desplegarla, con datos de prueba controlados, igual que se testea cualquier software. Se organiza en tres niveles: tests unitarios, tests de integración y validación de contratos. Es la disciplina complementaria de las validaciones en producción del capítulo 24: aquellas vigilan los datos reales en ejecución; el testing atrapa los errores de lógica cuando corregirlos cuesta minutos, no horas de madrugada..

Capítulo 25 de la Guía práctica para diseñar y operar la arquitectura de datos de tu empresa. Llevamos varios capítulos construyendo piezas: pipelines de ingesta resilientes, flujos CDC casi en tiempo real y controles de calidad que vigilan cada carga. Este capítulo responde a la pregunta que las une todas: ¿quién dirige la orquesta? Hablamos de orquestación de pipelines: DAGs, dependencias, políticas de reintento y alertas..