Orquestación de pipelines: DAGs, reintentos y alertas

Capítulo 25 de la Guía práctica para diseñar y operar la arquitectura de datos de tu empresa. Llevamos varios capítulos construyendo piezas: pipelines de ingesta resilientes, flujos CDC casi en tiempo real y controles de calidad que vigilan cada carga.
Este capítulo responde a la pregunta que las une todas: ¿quién dirige la orquesta? Hablamos de orquestación de pipelines: DAGs, dependencias, políticas de reintento y alertas..
La diversificación y la globalización de los mercados han provocado un aumento de la competencia en el entorno empresarial. Como consecuencia de ello, los empresarios han tenido que modificar los sistemas estratégicos y de negocio convencionales para poder mantener la fidelidad e ingresos obtenidos de sus clientes.
La integración de sistemas ya no es considerada como una opción, se torna una obligación. La integración significa alinear la estrategia de Tecnologías de Información (TI) con los objetivos de negocio. Si se consideran los sistemas internos de la compañía, tal integración se alcanza con un sistema de planeamiento de gestión empresarial (ERP). Sin embargo, una pregunta muy común y difícil de responder para varios directivos es: ¿Por qué son tan frecuentes los fracasos en proyectos de ERP?