Airflow, Prefect, dbt, NiFi y Kafka son un ejemplo de stack de integración —el del modern data stack open-source, código primero— que este capítulo usa como hilo conductor para entender los cuatro planos de un pipeline: quién orquesta (Airflow, Prefect), quién transforma (dbt), quién mueve los datos (NiFi) y sobre qué viajan los eventos en tiempo real (Kafka). No son "las mejores" herramientas ni la única vía válida. El mercado ofrece desde plataformas comerciales integradas —Informatica, Azure Data Factory, AWS Glue, Talend y el resto del TOP 10 de Dataprix— hasta decenas de alternativas open-source por cada capa. La pregunta correcta no es "¿qué cinco herramientas elijo?", sino entender los planos, elegir un arquetipo coherente con tu equipo y tu caso, y no usar una herramienta excelente para el trabajo equivocado..

Si hay una factura de infraestructura que crece de manera silenciosa hasta convertirse en un problema de comité de dirección, esa es la del almacenamiento en la nube. Según estimaciones de FinOps Foundation, entre el 25 % y el 35 % del gasto cloud de una organización media se destina a almacenar datos, y de ese volumen, cerca de un tercio corresponde a información a la que nadie ha accedido en los últimos seis meses. El escenario es tan habitual como preocupante: un data lake que comenzó como un repositorio prometedor se transforma en un data swamp donde conviven petabytes de logs sin catalogar, copias redundantes de backups y snapshots huérfanos que nadie se atreve a borrar porque «quizá alguien los necesite».