Parte III — Integración de datos y ETL/ELT

Si la Parte II resolvía dónde se guarda el dato, esta tercera parte responde a una pregunta anterior y más incordiante: cómo llega hasta ahí. Entre el sistema que genera un registro y la tabla que alimenta un informe hay un recorrido de extracciones, colas, transformaciones, reintentos y validaciones que rara vez aparece en los diagramas de arquitectura y siempre aparece en los partes de incidencia.

Ingesta de datos a escala: cómo construir pipelines resilientes con idempotencia, backpressure y reintentos

La ingesta de datos a escala es el proceso de capturar, mover y entregar grandes volúmenes de datos —en lotes o en flujo continuo— desde sus orígenes hasta las plataformas de almacenamiento y procesamiento, manteniendo la fiabilidad bajo carga variable y fallos parciales. Un pipeline de ingesta resiliente se sostiene sobre tres principios básicos: la idempotencia (reprocesar sin duplicar ni corromper), el backpressure (regular el caudal para no ahogar a quien va detrás) y los reintentos bien gobernados (recuperarse del fallo transitorio sin amplificarlo). Dominar estos tres conceptos —y la semántica de entrega que los une— es lo que separa una arquitectura que aguanta un Black Friday de otra que colapsa el primer martes con tráfico inusual.

La ingesta de datos a escala es el proceso de capturar, mover y entregar grandes volúmenes de datos

Airflow, Prefect, dbt, NiFi y Kafka: comparativa práctica de las herramientas que mueven los datos de tu empresa

Airflow, Prefect, dbt, NiFi y Kafka: comparativa práctica de las herramientas que mueven los datos de tu empresa
Airflow, Prefect, dbt, NiFi y Kafka son un ejemplo de stack de integración —el del modern data stack open-source, código primero— que este capítulo usa como hilo conductor para entender los cuatro planos de un pipeline: quién orquesta (Airflow, Prefect), quién transforma (dbt), quién mueve los datos (NiFi) y sobre qué viajan los eventos en tiempo real (Kafka).
No son "las mejores" herramientas ni la única vía válida. El mercado ofrece desde plataformas comerciales integradas —Informatica, Azure Data Factory, AWS Glue, Talend y el resto del TOP 10 de Dataprix— hasta decenas de alternativas open-source por cada capa.
La pregunta correcta no es "¿qué cinco herramientas elijo?", sino entender los planos, elegir un arquetipo coherente con tu equipo y tu caso, y no usar una herramienta excelente para el trabajo equivocado..

Diseñar la plataforma de datos de una fintech: anatomía de un stack que no puede fallar

Arquitectura de plataforma de datos de una fintech: capa transaccional, streaming, lakehouse analítico y consumo

Vista general de las cuatro capas de la plataforma: transaccional, ingesta en streaming, lakehouse analítico y consumo.

Una fintech es, en esencia, una empresa de datos que casualmente mueve dinero. Su plataforma tiene que conciliar lo que en otros sectores va por separado: latencia de milisegundos para autorizar pagos, consistencia transaccional estricta para que ningún saldo cuadre mal, analítica masiva para el antifraude y el scoring, y trazabilidad regulatoria perpetua para el supervisor.
En este caso práctico —que cierra la Parte II de la Guía— se diseña ese stack de principio a fin a través de una fintech europea, recorriendo las decisiones, los trade-offs y los errores evitados: del ledger inmutable a la idempotencia, del tiering de almacenamiento a la resiliencia por niveles de criticidad. Incluye un incidente real que demuestra por qué las decisiones que parecían sobreingeniería cara fueron justo las que salvaron la operación.