Lineage y catálogo de datos: qué se automatiza y qué necesita a una persona

Automatización del lineage y el catálogo de datos: qué se extrae solo y qué necesita a una persona

El metadato se reparte en dos mitades con economías opuestas: la que emiten los sistemas en cada ejecución y se regenera sola, y la que escribe una persona y se degrada con cada cambio. El capítulo 27 de la guía explica cómo automatizar la primera con OpenLineage y por qué conviene documentar al 100 % el conjunto pequeño de activos que de verdad se consulta, en lugar de perseguir un porcentaje de cobertura. Incluye panorama de plataformas, criterios de selección, antipatrones, checklist y FAQ.

Blog de Dataprix

Testing de pipelines y datos: qué probar, cuándo y qué no merece la pena

El capítulo anterior y el complemento natural del de esta semana: los tests unitarios, de integración y de contratos verifican la lógica de un pipeline antes de desplegarlo, del mismo modo que el linaje emitido en cada ejecución documenta lo que el pipeline hace después. Si una transformación está probada y declarada como código, su linaje se obtiene sin coste adicional.

Blog de Dataprix

Collate Unified AI Platform

Plataforma SaaS de gobernanza con catálogo unificado, motor de linaje y clasificación automática de datos sensibles, de la compañía que impulsa el proyecto open source OpenMetadata. Encaja con la mitad del metadato que el capítulo de esta semana propone automatizar.

Snowflake Cloud Data Platform

Plataforma de datos gestionada en la nube para data warehousing, data lakes, ingeniería y ciencia de datos, con escalado elástico y pago por uso. Esta semana suma una integración con STACKIT, la nube soberana europea del grupo Schwarz.

Google BigQuery

Almacén de datos serverless de Google Cloud, con motor Dremel y separación entre almacenamiento y cómputo para consultar petabytes sin gestionar infraestructura. Desde esta semana, Microsoft Fabric puede replicarlo de forma continua con soporte para producción.

dbt v2 llega a disponibilidad general: el motor en Rust pasa a ser el dbt de referencia

Fusion se convierte en dbt v2 y Core pasa a ser dbt v1, ambos bajo Apache 2.0. Llega también dbt State, que solo reconstruye lo que ha cambiado, y Lake Compute ejecuta transformaciones con DuckDB sobre tablas Iceberg.

PostgreSQL 19 retira las consultas de grafos SQL/PGQ y se queda sin fecha de lanzamiento

La comunidad prefiere retrasar la versión antes que cargar cinco años de soporte con un diseño que no convence. REPACK CONCURRENTLY y los datos temporales siguen dentro; la fecha de disponibilidad general, por ahora, no.

Snowflake se integra con STACKIT, la nube soberana del grupo Schwarz, con los datos en Iceberg y las claves en la UE

Centros de datos en Alemania y Austria, claves de cifrado bajo custodia europea y datos en un formato abierto que otros motores pueden leer. El catálogo de funciones y las fechas aún están por concretar.

Databricks lleva a disponibilidad general Genie One MCP para dar contexto de negocio gobernado a cualquier agente de IA

Claude, ChatGPT o Cursor pueden consultar los datos a través de las métricas y definiciones aprobadas de Genie Ontology, con los permisos de Unity Catalog aplicados al usuario que pregunta.

Microsoft Fabric lleva a disponibilidad general la réplica continua de Google BigQuery en OneLake

Réplica casi en tiempo real sin procesos ETL y con el cómputo de Fabric gratuito. Conviene revisar antes dos puntos: los costes que genera en el lado de Google y el requisito de clave primaria en las tablas con actualizaciones.

Dataprix · C/ Font dels Arcs, 10 · La Florida, Barcelona 08130

Los contenidos de este boletín se elaboran con asistencia de inteligencia artificial y se revisan y editan por el equipo editorial de Dataprix, que asume la responsabilidad editorial.