Calidad de datos en el pipeline: validaciones, observabilidad y SLAs

La calidad de datos en el pipeline consiste en verificar los datos de forma automática y continua mientras se mueven y transforman, en lugar de descubrir los errores cuando ya han contaminado informes y modelos. Se apoya en tres capas complementarias: validaciones (tests explícitos que bloquean o marcan datos que incumplen reglas conocidas), observabilidad de datos (monitorización continua de frescura, volumen, esquema y distribución para detectar lo que nadie previó) y SLAs de calidad (compromisos medibles con los consumidores del dato). La regla de oro es el shift-left: cuanto antes se detecta un error en el flujo, más barato resulta corregirlo..



Hace ya algún tiempo tuve la oportunidad de probar el software de Business Intelligence Crono, pero ha llovido bastante, y Crono ha evolucionado mucho desde entonces, así que aprovecho este post para ponerme al día sobre las nuevas características de este software de BI, y ahora también de ETL..