Calidad de datos en el pipeline: validaciones, observabilidad y SLAs
La calidad de datos en el pipeline consiste en verificar los datos de forma automática y continua mientras se mueven y transforman, en lugar de descubrir los errores cuando ya han contaminado informes y modelos. Se apoya en tres capas complementarias: validaciones (tests explícitos que bloquean o marcan datos que incumplen reglas conocidas), observabilidad de datos (monitorización continua de frescura, volumen, esquema y distribución para detectar lo que nadie previó) y SLAs de calidad (compromisos medibles con los consumidores del dato). La regla de oro es el shift-left: cuanto antes se detecta un error en el flujo, más barato resulta corregirlo..
