Imaginen que todos los datos de todas las fuentes de datos estén disponibles y consolidados sin ningún proceso ETL. Es el sueño que cualquier director de sistemas. El Cloud y la Virtualización están creando nuevos escenarios y nuevas tecnologías emergente como es el caso de los LDW.
Según el Gartner Hype Cycle for Information Infrastructure, el almacén de datos lógico (LDW) es una nueva arquitectura de gestión de datos para análisis que combina las fortalezas de los depósitos de repositorio tradicionales con la gestión alternativa de datos y la estrategia de acceso. El núcleo mismo de la gestión de datos está evolucionando rápidamente a medida que la velocidad y el volumen de datos están creciendo más allá de lo que las herramientas de ayer pueden manejar. Un almacén de datos lógico (LDW) es muy parecido a un clásico Data Warehouse, excepto:
- LDW es hasta un 90% más rápido para implementar
- No hay datos almacenados en LDW. Los datos residen en la fuente
- No se requiere ETL / programación
- No requiere una infraestructura significativa
- Sin latencia de los datos entregados o incluso una notable aceleración en las consultas
En el escenario tradicional de almacén de datos empresariales (EDW), los datos suelen llegar desde bases de datos transaccionales, aplicaciones de línea de negocio, sistemas de CRM, sistemas ERP o cualquier otra fuente de datos. Estos datos se normalizan, limpian y transforman a través de un proceso ETL (extracción, transformación, carga) para garantizar su fiabilidad, consistencia y precisión en toda la empresa, antes de que se cargue en el almacén de datos. Este proceso garantiza una plataforma de datos estable y segura a partir de la cual los científicos de datos y los trabajadores de la información podrían realizar análisis complejos y generar informes informativos.
Hoy en día, sin embargo, el EDW es algo obsoleto y poco efectivo debido al volumen, la variedad y la velocidad de los grandes datos que llegan de la nube, las redes sociales, los dispositivos móviles y el IoT y se extiende en multitud de formatos. Hay que añadir a esto la suposición y la expectativa de que todo esto será accesible, significativo y listo para ser consumido por cualquier aplicación de BI de autoservicio en tiempo real o casi en tiempo real. Cuando se implementa un proyecto EDW, descrito anteriormente, a menudo pierde su relevancia para las necesidades actuales del negocio.
Como consultor BI he visto cantidades de proyectos bien diseñados la cuya implementación ha sido muy compleja y larga debido el gran "embudo" que se llama ETL. Antes de los procesos de carga la normalización de datos es otro momento crítico para cualquier proyecto.
Cada vez más organizaciones empresariales que buscan domar esta avalancha de datos en estado salvaje están recurriendo a una arquitectura lógica que abstrae las complejidades inherentes de los grandes datos utilizando un enfoque combinado de virtualización de datos, administración de metadatos y procesamiento distribuido.
La arquitectura lógica de almacén de datos combina todos estos elementos mientras que incluye y trasciende las capacidades de la EDW.
La virtualización de datos proporciona una vista integrada única de datos procedentes de fuentes distribuidas en tiempo real o casi en tiempo real independientemente del tipo o ubicación de los datos o si está estructurado, semiestructurado o no estructurado..
Querona
Querona es una plataforma LDW de nueva generación que estamos introduciendo en estos días en España desde Synergo!
Querona es una base de datos virtual (LDW) que conecta fácilmente cualquier fuente de datos con TARGIT, Tableau, Power BI, Microsoft Excel u otros. Permite crear un modelo de datos universal y compartirlo entre las herramientas de generación de informes.
Querona no crea otra copia los datos, a menos que se desee acelerar los informes y utilizar el motor de ejecución incorporado creado para el Big Data. Simplemente escribiendo la consulta SQL estándar Querona consolida los datos sobre la marcha.
Técnicamente Querona es un concentrador de datos de autoservicio que ayuda a construir una capa de acceso a datos central, consulta todas las fuentes de datos desde un lugar y acelera las consultas utilizando Apache Spark. Debajo del capó, Querona simula el protocolo SQL Server que lo hace compatible con cualquier herramienta de Business Intelligence en el mercado.
Querona fue diseñado para la simplicidad de uso. El usuario puede conectar fuentes de datos que serán visibles como una base de datos virtualizada de SQL Server y consultadas en tiempo real.
En el paso siguiente, los usuarios pueden aplicar seguridad o decidir almacenar datos en un motor SQL de su elección. La característica única es la plena integración con Apache Spark. Con un solo clic, los datos se cargan en Spark y se ponen a disposición para análisis adicionales o simplemente para construir un almacén de datos lógico rápido y barato (Spark es de código abierto). La capa de Querona Data Virtualization es un único punto de acceso a todas las fuentes de datos. La autenticación, la autorización basada en funciones, los derechos de acceso multinivel y el enmascaramiento de datos se aplican en todas las fuentes de datos.
Las consultas lentas se pueden acelerar mediante el almacenamiento en caché, el procesamiento en memoria en Apache Spark o el replanteo de consultas a un motor de ejecución diferente. La reescritura de la consulta elegirá automáticamente el mejor preagregado.
Querona soporta múltiples motores de ejecución SQL al mismo tiempo. Simplemente puede decidir qué datos se almacenan en caché en qué base de datos de almacenamiento en caché y qué se almacena en Hadoop.
Como funciona?
En una primera fase se pueden importar todas las fuentes de datos. Las decisiones empresariales dependen de los datos de múltiples fuentes de datos. Basta con importar todas las bases de datos, CRM o sistemas ERP en una base de datos virtual. Sólo unos pocos clics, ningún ETL involucrado. Una vez terminado este proceso se tiene acceso a todos los datos desde un único concentrador de datos.
Muchas veces la analítica en tiempo real es crucial para la toma de decisiones, pero es difícil de lograr para múltiples fuentes de datos. Querona permite el acceso directo a cualquier dato utilizando sólo SQL estándar. Gracias a el uso de la tecnología de CDATA todas las Aplicaciones en nube, bases de datos, CRMs, ERP están unificados y consolidado. El sueño de cualquier director de sistema.
Querona proporciona un conjunto de conectores a más de 100 tipos de fuentes de datos y los hace en unos pocos clics. No importa qué tipo y cuántas fuentes tenga, obtiene acceso de datos seguro y en tiempo real utilizando SQL estándar.
¿Y la seguridad?
Nunca es fácil hacer cumplir el acceso seguro a todas las fuentes de datos. Asegurar un almacén de datos en la nube Data Lake Hadoop es un reto aún mayor. Querona es el centro de datos para todas las fuentes de datos. Se pueden aplicar fácilmente derechos de acceso a cualquier nivel y a cualquier dato. Con el inicio de sesión único con NTLM y Kerberos, seguridad de filas y columnas y enmascaramiento dinámico de datos, lo tiene todo en un solo lugar. Y no es todo permite cumplir perfectamente la nueva ley GPRD ya que permite el almacenamiento de datos encriptado en la nube.
Querona permite por fin que los científicos de datos puedan manejar toda la información sin tener que depender de la infraestructura tecnológica
Por Michele Iurillo (michele.iurillo@synergo.es)
