Aprovechar los datos que entran y salen del espacio con Scality

Por Israel Serrano, responsable de Scality para España y sur de Europa

Todo en el espacio, desde los cohetes hasta los satélites, genera enormes volúmenes de datos. Cada hora de cada día, organizaciones como la NASA recogen millones de puntos de datos de sus misiones. Sólo en 2020 había 2.666 satélites operativos en órbita, cada uno de los cuales capturaba miles y miles de terabytes de datos diariamente, lo que suma petabytes al año.

Para poner esto en perspectiva, 1 petabyte es 1.000 terabytes, y 1 terabyte es alrededor de 1.000 gigabytes, que es suficiente almacenamiento para aproximadamente 250 películas de larga duración. Se calcula que en 2030 unos 50.000 satélites surcarán nuestro cielo nocturno. La cantidad de datos aeroespaciales que deben almacenarse, gestionarse y protegerse es inmensa y va en aumento.

Dado que el almacenamiento es la base sobre la que se accede y analiza esta gran cantidad de información, tiene un impacto directo en la utilidad de los datos. Sencillamente, sin él no es posible obtener información. Aprovechar los datos que entran y salen del espacio requiere soluciones de almacenamiento innovadoras que puedan satisfacer las necesidades y resolver los retos que conlleva el crecimiento meteórico de los datos.

El almacenamiento de objetos está diseñado de forma fundamental y única para dar cabida a enormes cantidades de datos no estructurados. Y como se construyó sobre los principios de la nube escalable, puede escalar a petabytes, exabytes y más allá.

En Scality, nos asociamos con organizaciones de todo el ecosistema aeroespacial y aeronáutico para almacenar, proteger y aprovechar las enormes cantidades de datos que necesitan para todo, desde la previsión meteorológica hasta la búsqueda de galaxias lejanas.

Podemos destacar algunos de nuestros trabajos en este ámbito.

Modernización del almacenamiento de datos para la agencia espacial del gobierno francés

Estamos  ayudando a la agencia espacial gubernamental francesa Centre National d'Etudes Spatiales (CNES) a asegurar y almacenar sus datos espaciales.

Un consorcio industrial que incluye a Orange, HPE, Tealenium y Scality está diseñando, desplegando y manteniendo una nueva solución de almacenamiento para sus datos científicos y espaciales. El objetivo es modernizar la infraestructura de almacenamiento del CNES para hacer un mejor uso de los enormes volúmenes de datos procedentes de sus satélites, lo que incluye hacer más sencillo, seguro y rápido el acceso de los usuarios a la recopilación y los archivos de datos.

Estos datos no tienen precio. Supongamos que se capta un acontecimiento como una erupción solar: son imágenes que no pueden sustituirse. La información debe almacenarse de forma segura pero accesible. Y eso significa también tener los permisos adecuados para que sólo puedan acceder a ella las personas adecuadas.

 

Para el CNES (conocido en inglés como National Center for Space Studies), es fundamental contar con enormes cantidades de almacenamiento en frío y en caliente, necesitan un acceso a los derechos con una granularidad muy precisa.  

El almacenamiento de objetos no sólo satisface estos requisitos, sino que también ofrece APIs y flujos de trabajo bien definidos para mover los datos entre los niveles de almacenamiento. Las API basadas en REST ofrecen importantes ventajas para compartir datos con sitios remotos y definir identificadores de recursos uniformes (URI) permanentes que acompañarán a las imágenes durante todo el tiempo que estén almacenadas, independientemente del soporte en el que se encuentren, ya sea un soporte flash, un disco o una cinta. Un URI es una secuencia de caracteres que identifica un recurso físico normalmente (pero no siempre) conectado a Internet: distingue un recurso de otro.

Nuestra solución es un elemento clave de un repositorio de contenidos a gran escala para la agencia, que permite almacenar y compartir imágenes de satélite entre agencias internacionales.

Hacer que los datos de imágenes por satélite, que crecen rápidamente, sean seguros y accesibles

El mercado mundial de imágenes por satélite comerciales se está disparando. Con una tasa de crecimiento anual compuesta de casi el 12%, los analistas esperan que alcance una valoración de 5.420 millones de dólares en 2026. Los satélites captan imágenes de la Tierra y las utilizan para diversos fines comerciales, desde la cartografía y la adquisición hasta la gestión de catástrofes, la planificación y el desarrollo urbanos, etc.

En su mayor parte, las empresas de imágenes por satélite comerciales venden estas imágenes a los gobiernos para aplicaciones importantes como la protección del medio ambiente, la agricultura, la silvicultura y el desarrollo urbano y rural. Por supuesto, las imágenes por satélite también son fundamentales para los servicios que utilizamos a diario, como Google y Apple Maps. Y, como se puede imaginar, se trata de imágenes con un gran volumen de datos: algunas empresas recogen hasta 100 terabytes al día o más. Las imágenes deben ser procesadas en formatos utilizables y catalogadas de forma que se puedan realizar búsquedas para su entrega a los usuarios. Esta necesidad supone un importante reto de almacenamiento de datos.

Durante los últimos años, hemos trabajado también con el Centro de Observación de la Tierra (EOC) de Alemania para resolver el reto de la organización de crecimiento exponencial de datos. Cuando el EOC eligió por primera nuestra solución para alojar su archivo de imágenes de satélite de alta definición, su departamento de fotogrametría y análisis de imágenes trabajaba con más de seis millones de archivos -muchos de ellos superaban el terabyte- y necesitaban acceder a esos archivos en hasta 40 estaciones de trabajo de clientes a la vez. Se preveía que cada misión de obtención de imágenes programada aumentaría el volumen de archivos en varios terabytes.

A medida que las necesidades de la organización -y los volúmenes de datos- han ido creciendo, hemos podido ayudarles a escalar aún más sus soluciones de almacenamiento y a mantener estos valiosos archivos seguros y accesibles para sus equipos de investigación.

 

Almacenamiento de objetos en el aire

Más cerca de la atmósfera, los fabricantes de aviones también están lidiando con sus propias necesidades de almacenamiento de big data. Estas empresas deben gestionar cantidades masivas de datos, y esta información debe almacenarse indefinidamente.

¿Qué significa "cantidades masivas de datos" en este contexto? Por ejemplo, se calcula que un avión comercial medio genera hasta 20 terabytes de información del motor por hora.

Los datos generados por los aviones más nuevos pueden utilizarse para todo, desde optimizar el consumo de combustible y el despliegue de la tripulación, hasta anticipar cuándo habrá que mantener o sustituir piezas, e incluso reducir potencialmente la congestión aérea.

Pero las aerolíneas y los fabricantes de aviones no sólo necesitan almacenar los datos de forma segura, sino que también necesitan una forma mejor de poder encontrarlos y acceder a ellos.

Trabajamos con empresas de este sector -incluida una importante multinacional europea del sector aeroespacial- para proporcionarles soluciones para la gestión de datos a escala de petabytes en sus instalaciones y en la nube.

Almacenamiento en la nube: ¡hasta el infinito y más allá!

Las necesidades de almacenamiento de datos seguirán aumentando a medida que la tecnología aeroespacial se vuelva más sofisticada, se lancen más misiones y entren nuevas empresas en el sector.

Para impulsar la innovación y seguir siendo competitivos, los líderes de TI que trabajan en estos campos de rápido crecimiento están invirtiendo en soluciones infinitamente escalables y altamente seguras como la nuestra para ayudarles a maximizar el potencial de sus datos de misión crítica, datos que afectan a nuestra vida diaria y que, en última instancia, pueden dar forma al futuro de la vida humana en la Tierra y más allá.