Dirigiendo el diluvio de 'Big Data' desde el espacio

El centro de la galaxia Vía Láctea fotografiada por el telescopio espacial de la NASA Spitzer. Crédito de la imagen: NASA/Ames/JPL-Caltech

 

17 De octubre de 2013

Para la NASA y sus decenas de misiones, los datos que se vierten cada día como aguas turbulentas. Controlar las nave espaciales  todo desde nuestro planeta a las galaxias lejanas, barrado y mandar imágenes e información a la Tierra. Todos los registros digitales necesitan ser almacenados, indexados y procesados para que los ingenieros de la nave espacial, científicos y personas en todo el mundo pueden utilizar los datos para entender la Tierra y del más allá del universo.

 

En el Laboratorio de Propulsión a Chorro de la NASA en Pasadena, California, los planificadores de la misión y los ingenieros de software vienen con nuevas estrategias para gestionar el flujo creciente de estos flujos de datos grandes y complejos, contemplados en la comunidad de tecnología de información como "big data".

 

¿Qué tan grande son los grandes datos? Para las misiones de la NASA, cientos de terabytes se reúnen cada hora. Un terabyte equivale a la información impresa en 50.000 árboles dignos del papel.

 

"Los científicos usan datos grandes para todo, desde la predicción del tiempo en la Tierra para monitoreo de casquetes de hielo en Marte en busca de galaxias distantes," dijo Eric De Jong de JPL, investigador principal para el proyecto de visualización del Sistema Solar de la NASA, que convierte la ciencia NASA misión, en productos de visualización que los investigadores pueden utilizar. "Somos los guardianes de los datos y los usuarios son los astrónomos y científicos que necesitan imágenes, mosaicos, mapas y películas para encontrar patrones y verificar las teorías".

 

Construyendo castillos de datos

 

De Jong explica que hay tres aspectos para agrupar los datos de las misiones espaciales: almacenamiento, procesamiento y acceso. La primera tarea, para almacenar o archivar los datos, es naturalmente más desafiante para grandes volúmenes de datos. La Plaza kilómetro Array (SKA), una serie planeada de miles de telescopios en Sudáfrica y Australia, ilustra este problema. Liderado por la organización de SKA con sede en Inglaterra y programada para iniciar la construcción en el año 2016, la matriz explorará el cielo por las ondas de radio procedentes de las primeras galaxias conocidas.

 

JPL está involucrado con el archivo de los torrentes de la matriz de imágenes: 700 terabytes de datos deben entrar todos los días. Eso es equivalente a toda la información que fluye en Internet cada dos días. En lugar de construir más hardware, los ingenieros están ocupados desarrollando herramientas de software creativo para almacenar mejor la información, tales como técnicas de "cloud computing" y programas para la extracción de datos automatizado.

 

"No necesitamos reinventar la rueda", dijo Chris Mattmann, un investigador principal de la iniciativa de datos grandes de JPL. "Podemos modificar códigos de computadora de código abierto para crear más rápido, más barato para dar soluciones". Software libre para que todos puedan aprovechar y compartida se llama código abierto o código abierto. JPL ha ido cada vez más trayendo software de código abierto en su redil, creando herramientas mejoradas de procesamiento de datos para las misiones espaciales. Las herramientas JPL entonces vuelven al mundo para que otros usan para diferentes aplicaciones.

"Es una solución de ganar-ganar para todos," dijo Mattmann.

 

En colores vivos

Archivar no es el único desafío en el trabajo con datos grandes. De Jong y su equipo desarrollan nuevas formas de visualizar la información. Cada imagen de una de las cámaras Mars Reconnaissance Orbiter de la NASA, por ejemplo, contiene 120 megapíxeles. Su equipo crea películas de conjuntos de datos como estos, además de gráficos por ordenador y animaciones que permiten a los científicos y el público se suba cercana con el planeta rojo.

 

"Los Datos no sólo se obtiene más grandes pero más complejo," dijo De Jong. "Constantemente estamos trabajando sobre las formas de automatizar el proceso de creación de productos de visualización, para que los científicos e ingenieros puedan utilizar fácilmente los datos".

 

 

Esta es una pantalla de una película de alta definición simulada de Mojave cráter en Marte, basado en imágenes tomadas por la cámara de alta resolución de imagen experimento científico (HiRISE) en Mars Reconnaissance Orbiter de la NASA. Crédito de la imagen: NASA/JPL-Caltech/Univ. de Arizona

 

Datos sirven para ir

 

Otro gran trabajo en el campo de datos grandes es haciéndolo fácil para que los usuarios tomen lo que necesitan de los archivos de datos.

 

"Si usted tiene una librería de libros gigantes, todavía tienes que saber cómo encontrar el libro que buscas," dijo Steve Groom, director del centro de análisis en el California Institute of Technology, Pasadena y procesamiento infrarrojo de la NASA. El centro de archivos de datos para el uso público de un número de misiones de Astronomía de la NASA, el telescopio espacial Spitzer, el Wide-field Infrared encuesta Explorer (WISE) y la porción estadounidense de la misión Planck de la Agencia Espacial Europea.

 

A veces los usuarios quieren acceder a todos los datos a la vez para buscar patrones globales, un beneficio de archivos de datos grande. "Los astrónomos también pueden navegar todos los 'libros' en nuestra biblioteca simultáneamente, algo que no se puede hacer en sus propios ordenadores,"

 

"Ningún ser humano puede ordenar tal cantidad de datos," dijo Andrea Donnellan del JPL, quien es acusado de una tarea igualmente montañosa para el proyecto QuakeSim financiado por la NASA, que reúne a grandes conjuntos de datos--basados en espacio y tierra--para estudiar procesos de terremoto.

 

Parcelas e imágenes de QuakeSim permiten a los investigadores entender cómo se producen los terremotos y desarrollan estrategias preventivas a largo plazo. Los conjuntos de datos incluyen datos del GPS para cientos de localidades en California, donde miles de medidas se toman, resultando en millones de puntos de datos. Donnellan y su equipo desarrollan herramientas de software para ayudar a los usuarios a tamizar a través de la inundación de datos.

 

En última instancia, la marea de datos grandes continuará hinchándose, y la NASA desarrollará nuevas estrategias para manejar el flujo. Como nuevas herramientas evolucionan, así será nuestra capacidad para dar sentido a nuestro universo y el mundo.

Whitney Clavin 818-354-4673
Jet Propulsion Laboratory, Pasadena, Calif.
whitney.clavin@jpl.nasa.gov
"Courtesy NASA/JPL-Caltech."

Traducción: El Quelonio Volador