Investigadores del Área de Lenguajes y Sistemas Informáticos de la Universidad Pablo de Olavide han creado un software que desarrolla un sistema de información que, usando una interfaz amigable, permite desplegar y gestionar de forma personalizada, varios clusters bajo el fragmento Spark.

Además, RCDWeb permite el despliegue a su vez del sistema de archivos distribuidos HDFS (Hadoop Distributed File System) para el almacenamiento distribuido de datos así como lanzar algoritmos de un repositorio centralizado y propio desde un proyecto empaquetado (diseñados en lenguaje Java, Python, R o Scala). Estas ejecuciones son almacenadas en un historial de ejecuciones de forma remota y transparente al usuario. 

Con el uso de las nuevas tecnologías por parte de usuarios y empresas, se genera al día una cantidad descomunal de datos de diferentes tipos que tienen que ser procesados y almacenados con el fin de obtener información útil. Esta tarea no es sencilla y cada vez se requieren máquinas más potentes que sean capaces de procesar y almacenar dichos datos. En vez de renovar toda la infraestructura necesaria, se comenzaron a desarrollar sistemas que permitieran realizar ejecuciones de forma paralela, dividiendo el trabajo entre los distintos nodos que forman el núcleo de trabajo, dando lugar a lo que se conoce como cluster de máquinas.

Con el avance de la tecnología, se han ido perfeccionando las técnicas de paralización y los frameworks usados para este fin, hasta la llegada de Apache Spark, el framework más popular relativo al Big Data. Lo que hace destacar a Apache Spark es su manejo con los datos directamente desde memoria, evitando así el proceso de leer y escribir en disco duro cada poco tiempo, haciéndolo mucho más rápido y eficiente.

Debido a que el despliegue de un cluster resulta una tarea pesada, el presente software desarrolla un sistema de información que usando una interfaz gráfica amigable, permite, de forma personalizada desplegar y gestionar varios cluster bajo el framework Spark. Además, permite el despliegue a su vez del sistema de archivos distribuidos HDFS (Hadoop Distributed File System) para el almacenamiento distribuido de datos así como lanzar algoritmos de un repositorio centralizado y propio desde un proyecto empaquetado (diseñados en lenguaje Java, Python, R o  Scala). 

• Las ejecuciones del software son almacenadas en un historial de ejecuciones, todo ello de forma remota y transparente. Para proteger los datos sensibles del usuario, se ha implantado el protocolo criptográfico TLS (usando certificados SSL) para securizar las comunicaciones en la red.

• Para que el sistema funcione de forma correcta el servidor donde esté alojado puede ser cualquier distribución basada en Ubuntu, siempre que cuente con el servidor de aplicaciones Tomcat, el servidor de MongoDB y Ansible instalado. Y el único requisito por parte del usuario es contar con una distribución Linux basada en Ubuntu en sus máquinas y tener instalado el servidor openssh para permitir el intercambio y acceso de forma remota.

El presente software es de interés para toda empresa, de cualquier sector, que usa Big Data como herramienta tecnológica para la mejora de la toma de decisiones y destacar en la competencia.

Software protegido mediante Derecho de Propiedad Intelectual, disponible para su explotación bajo licencia. ©2018 Universidad Pablo de Olavide.

DATA SCIENCE & BIG DATA LAB (TIC 254)  > Más ofertas de este grupo