Manuel Rosa Ramos 30 de junio de 2015 a las 07.04
   Imprimir artículo
elWebmaster.com

Apache Spark ahora disponible en Amazon EMR


AWSApache Spark es un sistema de procesamiento distribuido de código abierto, similar a Apache Hadoop, que se usa comunmente para cargas de trabajo en análisis de Big Data. Utiliza almacenamiento en memoria y ejecución optimizada para un rendimiento más rápido, y es compatible con procesamiento por lotes, streaming, aprendizaje automático (machine learning), bases de datos gráficas y consultas ad hoc.

Al contar con soporte para Scala, Python, Java y SQL (con uso del módulo Spark SQL), Elastic MapReduce (EMR) hace más fácil el desarrollo de aplicaciones de Spark con muchos lenguajes conocidos. Asimismo, Spark incluye una serie de librerías que sirven para crear aplicaciones para aprendizaje automático (MLib), procesamiento de streaming (Spark Streaming), y procesamiento de gráficos (GraphX). Spark puede ser instalado junto a otras aplicaciones de Hadoop disponibles para Amazon EMR y aprovechar el sistema de archivos de EMR (EMRFS) para acceder directamente a los datos.

Se puede crear un Clúster de Amazon EMR con Apache Spark desde la Consola Administrativa de AWS, la interfaz de línea de comandos de AWS, o con SDK escogiendo la AMI 3.8.0 y añadiendo Spark como una aplicación. Amazon EMR actualmente es compatible con la versión 1.3.1 de Spark y utiliza Hadoop YARN como gestor de clústeres. Para enviar aplicaciones a Spark a un clúster de Amazon EMR, se puede añadir un proceso “step” con la API Step de AWS o interactuar directamente con la API de Spark en el nodo maestro del cluster.

En resumen, Apache Spark sobre Amazon EMR brinda una serie de beneficios como un mejor rendimiento ya que puede crear planes de consultas eficientes para transformaciones de datos, desarrollar aplicaciones rápidamente con múltiples lenguajes, crear diversos flujos de trabajo para distintos de aplicaciones, y una gran integración con las herramientas de Amazon EMR.

 

 


Enviar a Del.icio.us Enviar a Meneame Enviar a Digg Enviar a Fresqui Enviar a Enchilame

Deja tu opinión

© 2007 - 2008 elWebmaster.com | Powered by Wordpress | Diseño CSS y XHTML válido. | Algunos íconos basados en FamFamFam Mini
Acceder