aws map reduce

Posted on

Fase 4 – Ejecutar nuestro driver en Amazon EMR
Esta fase tiene un costo dentro de AMAZON dado que EMR no está incluido en la capa gratuita
de Amazon.
Dentro de Amazon S3 crearemos un nuevo bucket y dentro de este crearemos 3 carpetas:
 jar
o Dentro de esta carpeta debemos de colocar el JAR de nuestro driver.
 input
o Dentro de esta carpeta debemos de colocar el archivo de entrada a utilizar, en
este caso el libro de Alicia en el País de las Maravillas.
 logs
Ingresaremos a la Consola de AWS y seleccionaremos el servicio de EMR donde crearemos un
nuevo cluster con las siguientes características:
 Daremos click en: “Go to advanced options”
 Seleccionamos Vendor = Amazon
 Release: emr-5.3.1

 Solo seleccionamos Hadoop como software.
 Damos click en Next
 En la siguiente pantalla seleccionamos que el hardware que queremos es:
o 1 nodo Master
 m3.xlarge
 Request Spot
 Bid Price: poner el precio que actualmente está vigente.
o 1 nodo Core
 m3.xlarge
 Request Spot
 Bid Price: poner el precio que actualmente está vigente.
o 0 Nodos Task

Captura

 Damos click en Next
 Completamos la pantalla:
o Cluster Name: Mi cluster
o Seleccionamos Logging
 Seleccionamos nuestra carpeta de logs en S3
 Damos click en Next.
 Seleccionamos nuestra llave de acceso por SSH de Linux
 Damos click en: Create cluster
Daremos click en Cluster List y daremos click en la pequeña flecha que se encuentra a la
izquierda de nuestro cluster.

Captura
En esta pantalla daremos click en Add Step y completaremos la pantalla que nos aparece de
la siguiente forma:
Step type: Custom Jar
Name: Word Counter
Jar location: Seleccionaremos nuestro archivo JAR dando click en el pequeño folder.
Arguments: Pondremos la URI en S3 tanto de nuestra entrada como de la salida

Captura

Damos click en Add y esperamos que la tarea se ejecute nuestro cluster.
Una vez que termine la tarea de ejecutarse revisemos la tarea, sus logs y su salida.

Anuncios

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Cerrar sesión / Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Cerrar sesión / Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Cerrar sesión / Cambiar )

Google+ photo

Estás comentando usando tu cuenta de Google+. Cerrar sesión / Cambiar )

Conectando a %s