SlideServe
Télécharger Obtenir Pro
Menu
Accueil Pro
Préférences
ApparenceLight Aide et commentaires
© SlideServe · v2026

SIMR Spark In MapReduce

cameo avatar
cameo
10 diapositives · 339 Views · Jul 30, 2014

SIMR Spark In MapReduce. Ali Ghodsi Ahir Reddy UC Berkeley Databricks. Background. Hard to try out Spark on MapReduce v1 clusters Separate machines Installing Scala , Spark Admin rights Generally difficult to try out on a cluster

SIMR Spark In MapReduce - slide 1
01 / 10SIMR Spark In MapReduce
1 / 17

Télécharger la présentation

SIMR Spark In MapReduce
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation

  1. SIMRSpark In MapReduce Ali Ghodsi Ahir Reddy UC Berkeley Databricks

  2. Background • Hard to try out Spark on MapReduce v1 clusters • Separate machines • Installing Scala, Spark • Admin rights • Generally difficult to try out on a cluster • Configure, compile, Standalone, Mesos, YARN

  3. SIMR • MapReduce job with Spark inside it • Launches Spark, Scala, your job, Spark-shell bash> ./simr --shell bash> ./simrmy.jartestClass %spark_url%

  4. How does it work?

  5. Under the hood • Ship to all mappers • Scala & Spark fat jar • Your job jar

  6. Setting up Spark • Mappers write their ID to HDFS • Lowest timestamped mapper becomes leader • Leader mapper executes • Spark driver • Other mappers execute • Executors

  7. Connecting everyone • Connect executors with driver • Driver writes URL to HDFS, executors busy-read • Spark is ready!

  8. Interacting with Spark • Relay screen input & keyboard output • Relay Server executed on leader mapper • Relay Client executed on client machine • Connecting the two • Relay server writes URL to HDFS • Relay client reads and connects to server • Relay all input/output between client/driver

  9. Hadoop versions • Precompiled for Hadoop • 1.0.4 (HDP 1.0-1.2) • 1.2.x (HDP 1.3) • 0.20 (CDH3) • 2.0.0 (CDH4) • Instructions on how to compile your own • http://databricks.github.io/simr

  10. DEMO TIME