Développer avec Spark

Module 1 : PRÉSENTATION D’APACHE SPARK

Introduction et historique
Les langages de programmation supportés par Spark (Scala, Python et Java)
Comparaison avec l’environnement Apache Hadoop
Les modules de Spark (Spark SQL, Spark Streaming, MLlib, GraphX )

Module 2 : RESILIENT DISTRIBUTED DATASET (RDD)

C’est quoi un RDD ?
Créer, manipuler et réutiliser des RDD
Accumulateurs et variables broadcastées
Utiliser des partitions

Module 3 : MANIPULER DES DONNÉES STRUCTURÉES AVEC SPARK SQL

SQL, DataFrames et Datasets
Les différents types de sources de données
Interopérabilité avec les RDD
Performance de Spark SQL
JDBC/ODBC server et Spark SQL CLI

Module 4 : SPARK SUR UN CLUSTER

Les différents types d’architectures : Standalone, Apache Mesos ou Hadoop YARN
Configurer un cluster en mode Standalone
Packager une application avec ses dépendances
Déployer des applications avec Spark-submit
Dimensionner un cluster

Module 5 : SPARK STREAMING ET L’ANALYSE EN TEMPS RÉEL DES DONNÉES

C’est quoi Spark streaming ?
C’est quoi Discretized Streams (DStreams)?
Les différents types de sources
Manipulation de l’API
Comparaison avec Apache Storm

Module 6 : MANIPULER DES GRAPHES AVEC GRAPHX

C’est quoi GraphX ?
Création de graphes
Opérations sur les graphes
Vertex and Edge RDD
Différents algorithmes

Module 7 : MACHINE LEARNING AVEC SPARK

Introduction au Machine Learning
Présentation de SparkML et MLlib
Les algorithmes d’apprentissages disponibles
Implémentations de ces différents algorithmes