Formation Spark, Développer des applications pour le Big Data Mixte : présentiel / à distance

Cette formation vous fournira une solide introduction technique à l'architecture Spark et au fonctionnement de Spark. Vous apprendrez les éléments de base de Spark, notamment les RDD et le moteur de calcul distribué, ainsi que les constructions de niveau supérieur, qui fournissent une interface plus simple et plus performante, notamment Spark SQL et DataFrames.

Vous verrez également des capacités plus avancées telles que l'utilisation de Spark Streaming pour traiter les données en continu, et aurez un aperçu du traitement graphique Spark (GraphX et GraphFrames) et du Machine Learning Spark (SparkML Pipelines).

Enfin, vous explorerez les éventuels problèmes de performance, le dépannage, les techniques de déploiement de grappes et les stratégies d'optimisation.

• Actions Collectives OPCO Atlas
  Cette formation peut être prise en charge à 100% dans le cadre des Actions Collectives.
  Pour en bénéficier, contactez-nous à hello.institute@docaposte.fr et complétez votre inscription sur campusAtlas.

En savoir plus sur les dispositifs de financement

• Comprendre la nécessité de Spark dans le traitement des données
• Comprendre l'architecture Spark et la distribution des calculs aux nœuds de cluster.
• Se familiariser avec l'installation de base / la configuration / l'agencement de Spark
• Utiliser Spark pour des opérations interactives et ad hoc
• Utiliser Dataset/DataFrame/Spark SQL pour traiter efficacement les données structurées
• Comprendre les bases des RDD (Resilient Distributed Datasets), ainsi que le partitionnement, la circulation dans les pipelines et le calcul des données
• Comprendre la mise en cache des données de Spark et son utilisation
• Comprendre les implications et les optimisations des performances lors de l'utilisation de Spark
• Se familiariser avec le traitement graphique et l'apprentissage machine SparkML

• Chefs de projet,
• Data Scientist,
• Développeurs,
• Architectes...

• Connaissance de la programmation fonctionnelle avec les langages Java ou Python,
• Connaissances en gestion des bases de données,
• Notions de calculs statistiques.

La montée en puissance de Scala

• Introduction à Scala, variables, types de données, flux de contrôle
• L'interpréteur Scala
• Collections et méthodes standard (par exemple map())
• Fonctions, méthodes, fonctions littérales
• Classe, objet, trait

Introduction à Spark

• Vue d'ensemble, motivations, systèmes Spark
• Ecosystème de Spark
• Spark vs. Hadoop
• Environnements typiques de déploiement et d'utilisation de Spark

Les RDD et l'architecture Spark

• Concepts de RDD, partitions, cycle de vie, évaluation paresseuse
• Travailler avec les RDD - Créer et transformer (carte, filtre, etc.)
• Mise en cache - Concepts, type de stockage, directives

DataSets/DataFrames et Spark SQL

• Introduction et utilisation
• Création et utilisation d'un ensemble de données
• Travailler avec JSON
• Utilisation du DataSet DSL
• Utiliser SQL avec Spark
• Formats de données
• Optimisations : Catalyst et Tungsten
• DataSets vs. DataFrames vs. RDD

Créer des applications Spark

• Aperçu, code de pilote simple, SparkConf
• Création et utilisation d'un contexte SparkContext/SparkSession
• Création et fonctionnement des applications
• Cycle de vie des applications
• Gestionnaires de clusters
• Logging et débogage

Spark Streaming

• Vue d'ensemble et principes de base de la diffusion en continu
• Streaming structuré
• DStreams (Discretized Steams),
• Architecture, Stateless, Stateful, et Windowed Transformations
• API de diffusion en continu (Spark Streaming)
• Programmation et transformations

Caractéristiques et optimisation des performances

• UI Spark
• Dépendances étroites vs. larges
• Réduire au minimum le traitement et le brassage des données
• Mise en cache - Concepts, type de stockage, lignes directrices
• Utilisation de la mise en cache
• Utilisation des variables de diffusion et des accumulateurs

Aperçu de Spark GraphX

• Introduction
• Construire des graphiques simples
• API GraphX
• Exemple de chemin le plus court

Aperçu de MLLib

• Introduction
• Vecteurs caractéristiques
• Regroupement / Groupement, K-Means
• Recommandations
• Classifications

Conclusion

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

• Formation en présentiel
• En groupe (inter-entreprises ou intra-entreprise)
• En individuel (monitorat)
• En journée ou en cours du soir (sur demande spécifique)
• Formation en distanciel
• Distanciel synchrone
• Distanciel asynchrone

• Alternance d'apports théoriques et de mises en pratique contextualisées.
• Progression pédagogique structurée, de la compréhension à la mise en œuvre opérationnelle.
• Pédagogie immersive favorisant une mise en application immédiate des compétences.
• Formation interactive et participative s'appuyant sur des ateliers pratiques, études de cas et échanges collectifs (+ 60 % du temps de formation.)
• Séquences pédagogiques rythmées et évaluations formatives régulières pour renforcer l'ancrage des apprentissages.
• Supports de cours, ressources documentaires et références mis à disposition par le formateur

En amont de la formation (évaluation en ligne dans l'extranet apprenant)

• Recueil des besoins et des attentes des participants.
• Auto-positionnement permettant d'évaluer le niveau initial des apprenants.

Tout au long de la formation

• Évaluations continues réalisées par le formateur travers des questions orales, exercices, QCM, études de cas et mises en situation pratiques.

À l'issue de la formation (évaluations en ligne dans l'extranet apprenant)

• Auto-positionnement afin de mesurer l'acquisition des compétences visées.
• Validation de l'acquisition des compétences par le formateur
• Questionnaire de satisfaction « à chaud » à l'issue de la formation
• Questionnaire de satisfaction "à froid", 45 jours après la formation afin d'évaluer l'ancrage des acquis et leur mise en application en situation professionnelle.

NB : dans le cadre d'une Action collective, chaque stagiaire bénéficiaire sera contacté par un prestataire choisi par l'Opco Atlas afin d'évaluer « à chaud » la qualité de la formation suivie.

• Admission sans disposition particulière