Apache NiFi | Automatisation et orchestration des flux de données Mixte : présentiel / à distance

Jour 1 : Introduction et prise en main de NiFi
Module 1 : Présentation d'Apache NiFi
   o Origine (NSA → Apache), cas d'usage typiques
   o Architecture générale (FlowFile, FlowFile Processor, Repository, etc.)
   o Installation de NiFi (mode standalone)

Module 2 : Prise en main de l'interface graphique

Module 3 :Création de premiers flux simples :
   o Collecte de fichiers locaux (GetFile, ListFile, FetchFile)
   o Transformation simple (ReplaceText, UpdateAttribute)
   o Routage conditionnel (RouteOnAttribute, RouteOnContent)

Module 4 :Monitoring et files d'attente
TP : Construire un pipeline qui lit un fichier CSV, transforme des colonnes, et route les 
lignes selon une règle métier.

Jour 2 : Connecteurs, transformation et contrôle des flux
Module 5 : Connecteurs de sources et cibles :
   o Bases de données relationnelles (JDBC, QueryDatabaseTable)
   o Web API (InvokeHTTP, REST JSON)
   o Kafka, MQTT, HDFS, FTP, Email

Module 6 :Manipulation des formats de données :
   o JSON, XML, CSV avec ConvertRecord, EvaluateJsonPath, JoltTransformJSON
   o Utilisation des Record Processors et schémas Avro
• Gestion des erreurs, rejets, timeout
• Traitement par lot, priorisation et parallélisme
• Variables, templates et paramètres de configuration
• Introduction à NiFi Registry (versionnement des flux)

 TP : Consommer une API REST, extraire des données JSON, les stocker en base de 
données avec logs d'erreurs

Jour 3 : Sécurité, supervision et intégration avancée
Module 7 : Supervision, alertes et audit :
   o Logs, provenance, tracking
   o Performance des processeurs, files d'attente

Module 8 :Sécurité :
   o HTTPS, utilisateurs, rôles et autorisations
   o Chiffrement de bout en bout, configuration sécurisée

Module 9 :Déploiement avancé :
   o Mode cluster / haute disponibilité
   o Intégration avec Apache Kafka, Hadoop, Elasticsearch, Cloud (AWS S3, Azure Blob)

• Bonnes pratiques et patterns d'architecture

TP final : Créer un flux complet avec collecte de fichiers via SFTP → transformation JSON → API → base de données, avec supervision et gestion des erreurs

Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :

• • Formation en présentiel
    • En groupe (inter-entreprises ou intra-entreprise)
    • En individuel (monitorat)
    • En journée ou en cours du soir (sur demande spécifique)
  • Formation en distanciel
    • Distanciel synchrone
    • Distanciel asynchrone

• Apports des connaissances communes.
• Mises en situation sur le thème de la formation et des cas concrets.
• Méthodologie d'apprentissage attractive, interactive et participative.
• Equilibre théorie / pratique : 60 % / 40 %.
• Supports de cours fournis au format papier et/ou numérique.
• Ressources documentaires en ligne et références mises à disposition par le formateur.
• Pour les formations en présentiel dans les locaux mis à disposition, les apprenants sont accueillis dans une salle de cours équipée d'un réseau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropriés est mis à disposition (le cas échéant).

En amont de la formation

• Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulé de la formation (profil, niveau, attentes particulières...).
• Auto-positionnement des apprenants afin de mesurer le niveau de départ.

Tout au long de la formation

• Évaluation continue des acquis avec des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...

A la fin de la formation

• Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.
• Evaluation par le formateur des compétences acquises par les apprenants.
• Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.
• Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.

• Admission sans disposition particulière