Apache NiFi | Automatisation et orchestration des flux de données Mixte : présentiel / à distance
Dernière mise à jour : 25/11/2025
Pré-inscription
Présentation
Cette formation de 3 jours permet de maîtriser Apache NiFi, une solution open source de gestion et d’automatisation de flux de données (Dataflow). Grâce à son interface visuelle et sa flexibilité, NiFi permet de collecter, transformer, router et monitorer des données en temps réel ou différé. La formation met l'accent sur les bonnes pratiques, la sécurité, la scalabilité et l’intégration dans des architectures Big Data ou Cloud.
Objectifs
À l'issue de la formation, les participants seront capables de :
- Comprendre le rôle et l'architecture d'Apache NiFi
- Concevoir et configurer des flux de données automatisés (Dataflows)
- Manipuler les processeurs, contrôleurs, filtres et routes
- Gérer les erreurs, les files d'attente, les priorités et les performances
- Sécuriser, versionner et superviser les flux
- Intégrer NiFi dans un écosystème data (Kafka, HDFS, DB, API REST, Cloud...)
Public visé
- Développeurs ou ingénieurs Data
- Architectes SI ou Big Data
- Administrateurs de flux ETL / ELT
- Ingénieurs DevOps / Plateforme
- Toute personne en charge de la gestion des flux de données
Prérequis
- Connaissances générales en traitement de données (ETL, API, formats comme JSON, XML, CSV)
- Notions en réseau, HTTP et bases de données
- Connaissance d'un environnement Linux recommandée
Programme
Jour 1 : Introduction et prise en main de NiFi
Module 1 : Présentation d'Apache NiFi
- Origine (NSA → Apache), cas d'usage typiques
- Architecture générale (FlowFile, FlowFile Processor, Repository, etc.)
- Installation de NiFi (mode standalone)
Module 2 : Prise en main de l'interface graphique
Module 3 : Création de premiers flux simples
- Collecte de fichiers locaux (GetFile, ListFile, FetchFile)
- Transformation simple (ReplaceText, UpdateAttribute)
- Routage conditionnel (RouteOnAttribute, RouteOnContent)
Module 4 : Monitoring et files d'attente
- Construire un pipeline qui lit un fichier CSV, transforme des colonnes, et route les lignes selon une règle métier.
Jour 2 : Connecteurs, transformation et contrôle des flux
Module 5 : Connecteurs de sources et cibles
- Bases de données relationnelles (JDBC, QueryDatabaseTable)
- Web API (InvokeHTTP, REST JSON)
- Kafka, MQTT, HDFS, FTP, Email
Module 6 : Manipulation des formats de données
- JSON, XML, CSV avec ConvertRecord, EvaluateJsonPath, JoltTransformJSON
- Utilisation des Record Processors et schémas Avro
- Gestion des erreurs, rejets, timeout
- Traitement par lot, priorisation et parallélisme
- Variables, templates et paramètres de configuration
- Introduction à NiFi Registry (versionnement des flux)
TP
- Consommer une API REST, extraire des données JSON, les stocker en base de données avec logs d'erreurs
Jour 3 : Sécurité, supervision et intégration avancée
Module 7 : Supervision, alertes et audit
- Logs, provenance, tracking
- Performance des processeurs, files d'attente
Module 8 : Sécurité
- HTTPS, utilisateurs, rôles et autorisations
- Chiffrement de bout en bout, configuration sécurisée
Module 9 : Déploiement avancé
- Mode cluster / haute disponibilité
- Intégration avec Apache Kafka, Hadoop, Elasticsearch, Cloud (AWS S3, Azure Blob)
- Bonnes pratiques et patterns d'architecture
TP final
- Créer un flux complet avec collecte de fichiers via SFTP → transformation JSON → API → base de données, avec supervision et gestion des erreurs
Modalités pédagogiques
Docaposte Institute propose plusieurs dispositifs pédagogiques adaptés aux apprenants :
- Formation en présentiel
- En groupe (inter-entreprises ou intra-entreprise)
- En individuel (monitorat)
- En journée ou en cours du soir (sur demande spécifique)
- Formation en distanciel
- Distanciel synchrone
- Distanciel asynchrone
Moyens et supports pédagogiques
- Apports des connaissances communes.
- Mises en situation sur le thème de la formation et des cas concrets.
- Méthodologie d'apprentissage attractive, interactive et participative.
- Équilibre théorie / pratique : 60 % / 40 %.
- Supports de cours fournis au format papier et/ou numérique.
- Ressources documentaires en ligne et références mises à disposition par le formateur.
- Pour les formations en présentiel dans les locaux mis à disposition, les apprenants sont accueillis dans une salle de cours équipée d'un réseau Wi-Fi, d'un tableau blanc ou paperboard. Un ordinateur avec les logiciels appropriés est mis à disposition (le cas échéant).
Modalités d'évaluation et de suivi
En amont de la formation
- Recueil des besoins des apprenants afin de disposer des informations essentielles au bon déroulement de la formation (profil, niveau, attentes particulières...)
- Auto-positionnement des apprenants afin de mesurer le niveau de départ.
Tout au long de la formation
- Évaluation continue des acquis avec des questions orales, des exercices, des QCM, des cas pratiques ou mises en situation...
À la fin de la formation
- Auto-positionnement des apprenants afin de mesurer l'acquisition des compétences.
- Evaluation par le formateur des compétences acquises par les apprenants.
- Questionnaire de satisfaction à chaud afin de recueillir la satisfaction des apprenants à l'issue de la formation.
- Questionnaire de satisfaction à froid afin d'évaluer les apports ancrés de la formation et leurs mises en application au quotidien.
Informations sur l'admission
Nous consulter.
Modalités d'admission
- Admission sans disposition particulière
Accessibilité
Nos formations peuvent être adaptées à certaines conditions de handicap. Nous contacter pour toute information et demande spécifique.