Formation Apache Kafka – Streaming et traitement de données temps réel
Cette formation permet de comprendre et mettre en œuvre Apache Kafka pour construire des architectures orientées événements et des pipelines de données temps réel. Les participants apprennent à produire, consommer, organiser et traiter des flux de données à l’aide des principales fonctionnalités de Kafka.
Mis à jour le
La formation Apache Kafka en bref
- Durée
- 2 jours, soit 14 heures de formation
- Horaire
- 9 h à 16 h 30
- Format
- Classe virtuelle en direct ou présentiel à Montréal et à Québec
- Public
- Data Engineers, Développeurs, Architectes logiciels, Ingénieurs DevOps, Ingénieurs Big Data, Développeurs Java ou Python
- Prix
- 983 $ par participant, ou 835 $ pour organismes publics et OBNL (taxes en sus)
- Langue
- Français
Doussou Formation et Apache Kafka en quelques faits
- Depuis 2016Doussou Formation donne des formations professionnelles au Québec
- 300+formations spécialisées au catalogue
- 97 %de satisfaction selon les évaluations clients
- RAP · CPMTFournisseur accrédité et organisme formateur reconnu
Prochaines sessions de la formation Apache Kafka
Programme de la formation Apache Kafka
Introduction au streaming
- Batch vs temps réel
- Event-Driven Architecture
- Streaming de données
- Cas d’utilisation
- IoT
- Logs
- Transactions
- Microservices
- Data Engineering
Architecture Kafka
- Broker
- Cluster
- Topic
- Partition
- Offset
- Producer
- Consumer
- Réplication
- Fonctionnement distribué
Installation et prise en main
- Installation
- Démarrage d’un environnement Kafka
- Commandes principales
- Création de topics
- Liste des topics
- Configuration
- Suppression
Producers
- Rôle du Producer
- Envoi d’événements
- Clés
- Partitionnement
- Sérialisation
- Acknowledgements
- Gestion des erreurs
- Retries
Consumers
- Rôle du Consumer
- Lecture d’événements
- Offsets
- Consommation
- Commits
- Gestion des erreurs
Consumer Groups
- Fonctionnement
- Répartition des partitions
- Scalabilité
- Rééquilibrage
- Parallélisme
- Bonnes pratiques
Topics et partitions
- Stratégie de partitionnement
- Ordering
- Nombre de partitions
- Réplication
- Rétention des données
- Disponibilité
Kafka Connect
- Principe de Kafka Connect
- Source Connectors
- Sink Connectors
- Ingestion depuis une base ou un fichier
- Export vers d’autres systèmes
- Configuration
- Monitoring
Kafka Streams
- Introduction à Kafka Streams
- Transformation de flux
- Filtrage
- Agrégations
- Jointures
- Fenêtres temporelles
- Traitement stateful
Architecture événementielle
- Event Producer
- Event Consumer
- Découplage des systèmes
- Microservices
- Event Notification
- Event-Carried State Transfer
- Bonnes pratiques
Gestion des erreurs
- Messages invalides
- Retries
- Dead Letter Topics
- Duplication
- Idempotence
- Traitement des erreurs
Sécurité Kafka
- Authentification
- Autorisation
- Chiffrement
- TLS
- ACL
- Gestion des accès
- Protection du cluster
Monitoring
- Indicateurs principaux
- Lag des consumers
- Débit
- Disponibilité
- Partitions
- Métriques
- Alertes
Kafka dans une architecture Data
- Kafka + Spark
- Kafka + Databricks
- Kafka + bases de données
- Kafka + microservices
- Pipelines de données temps réel
Ateliers pratiques
- Création d’un topic
- Production de messages
- Consommation de messages
- Création d’un Consumer Group
- Test du partitionnement
- Configuration de la réplication
- Mise en place d’un pipeline avec Kafka Connect
- Transformation d’un flux
- Analyse du Consumer Lag
- Simulation d’un scénario temps réel
Mini-projet
- Application source → Kafka Producer → Topic → Consumer / Stream Processing → stockage ou application cible.
Tarifs et informations pratiques
Tarif préférentiel
835 $ / participant
Organismes publics et OBNL · taxes en sus
Prix public
983 $ / participant
Entreprises et particuliers · taxes en sus
Informations pratiques
- Durée : 2 jours, soit 14 heures de formation
- Horaire : 9 h à 16 h 30
- Format : Classe virtuelle en direct ou présentiel à Montréal et à Québec
- Paiement : en ligne (PayPal ou carte) à l’inscription, ou sur facture pour les organisations
- Financement : Doussou Formation est un organisme formateur agréé par la CPMT. Pour les employeurs assujettis à la Loi sur les compétences (masse salariale de plus de 2 M$), cette formation peut être comptabilisée dans leur obligation d’investir 1 % en formation.
Formation Apache Kafka en entreprise
Formez toute votre équipe en groupe privé, sur vos propres documents, dans vos locaux ou en classe virtuelle, aux dates qui vous conviennent.
Avis des participants
97 % de satisfaction (évaluations de fin de formation, 120 évaluations) · Lire tous les témoignages
Pourquoi suivre cette formation Apache Kafka
Objectifs : ce que vous saurez faire
- Comprendre l’architecture d’Apache Kafka.
- Créer et administrer des topics.
- Produire des événements.
- Consommer des événements.
- Comprendre partitions et réplication.
- Gérer les Consumer Groups.
- Concevoir des pipelines événementiels.
- Utiliser Kafka Connect.
- Comprendre Kafka Streams.
- Sécuriser et superviser un environnement Kafka
Prérequis
- Notions de programmation
- Compréhension générale des architectures distribuées recommandée
- Notions Linux utiles
Ce qui est inclus
- Support de cours et fichiers d’exercices pour chaque participant
- Attestation de participation
- Possibilité de coaching personnalisé après la formation
- En session publique en présentiel :
- Thé et café
- Dîner dans un restaurant à proximité
- Stationnement (dans certaines villes)
- Connexion Internet sans fil