Formation Azure Databricks & PySpark – Data Engineering et Big Data
Cette formation permet de développer des pipelines de données à grande échelle avec Azure Databricks, Apache Spark et PySpark. Les participants apprennent à charger, transformer, analyser et préparer des données pour des usages analytiques, BI ou Machine Learning.
Mis à jour le
La formation Azure Databricks & PySpark en bref
- Durée
- 2 jours, soit 14 heures de formation
- Horaire
- 9 h à 16 h 30
- Format
- Classe virtuelle en direct ou présentiel à Montréal et à Québec
- Public
- Data Engineers, Développeurs Python, Ingénieurs Big Data, Analystes techniques, Architectes Data, Professionnels BI souhaitant évoluer vers le Data Engineering
- Prix
- 983 $ par participant, ou 835 $ pour organismes publics et OBNL (taxes en sus)
- Langue
- Français
Doussou Formation et Azure Databricks & PySpark en quelques faits
- Depuis 2016Doussou Formation donne des formations professionnelles au Québec
- 300+formations spécialisées au catalogue
- 97 %de satisfaction selon les évaluations clients
- RAP · CPMTFournisseur accrédité et organisme formateur reconnu
Prochaines sessions de la formation Azure Databricks & PySpark
Programme de la formation Azure Databricks & PySpark
Introduction à Azure Databricks
- Présentation d’Azure Databricks
- Apache Spark et Databricks
- Cas d’utilisation
- Architecture générale
- Workspaces
- Compute
- Notebooks
- Gestion des environnements
Introduction à Apache Spark
- Architecture Spark
- Driver
- Executors
- Jobs
- Stages
- Tasks
- Traitement distribué
- Lazy Evaluation
- Transformations et Actions
Prise en main de PySpark
- Introduction à PySpark
- Création d’un DataFrame
- Schémas
- Types de données
- Affichage et inspection
- Sélection de colonnes
- Filtrage
- Création de colonnes
Transformation des données
- select
- filter
- withColumn
- drop
- distinct
- Tri
- Gestion des valeurs manquantes
- Nettoyage des données
- Transformation des types
Jointures et agrégations
- groupBy
- Agrégations
- count
- sum
- avg
- min et max
- Inner Join
- Left Join
- Right Join
- Traitement des doublons
Lecture et écriture des données
- CSV
- JSON
- Parquet
- Tables
- Lecture depuis le Cloud
- Écriture de résultats
- Bonnes pratiques de formats de données
Spark SQL
- Création de vues
- SQL dans Databricks
- Requêtes Spark SQL
- Jointures SQL
- Agrégations
- Interaction entre SQL et PySpark
Delta Lake
- Introduction à Delta Lake
- Tables Delta
- Transactions
- Mise à jour des données
- MERGE
- Gestion des versions
- Qualité et fiabilité des données
Traitement batch et streaming
- Batch Processing
- Streaming Processing
- Principes du streaming
- Sources de données
- Transformations continues
- Introduction au Structured Streaming
Construction de pipelines de données
- Étapes d’un pipeline
- Ingestion
- Transformation
- Validation
- Stockage
- Orchestration
- Dépendances
- Gestion des erreurs
- Monitoring
Lakeflow et orchestration
- Introduction à Lakeflow
- Ingestion
- Pipelines
- Jobs
- Automatisation
- Exécution planifiée
- Suivi des traitements
Performance Spark
- Partitions
- repartition
- coalesce
- Caching
- Optimisation des jointures
- Réduction des shuffles
- Bonnes pratiques PySpark
- Analyse des performances
Qualité des données
- Validation des schémas
- Détection des valeurs manquantes
- Contrôle des doublons
- Règles métier
- Journalisation
- Traitement des erreurs
Préparation pour la BI et le Machine Learning
- Création de tables analytiques
- Préparation des données
- Agrégations
- Feature Engineering
- Exposition des données
- Intégration avec les outils BI
Ateliers pratiques
- Création d’un notebook Databricks
- Chargement d’un fichier avec PySpark
- Nettoyage et transformation d’un DataFrame
- Réalisation de jointures
- Création d’agrégations
- Manipulation de données Parquet
- Création d’une table Delta
- Construction d’un pipeline de données
- Traitement d’un flux de données
- Optimisation d’un traitement Spark
Mini-projet
- Sources de données → ingestion → nettoyage → transformation PySpark → validation → stockage Delta → données prêtes pour analyse.
Tarifs et informations pratiques
Tarif préférentiel
835 $ / participant
Organismes publics et OBNL · taxes en sus
Prix public
983 $ / participant
Entreprises et particuliers · taxes en sus
Informations pratiques
- Durée : 2 jours, soit 14 heures de formation
- Horaire : 9 h à 16 h 30
- Format : Classe virtuelle en direct ou présentiel à Montréal et à Québec
- Paiement : en ligne (PayPal ou carte) à l’inscription, ou sur facture pour les organisations
- Financement : Doussou Formation est un organisme formateur agréé par la CPMT. Pour les employeurs assujettis à la Loi sur les compétences (masse salariale de plus de 2 M$), cette formation peut être comptabilisée dans leur obligation d’investir 1 % en formation.
Formation Azure Databricks & PySpark en entreprise
Formez toute votre équipe en groupe privé, sur vos propres documents, dans vos locaux ou en classe virtuelle, aux dates qui vous conviennent.
Avis des participants
97 % de satisfaction (évaluations de fin de formation, 120 évaluations) · Lire tous les témoignages
Pourquoi suivre cette formation Azure Databricks & PySpark
Objectifs : ce que vous saurez faire
- Comprendre l’architecture d’Azure Databricks et Apache Spark.
- Utiliser des notebooks Databricks.
- Manipuler des données avec PySpark.
- Utiliser les DataFrames Spark.
- Charger et transformer des données à grande échelle.
- Réaliser des jointures et agrégations.
- Traiter des données batch et streaming.
- Lire et écrire des données dans différents formats.
- Construire des pipelines de données.
- Optimiser les traitements Spark.
- Préparer des données pour la BI et le Machine Learning.
Prérequis
- Bases de Python
- Notions SQL
- Connaissances générales sur les données et bases de données
Ce qui est inclus
- Support de cours et fichiers d’exercices pour chaque participant
- Attestation de participation
- Possibilité de coaching personnalisé après la formation
- En session publique en présentiel :
- Thé et café
- Dîner dans un restaurant à proximité
- Stationnement (dans certaines villes)
- Connexion Internet sans fil