Google Cloud Platform Ingénierie de données

Les sessions de formation ont lieu de 9h00 à 12h30 et de 13h30 à 17h00

Introduction à l’ingénierie des données

• Explorer le rôle d’un data engineer
• Analyser les défis d’ingénierie des données
• Introduction à BigQuery
• Data lakes et data warehouses
• Démo: requêtes fédérées avec BigQuery
• Bases de données transactionnelles vs data warehouses
• Démo: recherche de données personnelles dans votre jeu de données avec l’API DLP
• Travailler efficacement avec d’autres équipes de données
• Gérer l’accès aux données et gouvernance
• Construire des pipelines prêts pour la production
• Etude de cas d’un client GCP
• Lab : Analyse de données avec BigQuery

Construire un Data lake

• Introduction aux data lakes
• Stockage de données et options ETL sur GCP
• Construction d’un data lake à l’aide de Cloud Storage
• Démo : optimisation des coûts avec les classes et les fonctions cloud de Google Cloud Storage
• Sécurisation de Cloud Storage
• Stocker tous les types de données
• Démo : exécution de requêtes fédérées sur des fichiers Parquet et ORC dans BigQuery
• Cloud SQL en tant que data lake relationnel

Construire un Data Warehouse

• Le data warehouse moderne
• Introduction à BigQuery
• Démo : Requêter des TB + de données en quelques secondes
• Commencer à charger des données
• Démo: Interroger Cloud SQL à partir de BigQuery
• Lab : Chargement de données avec la console et la CLI
• Explorer les schémas
• Exploration des jeux de données publics BigQuery avec SQL à l’aide de Information_Schema
• Conception de schéma
• Démo : Exploration des jeux de données publics BigQuery avec SQL à l’aide de Information_Schema
• Champs imbriqués et répétés dans BigQuery
• Lab : tableaux et structures
• Optimiser avec le partitionnement et le clustering
• Démo : Tables partitionnées et groupées dans BigQuery
• Aperçu : Transformation de données par lots et en continu

Introduction à la construction de pipelines de données par lots EL, ELT, ETL

• Considérations de qualité
• Comment effectuer des opérations dans BigQuery
• Démo : ETL pour améliorer la qualité des données dans BigQuery
• Des lacunes
• ETL pour résoudre les problèmes de qualité des données

Exécution de Spark sur Cloud Dataproc

• L’écosystème Hadoop
• Exécution de Hadoop sur Cloud Dataproc GCS au lieu de HDFS
• Optimiser Dataproc
• Atelier : Exécution de jobs Apache Spark sur Cloud Dataproc

Traitement de données sans serveur avec Cloud dataflow

• Cloud Dataflow
• Pourquoi les clients apprécient-ils Dataflow ?
• Pipelines de flux de données
• Lab : Pipeline de flux de données simple (Python / Java)
• Lab : MapReduce dans un flux de données (Python / Java)
• Lab : Entrées latérales (Python / Java)
• Templates Dataflow
• Dataflow SQL

Gestion des pipelines de données avec Cloud Data fusion and Cloud composer

• Création visuelle de pipelines de données par lots avec Cloud Data Fusion: composants, présentation de l’interface utilisateur, construire un pipeline, exploration de données en utilisant Wrangler
• Lab : Construction et exécution d’un graphe de pipeline dans Cloud Data Fusion
• Orchestrer le travail entre les services GCP avec Cloud Composer – Apache Airflow
• Environment : DAG et opérateurs, planification du flux de travail
• Démo : Chargement de données déclenché par un événement avec Cloud Composer, Cloud Functions, Cloud Storage et BigQuery
• Lab : Introduction à Cloud Composer

Introduction au traitement de données en streaming

• Traitement des données en streaming

Serverless messaging avec Cloud Pub/Sub

• Cloud Pub/Sub
• Lab : Publier des données en continu dans Pub/Sub

Fonctionnalités streaming de Cloud Dataflow

• Fonctionnalités streaming de Cloud Dataflow
• Lab : Pipelines de données en continu

Fonctionnalités streaming à haut débit BIGQUERY ET BIGTABLE

• Fonctionnalités de streaming BigQuery
• Lab : Analyse en continu et tableaux de bord
• Cloud Bigtable
• Lab : Pipelines de données en continu vers Bigtable

Fonctionnalités avancées de BIGQUERY et performance

• Analytic Window Functions
• Utiliser des clauses With
• Fonctions SIG
• Démo: Cartographie des codes postaux à la croissance la plus rapide avec BigQuery GeoViz
• Considérations de performance
• Lab : Optimisation de vos requêtes BigQuery pour la performance
• Lab : Création de tables partitionnées par date dans BigQuery

Introduction à l’analytique et à l’IA

• Qu’est-ce que l’IA?
• De l’analyse de données ad hoc aux décisions basées sur les données
• Options pour modèles ML sur GCP

API de modèle ML prédéfinis pour les données non structurées

• Les données non structurées sont difficiles à utiliser
• API ML pour enrichir les données
• Lab : Utilisation de l’API en langage naturel pour classer le texte non structuré

Big Data Analytics avec les notebooks Cloud AI plateform

• Qu’est-ce qu’un notebook
• BigQuery Magic et liens avec Pandas
• Lab : BigQuery dans Jupyter Labs sur IA Platform

Pipeline de production ML avec Kubeflow

• Façons de faire du ML sur GCP
• Kubeflow AI Hub
• Lab : Utiliser des modèles d’IA sur Kubeflow

Création de modèles personnalisés avec SQL dans BIGQUERY ML

• BigQuery ML pour la construction de modèles rapides
• Démo : Entraîner un modèle avec BigQuery ML pour prédire les tarifs de taxi à New York
• Modèles pris en charge
• Lab : Prédire la durée d’une sortie à vélo avec un modèle de régression dans BigQuery ML
• Lab : Recommandations de film dans BigQuery ML

Création de modèles personnalisés avec Cloud AUTOML

• Pourquoi Auto ML?
• Auto ML Vision
• Auto ML NLP
• Auto ML Tables

• Réflexion de groupe et apports théoriques du formateur.
• Travail d’échange avec les apprenants sous forme de réunion – discussion.
• Utilisation de cas concrets issus de l’expérience professionnelle.
• Validation des acquis par des questionnaires, des tests d’évaluation, des mises en situation et des jeux pédagogiques.
• Alternance entre apports théoriques et exercices pratiques (en moyenne sur 30 à 50% du temps)

Modalités pédagogiques : Présentiel, Distanciel et AFEST

Développeurs expérimentés en charge des transformations du Big Data

En formation présentielle

Accueil des apprenants dans une salle dédiée à la formation et équipée avec :

• Ordinateurs
• Vidéo projecteur ou Écran TV interactif
• Tableau blanc ou Paper-Board

En formation distancielle

A l’aide d’un logiciel comme ® Microsoft Teams ou Zoom, un micro et une caméra pour l’apprenant.

• Suivez une formation en temps réel et entièrement à distance. Lors de la session en ligne, les apprenants interagissent et communiquent entre eux et avec le formateur.
• Les formations en distanciel sont organisées en Inter-Entreprise comme en Intra-Entreprise.
• L’accès à l’environnement d’apprentissage (support de cours, ressources formateur, fichiers d’exercices …) ainsi qu’aux preuves de suivi et d’assiduité (émargement, évaluation) est assuré.
• Les participants recevront une convocation avec le lien de connexion à la session de formation.
• Pour toute question avant et pendant le parcours, une assistance technique et pédagogique est à disposition par téléphone au 02 35 12 25 55 ou par email à commercial@xxlformation.com

• Positionnement préalable oral ou écrit.
• Feuille de présence signée en demi-journée.
• Evaluation des acquis tout au long de la formation.
• Questionnaire de satisfaction
• Attestation de stage à chaque apprenant
• Evaluation formative tout au long de la formation.
• Evaluation sommative faite par le formateur.

• Nos formateurs sont des experts dans leurs domaines d’intervention
• Leur expérience de terrain et leurs qualités pédagogiques constituent un gage de qualité