BigData, architecture et technologies

Les sessions de formation ont lieu de 9h00 à 12h30 et de 13h30 à 17h00

Introduction

• Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau (nouvelles technologies et nouveaux usages)
• Domaines concernés : recherche scientifique, médical, e-commerce, sécurité…
• Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
• Définition de ETL : Extract Transform Load
• Les acteurs aujourd’hui

Stockage

• Caractéristiques NoSQL :
• Structure de données proches des utilisateurs, développeurs
• Données structurées et non structurées, documents, images
• Fichiers XML, JSON, CSV…
• Les différents modes et formats de stockage
• Stockage réparti : réplication, sharping, gossip protocl, hachage
• Systèmes de fichiers distribués : GFS, HDFS, BigTable…
• Les bases de données
• Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB…

Indexation et recherche

• Moteurs de recherche
• Principe de fonctionnement
• Méthodes d’indexation
• Exemple de Lucene, et mise en oeuvre avec solr
• Recherche dans les bases de volumes importants
• Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce…

Calcul et restitution, intégration

• Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
• Les produits : langage de calculs statistiques, R Statistics Language
• Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
• Zoom sur Hadoop : complémentarité de HDMS et MapReduce

Evolutions

• Les offres Saas BigData, type Google BigQuery
• Les limites actuelles. Les avancées annoncées

• Réflexion de groupe et apports théoriques du formateur.
• Travail d’échange avec les apprenants sous forme de réunion – discussion.
• Utilisation de cas concrets issus de l’expérience professionnelle.
• Validation des acquis par des questionnaires, des tests d’évaluation, des mises en situation et des jeux pédagogiques.
• Alternance entre apports théoriques et exercices pratiques (en moyenne sur 30 à 50% du temps)

Modalités pédagogiques : Présentiel, Distanciel et AFEST

Chefs de projets, architectes, et toute personne souhaitant connaître les outils et solutions pour mettre en place une architecture BigData.

En formation présentielle

Accueil des apprenants dans une salle dédiée à la formation et équipée avec :

• Ordinateurs
• Vidéo projecteur ou Écran TV interactif
• Tableau blanc ou Paper-Board

En formation distancielle

A l’aide d’un logiciel comme ® Microsoft Teams ou Zoom, un micro et une caméra pour l’apprenant.

• Suivez une formation en temps réel et entièrement à distance. Lors de la session en ligne, les apprenants interagissent et communiquent entre eux et avec le formateur.
• Les formations en distanciel sont organisées en Inter-Entreprise comme en Intra-Entreprise.
• L’accès à l’environnement d’apprentissage (support de cours, ressources formateur, fichiers d’exercices …) ainsi qu’aux preuves de suivi et d’assiduité (émargement, évaluation) est assuré.
• Les participants recevront une convocation avec le lien de connexion à la session de formation.
• Pour toute question avant et pendant le parcours, une assistance technique et pédagogique est à disposition par téléphone au 02 35 12 25 55 ou par email à commercial@xxlformation.com

• Positionnement préalable oral ou écrit.
• Feuille de présence signée en demi-journée.
• Evaluation des acquis tout au long de la formation.
• Questionnaire de satisfaction
• Attestation de stage à chaque apprenant
• Evaluation formative tout au long de la formation.
• Evaluation sommative faite par le formateur.

• Nos formateurs sont des experts dans leurs domaines d’intervention
• Leur expérience de terrain et leurs qualités pédagogiques constituent un gage de qualité