BigData, architecture et technologies

Les sessions de formation ont lieu de 9h00 à 12h30 et de 13h30 à 17h00

Introduction

• Le besoin : volumes importants de données, traitements optimisés de flux de données au fil de l’eau (nouvelles technologies et nouveaux usages)
• Domaines concernés : recherche scientifique, médical, e-commerce, sécurité…
• Développement des techniques sur différents aspects : stockage, indexation/recherche, calcul
• Définition de ETL : Extract Transform Load
• Les acteurs aujourd’hui

Stockage

• Caractéristiques NoSQL :
• Structure de données proches des utilisateurs, développeurs
• Données structurées et non structurées, documents, images
• Fichiers XML, JSON, CSV…
• Les différents modes et formats de stockage
• Stockage réparti : réplication, sharping, gossip protocl, hachage
• Systèmes de fichiers distribués : GFS, HDFS, BigTable…
• Les bases de données
• Quelques exemples de produits et leurs caractéristiques : cassandra, MongoDB, CouchDB, DynamoDB…

Indexation et recherche

• Moteurs de recherche
• Principe de fonctionnement
• Méthodes d’indexation
• Exemple de Lucene, et mise en oeuvre avec solr
• Recherche dans les bases de volumes importants
• Exemples de produits et comparaison : dremel, drill, elasticsearch, MapReduce…

Calcul et restitution, intégration

• Différentes solutions : calculs en mode batch, ou en temps réel, sur des flux de données ou des données statiques
• Les produits : langage de calculs statistiques, R Statistics Language
• Outils de calcul sur des volumes importants : storm en temps réel, hadoop en mode batch
• Zoom sur Hadoop : complémentarité de HDMS et MapReduce

Evolutions

• Les offres Saas BigData, type Google BigQuery
• Les limites actuelles. Les avancées annoncées

• Réflexion de groupe et apports théoriques du formateur.
• Travail d’échange avec les apprenants sous forme de réunion – discussion.
• Utilisation de cas concrets issus de l’expérience professionnelle.
• Validation des acquis par des questionnaires, des tests d’évaluation, des mises en situation et des jeux pédagogiques.
• Alternance entre apports théoriques et exercices pratiques (en moyenne sur 30 à 50% du temps)

Chefs de projets, architectes, et toute personne souhaitant connaître les outils et solutions pour mettre en place une architecture BigData.

En formation présentielle

Accueil des apprenants dans une salle dédiée à la formation et équipée avec :

• Ordinateurs
• Vidéo projecteur ou Écran TV interactif
• Tableau blanc ou Paper-Board

En formation distancielle

A l’aide d’un logiciel comme ® Microsoft Teams ou Zoom, un micro et une caméra pour l’apprenant.

• Suivez une formation en temps réel et entièrement à distance. Lors de la session en ligne, les apprenants interagissent et communiquent entre eux et avec le formateur.
• Les formations en distanciel sont organisées en Inter-Entreprise comme en Intra-Entreprise.
• L’accès à l’environnement d’apprentissage (support de cours, ressources formateur, fichiers d’exercices …) ainsi qu’aux preuves de suivi et d’assiduité (émargement, évaluation) est assuré.
• Les participants recevront une convocation avec le lien de connexion à la session de formation.
• Pour toute question avant et pendant le parcours, une assistance technique et pédagogique est à disposition par téléphone au 02 35 12 25 55 ou par email à commercial@xxlformation.com

• Positionnement préalable oral ou écrit.
• Feuille de présence signée en demi-journée.
• Evaluation des acquis tout au long de la formation.
• Questionnaire de satisfaction
• Attestation de stage à chaque apprenant
• Evaluation formative tout au long de la formation.
• Evaluation sommative faite par le formateur.

• Nos formateurs sont des experts dans leurs domaines d’intervention
• Leur expérience de terrain et leurs qualités pédagogiques constituent un gage de qualité