SCI 1017 Traitement des données massives

Professeur responsable

Belkacem Chikhaoui

Préalable

INF 1220

Objectifs

• Identifier les concepts fondamentaux propres au traitement des données massives.
• Appliquer les techniques de stockage et de traitement des données massives.
• Appliquer les fonctions de base des librairies Python destinées à la manipulation et au traitement des données massives.

Contenu

Le cours est organisé en cinq modules, qui traitent de :

1. Définition des données massives : volume, variété, vélocité. Les différentes méthodes de traitement des données massives, traitement par lots (batch processing), traitement en continu (stream processing).

2. Principe de Map Reduce. Représentation de données dans HADOOP : le système HDFS, exemples d'applications.

3. Ensembles de données distribués résilients (RDD : resilient distributed datasets) : créer et utiliser des RDD, transformations sur des RDD. SPARK SQL, SPARK Graph X, SPARK MLIB : exemples d'applications.

4. Introduction aux données non structurées. Stockage des données non structurées : MongoDB. Requêtes sur des données non structurées.

5. Stockage et traitement des données en infonuagique (exemple de Google Cloud). Requêtes sur des données stockées en infonuagique : introduction à Big Query. Exemples d'application sur Google Cloud.

Matériel didactique

Le matériel didactique est accessible sur le site Web du cours.

Matériel expédié

Renseignements technologiques

Consultez l'information sur le matériel informatique recommandé.

Encadrement

L'encadrement est individualisé et assuré par le professeur responsable du cours ou par une personne tutrice. Les communications se font par téléphone ou par courriel.

Évaluation

L'évaluation repose sur cinq travaux en ligne (10 %, 10 %, 15 %, 15 % et 10 %) et un projet final (40 %).