Hadoop — QCM de révision complet (10 chapitres)

Les questions du quiz

1. 1. Dans l'exemple WordCount du chapitre, a quoi correspond l'etape Map ?
   1. Transformer chaque ligne en paires (mot, 1)
   2. Trier les mots par ordre alphabetique
   3. Regrouper les mots identiques et les compter
   4. Supprimer les doublons du texte
2. 2. Dans l'exemple WordCount, a quoi correspond l'etape Reduce ?
   1. Charger le fichier texte en memoire
   2. Regrouper par mot et additionner les 1
   3. Envoyer les donnees sur le reseau
   4. Diviser le texte en lignes
3. 3. Dans le code paires = [(mot, 1) for ligne in texte for mot in ligne.split()], que fait exactement la methode .split() appliquee a une chaine comme 'le chat dort' ?
   1. Elle convertit la chaine en majuscules
   2. Elle compte le nombre de caracteres de la chaine
   3. Elle decoupe la chaine en une liste de mots selon les espaces
   4. Elle supprime les espaces dans la chaine
4. 4. Que produit exactement le code Python suivant tire du chapitre ?

   texte = ['le chat dort', 'le chien dort', 'le chat joue']
   paires = [(mot, 1) for ligne in texte for mot in ligne.split()]
   comptes = {}
   for mot, un in paires:
       comptes[mot] = comptes.get(mot, 0) + un
   print(comptes)

   1. Une liste triee des mots par ordre alphabetique
   2. Une erreur car paires n'est pas defini avant la boucle
   3. Un dictionnaire associant chaque mot a sa position dans le texte
   4. Un dictionnaire associant chaque mot au nombre de fois qu'il apparait
5. 5. Avec texte = ['le chat dort', 'le chien dort', 'le chat joue'] et le code WordCount du chapitre, quelle est la valeur associee a la cle 'dort' dans le dictionnaire comptes final ?
   1. 3
   2. 2
   3. 1
   4. 0
6. 6. Avec le meme texte ['le chat dort', 'le chien dort', 'le chat joue'], quelle est la valeur de comptes['le'] apres execution du code WordCount du chapitre ?
   1. 1
   2. 2
   3. 3
   4. 4
7. 7. Dans le notebook de pratique, la fonction map est definie ainsi :

   def fonction_map(ligne):
       return [(mot, 1) for mot in ligne.lower().split()]

   Quel est l'interet d'appeler .lower() avant .split() ici ?
   1. Uniformiser la casse pour que 'Le' et 'le' soient comptes comme le meme mot
   2. Trier les mots par ordre alphabetique
   3. Supprimer la ponctuation du texte
   4. Accelerer l'execution du programme
8. 8. Dans le notebook, la fonction reduce est definie par def fonction_reduce(valeurs): return sum(valeurs), appliquee ainsi : comptes = {mot: fonction_reduce(vs) for mot, vs in groupes.items()}. Si groupes['chat'] vaut [1, 1], que vaut comptes['chat'] ?
   1. 1
   2. [1, 1]
   3. 0
   4. 2
9. 9. Dans le notebook, l'etape de shuffle est realisee avec le code suivant :

   from collections import defaultdict
   groupes = defaultdict(list)
   for mot, un in paires:
       groupes[mot].append(un)

   Que contient groupes['le'] si le mot 'le' apparait 3 fois dans le texte source ?
   1. ['le', 'le', 'le']
   2. {'le': 3}
   3. [1, 1, 1]
   4. 3
10. 10. Que se passe-t-il, dans le meme code WordCount, si le texte d'entree contient une ligne vide '' ajoutee a la liste texte ?
    1. Tous les comptes sont remis a zero
    2. La ligne vide ne genere aucune paire (mot, 1) supplementaire, car ''.split() retourne une liste vide
    3. Le programme leve une exception et s'arrete
    4. La ligne vide est comptee comme un mot special ''
11. 11. Comment appelle-t-on la strategie qui consiste a acheter une machine toujours plus puissante (plus de CPU, RAM, disque) pour traiter plus de donnees ?
    1. Le scale-out
    2. La replication
    3. Le sharding
    4. Le scale-up
12. 12. Quel terme designe l'approche consistant a repartir le travail entre de nombreuses machines ordinaires plutot que d'utiliser une seule machine tres puissante ?
    1. Scale-out
    2. Overclocking
    3. Failover
    4. Scale-up
13. 13. Combien de dimensions (les « V ») utilise-t-on classiquement pour caracteriser le Big Data selon ce chapitre ?
    1. Cinq
    2. Trois
    3. Quatre
    4. Six
14. 14. Le « V » de Velocite designe :
    1. La diversite des formats de donnees
    2. Le debit d'arrivee des donnees, parfois en temps reel
    3. La fiabilite des donnees recues
    4. La quantite totale de donnees stockees
15. 15. Le « V » de Variete correspond a :
    1. La vitesse d'arrivee des donnees
    2. L'utilite metier des donnees
    3. La diversite des formats (SQL, JSON, texte, images, video...)
    4. Le taux d'erreurs et de doublons
16. 16. Des donnees comportant des valeurs manquantes, des doublons et du bruit posent un probleme de :
    1. Volume
    2. Valeur
    3. Variete
    4. Veracite
17. 17. GFS et MapReduce, publies par Google, correspondent respectivement a :
    1. Un ordonnanceur et un systeme de messagerie
    2. Un stockage distribue et un calcul distribue
    3. Un moteur de recherche et une base graphe
    4. Un langage SQL et une base NoSQL
18. 18. Quelles sont les deux briques fondatrices de Hadoop presentees dans ce chapitre ?
    1. Sqoop et Flume
    2. Hive et HBase
    3. HDFS et YARN/MapReduce
    4. Kafka et Spark
19. 19. Que signifie le sigle HDFS ?
    1. Hadoop Distributed File System
    2. Hadoop Data Feed Service
    3. Hierarchical Data File Store
    4. High Data Flow System
20. 20. Quel outil de l'ecosysteme Hadoop est presente comme un moteur de calcul rapide fonctionnant principalement en memoire ?
    1. ZooKeeper
    2. Oozie
    3. Sqoop
    4. Spark
21. 21. Quels outils permettent d'interroger des donnees sur HDFS avec un langage proche du SQL ou par scripts ?
    1. Kafka et Flume
    2. HBase et Sqoop
    3. Hive et Pig
    4. Oozie et ZooKeeper
22. 22. Que distingue principalement le traitement « batch » du traitement « streaming », selon le chapitre ?
    1. Le batch necessite obligatoirement Kafka
    2. Le batch traite un gros lot de donnees accumulees, le streaming reagit a chaque evenement
    3. Le streaming ne peut fonctionner qu'avec HBase
    4. Le batch est plus recent que le streaming
23. 23. Parmi les trois « murs » atteints par le scale-up cites dans le chapitre, lequel des elements suivants n'en fait PAS partie ?
    1. Le point unique de panne
    2. Le prix qui explose de facon non lineaire
    3. Les limites physiques d'une machine unique
    4. La difficulte a ecrire du code SQL
24. 24. D'apres le chapitre, sur un cluster de 5000 machines, que peut-on dire des pannes materielles ?
    1. Il y en a en permanence, et c'est un phenomene normal
    2. Elles sont impossibles grace a la redondance
    3. Elles sont exceptionnelles grace au materiel haut de gamme
    4. Elles n'existent que lors de la mise en service initiale
25. 25. Quel mecanisme permet a un systeme Big Data de tolerer les pannes de machines plutot que de les eviter ?
    1. La redondance (copie des donnees, rejeu des calculs perdus)
    2. L'achat de materiel plus cher
    3. La reduction du nombre de machines
    4. L'arret automatique du cluster en cas d'erreur
26. 26. Selon la synthese du chapitre (bloc « A retenir » sur les 5 V), quel message principal faut-il retenir ?
    1. Seul le Volume determine si l'on est en Big Data
    2. Le probleme peut venir de n'importe lequel des cinq V, pas seulement du volume
    3. Les 5 V ne s'appliquent qu'aux donnees structurees
    4. Veracite et Valeur sont des synonymes
27. 27. En quelle annee Google a-t-il publie les articles fondateurs sur GFS et MapReduce, a l'origine de Hadoop ?
    1. 2010-2011
    2. 1998-1999
    3. 2003-2004
    4. 2013-2014
28. 28. En quelle annee les idees de Google ont-elles ete reimplantees en logiciel libre sous le nom Hadoop (projet Apache) ?
    1. 2010
    2. 2003
    3. 2013
    4. 2006
29. 29. Que s'est-il passe en 2013 avec Hadoop 2, d'apres la frise historique du chapitre ?
    1. La creation de HDFS
    2. L'introduction de YARN, qui separe la gestion des ressources du modele de calcul
    3. L'arret du projet Apache Hadoop
    4. La sortie de Spark
30. 30. Quel est le principe cle presente sous le nom de « deplacer le calcul vers les donnees » (data locality) ?
    1. Dupliquer le programme sur toutes les machines avant de savoir ou sont les donnees
    2. Copier systematiquement toutes les donnees sur une seule machine centrale avant de calculer
    3. Envoyer un petit programme s'executer sur la machine qui detient deja le bloc de donnees
    4. Transferer les teraoctets de donnees vers le serveur de calcul le plus puissant

… et 470 autres questions.