26/Oct 2015
4 min. read
1 - Qu’est-ce que HBase ? HBase est un système de gestion de base de données non-relationnelles distribué, écrit en Java, disposant d’un stockage structuré pour les grandes tables. HBase est un sous-projet d’Hadoop, un framework d’architecture distribuée. La base de données HBase s’installe généralement sur le système de fichiers HDFS d’Hadoop pour faciliter la distribution. Cet article fait suite à celui traitant d’un cluster Hadoop en mode “Haute Disponibilité et à Basculement Automatique”, il reprend les mêmes éléments, à savoir Zookeeper, Java et Hadoop.
5/Oct 2015
7 min. read
1 - Qu’est-ce que Hadoop ? Hadoop est un framework destiné à faciliter la création d’applications distribuées et échelonnables permettant aux applications de travailler avec de nombreux noeuds et des données de grandes tailles. Dans le premier document, nous avions étudié un cas de cluster Hadoop ne comprenant que deux noeuds, un maître et un esclave. Dans celui-ci, nous allons nous concentrer sur un cluster disposant des fonctions “Haute disponibilité” et “Basculement de charge automatique”, grâce à l’utilisation de zookeeper.
25/Sep 2015
4 min. read
1 - Qu’est-ce que Hadoop ? Hadoop est un framework destiné à faciliter la création d’applications distribuées et échelonnables permettant aux applications de travailler avec de nombreux noeuds et des données de grandes tailles. Dans le précédent document, nous avions étudié un cas de cluster Hadoop ne comprenant que deux noeuds, un maître et un esclave. Dans celui-ci, nous allons nous pencher sur un cluster disposant de plusieurs noeux maîtres. 2 - Contexte initial Nous avons déployé les serveurs suivants, installé Java et Hadoop sur chacun d’eux : - mida-clmaster1 : 192.168.1.1 - CentOS 7 - mida-clslave1 : 192.168.1.50 - CentOS 7 3 - Situation finale Hadoop sera installé de la manière suivante : Les noeuds maîtres disposeront des rôles suivants : Namenode, Secondary Namenode, Resource Manager Le noeud esclave disposera des rôles suivants : Datanode Node Manager 4 - Comment installer et configurer Hadoop dans cet environnement.
22/Sep 2015
4 min. read
1 - Qu’est-ce que Hadoop ? Hadoop est un framework destiné à faciliter la création d’applications distribuées et échelonnables permettant aux applications de travailler avec de nombreux noeuds et des données de grandes tailles. 2 - Contexte initial Nous avons déployé les serveurs suivants : - clmaster1 : 192.168.1.1 - CentOS 7 - clslave1 : 192.168.1.50 - CentOS 7 3 - Situation finale Hadoop sera installé de la manière suivante : Le noeud maître disposera des rôles suivants : Namenode, Secondary Namenode, Resource Manager Le noeud esclave disposera du rôle suivant : Datanode Node Manager 4 - Comment installer Hadoop dans cet environnement ?
18/Sep 2015
4 min. read
Mesos - installation et configuration 1 - Qu’est-ce que Mesos ? Apache Mesos est un outil Open Source de gestion de cluster. Il permet de mettre les ressources en commun tout en isolant les applications/framework à l’aide d’API de gestion de ressources et de planification. Les applications/framework possibles sont les suivants : Marathon, Chronos, Hadoop, Spark, etc… 2 - Comment l’installer ? Il est possible de l’installer depuis les sources disponible sur le site du projet ou depuis les dépots des distrubtions linux.