Hadoop est un projet open source Apache qui fournit des logiciels pour une informatique distribuée fiable et évolutive. Le noyau se compose d'un système de fichiers distribué (HDFS) et d'un gestionnaire de ressources (YARN). Divers autres projets open source, tels qu'Apache Hive, utilisent Apache Hadoop comme couche de persistance.
Je configure actuellement hadoop sur un serveur exécutant CentOs . Lorsque j'exécute start-dfs.shou stop-dfs.sh, j'obtiens l'erreur suivante: WARN util.NativeCodeLoader: impossible de charger la bibliothèque native-hadoop pour votre plate-forme ... à l'aide des classes Java intégrées le cas échéant...
Fermé . Cette question est basée sur l'opinion . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin d'y répondre avec des faits et des citations en modifiant ce message . Fermé il y a 4 ans . Améliorez cette question Mon parcours - 4...
J'essaie de comprendre la relation entre le nombre de cœurs et le nombre d'exécuteurs lors de l'exécution d'un travail Spark sur YARN. L'environnement de test est le suivant: Nombre de nœuds de données: 3 Spécifications de la machine du nœud de données: CPU: Core i7-4790 (nombre de cœurs: 4, nombre...
Quels sont les avantages de l' utilisation soit Hadoop ou HBase ou Ruche ? D'après ce que je comprends, HBase évite d'utiliser la réduction de carte et dispose d'un stockage orienté colonne au-dessus de HDFS. Hive est une interface de type sql pour Hadoop et HBase . J'aimerais également savoir...
J'ai installé Spark à l'aide du guide AWS EC2 et je peux lancer le programme correctement en utilisant le bin/pysparkscript pour accéder à l'invite Spark et je peux également effectuer le démarrage rapide avec succès. Cependant, je ne peux pas pour la vie de moi comprendre comment arrêter toute la...
Je voudrais lire un CSV dans Spark et le convertir en DataFrame et le stocker en HDFS avec df.registerTempTable("table_name") J'ai essayé: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") Erreur que j'ai obtenue: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a...
Les caractéristiques d'Apache Parquet sont: Auto-descriptif Format en colonne Indépendant de la langue En comparaison avec Avro, les fichiers de séquence, les fichiers RC, etc. je veux un aperçu des formats. J'ai déjà lu: Comment Impala fonctionne avec les formats de fichiers Hadoop , cela donne...
Comment copier un fichier de HDFS vers le système de fichiers local. Il n'y a pas d'emplacement physique d'un fichier sous le fichier, pas même de répertoire. comment puis-je les déplacer dans mon local pour d'autres validations.Je suis essayé via
C'est un peu une question naïve mais je suis nouveau dans le paradigme NoSQL et je n'en sais pas grand-chose. Donc, si quelqu'un peut m'aider à comprendre clairement la différence entre le HBase et Hadoop ou si vous donnez des conseils qui pourraient m'aider à comprendre la différence. Jusqu'à...
Je sais que les deux sont effectués sur une colonne du tableau, mais en quoi chaque opération est-elle
Dans de nombreuses situations réelles où vous appliquez MapReduce, les algorithmes finaux finissent par être plusieurs étapes MapReduce. c'est-à-dire Map1, Reduce1, Map2, Reduce2, et ainsi de suite. Vous avez donc la sortie de la dernière réduction qui est nécessaire comme entrée pour la carte...
root# bin/hadoop fs -mkdir t mkdir: org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory /user/root/t. Name node is in safe mode. impossible de créer quoi que ce soit dans hdfs J'ai fait root# bin/hadoop fs -safemode leave Mais montrant safemode: Unknown command quel...
Selon le Hadoop - The Definitive Guide Les enregistrements logiques définis par FileInputFormats ne s'intègrent généralement pas parfaitement dans les blocs HDFS. Par exemple, les enregistrements logiques d'un TextInputFormat sont des lignes qui traverseront le plus souvent les limites HDFS. Cela...
Dans la programmation de Map Reduce, la phase de réduction comprend le mélange, le tri et la réduction comme sous-parties. Le tri est une affaire coûteuse. Quel est le but de la phase de mélange et de tri dans le réducteur dans Map Reduce
Quelqu'un peut-il me dire la différence entre la table externe de Hive et les tables internes. Je sais que la différence vient du fait de laisser tomber la table. Je ne comprends pas ce que vous entendez par les données et les métadonnées sont supprimées en interne et seules les métadonnées sont...
L'un des principaux exemples utilisés pour démontrer la puissance de MapReduce est le benchmark Terasort . J'ai du mal à comprendre les bases de l'algorithme de tri utilisé dans l'environnement MapReduce. Pour moi, le tri consiste simplement à déterminer la position relative d'un élément par...
Sont-ils censés être égaux? mais, pourquoi les hadoop fscommandes " " affichent les commandes hdfs filestandis que les hdfs dfscommandes " " affichent les fichiers locaux? voici les informations de version de hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git:
J'obtiens l'erreur suivante lors du démarrage de namenode pour la dernière version hadoop-2.2. Je n'ai pas trouvé le fichier winutils exe dans le dossier hadoop bin. J'ai essayé les commandes ci-dessous $ bin/hdfs namenode -format $ sbin/yarn-daemon.sh start resourcemanager ERROR [main] util.Shell...
Fermé. Cette question ne respecte pas les directives de Stack Overflow . Il n'accepte pas les réponses actuellement. Vous souhaitez améliorer cette question? Mettez à jour la question pour qu'elle soit pertinente pour Stack Overflow. Fermé il y a 4 ans . Améliorez cette question Donc, j'ai regardé...
J'essaie d'exécuter un simple en NaiveBayesClassiferutilisant hadoop, obtenant cette erreur Exception in thread "main" java.io.IOException: No FileSystem for scheme: file at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:1375) at