Questions marquées «yarn»

Apache Spark: le nombre de cœurs par rapport au nombre d'exécuteurs

J'essaie de comprendre la relation entre le nombre de cœurs et le nombre d'exécuteurs lors de l'exécution d'un travail Spark sur YARN. L'environnement de test est le suivant: Nombre de nœuds de données: 3 Spécifications de la machine du nœud de données: CPU: Core i7-4790 (nombre de cœurs: 4, nombre...

Application en cours d'exécution Spark Kill

J'ai une application Spark en cours d'exécution où elle occupe tous les cœurs où mes autres applications ne recevront aucune ressource. J'ai fait quelques recherches rapides et les gens ont suggéré d'utiliser YARN kill ou / bin / spark-class pour tuer la commande. Cependant, j'utilise la version...