Questions marquées «spark-submit»

Comment arrêter l'affichage des messages INFO sur la console Spark?

Je voudrais arrêter divers messages qui arrivent sur Spark Shell. J'ai essayé de modifier le log4j.propertiesfichier afin d'arrêter ces messages. Voici le contenu de log4j.properties # Define the root logger with appender file log4j.rootCategory=WARN, console

Ajouter des fichiers JAR à un travail Spark - Spark-submit

C'est vrai ... on en a beaucoup discuté. Cependant, il y a beaucoup d'ambiguïté et certaines des réponses fournies ... y compris la duplication des références jar dans la configuration ou les options jars / executor / driver. Les détails ambigus et / ou omis Suite à l'ambiguïté, les détails peu...