J'essaie de comprendre ZooKeeper, comment cela fonctionne et ce qu'il fait. Existe-t-il une application comparable à ZooKeeper? Si vous le savez, comment décririez-vous ZooKeeper à un profane? J'ai essayé apache wiki, zookeeper sourceforge ... mais je ne suis toujours pas en mesure de m'identifier...
Selon Learning Spark Gardez à l'esprit que la répartition de vos données est une opération assez coûteuse. Spark a également une version optimisée de repartition()appelée coalesce()qui permet d'éviter le mouvement des données, mais uniquement si vous diminuez le nombre de partitions RDD. Une...
J'ai lu Présentation du mode cluster et je ne comprends toujours pas les différents processus dans le cluster Spark Standalone et le parallélisme. Le travailleur est-il un processus JVM ou non? J'ai couru le bin\start-slave.shet j'ai découvert qu'il engendrait le travailleur, qui est en fait une...
En termes de RDDpersistance, quelles sont les différences entre cache()et persist()en
Je suis relativement nouveau à Kafka. J'ai fait un peu d'expérimentation avec cela, mais certaines choses ne sont pas claires pour moi concernant la compensation des consommateurs. D'après ce que j'ai compris jusqu'à présent, lorsqu'un consommateur démarre, le décalage à partir duquel il commencera...
Si vous avez un milliard de nombres et cent ordinateurs, quelle est la meilleure façon de localiser la médiane de ces nombres? Une solution que j'ai est: Répartissez l'ensemble de manière égale entre les ordinateurs. Triez-les. Trouvez les médianes pour chaque ensemble. Triez les ensembles sur les...