Je dois supprimer le sujet testdans Apache Kafka 0.8.1.1.

Comme indiqué dans la documentation ici , j'ai exécuté:

bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test

Cependant, cela entraîne le message suivant:

Command must include exactly one action: --list, --describe, --create or --alter

Comment puis-je supprimer ce sujet?

La suppression d'un sujet ne fonctionne pas toujours dans la version 0.8.1.1

La suppression devrait fonctionner dans la prochaine version, 0.8.2

kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

  Topic your_topic_name is marked for deletion.
  Note: This will have no impact if delete.topic.enable is not set to true.

Est-il possible de supprimer un sujet?

Jira KAFKA-1397

Il semble que la commande de suppression n'ait pas été officiellement documentée dans Kafka 0.8.1.x à cause d'un bogue connu ( https://issues.apache.org/jira/browse/KAFKA-1397 ).

Néanmoins, la commande était toujours livrée dans le code et peut être exécutée comme:

bin/kafka-run-class.sh kafka.admin.DeleteTopicCommand --zookeeper localhost:2181 --topic test

En attendant, le bogue a été corrigé et la commande de suppression est désormais officiellement disponible à partir de Kafka 0.8.2.0 sous la forme:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

Ajoutez la ligne ci-dessous dans $ {kafka_home} /config/server.properties

delete.topic.enable=true

Redémarrez le serveur kafka avec une nouvelle configuration:

${kafka_home}/bin/kafka-server-start.sh ~/kafka/config/server.properties

Supprimez les sujets que vous souhaitez:

${kafka_home}/bin/kafka-topics.sh --delete  --zookeeper localhost:2181  --topic daemon12

Andrea a raison. nous pouvons le faire en utilisant la ligne de commande.

Et nous pouvons toujours le programmer, par

ZkClient zkClient = new ZkClient("localhost:2181", 10000);
zkClient.deleteRecursive(ZkUtils.getTopicPath("test2"));

En fait, je ne vous recommande pas de supprimer le sujet sur Kafka 0.8.1.1. Je peux supprimer ce sujet par cette méthode, mais si vous vérifiez le journal pour zookeeper, la suppression le gâche.

Vous pouvez supprimer une rubrique kafka spécifique (exemple test:) de la commande shell zookeeper ( zookeeper-shell.sh). Utilisez la commande ci-dessous pour supprimer le sujet

rmr {path of the topic}

exemple:

rmr /brokers/topics/test

Étapes pour supprimer 1 ou plusieurs sujets dans Kafka

Pour supprimer des rubriques dans kafka, l'option de suppression doit être activée sur le serveur Kafka.

1. Go to {kafka_home}/config/server.properties
2. Uncomment delete.topic.enable=true

Supprimer un sujet dans Kafka, entrez la commande suivante

kafka-topics.sh --delete --zookeeper localhost: 2181 --topic

Pour supprimer plusieurs sujets de kafka

(bon à des fins de test, où j'ai créé plusieurs sujets et j'ai dû les supprimer pour différents scénarios)

1. Arrêtez le serveur Kafka et le gardien de zoo
2. allez dans le dossier / tmp où les journaux sont stockés et supprimez manuellement le dossier kafkalogs et zookeeper
3. Redémarrez le gardien de zoo et le serveur kafka et essayez de lister les sujets,

bin / kafka-topics.sh --list --zookeeper localhost: 2181

si aucun sujet n'est répertorié, tous les sujets ont été supprimés avec succès. Si les sujets sont répertoriés, la suppression a échoué. Essayez à nouveau les étapes ci-dessus ou redémarrez votre ordinateur.

Cette étape supprimera tous les sujets et données

• Arrêtez le serveur Kafka et le serveur Zookeeper
• Supprimez les répertoires de données tmp des deux services, par défaut, ils sont C: / tmp / kafka-logs et C: / tmp / zookeeper.
• puis démarrez le serveur Zookeeper et le serveur Kafka

La commande:

bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic test

ne marque malheureusement que le sujet à supprimer.

La suppression ne se produit pas.

Cela pose des problèmes, lors du test des scripts, qui prépare la configuration de Kafka.

Fils connectés:

• Purger la file d'attente Kafka
• Existe-t-il un moyen de supprimer toutes les données d'une rubrique ou de supprimer la rubrique avant chaque exécution?

En ajoutant aux réponses ci-dessus, il faut supprimer les métadonnées associées à ce sujet dans le chemin de décalage du consommateur zookeeper.

bin/zookeeper-shell.sh zookeeperhost:port

rmr /consumers/<sample-consumer-1>/offsets/<deleted-topic>

Sinon, le décalage sera négatif dans les outils de surveillance de kafka basés sur zookeeper.

Comme mentionné dans doc ici

L'option de suppression de sujet est désactivée par défaut. Pour l'activer, définissez la configuration du serveur delete.topic.enable = true Kafka ne prend actuellement pas en charge la réduction du nombre de partitions pour une rubrique ou la modification du facteur de réplication.

Assurez-vous que delete.topic.enable = true

bin/kafka-topics.sh –delete –zookeeper localhost:2181 –topic <topic-name>

Si vous rencontrez des problèmes lors de la suppression des sujets, essayez de supprimer le sujet en utilisant:

$KAFKA_HOME/bin/kafka-topics.sh --delete --zookeeper localhost:2181 --topic your_topic_name

commander. Ensuite, pour vérifier le processus de suppression, allez dans le répertoire des journaux kafka qui est normalement placé sous /tmp/kafka-logs/, puis supprimez le your_topic_namefichier via la rm -rf your_topic_namecommande.

N'oubliez pas de surveiller l'ensemble du processus via un outil de gestion kafka comme Kafka Tool.

Le processus mentionné ci-dessus supprimera les sujets sans redémarrage du serveur kafka.

Étape 1: Assurez-vous que vous êtes connecté à zookeeper et Kafka en cours d'exécution

Étape 2: Pour supprimer le sujet Kafka, exécutez Kafka-topic (Mac) ou Kafka-topic.sh si vous l'utilisez (linux / Mac), ajoutez le port et --topic avec le nom de votre sujet et --delete supprimez simplement le sujet avec Succès.

# Delete the kafka topic
# it will delete the kafka topic
kafka-topics --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete
# or
kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic name_of_topic --delete

Tout d'abord, vous exécutez cette commande pour supprimer votre rubrique:

$ bin/kafka-topics.sh --delete --bootstrap-server localhost:9092 --topic <topic_name>

Répertoriez les sujets actifs pour vérifier la suppression complète:

$ bin/kafka-topics.sh --list --bootstrap-server localhost:9092