Questions marquées «apache-kafka»

On m'a demandé d'évaluer RabbitMQ au lieu de Kafka, mais j'ai eu du mal à trouver une raison pour laquelle il fait quelque chose de mieux que Kafka. Est-ce que quelqu'un sait s'il est vraiment meilleur en termes de débit, de durabilité, de latence ou de facilité

Bien que j'aie déjà rencontré Kafka auparavant, j'ai récemment réalisé que Kafka peut peut-être être utilisé comme (la base de) un CQRS , événementiel . L'un des principaux points soutenus par Kafka: Capture / stockage d'événements, tous HA bien sûr. Architecture de pub / sous Possibilité de...

Existe-t-il un moyen de purger le sujet dans kafka? J'ai poussé un message trop gros dans un sujet de message kafka sur ma machine locale, maintenant j'obtiens une erreur: kafka.common.InvalidMessageSizeException: invalid message size Augmenter le fetch.sizen'est pas idéal ici, car je ne veux pas...

Je commence à apprendre Kafka à des fins de solution d'entreprise. Au cours de mes lectures, quelques questions me sont venues à l'esprit: Lorsqu'un producteur produit un message - il spécifie le sujet auquel il souhaite envoyer le message, n'est-ce pas? Se soucie-t-il des partitions? Lorsqu'un...

J'essaye d'utiliser Kafka. Toutes les configurations sont effectuées correctement mais lorsque j'essaie de produire un message à partir de la console, je continue à recevoir l'erreur suivante WARN Error while fetching metadata with correlation id 39 : {4-3-16-topic1=LEADER_NOT_AVAILABLE}...

Je suis relativement nouveau à Kafka. J'ai fait un peu d'expérimentation avec cela, mais certaines choses ne sont pas claires pour moi concernant la compensation des consommateurs. D'après ce que j'ai compris jusqu'à présent, lorsqu'un consommateur démarre, le décalage à partir duquel il commencera...

Une des premières choses auxquelles je pense lorsque j'utilise un nouveau service (comme une banque de données non SGBDR ou une file d'attente de messages) est: "Comment dois-je structurer mes données?". J'ai lu et regardé quelques documents d'introduction. En particulier, prenez, par exemple,...

Dans Kafka, je voudrais utiliser un seul courtier, un seul sujet et une seule partition ayant un producteur et plusieurs consommateurs (chaque consommateur obtenant sa propre copie des données du courtier). Compte tenu de cela, je ne veux pas les frais généraux liés à l'utilisation de Zookeeper;...

J'envoie des messages String à Kafka V. 0.8 avec l'API Java Producer. Si la taille du message est d'environ 15 Mo, j'obtiens un MessageSizeTooLargeException. J'ai essayé de régler message.max.bytesà 40 Mo, mais j'obtiens toujours l'exception. Les petits messages fonctionnaient sans problème....

Comment trouver la version kafka sous linux? s'il existe un moyen de trouver la version de kafka installée autre que de mentionner la version lors du

Apache Kafka: système de messagerie distribuée Apache Storm: traitement des messages en temps réel Comment pouvons-nous utiliser les deux technologies dans un pipeline de données en temps réel pour le traitement des données d'événements? En termes de pipeline de données en temps réel, les deux me...

Je dois supprimer le sujet testdans Apache Kafka 0.8.1.1. Comme indiqué dans la documentation ici , j'ai exécuté: bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic test Cependant, cela entraîne le message suivant: Command must include exactly one action: --list, --describe, --create...

J'utilise apache kafka pour la messagerie. J'ai implémenté le producteur et le consommateur en Java. Comment pouvons-nous obtenir le nombre de messages dans un sujet?

KeyedMessage<String, byte[]> keyedMessage = new KeyedMessage<String, byte[]>(request.getRequestTopicName(), SerializationUtils.serialize(message)); producer.send(keyedMessage); Actuellement, j'envoie des messages sans clé dans le cadre de messages à clé, est-ce que cela fonctionnera...

Existe-t-il un moyen de supprimer toutes les données d'une rubrique ou de supprimer la rubrique avant chaque exécution? Puis-je modifier le fichier KafkaConfig.scala pour changer la logRetentionHourspropriété? Existe-t-il un moyen de supprimer les messages dès que le consommateur les lit?...

Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement les réponses. Voulez-vous améliorer cette question? Mettez à jour la question pour qu'elle se concentre sur un seul problème en modifiant ce post . Fermé il y a 4 jours . Je suis allé à un entretien d'embauche d'ingénieur...

J'utilise la version 1.3.0 du client Confluent.Kafka .NET. Je suis les docs : var consumerConfig = new ConsumerConfig { BootstrapServers = "server1, server2", AutoOffsetReset = AutoOffsetReset.Earliest, EnableAutoCommit = true, EnableAutoOffsetStore = false, GroupId = this.groupId, SecurityProtocol...

Je reçois continuellement FETCH_SESSION_ID_NOT_FOUND. Je ne sais pas pourquoi cela se produit. Quelqu'un peut-il me plaire ici quel est le problème et quel sera l'impact sur les consommateurs et les courtiers? Journal du serveur Kafka: INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][]...

J'ai une application simple, avec deux fonctions, l'une pour écouter le sujet et l'autre pour le point de terminaison Web. Je veux créer un flux d'événements côté serveur (SSE), c'est-à-dire du texte / flux d'événements, afin que du côté client, je puisse l'écouter en utilisant EventSource. J'ai le...