Kafka: obtenir continuellement FETCH_SESSION_ID_NOT_FOUND

9

Je reçois continuellement FETCH_SESSION_ID_NOT_FOUND. Je ne sais pas pourquoi cela se produit. Quelqu'un peut-il me plaire ici quel est le problème et quel sera l'impact sur les consommateurs et les courtiers?

Journal du serveur Kafka:

INFO [2019-10-18 12:09:00,709] [ReplicaFetcherThread-1-8][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=8, fetcherId=1] Node 8 was unable to process the fetch request with (sessionId=258818904, epoch=2233): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,078] [ReplicaFetcherThread-44-10][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=10, fetcherId=44] Node 10 was unable to process the fetch request with (sessionId=518415741, epoch=4416): FETCH_SESSION_ID_NOT_FOUND.
 INFO [2019-10-18 12:09:01,890] [ReplicaFetcherThread-32-9][] org.apache.kafka.clients.FetchSessionHandler - [ReplicaFetcher replicaId=6, leaderId=9, fetcherId=32] Node 9 was unable to process the fetch request with (sessionId=418200413, epoch=3634): FETCH_SESSION_ID_NOT_FOUND.

Journal des consommateurs Kafka:

12:29:58,936 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 8 was unable to process the fetch request with (sessionId=1368981303, epoch=60): FETCH_SESSION_ID_NOT_FOUND.
12:29:58,937 INFO  [FetchSessionHandler:383] [Consumer clientId=bannerGroupMap#87e2af7cf742#test, groupId=bannerGroupMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1521862194, epoch=59): FETCH_SESSION_ID_NOT_FOUND.
12:29:59,939 INFO  [FetchSessionHandler:383] [Consumer clientId=zoneGroupMap#87e2af7cf742#test, groupId=zoneGroupMap#87e2af7cf742#test] Node 7 was unable to process the fetch request with (sessionId=868804875, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:06,952 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 3 was unable to process the fetch request with (sessionId=1135396084, epoch=58): FETCH_SESSION_ID_NOT_FOUND.
12:30:12,965 INFO  [FetchSessionHandler:383] [Consumer clientId=creativeMap#87e2af7cf742#test, groupId=creativeMap#87e2af7cf742#test] Node 6 was unable to process the fetch request with (sessionId=1346340004, epoch=56): FETCH_SESSION_ID_NOT_FOUND.

Détails du cluster: 

Broker: 13 (1 Broker : 14 cores & 36GB memory)
Kafka cluster version: 2.0.0
Kafka Java client version: 2.0.0
Number topics: ~15. 
Number of consumers: 7K (all independent and manually assigned all partitions of a topic to a consumers. One consumer is consuming all partitions from a topic only)
apache-kafka Hrishikesh Mishra
la source
Je reçois cette même erreur avec la version 2.3.1 du client Java Kafka. Quelqu'un a-t-il une idée?
Bert S.
@ BertS.augmenter cette valeurmax.incremental.fetch.session.cache.slots
Hrishikesh Mishra
Salut @HrishikeshMishra était-ce (commentaire ci-dessus) la solution que vous avez trouvée pour ce problème? Envisageriez-vous de l'ajouter comme réponse à votre message et, si possible, avec un peu d'explication. J'ai le même problème, je vais tester votre solution ci-dessus.
Jorge Campos
Ceci est un journal INFO. Quelles sont les implications de simplement l'ignorer?
Bert S.

Réponses:

1

Augmentez la valeur de max.incremental.fetch.session.cache.slots. La valeur par défaut est 1K, dans mon cas, je l'ai augmenté à 10K et corrigé.

Hrishikesh Mishra
la source
Est-ce un paramètre sur le courtier?
Bert
Oui, son réglage de courtier
Hrishikesh Mishra
Peut-on faire quelque chose du côté des consommateurs ou des producteurs?
Bert S.
Pas besoin de quoi que ce soit du côté des producteurs et des consommateurs.
Hrishikesh Mishra
Je vois l'erreur sur mon consommateur. Je n'ai pas accès pour modifier le courtier lui-même. Cela devrait-il m'inquiéter?
Bert S.
0

Je l'ai d'abord augmenté de 1K à 2K, et dans la deuxième étape de 2K à 4K, et tant que la limite n'était pas épuisée, il n'y avait aucune apparence d'erreur:

entrez la description de l'image ici

entrez la description de l'image ici

Comme il me semblait qu'une fuite de session par un consommateur non identifié, je n'ai pas encore essayé la limite de 10K, mais en lisant la réponse de Hrishikesh Mishra, je le ferai certainement. Parce que l'augmentation de la limite a également diminué la fréquence des erreurs, donc la question d'identifier les groupes de consommateurs individuels qui ouvrent un nombre excessif de sessions de récupération incrémentielle, mentionnée ici Comment vérifier le nombre réel d'emplacements de cache de session de récupération incrémentielle utilisés dans le cluster Kafka? , peut ne pas être pertinent à la fin.

hdjur_jcv
la source