Redis: afficher la taille / taille de la base de données pour les clés

Mon instance redis semble devenir très volumineuse et j'aimerais savoir laquelle des multiples bases de données que j'ai dedans consomme combien de mémoire. La INFOcommande de Redis me montre juste la taille totale et le nombre de clés par base de données, ce qui ne me donne pas beaucoup d'informations ... Donc, tous les outils / idées qui me donnent plus d'informations lors de la surveillance du serveur Redis seraient appréciés.

La documentation Redis ne me montre aucune commande pouvant renvoyer la mémoire consommée de certaines touches, donc je suppose que si un code bogué écrirait beaucoup de "poubelle" à redis, cela pourrait être vraiment difficile à trouver ...

Donc ma solution à mon propre problème: après avoir joué redis-cliun peu plus longtemps, j'ai découvert que DEBUG OBJECT <key>quelque chose comme la serializedlengthclé de la clé, c'était en fait quelque chose que je cherchais ...

Pour une base de données entière, vous devez agréger toutes les valeurs pour KEYS *lesquelles il ne devrait pas être trop difficile avec un langage de script de votre choix ...

Le problème est que redis.io n'a pas vraiment beaucoup d'informations sur DEBUG OBJECT.

La solution des commentaires mérite sa propre réponse:

redis-cli --bigkeys

MEMORY USAGE key La commande vous donne le nombre d'octets dont une clé et sa valeur ont besoin pour être stockées dans la RAM.

L'utilisation rapportée est le total des allocations de mémoire pour les données et les frais administratifs requis par une clé de sa valeur (documentation redis source)

Jetez un œil à ce projet, il produit des statistiques intéressantes sur les espaces de clés basés sur des expressions régulières et des préfixes. Il utilise la DEBUG OBJECTcommande et scanne la base de données, identifiant les groupes de clés et estimant le pourcentage d'espace qu'ils occupent.

https://github.com/snmaynard/redis-audit

La sortie ressemble à ceci:

Summary  

---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
Key                                                | Memory Usage | Expiry Proportion | Last Access Time                                    
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  
notification_3109439                               | 88.14%       | 0.0%              | 2 minutes                               
user_profile_3897016                               | 11.86%       | 99.98%            | 20 seconds  
---------------------------------------------------+--------------+-------------------+---------------------------------------------------  

Ou celui-ci: https://github.com/sripathikrishnan/redis-rdb-tools qui effectue une analyse complète sur l'ensemble de l'espace de clés en analysant un fichier dump.rdb hors ligne. Celui-ci fonctionne bien aussi. Il peut vous donner la taille moyenne / min / max des entrées de votre base de données, et le fera même en fonction d'un préfixe.

Vous pourriez trouver très utile d'échantillonner les clés Redis et de les regrouper par type. Salvatore a écrit un outil appelé redis-sampler qui émet environ 10000 RANDOMKEYcommandes suivies d'une TYPEsur les clés récupérées. En quelques secondes ou minutes, vous devriez obtenir une vue assez précise de la distribution des types de clés.

J'ai écrit une extension (malheureusement pas n'importe où open-source car elle est liée au travail), qui ajoute un peu d'introspection des noms de clés via des expressions rationnelles qui vous donnent une idée des types de clés d'application (selon la structure de dénomination que vous using), sont stockés dans Redis. Combiné avec la sortie plus générale de redis-sampler, cela devrait vous donner une très bonne idée de ce qui se passe.

Vous pouvez peut-être faire une introspection sur le fichier db. Le protocole est relativement simple (mais pas bien documenté), vous pouvez donc écrire un analyseur pour déterminer quelles clés individuelles prennent beaucoup de place.

Nouvelles suggestions:

Avez-vous essayé d'utiliser MONITORpour voir ce qui est écrit, en direct? Vous pouvez peut-être trouver le problème avec les données en mouvement.

Vous pouvez utiliser l'application .net https://github.com/abhiyx/RedisSizeCalculator pour calculer la taille de la clé redis,

N'hésitez pas à donner votre avis pour le même

Je préfère généralement la méthode d'échantillonnage par clé pour résoudre de tels scénarios.

redis-cli -p 6379 -n numéro_base --bigkeys

Par exemple:-

redis-cli -p 6370 -n 0 --bigkeys

Que diriez-vous de redis-cli obtenir KEYNAME | wc -c