Comment empêcher la suppression de sous-arborescence (`rm -rf`) de priver d'autres processus pour les E / S disque?

Nous avons un très grand répertoire de cache Nginx (multi-Go) pour un site occupé, que nous devons parfois effacer d'un seul coup. J'ai résolu ce problème dans le passé en déplaçant le dossier de cache vers un nouveau chemin, en créant un nouveau dossier de cache sur l'ancien chemin, puis en rm -rfutilisant l'ancien dossier de cache.

Dernièrement, cependant, lorsque j'ai besoin de vider le cache par une matinée chargée, les E / S rm -rfaffaiblissent les processus d'accès au disque de mon serveur, car Nginx et le serveur pour lequel il fait face nécessitent beaucoup de lecture. Je peux regarder la charge moyenne grimper pendant que les processeurs restent inactifs et rm -rfabsorbent 98 à 99% du disque IO iotop.

J'ai essayé ionice -c 3en invoquant rm, mais cela ne semble pas avoir d'effet appréciable sur le comportement observé.

Existe-t-il un moyen d'apprivoiser rm -rfpour partager davantage le disque? Dois-je utiliser une technique différente qui prendra ses repères ionice?

Mise à jour:

Le système de fichiers en question est un magasin d'instances AWS EC2 (le disque principal est EBS). L' /etc/fstabentrée ressemble à ceci:

/dev/xvdb       /mnt    auto    defaults,nobootwait,comment=cloudconfig 0       2

Toutes les données recueillies sur cette page. Voici quelques options pour supprimer un grand répertoire de fichiers. Consultez la rédaction pour les détails de la façon dont cela a été produit.

Commande Temps système écoulé% CPU cs1 * (Vol / Invol)
rsync -a - supprimer vide / a 10,60 1,31 95% 106/22
trouver b / -type f -supprimer 28,51 14,46 52% 14849/11
trouver c / -type f | xargs -L 100 rm 41,69 20,60 54% 37048/15074
trouver d / -type f | xargs -L 100 -P 100 rm 34,32 27,82 89% 929897/21720
rm -rf f 31,29 14,80 47% 15134/11

* cs1 est un changement de contexte volontaire et involontaire

La suppression de fichiers n'effectue que des opérations de métadonnées sur le système de fichiers, qui ne sont pas influencées par ionice.

Le moyen le plus simple serait, si vous n'avez pas besoin de l'espace disque pour le moment, d'effectuer les rmheures creuses.

La manière la plus complexe dont MIGHT fonctionne est d'étaler les suppressions dans le temps. Vous pouvez essayer quelque chose comme ce qui suit (notez qu'il suppose que vos chemins et noms de fichiers NE contiennent PAS d'espaces!):

while find dir -type f | head -n 100 | xargs rm; do sleep 2; done
while find dir -type d -depth | head -n 100 | xargs rmdir; do sleep 2; done

Notez également que vous ne pouvez pas utiliser rm -fdans la première commande car la boucle ne s'arrêterait pas (cela dépend du code de sortie d'erreur rmlorsqu'il n'y a pas d'argument).

Vous pouvez le modifier en modifiant le nombre de suppressions par cycle (100 dans l'exemple) et la durée du sommeil. Cependant, cela pourrait ne pas vraiment fonctionner car le système de fichiers peut encore regrouper les mises à jour des métadonnées de manière à ce que vous ayez des problèmes avec votre charge d'E / S. Il suffit d'essayer.

Vous pouvez le coupler avec la commande "nice". ionice -c 3 nice -19 rm -rf /some/folder

Cela change la priorité du processus sur la machine.