Comment puis-je limiter la bande passante utilisée par un processus?

J'ai un serveur CentOS 5.7 qui sauvegardera ses fichiers tous les soirs. Je crains que les visiteurs des différents sites hébergés par le serveur ne voient leurs performances se dégrader lors du transfert de la sauvegarde sur le réseau.

Est-il possible de limiter le débit maximum autorisé d'un processus à une interface réseau? J'aimerais limiter le transfert de fichiers basé sur SSH à la moitié de ma bande passante disponible. Cela pourrait être du côté serveur ou client; c'est-à-dire que je serais heureux de le faire sur le client qui initie la connexion ou sur le serveur qui reçoit la connexion.

_{(Malheureusement, je ne peux pas ajouter une interface à dédier aux sauvegardes. Je pourrais augmenter mon débit disponible, mais cela signifierait simplement que le transfert réseau s'achèverait plus rapidement, tout en maximisant la capacité totale de la connexion.)}

Un peu de fond

Peut-être un peu de contexte est en ordre. En revenant en arrière, je n’avais pas assez d’espace local pour créer la sauvegarde elle-même. Entrez SSHFS! La sauvegarde est sauvegardée sur ce qui est apparemment un lecteur local, de sorte qu'aucun bit de sauvegarde ne soit jamais sur le serveur Web lui-même.

Pourquoi est-ce important? Parce que cela semblerait invalider l'utilisation du vénérable rsync --bwlimit. rsyncne fait pas le transfert ni ne peut le faire car je ne peux même pas ménager de l’espace pour sauvegarder le fichier de sauvegarde.

Je peux vous entendre demander: «Alors, attendez, pourquoi avez-vous même besoin de créer un fichier de sauvegarde? Pourquoi ne pas simplement rsyncles fichiers source et les dossiers?" Parce qu'une chose agaçante appelée "Plesk" est dans le mélange! Il s’agit de mon hébergeur web qui utilise Plesk pour plus de commodité. En tant que tel, j’utilise Plesk pour lancer les sauvegardes, car Plesk ajoute toutes sortes de magie supplémentaire à la sauvegarde, ce qui la rend très sûre lors d’une procédure de restauration.

visage triste

Vous pouvez utiliser iptablespour marquer un paquet (--pid-owner ...), puis utiliser tcpour façonner le trafic. De même, "--sid-owner" peut être utilisé pour inclure les threads et les enfants de ce processus.

http://www.frozentux.net/iptables-tutorial/iptables-tutorial.html#OWNERMATCH

Match --pid-owner
Noyau 2.3, 2.4, 2.5 et 2.6
Exemple iptables -A OUTPUT -m propriétaire --pid-propriétaire 78
Explication Cette correspondance est utilisée pour faire correspondre les paquets en fonction de l'ID de processus (PID) qui en était responsable. Cette correspondance est un peu plus difficile à utiliser, mais un exemple consisterait uniquement à autoriser le PID 94 à envoyer des paquets à partir du port HTTP (si le processus HTTP n’est bien entendu pas threadé). Alternativement, nous pourrions écrire un petit script qui récupère le PID d'une sortie ps pour un démon spécifique, puis ajoute une règle pour celui-ci. Pour un exemple, vous pourriez avoir une règle comme indiqué dans l'exemple Pid-owner.txt

Une option que je viens de découvrir est d'utiliser le filet .

compte-gouttes est un formateur de bande passante utilisateur léger et portable. Il peut fonctionner en mode collaboratif (avec des travaux en dérivation) ou en mode autonome.

filet fonctionne en tirant parti du préchargement du chargeur Unix. Il fournit essentiellement à l'application une nouvelle version de la fonctionnalité requise pour envoyer et recevoir des données via des sockets. Il limite ensuite le trafic en retardant l'envoi et la réception de données sur un socket. Traverse s'exécute entièrement en espace utilisateur et ne nécessite pas de privilèges root.

Si vous pouvez écrire sur un tuyau (ou une stdout), vous pouvez installer la commande pv(visualiseur de tuyaux). Il a été écrit à l'origine pour afficher la progression des données transférées via un canal.

tar cvf - /files/to/backup | pv -L 512k > /your/file/on/sshfs

   -L RATE, --rate-limit RATE
          Limit the transfer to a maximum of RATE  bytes  per  second.   A
          suffix of "k", "m", "g", or "t" can be added to denote kilobytes
          (*1024), megabytes, and so on.

J'utilise rsync avec l'option --bwlimit = KBPS pour la même raison.

Notre réseau Ethernet 1 Gbit est capable de submerger notre ancien SCAS320 DAS RAID et, en gros, certains de nos anciens boîtiers de production qui en dépendent pour ses magasins NFS.

Comment transférez-vous les données? (rsync sur ssh? scp? sftp? autre chose?)

rsync vous permettra de limiter la bande passante (voir l'option --bwlimit = KBPS). rsync -e ssh --bwlimit ..

Alternativement, vous pouvez configurer un disque ou un équivalent pour limiter le taux de fantaisie, mais je soupçonne que, dans votre cas, cela serait excessif. La documentation à ce sujet est disponible sur le HOWTO Linux Advanced Routing and Traffic Control