Comment copier facilement 502.000 images miniatures d’un disque dur d’un SMV sur un autre?

0

Pour un projet universitaire, je travaille sur un service Web qui analyse certaines images et les affiche dans l'interface.

J'ai maintenant un petit problème d'évolutivité: le SSD de 150 Go du VPS est plein. Heureusement, j'ai réussi à obtenir un disque dur de 1 To avec le même fournisseur d'hébergement monté avec webDAV.

Cependant, je suis maintenant confronté au problème du déplacement de ces fichiers 501974 vers leur nouvel emplacement. Bien sûr, je préférerais que l'interface Web ne soit pas interrompue. Mon idée est la suivante:

  1. Copier les images vers un nouvel emplacement.
  2. Renommez le répertoire actuel et donnez un lien symbolique au nouvel emplacement à son ancien nom.
  3. Supprimez l'ancien répertoire.

Cependant, l’étape de copie prend une éternité d’ utilisation cp. J'ai également essayé, rsync -zPmais cela prend aussi longtemps (il a fallu plusieurs heures avant d'être suspendu) pour que la session shell se termine à l'avance.

Existe-t-il un autre moyen plus intelligent de copier / déplacer cette grande quantité de fichiers vers son nouvel emplacement sur un autre disque dur?

Le VPS exécute Ubuntu 16.

linux hard-drive file-transfer rsync Qqwy
la source
Les deux disques sont-ils sur le même ordinateur?
LPChip
@LPChip Ils sont tous deux accessibles via la ligne de commande. Je pense qu'ils sont dans le même centre de données, mais peut-être pas dans le même PC physique. Le nouveau disque dur de 1 To est monté à l'aide d'un paramètre webDAV dans fstab.
Qqwy
1
Copier 150 Go durera longtemps. Vérifiez votre taux io avec iostat/ dstatou autre, et vous pouvez calculer une estimation de combien de temps. La question est de savoir pourquoi votre session shell se casse lors de la copie ... (vous devrez peut-être d'abord déplacer une petite quantité de fichiers si le disque manque d'espace pour les fichiers journaux, etc.)?
Dirkt
2
En réalité, gérer des fichiers de 500k sur WebDAV prendra quand même beaucoup de temps, juste à cause de la surcharge. Votre fournisseur ne dispose-t-il pas d’une fonctionnalité d’importation en masse, dans laquelle vous pouvez simplement envoyer un fichier tar.gz?
mardi