Comment la version dropbox / télécharge-t-elle des fichiers volumineux? [fermé]

28

J'ai un compte dropbox gratuit (2 Go) et je me demandais comment fonctionnait le versioning des gros fichiers.

J'ai une sauvegarde complète de tous mes fichiers Web qui sites @ un peu plus de 1 Go. Après le téléchargement initial de 1 Go, chaque fois qu'il se synchronisera, Dropbox déterminera le delta du fichier, ou devra-t-il télécharger à nouveau le tout pour le versionner?

Ce serait cool d'avoir toujours une version à jour d'un gros fichier, mais je ne veux pas tuer ma bande passante en téléchargeant 1 Go à chaque fois.

Est-ce possible?

Merci,

barfoon
la source

Réponses:

36

Dropbox utilise un algorithme de diff binaire pour décomposer tous les fichiers en blocs et ne télécharger que les blocs qu'il n'a pas déjà dans le cloud. Tout cela se fait localement sur votre ordinateur.

Dropbox n'utilise pas seulement vos fichiers que vous avez déjà téléchargés, il agrège les fichiers de chacun dans une base de données de blocs et vérifie chaque hachage de bloc local par rapport à cette base de données.

Cela signifie que si quelqu'un d'autre a téléchargé le même fichier que vous (par exemple, la dernière ISO Ubuntu), le téléchargement semblera instantané car il n'y a rien à télécharger, mais si vous mettez à jour un fichier qui change régulièrement, comme votre fichier de sauvegarde, seules les modifications sont téléchargées. Si vous téléchargez un fichier totalement unique, vous devez attendre que tout soit téléchargé.

Meuglement
la source
4
Des références à cela? C'est assez intéressant
STW
1
L'équipe Dropbox en parle de temps en temps dans les forums (Arash F en particulier, bien qu'ils soient très occupés ces jours-ci).
Moo
3
Cela signifie-t-il qu'il ne téléchargerait que les blocs modifiés d'un fichier crypté (par exemple, un volume TrueCrypt)?
Will M
1
Will - oui, je pense que beaucoup de gens utilisent TrueCrypt dans leurs dossiers Dropbox avec beaucoup de succès.
Moo
1
La dernière partie de votre réponse n'est plus vraie. Après la débâcle du «Dropship», des changements ont été apportés. Il est probable qu'ils se déforment toujours en interne, mais si vous mettez le "windows8.iso" (ce qui, probablement, au moins quelqu'un l'a déjà fait) dans votre dossier maintenant, vous devrez télécharger chaque octet.
DanO
10

Pour ce que ça vaut, Dropbox prétend créer des hachages sur chaque 4 Mo de chaque fichier. De cette façon, si vous modifiez 2 Mo contigus d'un fichier de 100 Mo, il n'aura probablement besoin de télécharger que 4 Mo (ou 8 Mo si vous passez dans un deuxième bloc de 4 Mo) pour resynchroniser le fichier.

Les hachages que nous utilisons sont uniquement pour les blocs de fichiers de 4 Mo

Source: https://blogs.dropbox.com/tech/2016/05/inside-the-magic-pocket/

mightytightywty
la source
il n'est pas clair, cependant, si les 4 Mo sont avant ou après la compression et d'autres opérations
Walter Tross
2

Il est également important de souligner qu'il ne télécharge pas l'intégralité de votre fichier en même temps lorsque vous le modifiez. Par exemple, si vous avez un fichier unique pesant 2 Go, disons pour un lecteur de disque crypté que vous détenez (comme lorsque vous utilisez truecrypt ou pgpdisk), et que vous modifiez seulement quelques fichiers à l'intérieur du disque crypté, dropbox téléchargera uniquement les blocs qui a effectivement changé. Ainsi, par exemple, si vous téléchargez votre fichier pgpdisk avec 2 Go dans Dropbox, puis que vous changez simplement disons 100 Mo de ces 2 Go, Dropbox sera suffisamment intelligent pour détecter et mettre à jour uniquement ce qui a changé . Donc, vous ne perdez pas votre bande passante de téléchargement en téléchargeant des trucs qui sont déjà là.

Une autre fonctionnalité sur laquelle l'équipe Dropbox travaille est de créer Dropbox pour détecter d'autres instances de Dropbox en cours d'exécution sur votre réseau local et de synchroniser les informations entre elles. Par exemple, vous avez un ordinateur portable et un ordinateur de bureau, et les deux ont le même compte Dropbox, et vous mettez à jour vos fichiers sur votre ordinateur de bureau - et l'ordinateur de bureau se synchronise instantanément avec le «cloud» - lorsque vous branchez votre ordinateur portable au lieu d'aller sur le cloud, dropbox téléchargera le diff directement à partir de votre ordinateur de bureau et ne gaspillera pas votre bande passante de téléchargement. C'est encore à venir - mais ce sera une fonctionnalité intéressante!

Macaubas
la source
1
Ils ont publié un build expérimental avec une capacité de synchronisation peer-to-peer au cours du week-end.
Moo
1
C'est maintenant une fonctionnalité stable.
Wiliam