Je cherche un moyen simple (une commande ou une série de commandes, impliquant probablement find) de trouver des fichiers en double dans deux répertoires et de remplacer les fichiers d'un répertoire par des liens physiques les uns des autres. Voici la situation: Il s'agit d'un serveur de fichiers...
Je n'ai aucune expérience avec btrfs, mais il est annoncé pour pouvoir dé-dupliquer des fichiers. Dans mon application, je devrais dupliquer des arborescences de répertoires entières. D'après ce que j'ai appris, btrfs ne dédoublonne que dans certains post-scan, pas immédiatement. Même une simple...
Vous cherchez de nombreux outils de déduplication sous Linux, voir par exemple cette page wiki . Presque tous les scripts effectuent uniquement la détection, l'impression des noms de fichiers en double ou la suppression des fichiers en double en les reliant en dur à une seule copie. Avec la montée...
J'ai ~ 30k fichiers. Chaque fichier contient environ 100 000 lignes. Une ligne ne contient aucun espace. Les lignes d'un fichier individuel sont triées et dupliquées gratuitement. Mon objectif: je veux trouver toutes les lignes en double dans deux fichiers ou plus, ainsi que les noms des fichiers...
Quelles sont les solutions disponibles pour le niveau de bloc ou la déduplication plus détaillée? Il existe des fichiers - avec l'approche "Copy-On-Write". Je suis à la recherche de "copie sur écriture" au niveau du bloc, afin que je puisse périodiquement rechercher des blocs communs, ou - de...
Cette question / réponse a de bonnes solutions pour supprimer des lignes identiques dans un fichier, mais ne fonctionnera pas dans mon cas car les lignes en double ont un horodatage. Est-il possible de dire à awk d'ignorer les 26 premiers caractères d'une ligne pour déterminer les doublons?...
Comment peut-on générer un fichier tar, de sorte que le contenu des fichiers goudronnés soit aligné sur les blocs comme dans les fichiers d'origine, de sorte que l'on pourrait bénéficier de la déduplication au niveau des blocs ( https://unix.stackexchange.com/a/208847/9689 ) ? (Ai-je raison de dire...