Quelles sont les options de compression pour stocker de grandes quantités de texte dans Postgres?

J'ai besoin de stocker de grandes quantités de texte dans Postgres, principalement des journaux de commandes et la sortie de commandes longues et j'ai besoin de savoir s'il existe des paramètres qui pourraient aider à compresser les données de manière transparente avec un outil comme zlib ou d'autres méthodes d'économie d'espace natives. .

Les données sont principalement des données en lecture seule, donc l'écriture n'est pas un problème.

postgresql compression vfclists
la source

du manuel : "Les chaînes longues sont compressées automatiquement par le système " et voici une description plus détaillée: postgresql.org/docs/current/static/storage-toast.html

a_horse_with_no_name

Nous utilisons cependant un algorithme de compression assez faible, car il doit avoir un faible coût CPU. Il peut donc être utile de faire une autre forme de compression et de définir le EXTERNALstockage sur la colonne.

Craig Ringer

@CraigRinger Lorsque vous dites une autre forme de compression, voulez-vous dire définir des options Postgres supplémentaires ou compiler un module supplémentaire, qu'il s'agisse d'une bibliothèque prête à l'emploi ou de la vôtre?

vfclists

Réponses:

Par défaut, Postgres compresse automatiquement tout le texte. Il utilise un algorithme lzcompress simple:

https://www.postgresql.org/docs/9.3/storage-toast.html

Il existe un plugin qui évoluera probablement vers la prise en charge de la compression LZ4 pour TEXT:

https://github.com/zilder/pg_lz4

Il existe un FDW qui prend également en charge la compression:

https://www.citusdata.com/blog/2014/04/03/columnar-store-for-analytics/

kworr
la source