J'ai de la difficulté à comprendre mon gros billet S3 et je me suis dit que je le demanderais ici avant de perdre 30 $ sur l'assistance mensuelle AWS.

En gros, j'ai une instance Amazon EC2 qui crée une API pour différents échanges de crypto-monnaie et enregistre les réponses à l'instance HD. Les appels sont passés toutes les 5 minutes environ, les objets de réponse font environ 100 kb, sont lus par un script R et ajoutés à un fichier CSV toutes les 8 minutes environ. Ce fichier CSV est synchronisé sur un compartiment Amazon S3 toutes les 15 minutes environ.

Les fichiers CSV font généralement environ 10 Mo, pour environ 15 crypto-devises, toutes les 15 minutes. Si vous regardez dans le compartiment Amazon S3, vous pouvez utiliser au maximum 0,5 Go d'espace disque.

Cependant, le «TimedStorage-ByteHours» se lit à environ 4 To!

Amazon Simple Storage Service TimedStorage-ByteHrs 89,55 USD

0 000 USD par Go - Stockage sous le niveau mondial gratuit mensuel5 Go - Mo 0,00 $

0,023 USD par Go - Les premiers 50 To / mois de stockage utilisé 3 893,399 Go - Mo 89,55 USD

Des idées?

Il est fort probable que le contrôle de version S3 soit activé, ce qui signifie que les anciens objets remplacés par une version plus récente ne sont pas supprimés mais cachés dans un historique. Pour vérifier, allez dans le seau -> Propriétés -> Gestion des versions .

Vous pouvez également afficher les anciennes versions dans le navigateur, comme sur cette capture d'écran, j'ai plusieurs versions du 108c05...jsonfichier:

Si vous avez activé le contrôle de version mais que vous ne le souhaitez pas, vous pouvez suspendre le contrôle de version mais veillez à ce qu'il ne supprime pas les anciennes versions. Vous devez soit:

• utiliser AWS-CLI et certains scripts (commencer par aws s3api list-object-versions)
• configurez la stratégie de cycle de vie du seau pour que les anciennes versions expirent. Cela se fait via S3 -> compartiment -> Gestion -> Cycle de vie -> Ajouter une règle de cycle de vie , puis sur l' écran Expiration, renseignez ces détails:

J'espère que ça t'as aidé :)

L'accès peu fréquent au stockage est facturé au moins 30 jours par article

1. Accédez à https://s3.console.aws.amazon.com et obtenez la liste des fichiers pour l'un de vos seaux.
2. Notez que chaque fichier du compartiment a une classe de stockage. Le choix de la classe de stockage est sous votre contrôle et affecte les coûts.

Standard est le plus cher, de sorte que certaines personnes utilisent infrequent access des frais mensuels moins élevés (~ 50% de réduction) par Go stocké en fonction du tableau des prix. MAIS, peu fréquents ont également des frais de récupération de 0,01 USD / Go, ce qui permet d’économiser uniquement sur le coût total des fichiers stockés au moins un mois et récupérés moins d’une fois par mois. En outre, il peut exister une stratégie de cycle de vie sur votre compartiment qui modifie la classe de stockage des fichiers au fil du temps, ce qui peut affecter le début de la période de stockage minimale de 30 jours.

Dans les petits caractères, infrequent access a une charge minimum de 30 jours pour chaque article stocké.

Source: https://aws.amazon.com/s3/pricing/

Première note de bas de page, marquée †

† La taille minimale des objets facturables est de 128 Ko pour le stockage S3 Standard-Access et S3 One-Rare Access. Les objets plus petits peuvent être stockés mais seront facturés pour 128 Ko de stockage. L'accès S3 Standard-peu fréquent et le stockage S3 One Zone-peu d'accès sont facturés pour une durée de stockage minimale de 30 jours. Les objets supprimés, écrasés ou transférés vers une classe de stockage différente avant 30 jours entraînent les frais d'utilisation normaux, ainsi que des frais de demande calculés au prorata pour le reste des 30 jours minimum. Les objets stockés pendant 30 jours ou plus n'entraîneront pas de frais de demande minimum de 30 jours

Ce qui coûte cher à Amazon S3 et à Google Cloud Storage également, ce sont les frais de réseau si les données sont envoyées sur Internet, au lieu d'être conservées dans le cloud de cette entreprise. Les frais de réseau pour l'extraction une fois peuvent facilement dépasser les frais de stockage pendant 3-4 mois. 0,09 USD / Go (octobre 2018) pour AWS S3 , 0,12 USD / Go pour Google Cloud Storage , niveau d'utilisation le plus bas.

Digital Ocean possède une couche de stockage compatible S3 appelée "Espaces" qui peut valoir la peine d'être vérifiée. Certains bugs ont été rapportés, et cela pourrait être limité, mais le prix global semble intéressant et il pourrait être "assez bon" pour certaines utilisations.