Comment les grands sites comme StackOverflow gèrent-ils leurs journaux d'accès?

8

Je me demande comment les grands sites comme StackOverflow gèrent leurs journaux d'accès. Une écriture sur le disque à chaque demande semble un peu peu économique, mais Google Analytics est-il fiable pour l'utiliser comme votre seule ressource d'information?

google-analytics analytics traffic logging apache-log-files Stephen Ostermiller
la source
Vous pouvez configurer Apache pour vous connecter à une base de données. J'imagine que IIS est le même.
Lèse majesté

Réponses:

2

Sur un système * nix, vous pouvez utiliser syslog-ng pour stocker les messages de journal sur un serveur de journal dédié pour vos clusters à charge équilibrée, puis utiliser une solution d'analyse de journal comme Splunk pour garder un œil sur les choses - comme pour ce que les sites StackExchange réellement exécuté, peut être une bonne question pour StackOverflow Meta .

danlefree
la source
Quelqu'un a-t-il encore demandé à quoi sert l'échange de pile?
theonlygusti
2

Il y a beaucoup d'informations que les journaux du serveur Web contiennent qui ne seront jamais disponibles pour Google Analytics, deux choses auxquelles je peux penser:

  • Erreurs comme 404, etc.
  • Accès sur des fichiers multimédias, comme des photos, etc. (y compris des sites Web externes liés à vos images)
  • Adresses IP, bien qu'une réponse à une autre question ait souligné qu'elle peut être définie comme une variable utilisateur
  • URL de référence complètes, par exemple, Google envoie des liens à partir de la recherche de produits, de la recherche sur le Web, etc. chaque recherche a des mots-clés mais Google Analytics n'affiche pas les autres variables comme &source=products, etc.

Ça doit être plus de choses auxquelles je ne peux pas penser en ce moment.

Et il y a aussi les journaux d'erreurs; doit être important pour qu'un site Web fonctionne bien, à mon avis. Pas quelque chose que vous ignoreriez.

Evgeny
la source
C'est vrai, mais comment stockent-ils leurs journaux? Le fichier ou la base de données comme suggéré par Lèse majesté me semble trop lourd.
En fait, lorsque vous compressez ce type de données répétitives ... elles se compriment très bien. J'imagine donc que vous pouvez simplement le stocker sous forme de fichiers texte compressés et les supprimer après un certain temps ... juste votre rotation de base.
Evgeny
0

Je ne regarde pas vraiment ces journaux et finis par les supprimer tous les mois. Je ne les regarde que pour le dépannage. Quant à l'application de surveillance, utilisez Google Analytics, CrazyEgg et d'autres font un excellent travail.

Avant que de tels services n'existent, ces journaux étaient très précieux. Maintenant, ce sont de bons outils de développement, mais je ne connais aucun de mes collègues ou amis qui archivent activement ces journaux ou les analysent pour les données.

Franc
la source