Comment éviter d'être gratté?

8

Nous avons une base de données consultable (DB), nous limitons les résultats à 15 par page et seulement 100 résultats, mais encore des gens essaient de gratter le site.

Nous interdisons les sites qui l'ont atteint assez rapidement. Je me demandais s'il y avait autre chose que nous puissions faire. Le rendu Flash peut-être les résultats?

database scraping Randin
la source
Assurez - vous que vous avez un robots.txt ... ouais je sais pas honore tout le monde il .. mais certains le font encore
trent

Réponses:

6

Vous pourriez rendre la tâche un peu plus difficile en récupérant les enregistrements via AJAX et en utilisant un ID d'authentification (comme une clé API) pour les appels AJAX.

Bien sûr, vous pouvez contourner cela en lisant l'ID puis en faisant la demande AJAX en utilisant cela.

Le rendu avec Flash est une alternative comme vous le signalez (bien qu'il ne soit toujours pas 100% impossible à gratter), tout comme le rendu au format PDF.

Ivan
la source
13

Puisqu'il y a évidemment une demande pour votre base de données, avez-vous pensé à la retourner et à fournir ce que veulent les grattoirs? Former une connexion commerciale avec les grattoirs et encourager une utilisation appropriée avec une API?

John McC
la source
1
Oui, j'adore les API
Isaac Waller
+1 Vous pouvez même facturer une somme modique pour l'utilisation de l'API et faire quelques achats auprès des grattoirs devenus clients
Sander Marechal
Oui, nous avons configuré une minuterie et interdit si les pages ont été consultées trop rapidement, en ce qui concerne la vente des informations, cela semble peu probable, dans le passé, elles utilisaient les informations pour les mettre sur un autre site et rechercher des revenus de clics.
Randin
4

Il n'y a pas de solution technologique pour empêcher une personne motivée de gratter votre contenu accessible au public.

Vous pouvez cependant protéger légalement votre propriété intellectuelle en:

  • S'assurer que votre site a un copyright clairement identifié
  • Publier des conditions d'utilisation dans le pied de page qui interdit clairement le grattage
  • Pensez à intégrer un filigrane numérique dans tout le contenu de votre site. N'oubliez pas que le texte peut également être filigrané!
Portman
la source
2

Qu'en est-il de la configuration de l'authentification (et peut-être du captcha), du suivi de l'utilisation et de la limitation de l'accès à un certain nombre d'enregistrements ou de recherches sur une période donnée?

tomjedrz
la source
1

Vous constaterez probablement que les grattoirs amélioreront leur aspect lorsque vous appliquerez différentes techniques. Peut-être existe-t-il un moyen d'analyser le comportement des utilisateurs qui raclent et présentent un captcha ou autre perturbation? Peut-être pourriez-vous limiter les résultats à un plus petit nombre pendant une période de temps pour forcer les grattoirs à attendre 10 jours. S'ils ne se connectent pas entre les deux, supposons qu'ils sont des scappeurs?

Quoi que vous fassiez, assurez-vous de mélanger vos techniques pour leur donner un peu plus de longévité.

Brian Lyttle
la source
1

Vous devez considérer que les grattoirs n'utilisent peut-être pas vos pages Web et formulaires, ils peuvent simplement appeler votre site au niveau http.

Je pense que la meilleure solution serait de jeter un catchpa après qu'une adresse IP demande plus qu'un certain seuil de demande.

Vous devez cependant être TRÈS prudent pour vous assurer que vous n'affectez pas l'évolutivité de votre application pour de vrais utilisateurs.

Limiter la quantité de données par page comme vous le décrivez dans la question ne fera qu'augmenter le nombre de demandes que les clients effectueront contre votre serveur.

Bruce McLeod
la source