Nous avons eu de graves problèmes avec l'araignée (incroyablement) mal écrite de Yahoo dans le passé , et en conséquence, nous les avons bloqués. Marco Arment de Tumblr a également partagé ses frustrations avec nous le 31/08/2009, ce qui nous a empêchés de les bloquer.
[Yahoo's Spider] nous inonde de 70 à 200 requêtes / seconde depuis environ 5 h 30 HNE. Je n'ai jamais rien vu de tel, même de leurs robots d'exploration "expérimentaux" qui nous ont maltraités dans le passé. L'interdiction de Robots.txt ne suffit pas: je dois les bloquer par IP au niveau de l'équilibreur de charge. Puisqu'ils ont abusé de Stack Overflow dans le passé, j'ai pensé que vous pourriez vouloir savoir.
Il semble que la recherche sur le Web de Yahoo soit "optimisée par Bing!" à présent. C'est bien, car nous n'avons jamais eu de problème avec l'araignée de Bing (alias MSNBOT).
Alors, la recherche de Yahoo est-elle la même que la recherche Bing maintenant, ou devrions-nous envisager de les débloquer potentiellement s'ils ont, contre toute attente, cessé de sucer si fort?
la source
Réponses:
Je ne verrais aucune raison de débloquer le robot de recherche de Yahoo. Yahoo peut utiliser le moteur Bing de deux manières. Ils pourraient l'intégrer aux leurs et mettre un robot hybride en liberté sur le net ou ils pourraient simplement envoyer les requêtes dans le moteur Bing et cracher les résultats qu'ils obtiennent.
Du document auquel Joel est lié, il y a un autre document ici . Dans ce document, Yahoo déclare: "À la mi-juillet, nous avons commencé à tester la livraison des résultats organiques de Bing à Yahoo!" Pour moi, cela signifie que Yahoo ne s'intègre pas étroitement avec le moteur Bing. Ils appellent simplement l'API Bing Engine. Cela aurait également le plus de sens du point de vue du travail requis puisque le moteur Yahoo va disparaître à long terme.
Cela signifie que nous ne devrions plus voir Yahoo Bot explorer le Web une fois que 100% des résultats proviennent du moteur Bing. Par conséquent, il n'y a aucune raison de le débloquer.
la source
Il semble qu'ils viennent de commencer à déployer les résultats de recherche Bing sur Yahoo! pour environ 25% des recherches, dans le but de basculer complètement en août / septembre. Je parierais que l'araignée Yahoo ne fonctionne même plus et si c'est le cas, ce n'est pas très pertinent.
la source
J'ai fait une demande de recherche auprès de Yahoo lundi - l'accusé de réception comprenait la note suivante sur la transition vers Bing que vous pourriez trouver pertinente:
la source
Pour info, le lundi 23 août (ou dans quelques jours), Yahoo commencera officiellement à diffuser les résultats de recherche BING.
la source