Quelles sont les alternatives maintenant que l'API de recherche Web de Google est obsolète? [fermé]

322

L'API Google Web Search a été déconseillée et remplacée par l'API Custom Search (voir http://code.google.com/apis/websearch/ ).

Je voulais rechercher sur tout le Web, mais il semble qu'avec la nouvelle API, seuls les sites personnalisés peuvent être recherchés.

Existe-t-il un moyen de rechercher l'ensemble du Web par programmation? J'ai pu interroger l'ancienne API en utilisant JSON à partir d'un programme Java.

google-api deprecated google-search google-custom-search Dan
la source
3
OK, j'ai fait beaucoup de recherches sur celui-ci et il semble que la seule solution soit Yahoo Boss
Dan
L'API de recherche personnalisée n'est pas ce que la plupart des gens recherchent: - / Donnez un coup d'oeil à searchapi.io !
Stan Smulders
J'ai fait des POC sur diverses API de recherche qui fournissent de nombreuses fonctionnalités et très faciles à implémenter en quelques minutes. Swiftype ( swiftype.com ), Cludo ( cludo.com/en ), Algolia ( algolia.com/doc ) sont les API que j'ai également implémentées et testées. Je pourrais également fournir une réponse détaillée, mais cette question est close.
Ashish Kumar
2
La meilleure solution est d'utiliser un service tiers comme SerpApi
Hartator
masswerk.at/googleBBS
neverMind9

Réponses:

32

Vous pouvez simplement les envoyer comme un navigateur, puis analyser le code html, c'est ce que j'ai toujours fait, même pour des choses comme Youtube.

Zimm3r
la source
64
on me dit que les conditions d'utilisation de Google interdisent l'araignée ...
Steven A. Lowe
52
Du TOS : "Vous vous engagez spécifiquement à ne pas accéder (ou tenter d'accéder) à l'un des Services par un moyen automatisé (y compris l'utilisation de scripts ou de robots d'indexation) ..."
ændrük
18
«Violer les conditions de service avec un fournisseur de services» n'est jamais un bon conseil. L'analyse des pages Web est quelque chose qui se déroule d'un jour à l'autre sans avertissement, c'est un conseil horrible - c'est la raison pour laquelle il s'agissait de votes négatifs plus que de votes positifs.
WhyNotHugo
143
Oui, cela rompt les conditions de service, mais personnellement, je ne m'en inquiéterais pas. Google peut gérer un peu de grattage, après tout, ils ont fait fortune en grattant les sites d'autres peuples.
jimbo2087
106
Allez. Ne sois pas si naïf. Google ne peut pas forcer ce ToS dans votre gorge. Afin de violer un ToS, vous devez d'abord l'accepter (par écrit ou en cliquant sur un bouton comme «Oui, j'accepte les conditions»). Pensez à ceci: j'ai mis un ToS sur ma page Web que chaque personne qui visite cette page doit me donner 10000 $. Puis-je appliquer ce ToS à mes visiteurs? Est-ce que je dois le faire immédiatement.
Migrate2Lazarus voir mon profil
482

Oui, Google Custom Search a désormais remplacé l'ancienne API de recherche, mais vous pouvez toujours utiliser Google Custom Search pour effectuer une recherche sur l'ensemble du Web , bien que les étapes ne soient pas évidentes dans la configuration de la recherche personnalisée.

Pour créer un moteur de recherche personnalisé Google qui effectue des recherches sur l'ensemble du Web:

  1. Sur la page d'accueil de la recherche personnalisée Google ( http://www.google.com/cse/ ), cliquez sur Créer un moteur de recherche personnalisé.
  2. Tapez un nom et une description pour votre moteur de recherche.
  3. Sous Définir votre moteur de recherche, dans la zone Sites à rechercher, entrez au moins une URL valide (Pour l'instant, il suffit de mettre www.anyurl.com pour passer cet écran. Plus d'informations à ce sujet plus tard).
  4. Sélectionnez l'édition CSE souhaitée et acceptez les conditions d'utilisation, puis cliquez sur Suivant. Sélectionnez l'option de mise en page souhaitée, puis cliquez sur Suivant.
  5. Cliquez sur l'un des liens sous la section Étapes suivantes pour accéder à votre panneau de configuration.
  6. Dans le menu de gauche, sous Panneau de configuration, cliquez sur Général.
  7. Dans la section Préférences de recherche, sélectionnez Rechercher sur tout le Web, mais mettez l'accent sur les sites inclus.
  8. Cliquez sur Enregistrer les modifications.
  9. Dans le menu de gauche, sous Panneau de configuration, cliquez sur Sites.
  10. Supprimez le site que vous avez entré lors de la configuration initiale.

Maintenant, votre moteur de recherche personnalisé effectuera une recherche sur l'ensemble du Web.

Tarification

  • Google Custom Search vous donne 100 requêtes par jour gratuitement.
  • Après cela, vous payez 5 $ pour 1000 requêtes.
  • Il y a un maximum de 10 000 requêtes par jour.

Source: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • La qualité de la recherche est bien inférieure à la recherche Google normale (pas de synonymes, "intelligence", etc.)
  • Il semble que Google envisage même de fermer complètement ce service.
Bangkokian
la source
26
Merci pour cela. J'espère que c'est une procédure valide et non une échappatoire qui attend d'être bouchée par Google!
Mazatec
9
Je vous remercie! C'est peut-être la seule réponse sur Internet à répondre à ma question. Il est ahurissant de savoir pourquoi Google mettrait fin à la prise en charge directe des API pour son service principal.
spamguy
7
mais comment l'utiliser avec json?
nawara
61
AVERTISSEMENT: nous avons fait du développement en utilisant la version gratuite, mais pour passer à la version payante (pour faire plus de 100 recherches), Google vous oblige à désactiver la "recherche sur tout le Web mais en mettant l'accent sur les sites inclus"
Bryan Larsen
5
"Le 1er avril 2017, Google cessera les ventes de Google Site Search. Tous les nouveaux achats et renouvellements doivent avoir lieu avant cette date. Le produit sera complètement arrêté d'ici le 1er avril 2018."
Gajus
55

Google Custom Search (comme préconisé dans les réponses les mieux notées) fonctionne bien, mais est très cher, par rapport à ses concurrents (ci-dessous) ou par rapport à d'autres API Google. Il a un petit niveau gratuit (100 requêtes / jour) et un prix très élevé de 5 $ pour 1000 requêtes.

Ils offrent la possibilité de passer à Site Search, qui a des prix légèrement meilleurs, mais qui sont destinés à rechercher un site (le vôtre), donc c'est vraiment quelque chose de très différent - pas une mise à niveau.

Les principales alternatives semblent être:

API Bing Search
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
qui a un niveau gratuit de 5000q / mois, et des prix à partir de 5 requêtes par centime, et sans limite stricte.

MISE À JOUR: Fin 2016, cette API a été arrêtée au profit de son homologue Azure "API Cognitive Services Bing Search":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

Voir ici pour un tableau des prix, qui commence à 3 $ US / m pour 1 000 transactions. Sauf si je manque quelque chose, c'est assez cher.


MISE À JOUR DE L' API Yahoo BOSS Search : a été interrompue le 31 mars 2016. http://developer.yahoo.com/boss/search/
Avec des prix commençant à environ 12 requêtes / centime pour des recherches sur le Web entier.

Et certains dont je n'ai jamais entendu parler auparavant:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[interrompu - comme indiqué ci-dessous]

Il y a un peu de discussion sur certains d'entre eux sur ce message SO .
[a été fermé pour être hors sujet et est maintenant parti]

À M
la source
2
L'API Bing Search version 5 permet désormais jusqu'à 1 000 transactions par mois sur toutes les API Bing Search (Web, Images, Vidéo, Recherche d'actualités) - microsoft.com/cognitive-services/en-us/pricing . J'ai rassemblé quelques exemples - mvark.blogspot.in/2016/06/…
mvark
wholeweb.com a interrompu le service comme on le voit ici wholeweb.com/services
Wessam El Mahdy
le 15 décembre 2016, l'API Bing Web Search passera sous Cognitive Services by Azure Marketplace ( azure.microsoft.com/en-us/services/cognitive-services/search ), qui nécessite une vérification de téléphone + carte de crédit pour un abonnement (même un gratuit).
gilad mayani
Depuis l'API Bing: "DataMarket et Data Services sont retirés et cesseront d'accepter de nouvelles commandes après le 31/12/2016. Les abonnements existants seront retirés et annulés à partir du 31/03/2017. Veuillez contacter votre fournisseur de services pour les options si vous veulent continuer le service. "
Dmitri Zaitsev
Merci d'avoir signalé le changement - j'ai mis à jour la réponse en conséquence.
Tom
27

Voici une option en bas du panneau de configuration de la recherche personnalisée: "Sites à rechercher" , vous pouvez choisir "Rechercher sur tout le Web mais mettre l'accent sur les sites inclus"

Panneau de configuration de la recherche personnalisée - Sites à rechercher

Yishu Fang
la source
1
ça marche toujours pour vous?
Dejell
Oui, ça marche toujours.
5
Google vous oblige à désactiver cette option lorsque vous passez à la recherche payante. Et gratuit a une limite de 100 recherches.
Bryan Larsen
1
@Yishu, pourquoi la page https://support.google.com/customsearch/answer/141877?hl=en indique-t-elle " Vous ne pouvez pas configurer Google Site Search pour effectuer une recherche sur l'ensemble du Web "?
Pacerier
@Pacerier, je n'en ai aucune idée. Peut-être que la politique a changé?
Yishu Fang
14

Faroo a une API de recherche Web gratuite

Jack
la source
Leurs résultats sont limités mais constituent un bon point de départ.
afro360
@Jack, pas entendu parler de cela avant. D'où obtiennent-ils leurs résultats de recherche?
Pacerier
7
Le casse-tête possible pour Faroo est que votre clé API est limitée à l'adresse IP que vous spécifiez lors de l'inscription.
Exception non capturée
6
Ces gars sont-ils toujours opérationnels? J'ai demandé des clés API et je n'ai rien entendu.
Paul Whelan
5

Je viens de découvrir cela de Common Crawl.

http://www.commoncrawl.org/

Peut-être la réponse que nous recherchons tous !!

Dan
la source
3
Il a un indice limité, actualisé environ une fois par an. Et c'est finalement assez cher, car vous devez vous connecter à Amazon S3.
Guillaume Lebourgeois
@GuillaumeLebourgeois, cher? Je ne pense pas que ce soit vrai. C'est un but non lucratif. Les 102 To de données sont téléchargeables gratuitement.
Pacerier
Le coût est pour la connexion à AWS où vous pouvez y accéder. Si vous êtes étudiant, vous êtes éligible pour leur niveau gratuit, mais il pourrait toujours y avoir des frais de transfert, etc. et si vous n'êtes pas dans le niveau gratuit, il y a des frais de fonctionnement.
tripleee
On dirait que l'exploration commune est mise à jour mensuellement maintenant
Jack Tuck
4

Il y a une note au-dessus des documents :

Remarque: l'API Google Web Search a été officiellement déconseillée le 1er novembre 2010. Elle continuera de fonctionner conformément à notre politique de dépréciation , mais le nombre de demandes que vous pourrez faire par jour sera limité. Par conséquent, nous vous encourageons à passer à la nouvelle API de recherche personnalisée .

La politique de dépréciation indique qu'ils continueront à exécuter l'API pendant 3 ans. Donc, si vous avez déjà une application qui utilise l'ancienne API, vous n'avez pas à vous précipiter pour changer les choses tout de suite. Si vous écrivez une nouvelle application, utilisez l' API de recherche personnalisée . Voir ma réponse ici pour savoir comment faire cela en Python, mais l'idée est la même pour n'importe quelle langue.

moinudin
la source
8
Et ce n'est pas gratuit .... "5 $ pour 1000 requêtes" ... beaucoup pas gratuit!
UpTheCreek
1
Cette réponse est désormais obsolète car les trois années sont écoulées et le 29/09/2014 est passé.
nanofarad
CustomeSearchAPI n'est pas dans tous les sites Web - c'est pour les sites Web des utilisateurs
Dejell
1

Vous pouvez créer un moteur de recherche personnalisé "partout" directement depuis la page d'accueil de la recherche personnalisée Google ( http://www.google.com/cse/ ). Vous devez simplement cliquer sur «avancé» lors de l'ajout d'un nouveau moteur. Là, vous pouvez fournir le type de site Schema.org. « Thing » est le type le plus générique, qui couvre tout le Web.

testlnord
la source
Je ne l'ai pas compris. Est-ce que ça marche pour toi?
Dejell