Choisir un serveur de recherche en texte intégral autonome: Sphinx ou SOLR? [fermé]

Je recherche un serveur de recherche en texte intégral autonome avec les propriétés suivantes:

• Doit fonctionner comme un serveur autonome pouvant répondre aux demandes de recherche de plusieurs clients
• Doit être capable de faire une "indexation en masse" en indexant le résultat d'une requête SQL: dites "SELECT id, text_to_index FROM documents;"
• Doit être un logiciel libre et doit fonctionner sous Linux avec MySQL comme base de données
• Doit être rapide (exclut la recherche interne de texte intégral de MySQL)

Les alternatives que j'ai trouvées qui ont ces propriétés sont:

• Solr (basé sur Lucene)
• ElasticSearch (également basé sur Lucene)
• Sphinx

Mes questions:

• Comment se comparent-ils?
• Ai-je manqué des alternatives?
• Je sais que chaque cas d'utilisation est différent, mais y a-t-il certains cas où je ne voudrais certainement pas utiliser un certain package?

J'utilise Solr avec succès depuis presque 2 ans maintenant, et je n'ai jamais utilisé Sphinx, donc je suis évidemment partial. Cependant, je vais essayer de garder cela objectif en citant les documents ou d'autres personnes. Je vais également apporter des correctifs à ma réponse :-)

Similitudes:

• Solr et Sphinx satisfont toutes vos exigences. Ils sont rapides et conçus pour indexer et rechercher efficacement de grands volumes de données.
• Les deux ont une longue liste de sites à fort trafic qui les utilisent ( Solr , Sphinx )
• Les deux offrent un support commercial. ( Solr , Sphinx )
• Les deux offrent des liaisons d'API client pour plusieurs plates-formes / langues ( Sphinx , Solr )
• Les deux peuvent être distribués pour augmenter la vitesse et la capacité ( Sphinx , Solr )

Voici quelques différences:

• Solr, étant un projet Apache, est évidemment sous licence Apache2. Sphinx est GPLv2 . Cela signifie que si jamais vous avez besoin d'intégrer ou d'étendre Sphinx (et pas seulement d '«utiliser») Sphinx dans une application commerciale, vous devrez acheter une licence commerciale ( justification )
• Solr est facilement intégrable dans les applications Java.
• Solr est construit sur Lucene, qui est une technologie éprouvée de plus de 8 ans avec une énorme base d'utilisateurs (ce n'est qu'une petite partie). Chaque fois que Lucene obtient une nouvelle fonctionnalité ou une accélération, Solr l'obtient également. Beaucoup de développeurs qui s'engagent dans Solr sont également des committers Lucene.
• Sphinx s'intègre plus étroitement aux SGBDR, en particulier MySQL.
• Solr peut être intégré à Hadoop pour créer des applications distribuées
• Solr peut être intégré à Nutch pour créer rapidement un moteur de recherche Web à part entière avec un robot d'exploration .
• Solr peut indexer les formats propriétaires tels que Microsoft Word, PDF, etc . Sphinx ne peut pas .
• Solr est livré avec un correcteur orthographique prêt à l'emploi .
• Solr est livré avec un support de facette prêt à l'emploi . La facette dans Sphinx demande plus de travail .
• Sphinx n'autorise pas les mises à jour d'index partielles pour les données de champ .
• Dans Sphinx, tous les identifiants de document doivent être des nombres entiers non signés non nuls uniques . Solr n'a même pas besoin d'une clé unique pour de nombreuses opérations , et les clés uniques peuvent être des entiers ou des chaînes.
• Solr prend en charge la réduction des champs (actuellement en tant que correctif supplémentaire uniquement) pour éviter de dupliquer des résultats similaires. Sphinx ne semble pas fournir de fonctionnalité comme celle-ci.
• Alors que Sphinx est conçu pour récupérer uniquement les identifiants de document , dans Solr vous pouvez directement obtenir des documents entiers avec à peu près n'importe quel type de données, ce qui le rend plus indépendant de tout magasin de données externe et économise l'aller-retour supplémentaire.
• Solr, sauf lorsqu'il est utilisé intégré, s'exécute dans un conteneur Web Java tel que Tomcat ou Jetty, qui nécessitent une configuration et un réglage spécifiques supplémentaires (ou vous pouvez utiliser la Jetty incluse et simplement la lancer avec java -jar start.jar). Sphinx n'a pas de configuration supplémentaire.

Questions connexes:

• Recherche de texte intégral avec des rails
• Comparaison des moteurs de recherche en texte intégral - Lucene, Sphinx, Postgresql, MySQL?

À moins que vous n'ayez besoin d'étendre la fonctionnalité de recherche d'une manière propriétaire, Sphinx est votre meilleur pari.

Avantages Sphinx:

1. Le développement et la configuration sont plus rapides
2. Agrégation bien meilleure (et plus rapide). C'était la fonctionnalité qui tue pour nous.
3. Pas XML. C'est ce qui a finalement exclu Solr pour nous. Nous avons dû retourner des ensembles de résultats assez volumineux (pensez à des centaines de résultats), puis les agréger nous-mêmes car l'agrégation Solr faisait défaut. Le temps nécessaire pour sérialiser vers et depuis XML a complètement tué les performances. Pour les petits ensembles de résultats, c'était parfaitement bien.
4. Meilleure documentation que j'ai vue dans une application open source

Avantages Solr:

1. Peut être prolongé.
2. Vous pouvez le frapper directement à partir d'une application Web, c'est-à-dire que vous pouvez avoir des recherches de type autocomplétion sur le serveur Solr directement via AJAX.

Remarque: de nombreux utilisateurs ont la même question en tête.

Donc, pour répondre à l'essentiel:

Lequel et pourquoi?

• Utilisez Solr si vous avez l'intention de l'utiliser dans votre application Web (moteur de recherche d'exemples de sites). Cela s'avérera certainement génial, grâce à son API. Vous aurez certainement besoin de cette puissance pour une application Web.

• Utilisez Sphinx si vous souhaitez rechercher rapidement des tonnes de documents / fichiers. Il indexe très rapidement aussi. Je recommanderais de ne pas l'utiliser dans une application qui implique JSON ou l'analyse XML pour obtenir les résultats de la recherche. Utilisez-le pour les recherches directes en dB. Cela fonctionne très bien sur MySQL.

Alternatives

Bien que ce soient les géants, il y en a beaucoup plus. En outre, il y a ceux qui les utilisent pour alimenter leurs frameworks personnalisés. Donc, je dirais que vous n'en avez vraiment manqué aucun. Bien qu'il existe un elasticsearch qui a une bonne base d'utilisateurs.

J'utilise Sphinx depuis presque un an maintenant, et c'est incroyable. Je peux indexer 1,5 million de documents en une minute environ sur mon MacBook, et même plus rapidement sur le serveur. J'utilise également Sphinx pour limiter les recherches à des endroits dans des latitudes et des longitudes spécifiques, et c'est très rapide. En outre, la façon dont les résultats sont classés est très modifiable. Facile à installer et à configurer, si vous lisez un ou deux tutoriels. Presque 1.0, mais leurs Release Candidates ont été solides comme le roc.

Lucene / Solr semble être plus en vedette et avec de plus longues années d'activité et une communauté d'utilisateurs beaucoup plus forte. à mon humble avis, si vous pouvez surmonter les problèmes de configuration initiale, comme certains semblent avoir été confrontés (pas nous), je dirais que Lucene / Solr est votre meilleur pari.