Ressources SIG distribuées et cloud

14

Existe-t-il des documents de recherche définitifs, des ressources Web ou des livres (textuels) sur les SIG distribués? Les sujets qui m'intéressent sont:

  • Parallélisme des algorithmes spatiaux séquentiels
  • Cadres de mise en œuvre du SIG dans l'environnement cloud / cluster
  • Logiciels libres et commerciaux pour les logiciels ci-dessus

J'ai vu cette question, mais je veux quelque chose d'un peu plus définitif. Le statut CW serait bénéfique, ainsi que des recommandations pour les étiquettes.

EDIT: J'ai entré un certain nombre de ces termes sur Google Scholar , et bien que je sois étudiant diplômé et que je traite régulièrement des documents de recherche, de nombreux résultats ne sont ni substantiels ni globaux.

references cloud-gis Baskinomics
la source
Vous ne trouverez pas beaucoup d'informations solides ici. La majorité du travail dans ce domaine est un travail ad hoc ou hautement personnalisé pour les clients gouvernementaux qui ont besoin d'un méga-traitement. Dans mon agence, nous avons pris le code ESRI et l'avons fait évoluer davantage pour nos besoins, mais cela nécessite beaucoup de soin.
DEWright
J'ai implicitement supposé que, comme une grande partie de ma recherche n'a pas produit une ressource solide et vérifiée. Je participe activement à la recherche de certains de ces éléments, et jusqu'à présent, j'ai dû fusionner ma formation académique avec ces concepts avec peu de conseils. Je suis également impliqué dans certains conseils avec un centre de super-informatique, et ils sont intéressés par le développement de solutions SIG évolutives. Voir ma modification ci-dessus.
Baskinomics

Réponses:

7

J'ai fait plusieurs projets à cet égard, mais à la fin, ils finissaient toujours par être des solutions personnalisées qui, fondamentalement,

  • séparé le problème dans les grilles
  • a effectué le traitement dans chaque nœud individuel et copié le résultat dans une table temporaire / un magasin de données
  • fusionné toutes les solutions dans un seul tableau de résultats et éventuellement géré les conditions aux limites. La gestion des conditions aux limites n'était requise que dans les cas où les entités devaient être assemblées ou massées (par exemple, lorsque vous créez une topologie de manière distribuée, vous souhaitez que les entités aux limites s'alignent).

Assez drôle, chaque fois que je résolvais un problème de cette nature, j'utilisais une technologie différente, principalement parce que c'était la mode du temps. À la fin, ce que vous voulez, c'est une bibliothèque de transmission de messages qui a un gestionnaire de files d'attente de travaux, génère des processus sur les différents nœuds, et qui a une sorte de mécanisme de synchronisation ( Semapahore , Barrier , etc.) et un moyen de gérer les erreurs et de réessayer. Tous les projets que je mentionne ci-dessous ont ces choses.

Pour la géo, j'ai utilisé (par ordre chronologique):

(vieille école)

(plus récent)

Il y en a plusieurs autres que les gens utilisent.

À la fin, n'importe lequel d'entre eux le couperait (quoique d'une manière légèrement différente), donc cela se résume à en choisir un qui a une communauté qui est utile.

De plus, sur chaque nœud, vous devrez utiliser une bibliothèque pour effectuer les opérations de géométrie SIG. La recommandation pour laquelle utiliser serait basée sur la langue dans laquelle vous préférez coder cela. Mais je suis sûr que les options que la plupart des gens vous donneraient seraient:

Ou une autre bibliothèque qui sert d'enveloppe à l'une d'entre elles.

Ragi Yaser Burhum
la source
1
Agréable! Actuellement, j'apprends Apache Hadoop MapReduce et CGAL, c'est vraiment ce que j'avais prévu d'essayer en premier. Je m'étais accroché à cela parce que je ne voulais pas inonder ma question avec les ressources que j'avais déjà en ma possession, mais j'ai trouvé cela utile: nathankerr.com/projects/parallel-gis-processing/…
Baskinomics
MapReduce et CGAL sont d'excellentes sélections. Vous ne pouvez pas vous tromper avec eux.
Ragi Yaser Burhum le