J'essaie d'exécuter un processus d'intersection dans arcgis 10 sp 3 avec 2 ensembles de fichiers (aspect et pente) d'un DEM jusqu'à 1 m sur une superficie de 65 000 km2. L'aspect a 9 930 384 enregistrements et la pente a 31 435 462 enregistrements (environ 12 Go au total dans 2 géo-bases de données de fichiers).
J'ai exécuté la géométrie de réparation environ 3 fois et maintenant les jeux de données ne signalent aucune erreur (chaque fois plus de 30 heures).
Maintenant je reçois
Exécution (Intersection): Intersection "D: \ SCRATCH \ Projects \ 106 \ data \ 7_asp_Merge.gdb \ asp_HghstRez_M_rep #" D: \ SCRATCH \ Projects \ 106 \ data \ working \ working.gdb \ AsSl_Int ALL # INPUT Heure de début: Soleil 23 oct. 02:19:10 2011 Fonctions de lecture ...
Traitement des carreaux ...
ERREUR 999999: erreur lors de l'exécution de la fonction.
Topologie non valide [Trop de points de terminaison de liaison.]
Échec de l'exécution (Intersection).
Échec au dimanche 23 octobre 04:09:12 2011 (temps écoulé: 1 heures 50 minutes 2 secondes)
Est-ce vraiment un problème de topologie ou un problème de taille de fichier?
J'ai essayé d'utiliser l'outil ArcINFO SPLIT, mais il échoue même avec plus de 1 To d'espace libre sur le lecteur et sur un ensemble de fichiers plus petit, cela provoque des bords irréguliers. Je ne peux pas utiliser DICE car les zones d'intersection entre l'asp et la pente doivent être exactement les mêmes. Je comprends que sur les grands ensembles de données, ESRI se fissure (tuile automatiquement) les ensembles de données - cela peut-il poser des problèmes? Y a-t-il d'autres informations que je peux fournir pour résoudre les problèmes?
La spécification des machines est supérieure au minimum ESRI - nous avons 16 Go de RAM, Intel Xeon, Windows 7, 64 bits, 2 disques de 1 To et plus de 1,2 To de libre sur les disques. Tous les fichiers utilisés dans le processus se trouvent sur les lecteurs locaux.
vient de trouver cette explication (2 juillet 2012) qui donne beaucoup d'astuces utiles pour résoudre les problèmes.
http://blogs.esri.com/esri/arcgis/2010/07/23/dicing-godzillas-features-with-too-many-vertices/
Réponses:
Très peu de cellules contiguës dans un MNT détaillé auront des valeurs identiques de pente et d'aspect. Par conséquent, si les entités en entrée représentent des zones contiguës de pente et d'aspect communs, nous devrions nous attendre à ce que le résultat de cette procédure d'intersection ait, en moyenne, presque une entité par cellule.
Il y avait à l'origine 65 000 * 1 000 ^ 2 = 6,5 cellules E10 dans le DEM. Pour représenter chacun de ces éléments, il faut au moins quatre paires ordonnées de coordonnées entières de 4 octets ou de coordonnées flottantes de 8 octets, ou de 32 à 64 octets. C'est une exigence de 1,3 E12 - 2,6 E12 octets (1,3 - 2,5 To). Nous n'avons même pas commencé à tenir compte de la surcharge du fichier (une entité est stockée en tant que plus que ses coordonnées), des index ou des valeurs d'attribut, qui pourraient elles-mêmes nécessiter 0,6 To (si stockées en double précision) ou plus (si stockées en tant que texte), plus le stockage des identifiants. Oh, oui - ArcGIS aime garder deux copies de chaque intersection, doublant ainsi tout. Vous pourriez avoir besoin de 7 à 8 To juste pour stocker la sortie.
Même si vous aviez le stockage nécessaire, (a) vous pourriez en utiliser deux fois (ou plus) si ArcGIS met en cache des fichiers intermédiaires et (b) il est peu probable que l'opération se termine dans un délai raisonnable, de toute façon.
La solution consiste à effectuer des opérations de grille à l'aide de structures de données de grille, et non de structures de données vectorielles. Si une sortie vectorielle est absolument nécessaire, effectuez la vectorisation une fois toutes les opérations de la grille terminées.
la source
Mon expérience avec l'utilisation d'outils divisés et la réparation de la géomerie. Cela fonctionne pour moi parce que celui sur lequel j'ai travaillé utilisait une couche vectorielle que j'avais convertie de raster en vecteur. J'ai essayé de diviser l'outil en premier et m'a donné l'erreur. J'ai donc dû utiliser la géométrie de réparation et cela dépend de la durée de son fonctionnement. J'ai dû le faire deux fois, car chaque fois que vous apportez des modifications ou des modifications, vous devez toujours relancer la géomtry de réparation avant de procéder au fractionnement. ça a marché pour moi.
Soit dit en passant, j'ai exécuté la géomtrie de réparation sur les deux couches: fichier de formes et géodatabase fichier. Je vous suggère de faire de la géomerie de réparation pendant la nuit.
la source