Techniques de segmentation d'images modernes les plus courantes

11

Je faisais de la lecture sur les techniques de segmentation d'image et je me posais des questions sur les algorithmes de segmentation modernes et à la pointe de la technologie.

Quelles sont les techniques de segmentation actuelles à lire absolument, c'est-à-dire actuellement les plus couramment utilisées dans la communauté? Avec quelles techniques avez-vous été en contact et trouvé les plus efficaces et utiles (et pour quelle application)?

GamingX
la source
Où avez-vous regardé jusqu'ici?
Phonon
1
J'ai fait quelques lectures sur les coupes normalisées, les coupes graphiques, les coupes min en plus des méthodes de définition de niveau et des méthodes de marche rapide.
GamingX
3
Nice and short, from November 2012: Image Segmentation: A Review .
Emre
(modifier inspiré par cette question sur le battage, peut-être que cette question pourrait devenir une référence similaire aux méthodes de segmentation)
penelope

Réponses:

7

Je ne connais pas beaucoup de techniques de segmentation, mais j'ai eu affaire à des structures qui offrent un "choix" de morceaux de segmentation qui peuvent être examinés plus avant pour produire une segmentation satisfaisante.

J'espère que quelqu'un d'autre peut écrire sur une méthode de segmentation de pointe différente que je ne connais pas beaucoup.

Une petite introduction pour expliquer pourquoi il est agréable d'avoir des choix ou des niveaux de segmentation pour une image différente: la segmentation est un problème mal défini . La vérité fondamentale n'existe pas: les résultats souhaités dépendent toujours des exigences et des spécifications de l'utilisateur. Une belle citation:

Même pour une image fixe, il peut y avoir plus d'une "meilleure" segmentation car les critères définissant la qualité d'une segmentation dépendent de l'application. Cela nous a motivés à concentrer nos recherches sur les techniques de partitionnement d'images fournissant des "pièces de puzzle" qui peuvent être utilisées (...) pour générer une segmentation satisfaisant les besoins spécifiques des utilisateurs

( P. Soille: Connectivité contrainte pour le partitionnement et la simplification hiérarchiques d'images (2008) )

Il existe des structures hiérarchiques , des décompositions d'images hiérarchiques qui proposent des partitions d'images de complexité variable. Ces structures sont le plus simplement représentées comme des structures arborescentes, où chaque nœud représente une région dans l'image. L'idée avec les structures:

  • les feuilles de la structure sont des régions d'une fine partition ou une sur-segmentation d'une image (par exemple pixels, zones planes - régions connectées de même intensité, bassin versant )
  • les liens dans l'arbre représentent la fusion ou l' union de régions (voisines) et forment une région plus complexe, et sont construits de manière à produire les régions correspondant aux objets (avec un peu de chance :))
  • la complexité des régions augmente le long de chaque branche des nœuds vers la racine de l'arbre
  • chaque niveau de l'arbre (aussi, chaque coupe) est une partition / segmentation d'une image (plus grossière est la plus près de la racine)
  • la racine de l'arbre couvre tout le domaine de l'image

La segmentation consiste alors à examiner les régions et leurs unions proposées, pour déterminer les régions dans l'arbre ou la coupe de l'arbre correspondant à la précision requise , ou certaines propriétés connues sur l'objet d'intérêt, ou d'autres spécifications utilisateur prédéfinies.

Les arbres (c'est-à-dire les décompositions d'images hiérarchiques) avec de telles propriétés sont:

En plus des liens vers les articles déjà fournis, certains articles actuels plus spécifiques et moins spécifiques sur ce type de techniques de segmentation:

(plus pratique):

Pénélope
la source
1
Pour les familles algorithmiques de segmentation "modernes" (et à la mode), j'ajouterais des superpixels. Googler pour ce terme est vraiment impressionnant.
sansuiso
@sansuiso Eh bien, ajoutez-le comme réponse :) J'espère que nous pourrons collecter plusieurs approches de segmentation de pointe intéressantes dans cette question
penelope
6

En complément à la réponse de Penelope , deux familles populaires (et à la mode) d'algorithmes.

Superpixels

Une famille d'algorithmes très populaire appelée Superpixels est très à la mode en ce moment (il y a même des sessions Superpixel dans les conférences CV). Les superpixels ressemblent beaucoup à une sur-segmentation (comme ce que le bassin versant vous donne), donc un certain post-traitement est nécessaire.

Les superpixels peuvent être vus comme de petites régions d'images homogènes . La distance entre les pixels est évaluée comme dans le filtrage bilatéral, c'est-à-dire que c'est un mélange entre leur distance spatiale et leur similitude visuelle qui va à 0 lorsqu'ils sont proches et similaires et à une valeur plus grande sinon.
Ensuite, les méthodes des superpixels essaient divers critères pour former de petites régions homogènes par rapport à cette mesure. Il y en a beaucoup (basé sur un graphique, basé sur la recherche de mode / basé sur un cluster ...), donc je suppose qu'il est préférable de vous référer à ce rapport technique .

(modifier :) Dans le cas où quelqu'un cherche un travail publié par des pairs, cet article est du même auteur et couvre le même matériel que le rapport technique: R. Achanta, A. Shaji, K. Smith, A. Lucchi, P. Fua, S. Susstrunk: les superpixels SLIC comparés aux méthodes de superpixel les plus récentes

Notez que j'ai écrit la première version de la réponse que visuellement les résultats sont très similaires à ce que la sur-segmentation du bassin versant vous offre. Cela est confirmé par les auteurs du rapport technique qui incluent les bassins versants dans la partie de travail connexe. Ainsi, vous devez également faire le même post-traitement: bien que les superpixels puissent être des fonctionnalités pratiques à utiliser à la place des pixels, ils doivent toujours être groupés afin de former des régions de niveau supérieur si vous avez besoin de suivre / détecter des objets.

Méthodes de segmentation basées sur des graphiques

Une autre famille d'algorithmes populaire vient de l'analyse de la relation entre les pixels, c'est-à-dire de la façon dont les pixels sont proches dans leur apparence. Cela donne une famille de méthodes de segmentation basées sur la théorie des graphes telles que la coupe normalisée (J. Shi, J. Malik: Coupes normalisées et segmentation d'image ) .

Voici l'intuition de cette approche: supposons que vos pixels soient maintenant des points (sommets) d'un graphe de grande dimension.
Dans le graphique, deux sommets peuvent être reliés par une arête , dont le poids est inversement proportionnel à une certaine distance entre les sommets. Typiquement, la fonction de poids sera une réciproque d'un mélange entre leur distance spatiale et leur similitude visuelle 8as dans le filtrage bilatéral).
Ensuite, étant donné ce graphique, les algorithmes de segmentation peuvent rechercher les meilleurs groupes de sommets, c'est-à-dire les groupes de sommets qui ont une petite distance intra-groupe et une grande distance extra-groupe .

Dans l'approche de la coupe normalisée, des précautions supplémentaires sont prises afin d'éviter tout biais introduit par les différentes tailles de population des grappes. De plus, l'exploration des graphes peut être évitée en calculant la SVD de la matrice des poids, également connue sous le nom de matrice de connectivité en théorie des graphes.

sansuiso
la source
Hé, ça m'a pris du temps, merci pour la réponse, mais ... pourriez-vous développer au moins un peu les 2 techniques que vous avez mentionnées? Je ne veux pas les expliquer en détail ici, mais j'apprécierais vraiment une ou deux phrases descriptives à propos de chacune d'entre elles.
penelope
J'ai élargi la réponse. C'est un peu déroutant cependant, le mieux est de se référer au rapport technique que je lie dans la réponse (je dois admettre que je ne suis pas un gars superpixels et je suis toujours un peu sceptique quant à leur intérêt, bien qu'ils soient vraiment tendance).
sansuiso
Pour les méthodes de segmentation basées sur les graphiques, je pense que ce travail suggère l'un des meilleurs résultats de pointe: research.microsoft.com/pubs/167600/jmiv_bnm_final.pdf Il s'agit d'un papier intuitif et le code est disponible.
Tolga Birdal
3

Je suppose que pour un aperçu global de l'état de l'art des algorithmes de segmentation, il faut rechercher les dernières enquêtes. Un bon aperçu mondial des défis est présenté dans le livre de Szeliski .

entrez la description de l'image ici

beedot
la source