Filtrage des homographies estimées RANSAC

J'utilise l' algorithme RANSAC pour l'estimation d'homographie entre des paires d'images prises avec des caméras qui n'ont pas de translation entre elles (rotation pure et changement d'échelle / zoom). Cela fonctionne bien dans la moitié des cas. La sortie correcte ressemble à ceci:

Les lignes rouges sont des correspondances filtrées et les quadrilatères illustrent comment l'homographie déforme la perspective.

Parfois, cependant, de nombreux mauvais cas se produisent, comme ceux-ci:

J'ai déjà un test simple dans la boucle RANSAC. Il fait un simple quadrilatère (un carré d'unité) et le transforme avec la transformation d'échantillon. Ensuite, il regarde si la transformation a conservé sa convexité.

Cependant, des grappes de quadrilatères concaves sortent.

Avez-vous une idée de comment tester correctement l'homographie, si elle se comporte "bien" et filtre les solutions incorrectes?

J'ai trouvé du code où ils testent qu'aucun des trois points transformés n'est colinéaire. Mais cela ne semble pas suffisant car il ne filtrera pas les deltoïdes et autres quadrilatères "invalides" ...

Il existe un article intéressant sur ce sujet: http://link.springer.com/chapter/10.1007%2F978-3-642-17691-3_19#

L'article décrit une méthode pour filtrer certaines correspondances erronées avant de calculer les homographies dans l'algorithme RANSAC.

Il y a un problème pour vérifier si l'homographie est correcte.

L'algorithme de vérification des homographies correctes peut intéresser quelqu'un, je vais donc l'écrire ici:

$ABDC$

$$\begin{eqnarray} A:& (-w/2,-h/2, 1.0) \\ B:& (w/2,-h/2, 1.0) \\ C:& (-w/2,h/2, 1.0) \\ D: &(w/2,h/2, 1.0) \end{eqnarray}$$

$w,h$

$A'B'D'C'$$C'=HC$

$\vec{u}$$\vec{v}$

$$\begin{eqnarray}d_{1} :& A+(D-A)s =A+ \vec{u}s \\ d_{2} :& B + (C-B)t=B+\vec{v}t \end{eqnarray}$$

$d_{1}=d_{2}$

$$t=\frac{1}{d}\left[(B_{y}-A_{y})\vec{u}_{x} - (B_{x}-A_{x})\vec{u}_{y}\right]$$

$$s=\frac{1}{d}\left[(A_{x}-B_{x})\vec{v}_{y} - (A_{y}-B_{y})\vec{v}_{x}\right]$$

$s,t \in (0,1)$

$s,t \in (\lambda, 1.0-\lambda)$$\lambda=0.01$

Problème plus ancien, corrigé dans l'algorithme ci-dessus:

J'ai trouvé le problème ici - ayant une certaine homographie, le test peut réussir pour un quadrilatère plus petit, mais pas pour le plus grand. C'est pourquoi certaines homographies «malades» sont passées.

Le carré vert représente une image source, l'orange est une image transformée. Comme vous pouvez le voir, celui de gauche est convexe, mais commence à se déformer lorsque la source est plus grande:

Enfin, une source encore plus grande donne un quadrilatère non conver:

$(x,y,w)$$x$$y$$w$

J'ai corrigé l'algorithme en conséquence.

$x_i \sim Hx_i^'$$\sum_{j=1\dots n}\|x_j - Hx_j^'\|$$H^'$$x^' = H^'x$$\sum_{j=1\dots n}\|x_j - Hx_j^'\| + \|x_j^' - H^'x\|$

Voir Hartley et Zisserman - Géométrie à vues multiples sur la vision par ordinateur, chapitre 4.2 et en particulier 4.2.3 et l'équation (4.8).