Calcul d'une homographie basée sur des lignes détectées

Je sais que vous pouvez calculer les homographies de l'image au plan de la caméra en utilisant des points de correspondance entre un "modèle parfait" et les points d'image.

Je le fais pour un terrain / terrain de football, et j'ai utilisé la détection des bords pour trouver les lignes blanches dans le terrain.

Mais la caméra ne couvre pas (toujours) tout le terrain, donc je ne peux pas voir tous les coins ... et moi seuls les coins sont des points 100% connus dans le modèle (pas d'autres points distingués).

Donc, le problème est qu'à moins que la ligne ne croise une autre ligne et forme un coin, je ne connais que les points d'image de la ligne, pas ses coordonnées "parfaites / réelles" correspondantes dans le modèle.

Existe-t-il un moyen d' utiliser les lignes détectées pour calculer une homographie, ou même simplement un ensemble d'homographies candidates , même si les lignes détectées ne se croisent pas et créent un coin?

Exemple d'image, montrant le terrain, notre champ de vision et les points du terrain où je peux connaître les coordonnées réelles du monde / modèle (cercles verts), et un exemple de 2 lignes qui pourraient être complètement inutiles car dans notre champ de vision , Je n'ai aucune idée exactement à quel point ils commencent ou s'arrêtent dans le monde réel / modèle correspondant du terrain:

Les lignes rouges sont des exemples de lignes que j'aimerais utiliser, mais je ne connais pas leurs coordonnées réelles, et c'est un peu difficile à estimer car selon la pose de la caméra, les points correspondants peuvent être "n'importe où".

J'expliquerai deux approches pour cela:

1) Une approche nécessiterait un algorithme de correspondance de lignes. Après avoir fait correspondre les lignes, vous pouvez simplement utiliser les extrémités des lignes afin de calculer l'homographie. Pour y parvenir, des descripteurs basés sur EDLine ou LSD ont récemment été proposés dans OpenCV. De plus, leur hachage et leur correspondance rapide sont également implémentés. Découvrez les vidéos ici:

http://www.youtube.com/watch?v=MqMjvSkM39k

http://www.youtube.com/watch?v=naSWTlbg3To

Le récent référentiel opencv_contrib contient le code source de ces méthodes.

Dans le cas où les points de fin de ligne sont bruyants, vous pouvez alors utiliser directement les lignes pour calculer les homographies. Ces documents se liraient alors:

Rapport interne: 2005-V04 Calcul d'homographies à partir de trois lignes ou points dans une paire d'images G. Lopez-Nicolas, JJ Guerrero, OA Pellejero, C. Sagues

Rapport interne: 2003-V01 Correspondance linéaire robuste et estimation des homographies simultanément G. Lopez-Nicolas

Correspondance probabiliste des lignes pour leur homographie Taemin Kim, Jihwan Woo et In So Kweon

2) Il existe une méthode spécifique aux champs indiqués ici:

" Utilisation des fonctions de ligne et d'ellipse pour la rectification d'une vidéo de hockey diffusée .", Gupta, Ankur, James J. Little et Robert J. Woodham Computer and Robot Vision (CRV), Conférence canadienne 2011 sur. IEEE, 2011.

et

" Combinaison de correspondances de lignes et de points pour l'estimation d'homographie .", Dubrofsky, Elan et Robert J. Woodham . Symposium international sur l'informatique visuelle. Springer Berlin Heidelberg, 2008.

$\mathbf{l}_i=(u,v,1)^T$$\mathbf{l}_i^{'}=(x,y,1)^T$

Sous cette forme, l'équation peut être directement connectée à la méthode DLT:

La seule différence est la normalisation, que vous trouverez dans les références ci-dessus.

$x$$C$$x^TCx=0$

Les références ci-dessus expliquent également comment insérer cette contrainte dans l'algorithme DLT.

En utilisant des ellipses et des lignes, il est possible de dériver une relation projective robuste.

Si les lignes ne sont pas parallèles, vous pouvez calculer le point de leur intersection et l'utiliser comme point de référence. Dans votre peinture, vous pouvez également utiliser les points violets:

Soit dit en passant, l'intersection des lignes n'a pas besoin d'être dans l'image. Tant que les lignes sont parallèles

Si les lignes sont parallèles, vous pouvez les utiliser pour obtenir des contraintes supplémentaires. Par exemple, si vous avez N <4 points et K lignes, vous pourrez peut-être estimer la transformation

Rappelons que l'équation de la transformation projective est:

$x' = \frac{\left ( a_{11}x+a_{12}y+a_{13} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )} \\ y' = \frac{\left ( a_{21}x+a_{22}y+a_{23} \right ) } {\left ( a_{31}x+a_{32}y+1 \right )}$

$a_{11},a_{12},a_{13},a_{21},a_{22},a_{23},a_{31},a_{32} \\$

$ax+by+c=0$$Ax'+By'+C$

$Ax'+By'+C = 0 \implies \\ A(a_{21}x+a_{22}y+a_{23}) + B(a_{21}x+a_{22}y+a_{23}) + C( a_{31}x+a_{32}y+1) = 0$

Il peut être réécrit comme:

$\left( \begin{array}{ccc} Ax & Ay & A & Bx & By & B & Cx & Cy \\ \end{array} \right) \left( \begin{array}{ccc} a_{11} \\ a_{12} \\ a_{13} \\ a_{21} \\ a_{22} \\ a_{23} \\ a_{31} \\ a_{32} \\ \end{array} \right) = -C$

$A,B,C$$(x,y)$$ax+by+c = 0$

Références supplémentaires " Estimation d'homographie par Elan Dubrovsky " - Voir partie 2.3.1, estimation d'homographie à partir de lignes.