Estimation de position 3D à l'aide d'une caméra 2D

J'ai une caméra (iPhone), j'ai un objet de contrôle 3D dans l'image dont je connais très bien les propriétés. (Mon objet de contrôle). Il y a aussi un objet secondaire en mouvement. Le but ultime est d'établir la trajectoire 3D de l'objet en mouvement pour une période de temps donnée. (Suivi)

J'aime demander, pourrais-je le savoir?

• Distance du téléphone à l'objet de contrôle (pour les besoins de la discussion, supposons que la caméra soit à une certaine hauteur et à une certaine distance, aucune d'entre elles n'est connue mais la caméra est perpendiculaire à la surface connue)

• L'objet secondaire où je peux localiser l'objet dans chaque trame suivante. Mon objectif est d'estimer sa trajectoire 3D comme je l'ai indiqué plus haut.

Question bonus, nous pouvons rendre le système tel que la distance du téléphone à l'objet de contrôle peut être définie (bien que cela ne soit pas préféré), cela m'aiderait-il avec le deuxième point?

Si votre objet a 6 points connus (coordonnées 3D connues, et Z ), vous pouvez calculer l'emplacement de la caméra par rapport au système de coordonnées des objets.$X, Y$$Z$

Tout d'abord quelques notions de base.

Coordonnées homogènes est la présentation du vecteur de coordonnées euclidien dans lesquels ont apposé que l' on appelle le facteur d'échelle de telle sorte que la coordonnée homogène est X = ω [ X Y Z 1 ] T . Dans vos propres calculs, essayez de garder ω = 1 aussi souvent que possible (ce qui signifie que vous "normalisez" la coordonnée homogène en la divisant par son dernier élément: X ← $(X,Y,Z)$$\omega$$\textbf{X} = \omega \begin{bmatrix}X & Y & Z & 1\end{bmatrix}^T$$\omega=1$ ). Nous pouvons également utiliser une présentation homogène pour des points 2D tels quex=ω[ X Y 1 ](rappelez-vous que cesω,X,YetZsont différents pour chaque point, qu'il s'agisse d'un point 2D ou 3D). La présentation homogène des coordonnées facilite les calculs.$\textbf{X} \leftarrow \frac{\textbf{X}}{\omega}$$\textbf{x} = \omega\begin{bmatrix}X & Y & 1\end{bmatrix}$$\omega, X,Y$$Z$

La matrice de la caméra est une matrice de projection du monde 3D au capteur d'image:$3\times4$

$$\textbf{x} = P\textbf{X}$$

Où est le point sur le capteur d'image (avec des unités de pixels) et X est le point 3D projeté (disons qu'il a des millimètres comme unités).$\textbf{x}$$\textbf{X}$

On se souvient que le produit croisé entre deux vecteurs 3 peut être défini comme une multiplication matrice-vecteur telle que:

$$\textbf{v} \times \textbf{u} = \\ ( \textbf{v} )_x \textbf{u} = \\ \begin{bmatrix} 0 & -v_3& v_2 \\ v_3 & 0 & -v_1 \\ -v_2 & v_1 & 0 \end{bmatrix} \textbf{u}$$

Il est également utile de noter que la production croisée .$\textbf{v} \times \textbf{v} = \textbf{0}$

Essayons maintenant de résoudre la matrice de projection partir des équations précédentes. Permet de multiplier l'équation de projection du côté gauche avec la matrice de produits croisés x s:$P$$\textbf{x}$

$$(\textbf{x})_x\textbf{x} = (\textbf{x})_xP\textbf{X} = \textbf{0}$$

Ah! Le résultat doit être un vecteur nul. Si nous ouvrons maintenant l'équation, nous obtenons:

$$\begin{bmatrix} 0 & -w& y \\ w & 0 & -x \\ -y & x & 0 \end{bmatrix} \begin{bmatrix} P_{1,1} & P_{1,2} & P_{1,3} & P_{1,4} \\ P_{2,1} & P_{2,2} & P_{2,3} & P_{2,4} \\ P_{3,1} & P_{3,2} & P_{3,3} & P_{3,4} \end{bmatrix} \textbf{X} \\ = \begin{bmatrix} P_{3,4} W y - P_{2,1} X w - P_{2,2} Y w - P_{2,4} W w + P_{3,1} X y - P_{2,3} Z w + P_{3,2} Y y + P_{3,3} Z y \\ P_{1,4} W w + P_{1,1} X w - P_{3,4} W x + P_{1,2} Y w - P_{3,1} X x + P_{1,3} Z w - P_{3,2} Y x - P_{3,3} Z x \\ P_{2,4} W x + P_{2,1} X x - P_{1,4} W y - P_{1,1} X y + P_{2,2} Y x - P_{1,2} Y y + P_{2,3} Z x - P_{1,3} Z y \end{bmatrix} = \textbf{0}$$

Avec un peu de refactorisation, nous pouvons obtenir la matrice de projection dehors de la matrice:$P$

$$\tiny \begin{bmatrix} 0 & 0 & 0 & 0 & - X\, w & - Y\, w & - Z\, w & - W\, w & X\, y & Y\, y & Z\, y & W\, y\\ X\, w & Y\, w & Z\, w & W\, w & 0 & 0 & 0 & 0 & - X\, x & - Y\, x & - Z\, x & - W\, x\\ - X\, y & - Y\, y & - Z\, y & - W\, y & X\, x & Y\, x & Z\, x & W\, x & 0 & 0 & 0 & 0 \end{bmatrix} \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Où est la transposée de n -ième ligne de la matrice de la caméra P . La dernière ligne de l'équation de matrice précédente (grande) est une combinaison linéaire des deux premières lignes, elle n'apporte donc aucune information supplémentaire et peut être laissée de côté.$\textbf{P}_n$$n$$P$

Petite pause pour que nous puissions rassembler nos durs. Notez que l'équation de matrice précédente doit être formée pour chaque correspondance 3D-> 2D connue (il doit y en avoir au moins 6).

$2\times12$$A$

$$A\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

$$\begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} = \textbf{0}$$

Heureusement, nous pouvons utiliser la décomposition en valeurs singulières (SVD) pour forcer

$$\| \begin{bmatrix} \textbf{P}_1 \\ \textbf{P}_2 \\ \textbf{P}_3 \\ \end{bmatrix} \|=1$$

$A$$P$$\begin{bmatrix} \textbf{P}_1 & \textbf{P}_2 & \textbf{P}_3 \end{bmatrix}^T$$P$

$P$

$$P = K\begin{bmatrix}R & -R\textbf{C}\end{bmatrix}$$

$\textbf{C}$$P$$P$

(Hartley, Zisserman - Géométrie à vues multiples en vision par ordinateur)

$X$

$$\textbf{x}_1 = P_1 \textbf{X} \\ \textbf{x}_2 = P_2 \textbf{X} \\ $$

$$(\textbf{x}_1)_xP_1\textbf{X} = \textbf{0} \\ (\textbf{x}_2)_xP_2\textbf{X} = \textbf{0} \\ $$

Etc.