Comment calculer le nombre de fonctionnalités en fonction de la résolution de l'image?

Je viens de couvrir l'hypothèse non linéaire d'Andrew Ng sur les réseaux neuronaux, et nous avons eu une question à choix multiples pour déterminer le nombre de caractéristiques pour une image de résolution 100x100 d' intensités en échelle de gris .

Et la réponse était 50 millions, x10 $5$$10^7$

Cependant, plus tôt pour une image en échelle de gris de 50 x 50 pixels. le nombre de fonctionnalités est de 50x50 (2500)

Pourquoi serait-ce x au lieu de ?10 7 10 , $5$$10^7$$10,000$

Il dit cependant inclure tous les termes quadratiques ( ) comme caractéristiques$x_ix_j$

Supposons que vous apprenez à reconnaître des voitures à partir d'images 100 × 100 pixels (niveaux de gris, pas RVB). Soit les entités des valeurs d'intensité de pixels. Si vous entraînez une régression logistique incluant tous les termes quadratiques ( ) en tant que caractéristiques, combien de caractéristiques aurez-vous?$x_ix_j$

et dans la diapositive précédente concernant le 100x100, que les fonctionnalités quadratiques ( x ) = 3 millions de fonctionnalités, mais je ne peux toujours pas mettre le doigt sur la connexion.x $x_i$$x_j$

Peut-être qu'un cas plus simple clarifiera les choses. Disons que nous choisissons un échantillon 1x2 de pixels au lieu de 100x100.

Exemples de pixels de l'image

+----+----+
| x1 | x2 |
+----+----+

Imaginez en traçant notre ensemble d'entraînement, nous avons remarqué qu'il ne peut pas être séparé facilement avec un modèle linéaire, nous avons donc choisi d'ajouter des termes polynomiaux pour mieux ajuster les données.

Disons que nous décidons de construire nos polynômes en incluant toutes les intensités de pixels et tous les multiples possibles qui peuvent être formés à partir d'eux.

Puisque notre matrice est petite, énumérons-les:

L'interprétation de la séquence de caractéristiques ci-dessus peut voir qu'il existe un modèle. Les deux premiers termes, groupe 1, sont des caractéristiques constituées uniquement de leur intensité de pixels. Les deux termes suivants après cela, le groupe 2, sont des caractéristiques constituées du carré de leur intensité. Les deux derniers termes, groupe 3, sont le produit de toutes les combinaisons d'intensités de pixels (deux) par paire.

groupe 1:$x_1,\ x_2$

groupe 2:$x_1^2,\ x_2^2$

groupe 3:$x_1 \times x_2,\ x_2 \times x_1$

Mais attendez, il y a un problème. Si vous regardez les termes du groupe 3 dans la séquence ( et ), vous remarquerez qu'ils sont égaux. Rappelez-vous notre exemple de logement. Imaginez avoir deux caractéristiques x1 = superficie, et x2 = superficie, pour la même maison ... Cela n'a aucun sens! Ok, nous devons donc nous débarrasser de la fonction en double, disons arbitrairement . Maintenant, nous pouvons réécrire la liste des fonctionnalités du groupe trois:x 2 × x $x_1 \times x_2$$x_2 \times x_1$$x_2 \times x_1$

groupe 3:$x_1 \times x_2$

Nous comptons les fonctionnalités dans les trois groupes et obtenons 5.

Mais ceci est un exemple de jouet. Permet de dériver une formule générique pour calculer le nombre d'entités. Utilisons nos groupes originaux de fonctionnalités comme point de départ.

$size group 1 + size group 2 + size group 3 = m \times n + m \times n +m \times n = 3 \times m \times n$

Ah! Mais nous avons dû nous débarrasser du produit en double dans le groupe 3.

Donc, pour compter correctement les fonctionnalités du groupe 3, nous aurons besoin d'un moyen de compter tous les produits par paire uniques dans la matrice. Ce qui peut être fait avec le coefficient binomial, qui est une méthode pour compter tous les sous-groupes uniques possibles de taille k à partir d'un groupe égal ou plus grand de taille n. Donc, pour compter correctement les entités du groupe 3, calculez .$C(m \times n, 2)$

Notre formule générique serait donc:

Permet de l'utiliser pour calculer le nombre de fonctionnalités dans notre exemple de jouet:

C'est ça!

Si vous utilisez toutes les fonctions linéaires et quadratiques, le nombre total est censé être:

100*100 + 100*100 + C(100*100,2) = 50015000
10000   + 10000   + 49995000     = 50015000
xi         xi^2       xixj

$x^2$

@whuber 50 millions vient quand vous avez une image de 100 * 100 pixels. où carré (100 * 100) = 100000000 (10 millions) et carré (100 * 100) / 2 = 5 millions. J'espère que cela répond.