Quel type de normalisation de données doit être utilisé avec KNN?

Pour k-NN, je suggère de normaliser les données entre et . $0$ $1$

k-NN utilise la distance euclidienne comme moyen de comparaison des exemples. Pour calculer la distance entre deux points et , où est la valeur de la -ième fonction de : $x_1 = (f_1^1, f_1^2, ..., f_1^M)$ $x_2 = (f_2^1, f_2^2, ..., f_2^M)$ $f_1^i$ $i$ $x_1$

d (x_{1}, x_{2}) = \sqrt{(f_{1}^{1} - f_{2}^{1})^{2} + (f_{1}^{2} - f_{2}^{2})^{2} + . . . + (f_{1}^{M} - f_{2}^{M})^{2}}

$d(x_1, x_2) = \sqrt{(f_1^1 - f_2^1)^2 + (f_1^2 - f_2^2)^2 + ... + (f_1^M - f_2^M)^2}$

Pour que toutes les entités soient d' égale importance lors du calcul de la distance, les entités doivent avoir la même plage de valeurs. Cela n'est possible que par la normalisation.

S'ils n'étaient pas normalisés et par exemple, la caractéristique avait une plage de valeurs dans ), tandis que avait une plage de valeurs dans . Lors du calcul de la distance, le deuxième terme serait fois plus important que le premier, ce qui amènerait k-NN à s'appuyer davantage sur la deuxième caractéristique que sur la première. La normalisation garantit que toutes les entités sont mappées sur la même plage de valeurs. $f^1$ $[0, 1$ $f^2$ $[1, 10)$ $10$

La normalisation, en revanche, a de nombreuses propriétés utiles, mais ne peut pas garantir que les entités sont mappées sur la même plage. Alors que la normalisation peut être mieux adaptée à d'autres classificateurs, ce n'est pas le cas pour k-NN ou tout autre classificateur basé sur la distance.

Djib2011
la source

Votre réponse sera-t-elle la même si j'ai utilisé une distance différente au lieu d'une distance euclidienne (par exemple la distance de Manhattan ou une autre distance, même une distance fractionnelle)? Aussi, si la plage des variables est approximativement proche l'une de l'autre.

jeza

Oui, je viens de montrer la distance euclidienne à titre d'exemple, mais toutes les mesures de distance souffrent de la même chose. Si les plages sont proches les unes des autres, cela n'affecterait pas beaucoup le calcul de la métrique , mais cela le serait quand même. Par exemple, si et , serait toujours plus important que . Une chose que j'ai oublié de mentionner était que la standardisation, bien sûr, est bien meilleure que de ne pas effectuer de mise à l'échelle des fonctionnalités; c'est tout simplement pire que la normalisation.

f^{1} \in [0, 1)

$f^1 \in [0, 1)$

f^{2} \in [0, 1.2)

$f^2 \in [0, 1.2)$

f^{2}

$f^2$

20 %

$20\%$

f^{1}

$f^1$

Djib2011

Ah, je vois. "c'est tout simplement pire que la normalisation" !?

jeza

Quel type de normalisation de données doit être utilisé avec KNN?

Réponses: