Quelle est la différence entre normalisation et normalisation?

Au travail, nous en discutions, mon patron n’ayant jamais entendu parler de la normalisation. En algèbre linéaire, la normalisation semble faire référence à la division d'un vecteur par sa longueur. Et en statistique, la normalisation semble faire référence à la soustraction d’une moyenne puis à sa division par son SD. Mais ils semblent également interchangeables avec d’autres possibilités.

Lorsque vous créez une sorte de score universel, cela constitue métriques différentes, qui ont des moyens différents et des SD différents, voudriez-vous normaliser, normaliser ou autre chose? Une personne m'a dit qu'il suffisait de prendre chaque métrique et de la diviser par son SD, individuellement. Puis en sommant les deux. Et cela donnera un score universel qui peut être utilisé pour juger les deux métriques.$2$

Par exemple, supposons que vous avez le nombre de personnes qui prennent le métro pour aller travailler (à New York) et le nombre de personnes qui conduisent pour aller au travail (à New York).

voiture ⟶

$\text{mean}(x)$$\text{mean}(y)$

$\text{mean}(x) = 8,000,000$

$\text{mean}(y) = 800,000$

$x$$y$$x$$y$

Tout article ou chapitre de livre à titre de référence serait très apprécié. MERCI!

Voici également un autre exemple de ce que j'essaie de faire.

Imaginez que vous êtes un doyen d'université et que vous discutez des conditions d'admission. Vous voudrez peut-être des étudiants avec au moins un certain GPA et un certain score au test. Ce serait bien si elles étaient toutes les deux sur la même échelle, car alors vous pourriez simplement additionner les deux et dire "n'importe qui avec au moins 7,0 peut être admis". De cette façon, si un étudiant potentiel a une moyenne pondérée cumulative de 4,0, il pourrait obtenir un score aussi bas que 3,0 et rester admis. Inversement, si une personne avait une moyenne cumulative de 3,0, elle pourrait toujours être admise avec un score de 4.0.

Mais ce n'est pas comme ça. L'ACT est sur une échelle de 36 points et la plupart des GPA sont sur 4.0 (certains sont de 4,3, oui ennuyeux). Étant donné que je ne peux pas simplement ajouter un ACT et un GPA pour obtenir une sorte de score universel, comment puis-je les transformer afin qu'ils puissent être ajoutés, créant ainsi un score d'admission universel? Et puis en tant que doyen, je pouvais accepter automatiquement toute personne ayant un score supérieur à un certain seuil. Ou même accepter automatiquement toutes les personnes dont le score se situe dans les 95% supérieurs… ce genre de choses.

Serait-ce la normalisation? standardisation? ou juste en divisant chacun par leur SD puis en sommant?

La normalisation redimensionne les valeurs dans une plage de [0,1]. Cela peut être utile dans certains cas où tous les paramètres doivent avoir la même échelle positive. Cependant, les valeurs aberrantes du jeu de données sont perdues.

$\mu$$\sigma$

Pour la plupart des applications, la normalisation est recommandée.

Dans le monde des affaires, la "normalisation" signifie généralement que la plage de valeurs est "normalisée de 0,0 à 1,0". "Normalisation" signifie généralement que la plage de valeurs est "normalisée" pour mesurer le nombre d'écarts-types entre la valeur et la moyenne. Cependant, tout le monde ne serait pas d'accord avec cela. Il est préférable d'expliquer vos définitions avant de les utiliser.

Dans tous les cas, votre transformation doit fournir quelque chose d’utile.

Dans votre exemple train / voiture, gagnez-vous quelque chose en sachant combien d’écarts-types par rapport à leur moyenne, chaque valeur réside? Si vous tracez ces mesures "standardisées" les unes contre les autres sous forme de graphique xy, vous pourrez voir une corrélation (voir le premier graphique à droite):

http://en.wikipedia.org/wiki/Correlation_and_dependence

Si oui, cela vous dit-il quelque chose?

En ce qui concerne votre deuxième exemple, si vous voulez "assimiler" un GPA d'une échelle à une autre, qu'est-ce que ces échelles ont en commun? En d'autres termes, comment pourriez-vous transformer ces minimums en équivalents et les maximums en équivalents?

Voici un exemple de "normalisation":

Lien de normalisation

Une fois que vous obtenez vos scores GPA et ACT sous une forme interchangeable, est-il judicieux de peser les scores ACT et GPA différemment? Si oui, quelle pondération vous dit quelque chose?

Modifier 1 (05/03/2011) ======================================= =

Premièrement, je vérifierais les liens suggérés par Whuber ci-dessus. En bout de ligne, dans vos deux problèmes à deux variables, vous allez devoir trouver une "équivalence" d'une variable par rapport à une autre. Et un moyen de différencier une variable de l’autre. En d'autres termes, même si vous pouvez simplifier ceci à une simple relation linéaire, vous aurez besoin de "pondérations" pour différencier une variable de l'autre.

Voici un exemple de problème à deux variables:

Utilitaires multi-attributs

À partir de la dernière page, si vous pouvez dire que le trafic ferroviaire normalisé U1(x)par rapport au trafic automobile normalisé U2(y)est "totalement indépendant", vous pourrez alors vous en tirer avec une équation simple, telle que:

U(x, y) = k1*U1(x) + (1 - k1)*U2(y)

Où k1 = 0,5 signifie que vous êtes indifférent au trafic voiture / train normalisé. Un k1 plus élevé signifierait que le trafic ferroviaire U1(x)est plus important.

Cependant, si ces deux variables ne sont pas "indépendantes de manière additive", vous devrez alors utiliser une équation plus compliquée. Une possibilité est indiquée à la page 1:

U(x, y) = k1*U1(x) + k2*U2(y) + (1-k1-k2)*U1(x)*U2(y)

Dans les deux cas, vous devrez créer un utilitaire U(x, y)qui ait du sens.

Les mêmes concepts généraux de pondération / comparaison valent pour votre problème GPA / ACT. Même s'ils sont "normalisés" plutôt que "normalisés".

Un dernier numéro. Je sais que vous n'allez pas aimer ça, mais la définition du terme "indépendant par additif" se trouve à la page 4 du lien suivant. J'ai cherché une définition moins geek, mais je n'ai pas pu en trouver. Vous pourriez regarder autour de vous pour trouver quelque chose de mieux.

Additivement indépendant

Citer le lien:

Intuitively, the agent prefers being both healthy and wealthy
more than might be suggested by considering the two attributes
separately. It thus displays a preference for probability
distributions in which health and wealth are positively
correlated.

Comme suggéré en haut de cette réponse, si vous tracez un trafic train normalisé par rapport à un trafic voiture normalisé sur un graphe xy, vous constaterez peut-être une corrélation. Si tel est le cas, vous vous retrouvez avec l'équation utilitaire non linéaire ci-dessus ou quelque chose de similaire.

La réponse est simple, mais vous n’allez pas l’aimer: ça dépend. Si vous accordez la même valeur à 1 écart-type des deux scores, la standardisation est la solution (remarque: vous êtes en train d' étudier , car vous divisez par une estimation de l'écart-type de la population).

Dans le cas contraire, il est probable que la normalisation constituera une bonne première étape. Vous pourrez ensuite donner plus de poids à l’un des scores en le multipliant par un facteur bien choisi.

Pour résoudre le problème GPA / ACT ou train / voiture, pourquoi ne pas utiliser la moyenne géométrique ?

n√ (a1 × a2 × ... × an)

Où a*est la valeur de la distribution et nest l'indice de la distribution.

Cette moyenne géométrique garantit que chaque valeur, malgré son échelle, contribue également à la valeur moyenne. Voir plus sur Moyenne géométrique

Dans mon domaine, la science des données, la normalisation est une transformation de données qui permet une comparaison facile des données en aval. Il existe de nombreux types de normalisations. La mise à l'échelle est l'un d'entre eux. Vous pouvez également enregistrer les données ou faire tout ce que vous voulez. Le type de normalisation que vous utilisez dépend du résultat souhaité, car toutes les normalisations transforment les données en quelque chose d'autre.

Voici certains de ce que je considère comme des exemples de normalisation. Normalisation d' échelle Normalisation quantile