Combinaison de plusieurs mesures pour fournir des comparaisons / classement des k objets [Question et demande de référence]

14

Collectionner n métriques sur k objets

Supposons que je collectionne n métriques sur kobjets. Je cherche des moyens valables de comparer leskobjets afin qu'ils puissent être "classés". Je pense que cela peut être un terrain très fréquenté (statistiques sportives comme le total des quarts, etc.) mais je ne connais pas ce domaine.

Je veux répondre à la question quel objet est le meilleur ?

Informations sur les mesures collectées

Pour chaque métrique mje, où je qui va de 1jen, le score pour la métrique mje qui va de [0,rje]. Notez que certaines de ces mesures auront des maximums théoriques comme100% pour cent, autre rjesera juste le score maximum recueilli dans l'échantillon (par exemple, vitesse maximale, hauteur, etc.).

Normaliser / normaliser les scores métriques

Mon intuition est de normaliser d'abord tous ces scores entre [0,1], de sorte que chaque score contribue de manière égale au score global, à calculer ultérieurement.

Autrement dit, pour chaque métrique mje le score pour cette métrique serait mjemax(rje), où max(rje)est le score maximum pour cette métrique dans l'échantillon. Mon intuition ne me permet pas d'être sûr que cela est valide, donc c'est ma question 1: cette procédure de normalisation est-elle valide?

Also for each question the implicit question is I am probably completely wrong, what resources and topics should I be studying?

Pondération des métriques pour ma comparaison globale

Supposons en outre que je souhaite pondérer certaines métriques par rapport à d'autres. Il me semble que quelques approches, mais je vais en décrire une que j'essaie d'approcher.

Je pensais qu'une méthode possible serait de faire une comparaison par paire pour chaque métrique, et de demander à chaque comparaison: si je voyais undix% réduction métrique mje, quelle augmentation de la métrique mjcompenserait cette réduction? Si les paires n’ont aucune influence réelle les unes sur les autres, je pourrais0 peut-être?

Je me retrouverais avec un tableau de valeurs pour mes pondérations, rempli de comparaisons par paires de cette nature. Question 2: Dois-je être cohérent lorsque je comparemje v mj et mj v mje? Ou pourraient-ils être non symétriques? C'est si je dis undix% réduction de mje doit être pris en compte par un 20% augmenter en mj, puis-je dire un dix% réduction de mj doit être pris en compte par un 50% augmenter en mje? Serait-ce valable?

Peut-être que je pourrais prendre une moyenne de chaque colonne et l'avoir comme pondération pour la métrique?

Il me semble qu'un système de pondération tel que celui-ci indiquerait quantitativement des choses comme «pour moiune sur l'objet b, quand bmétrique mje est 10% inférieur à unec'est mje, Je dois voir au moins un 20% gain en métrique mj" .

Question 3: Et si je commençais à inclure des considérations plus complexes pour que les comparaisons ou compensations soient non linéaires? Ou des comparaisons multivariables? Peut-être que certains scores devraient être négatifs, etc.?

La question essentielle Vraiment, j'aimerais savoir sur quels sujets et quels livres dois-je lire pour pouvoir répondre à ce type de question?

Je vous remercie

user2321
la source

Réponses:

10

Super question.

Question 1 :

J'aborde ce problème en utilisant des écarts-types (nσ) pour créer une échelle normalisée où n est le nombre d'écarts-types par rapport à la moyenne (μ) et σ est l'écart type.

Écart-type

J'utiliserai un exemple d'agent du centre d'appels qui effectue des appels. Voici une façon possible de définir l'échelle en utilisantn:

  • m+=n: Statistiques que vous souhaitez maximiser. Relation directe pourn augmente ainsi le score, comme ndiminue le score descend. Exemple: nombre de ventes.
  • m-= -n: mesures que vous souhaitez réduire. Relation inverse pourndiminue le score augmente. Exemple: nombre d'erreurs commises lors d'un appel.
  • mμ=-|n|: Mesures que vous souhaitez aussi proches que possible de la moyenne. Commens'éloigne de la moyenne dans les deux sens, le score baisse. Un score parfait est de 0, à la médiane. Exemple: nombre de messages vocaux / raccrochements / ne pas appeler les demandes reçues par un agent (doivent être distribuées de manière égale).

Ensuite, vous avez une échelle indépendante des unités de mesure, de la taille / de l'amplitude, etc. Vous pouvez ensuite facilement normaliser l'échelle ci-dessus à partir de[0,1]0 est toujours le pire et 1est toujours le meilleur. Ainsi, chaque métrique normalisée devient:m¯+, m¯-, et m¯μ

La solution simple (Fs) devient:

Fs=m¯++m¯-+m¯μ

question 2

Avec la solution ci-dessus pour Fs ajouter des poids asymétriques (W) nous donne la solution pondérée Fw. Chacun peut être pesé en multipliant chacune des métriques par le poids:

Fw=j+(W+1m¯+1+W+2m¯+2...W+j+m¯+j+)+j-(W-1m¯-1+W-1m¯-2...W-jm¯-j-)+jμ(Wμ1m¯μ1+Wμ2m¯μ2...Wμjm¯μjμ)

Ou plus succinctement:

Fw=j+Wj+m¯+j++j-Wj-m¯-j-+jμWjμm¯μjμ

Vous avez maintenant un score qui peut prendre en compte les poids individuels, minimiser les métriques, maximiser les métriques et les métriques que vous souhaitez proches de la moyenne.

question 3

Exemple

Maintenant que vous avez votre score Fwvous pouvez à nouveau le normaliser et le multiplier par rapport à un poids si vous voulez une unité de mesure. En suivant l'exemple de l'agent du centre d'appels: * agent 1: 1 vente, connecté pendant 30 min * agent 2: 5 ventes, connecté pendant 5 heures * agent 3: 12 ventes, connecté pendant 4 heures

Choisir vos métriques est très, très important.

Mauvais exemple: les ventes seules

μ=1+5+123=6

Vuner(Fw)=5+1+63=4

σ=Vuner(Fw)=4=2

Alors maintenant, nous avons besoin du nombre d'écarts-types:

  • une1=-2,5σ loin de la moyenne
  • une2=-0,5σ loin de la moyenne
  • une3=+3σ loin de la moyenne

Ainsi, le classement de la pile du meilleur au pire serait a3, a2, a1. Le problème est que l'agent 2 est payable / facturable depuis bien plus longtemps et est vraiment le pire. Vous devez donc être prudent lors de l'élaboration des métriques pour vous assurer qu'elles ont l'effet souhaité. Dans l'exemple ci-dessus, il serait préférable d'adopter une approche ventes / heure comme métrique, puis de multiplier à la fin par la durée pendant laquelle l'agent a effectué des appels.

Meilleur exemple: ventes / heure

Ventes par heure:

  • une1=112=2
  • une2=55=1
  • une3=124=3

μ=2+1+33=2

Vuner(Fw)=0+1+13=23

σ=230,82

Donc, dans ce cas, les agents ont les éléments suivants n écarts-types loin de μ:

  • une1=0σ
  • une2-1.2σ
  • une31.2σ

Alors maintenant, ils sont dans le bon ordre, mais nous n'avons toujours pas de jauge sur l'ampleur du problème que représente cet agent une2est en retard. Il s'agit davantage d'un problème car cet agent est connecté depuis plus longtemps. Donc, en ajoutant un poidsW du temps de connexion vous donne ce qui suit:

  • une1=0
  • une2-1.25-6.12
  • une31.244,90

Vous pouvez désormais normaliser ces chiffres pour les comparer à d'autres mesures de la même manière. Comme vous pouvez le voir,une1 se porte bien, une3 fait de son mieux et une1dans le scénario est en retard. Ce sont les résultats que vous attendez. Ce nombre représente désormais:

  1. qualité (de l'agent)
  2. gravité (pour l'entreprise)

Ce n'est pas le seul moyen de résoudre des problèmes d'analyse de décision à critères multiples mais c'est un moyen très pratique. D'après ce que je comprends, cette méthode est appelée «programmation d'objectif» et est un moyen assez simple de tirer des conclusions sur des problèmes complexes.

Pour plus d'informations, voir Charnes, A. et Cooper, WW (1961). Modèles de gestion et applications industrielles de la programmation linéaire. New York: Wiley.

Hazmat
la source
Vous dites "question géniale" mais ne votez pas?
kjetil b halvorsen
Ceci est ma première réponse sur cette partie de l'échange de pile ... Donc je ne me laisse pas 😉
hazmat
Je ne comprends pas pourquoi vous calculez la variance comme (5 + 1 + 6) / 3. Je m'attendrais à (5 * 5 + 1 * 1 + 6 * 6) / 3 ou (5 * 5 + 1 * 1 + 6 * 6) / 2.
qbolec