Pourquoi le score bêta définit-il la bêta comme ça?

Il s'agit du score F beta:

$$F_\beta = (1 + \beta^2) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta^2 \cdot \mathrm{precision}) + \mathrm{recall}}$$

L'article de Wikipedia indique que .$F_\beta$ "measures the effectiveness of retrieval with respect to a user who attaches β times as much importance to recall as precision"

Je n'ai pas compris l'idée. Pourquoi définir comme ça? Puis-je définir comme ceci:F $\beta$$F_\beta$

$$F_\beta = (1 + \beta) \cdot \frac{\mathrm{precision} \cdot \mathrm{recall}}{(\beta \cdot \mathrm{precision}) + \mathrm{recall}}$$

Et comment montrer β times as much importance?

Laissant être le poids dans la première définition que vous fournissez et le poids dans la seconde, les deux définitions sont équivalentes lorsque vous définissez , donc ces deux définitions ne représentent que des différences de notation dans la définition du score . Je l'ai vu défini à la fois la première façon (par exemple sur la page wikipedia ) et la seconde (par exemple ici ).$\beta$$\tilde\beta$$\tilde\beta = \beta^2$$F_\beta$

La mesure est obtenue en prenant la moyenne harmonique de précision et de rappel, à savoir l'inverse de la moyenne de l'inverse de précision et l'inverse de rappel:$F_1$

$$\begin{align*} F_1 &= \frac{1}{\frac{1}{2}\frac{1}{\text{precision}}+\frac{1}{2}\frac{1}{\text{recall}}} \\ &= 2\frac{\text{precision}\cdot\text{recall}}{\text{precision}+\text{recall}} \end{align*}$$

Au lieu d'utiliser des poids dans le dénominateur qui sont égaux et totalisent 1 ( pour rappel et pour précision), nous pourrions plutôt attribuer des poids qui totalisent toujours 1 mais pour dont le poids au rappel est fois plus grand que le poids à la précision ( pour le rappel et pour la précision). Cela donne votre deuxième définition du score :$\frac{1}{2}$$\frac{1}{2}$$\beta$$\frac{\beta}{\beta+1}$$\frac{1}{\beta+1}$$F_\beta$

$$\begin{align*} F_\beta &= \frac{1}{\frac{1}{\beta+1}\frac{1}{\text{precision}}+\frac{\beta}{\beta+1}\frac{1}{\text{recall}}} \\ &= (1+\beta)\frac{\text{precision}\cdot\text{recall}}{\beta\cdot\text{precision}+\text{recall}} \end{align*}$$

Encore une fois, si nous avions utilisé au lieu de ici, nous serions arrivés à votre première définition, de sorte que les différences entre les deux définitions sont simplement notables.$\beta^2$$\beta$

La raison de définir le score F-beta avec est exactement la citation que vous fournissez (c'est-à-dire vouloir attacher autant d'importance à rappeler que de précision) étant donné une définition particulière de ce que signifie attacher fois plus d’importance à rappeler que de précision.$\beta^{2}$$\beta$$\beta$

La manière particulière de définir l'importance relative des deux métriques qui conduit à la formulation peut être trouvée dans Information Retrieval (Van Rijsbergen, 1979):$\beta^{2}$

Définition: L'importance relative qu'un utilisateur attache à la précision et au rappel est le rapport auquel , où est la mesure de l'efficacité basée sur la précision et le rappel.$P/R$$\partial{E}/ \partial{R} = \partial{E}/ \partial{P}$$E = E(P, R)$

La motivation pour cela est:

La façon la plus simple que je connaisse de quantifier cela est de spécifier le rapport auquel l'utilisateur est prêt à échanger un incrément de précision pour une perte de rappel égale.$P/R$

Pour voir que cela conduit à la formulation nous pouvons commencer par la formule générale pour la moyenne harmonique pondérée des et et calculer leurs dérivées partielles par rapport à et . La source citée utilisations (pour « mesure de l' efficacité »), qui est juste et l'explication est équivalente que l' on considère ou .$\beta^{2}$$P$$R$$P$$R$$E$$1-F$$E$$F$

$$\begin{equation} F = \frac{1}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})} \end{equation}$$

$$\begin{equation} \partial{F}/\partial{P} = \frac{\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}P^{2}} \end{equation}$$

$$\begin{equation} \partial{F}/\partial{R} = \frac{1-\alpha}{(\frac{\alpha}{P}+ \frac{1-\alpha}{R})^{2}R^{2}} \end{equation}$$

Maintenant, si les dérivées sont égales, la restriction entre la relation et le rapport limitée . Étant donné que nous souhaitons attacher fois autant d'importance à rappeler que de précision, nous considérerons le rapport ¹ :$\alpha$$P/R$$\beta$$R/P$

$$\begin{equation} \partial{F}/\partial{P} = \partial{F}/\partial{R} \rightarrow \frac{\alpha}{P^{2}} = \frac{1-\alpha}{R^{2}} \rightarrow \frac{R}{P} = \sqrt{\frac{1-\alpha}{\alpha}} \end{equation}$$

Définir comme ce ratio et réorganiser pour donne les pondérations en termes de :$\beta$$\alpha$$\beta^{2}$

$$\begin{equation} \beta = \sqrt{\frac{1-\alpha}{\alpha}} \rightarrow \beta^{2} = \frac{1-\alpha}{\alpha} \rightarrow \beta^{2} + 1 = \frac{1}{\alpha} \rightarrow \alpha = \frac{1}{\beta^{2} + 1} \end{equation}$$

$$\begin{equation} 1 - \alpha = 1 - \frac{1}{\beta^{2} + 1} \rightarrow \frac{\beta^{2}}{\beta^{2} + 1} \end{equation}$$

On obtient:

$$\begin{equation} F = \frac{1}{(\frac{1}{\beta^{2} + 1}\frac{1}{P} + \frac{\beta^{2}}{\beta^{2} + 1}\frac{1}{R})} \end{equation}$$

Qui peut être réorganisé pour donner le formulaire dans votre question.

Ainsi, étant donné la définition citée, si vous souhaitez attacher fois autant d'importance à rappeler que précision, alors la formulation devrait être utilisée. Cette interprétation ne tient pas si l'on utilise . L'interprétation équivalente, moins intuitive, dans le cas où nous utilisons simplement serait que nous voulons attacher autant d'importance à rappeler que de précision.$\beta$$\beta^{2}$$\beta$$\beta$$\sqrt{\beta}$

Vous pouvez définir un score comme vous le suggérez, mais vous devez savoir que dans ce cas, soit l'interprétation discutée ne tient plus, soit vous impliquez une autre définition pour quantifier le compromis entre précision et rappel.

Notes de bas de page:

1. $P/R$ est utilisé dans la recherche d'informations mais cela semble être une faute de frappe, voir La vérité de la mesure F (Saski, 2007).

Références:

1. CJ Van Rijsbergen. 1979. Information Retrieval (2e éd.), Pp.133-134
2. Y. Sasaki. 2007. «La vérité de la mesure F», enseignement, matériel didactique

Pour signaler quelque chose rapidement.

Cela signifie que lorsque la valeur bêta augmente, vous appréciez davantage la précision.

En fait, je pense que c'est le contraire - étant donné que plus il vaut mieux dans la notation F-β, vous voulez que le dénominateur soit petit. Par conséquent, si vous diminuez β, le modèle est moins puni pour avoir un bon score de précision. Si vous augmentez β, alors le score F-β est plus puni lorsque la précision est élevée.

Si vous voulez pondérer le score F-β afin qu'il évalue la précision, β doit être 0 <β <1, où β-> 0 ne vaut que la précision (le numérateur devient très petit et la seule chose dans le dénominateur est le rappel, donc le score F-β diminue à mesure que le rappel augmente).

http://scikit-learn.org/stable/modules/generated/sklearn.metrics.fbeta_score.html

La raison pour laquelle β ^ 2 est multiplié avec précision est simplement la façon dont les scores F sont définis. Cela signifie que lorsque la valeur bêta augmente, vous appréciez davantage la précision. Si vous vouliez le multiplier par un rappel qui fonctionnerait également, cela signifierait simplement que lorsque la valeur bêta augmente, vous valorisez davantage le rappel.

La valeur bêta supérieure à 1 signifie que nous voulons que notre modèle accorde plus d'attention au rappel de modèle par rapport à Precision. De l'autre, une valeur inférieure à 1 met davantage l'accent sur la précision.