Valeurs négatives dans les prédictions pour une variable de réponse toujours positive en régression linéaire

J'essaie de prédire une variable de réponse en régression linéaire qui devrait toujours être positive (coût par clic). C'est un montant monétaire. Dans AdWords, vous payez Google pour les clics sur vos annonces, et un nombre négatif signifie que Google vous paie lorsque les utilisateurs cliquent sur: P

Les prédicteurs sont tous des valeurs continues. Le Rsquared et le RMSE sont décents par rapport aux autres modèles, même hors échantillon:

  RMSE        Rsquared 
1.4141477     0.8207303

Je ne peux pas redimensionner les prévisions, car c'est de l'argent, donc même un petit facteur de redimensionnement pourrait changer les coûts de manière significative.

Pour autant que je comprends, pour le modèle de régression, il n'y a rien de spécial à propos des nombres nuls et négatifs, donc il trouve le meilleur hyperplan de régression, que la sortie soit en partie négative.

Ceci est une toute première tentative, en utilisant toutes les variables dont je dispose. Il y a donc place à raffinement.

Existe-t-il un moyen de dire au modèle que la sortie ne peut pas être négative?

regression predictive-models usillos
la source

Vous pouvez garantir des prédictions positives en utilisant un modèle linéaire généralisé avec une fonction de lien logarithmique. Soit dit en passant, bien que votre valeur soit assez encourageante, une meilleure vérification de la conformité du modèle à la forme principale des données est un tracé des valeurs résiduelles par rapport aux prévisions. Les graphiques des observations par rapport aux prévisions peuvent également éclairer votre problème.

R^{2}

$R^2$

Nick Cox

@NickCox a fait une suggestion. Je tracerais les données de plus de façons que simplement résiduelles vs prévues. Cependant, vous pouvez certainement redimensionner les variables monétaires. Une méthode courante consiste à prendre log (coût) comme variable dépendante. (Je pense que cela revient à la fonction de lien de journal, mais pourrait être plus facile à comprendre). Le journal (coût) peut, bien sûr, être négatif. Et les journaux de variables monétaires sont souvent raisonnables car, par exemple, une différence entre 0,01 et 0,02 par clic est importante, mais pas la différence entre 1,01 et 10,2 par clic.

Peter Flom

@Peter Flom signifiait 1.02 et non 10.2.

Nick Cox

Un petit échantillon de données aiderait les gens à illustrer des solutions potentielles.

Glen_b -Reinstate Monica

Réponses:

Je suppose que vous utilisez l'estimateur OLS sur ce modèle de régression linéaire. Vous pouvez utiliser l' estimateur des moindres carrés contraint par l' inégalité , qui sera la solution à un problème de minimisation sous des contraintes d'inégalité. En utilisant la notation matricielle standard (les vecteurs sont des vecteurs de colonne), le problème de minimisation est indiqué comme suit:

min_{β} (y - X β)^{'} (y - X β) s . t . - Z β \leq 0

$\min_{\beta} (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) \\s.t.-\mathbf Z\beta \le \mathbf 0$

... où est , est , est et est la matrice contenant la série de régresseurs hors échantillon de longueur utilisée pour la prédiction. Nous avons contraintes d'inégalité linéaire (et la fonction objectif est convexe, donc les conditions du premier ordre sont suffisantes pour un minimum). $\mathbf y$ $n \times 1$ $\mathbf X$ $n\times k$ $\beta$ $k\times 1$ $\mathbf Z$ $m \times k$ $m$ $m$

Le lagrangien de ce problème est

L = (y - X β)^{'} (y - X β) - λ^{'} Z β = y^{'} y - y^{'} X β - β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$L = (\mathbf y-\mathbf X\beta)'(\mathbf y-\mathbf X\beta) -\lambda'\mathbf Z\beta = \mathbf y'\mathbf y-\mathbf y'\mathbf X\beta - \beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

= y^{'} y - 2 β^{'} X^{'} y + β^{'} X^{'} X β - λ^{'} Z β

$= \mathbf y'\mathbf y - 2\beta'\mathbf X'\mathbf y+ \beta'\mathbf X'\mathbf X\beta-\lambda'\mathbf Z\beta$

où est un vecteur de colonne de multiplicateurs Karush -Kuhn -Tucker non négatifs. Les conditions du premier ordre sont (vous voudrez peut-être revoir les règles de différenciation matricielle et vectorielle) $\lambda$ $m \times 1$

\frac{\partial L}{\partial β} = 0 \Rightarrow - 2 X^{'} y + 2 X^{'} X β - Z^{'} λ

$\frac {\partial L}{\partial \beta}= \mathbb 0\Rightarrow - 2\mathbf X'\mathbf y +2\mathbf X'\mathbf X\beta - \mathbf Z'\lambda$

\Rightarrow {\hat{β}}_{R} = {(X^{'} X)}^{- 1} X^{'} y + \frac{1}{2} {(X^{'} X)}^{- 1} Z^{'} λ = {\hat{β}}_{O L S} + {(X^{'} X)}^{- 1} Z^{'} ξ [1]

$\Rightarrow \hat \beta_R = \left(\mathbf X'\mathbf X\right)^{-1}\mathbf X'\mathbf y + \frac 12\left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\lambda = \hat \beta_{OLS}+ \left(\mathbf X'\mathbf X\right)^{-1}\mathbf Z'\xi \qquad [1]$

... où , pour plus de commodité, et est l'estimateur que nous obtiendrions à partir de l'estimation des moindres carrés ordinaires. $\xi = \frac 12 \lambda$ $\hat \beta_{OLS}$

La méthode est entièrement élaborée dans Liew (1976) .

Alecos Papadopoulos
la source

J'ai voté contre parce que c'est une solution légitime, mais c'est risqué dans la pratique. Après tout, la solution est arbitrairement sensible aux valeurs de : une seule valeur à effet de levier élevé orientera les estimations loin d'un ajustement décent simplement pour imposer la contrainte. Ainsi, au minimum, cette procédure doit être accompagnée d'un test minutieux d'adéquation des données.

Z

$\mathbf Z$

whuber

@whuber Vous avez raison. Alors, OP, marchez attentivement ici.

Alecos Papadopoulos du