Comment devrais-je transformer des données non négatives, y compris des zéros?

Si j'ai des données positives très asymétriques, je prends souvent des journaux. Mais que dois-je faire avec des données non négatives hautement asymétriques qui incluent des zéros? J'ai vu deux transformations utilisées:

• $\log(x+1)$ qui a la particularité que 0 mappe sur 0.
• $\log(x+c)$ où c est estimé ou défini comme une très petite valeur positive.

Existe-t-il d'autres approches? Existe-t-il de bonnes raisons de préférer une approche aux autres?

Il me semble que le choix de transformation le plus approprié dépend du modèle et du contexte.

Le point "0" peut provenir de plusieurs raisons différentes, chacune pouvant être traitée différemment:

• Troncature (comme dans l'exemple de Robin): utilisez des modèles appropriés (mélanges, modèles de survie, etc.)
• Données manquantes: Imputez les données / supprimez les observations, le cas échéant.
• Point zéro naturel (p. Ex. Niveaux de revenu; un chômeur a un revenu nul): Transformez-vous au besoin
• Sensibilité de l'instrument de mesure: peut-être, ajouter une petite quantité aux données?

Je n'offre pas vraiment de réponse car je soupçonne qu'il n'y a pas de transformation «correcte» universelle lorsque vous avez des zéros.

Personne n'a mentionné la transformation sinus hyperbolique inverse. Donc, pour être complet, je l’ajoute ici.

Ceci est une alternative aux transformations de Box-Cox et est défini par où . Pour toute valeur de , zéro correspond à zéro. Il existe également une version à deux paramètres permettant un décalage, tout comme avec la transformation BC à deux paramètres. Burbidge, Magee et Robb (1988) discutent de la transformation d'IHS, y compris l'estimation de .

La transformation IHS fonctionne avec des données définies sur la ligne réelle entière, y compris les valeurs négatives et les zéros. Pour les grandes valeurs de il se comporte comme une transformation de journal, quelle que soit la valeur de (sauf 0). Le cas limite donne .$y$$\theta$$\theta\rightarrow0$$f(y,\theta)\rightarrow y$

Il me semble que la transformation IHS devrait être beaucoup plus connue qu’elle ne l’est.

Une approche utile lorsque la variable est utilisée comme facteur indépendant dans la régression consiste à la remplacer par deux variables: l’une est un indicateur binaire indiquant si elle est nulle et l’autre est la valeur de la variable d’origine ou une ré-expression de celle-ci, comme son logarithme. Cette technique est décrite dans le livre de Hosmer & Lemeshow sur la régression logistique (et ailleurs, j'en suis sûr). Les courbes de probabilité tronquées de la partie positive de la variable d'origine sont utiles pour identifier une nouvelle expression appropriée. (Voir l'analyse sur https://stats.stackexchange.com/a/30749/919 pour des exemples.)

Lorsque la variable est la variable dépendante dans un modèle linéaire, une régression censurée (comme Tobit ) peut être utile, évitant ainsi le besoin de produire un logarithme commencé. Cette technique est courante chez les économétriciens.

Les transformations de journal avec décalages sont des cas particuliers des transformations Box-Cox :

$y(\lambda_{1}, \lambda_{2}) = \begin{cases} \frac {(y+\lambda_{2})^{\lambda_1} - 1} {\lambda_{1}} & \mbox{when } \lambda_{1} \neq 0 \\ \log (y + \lambda_{2}) & \mbox{when } \lambda_{1} = 0 \end{cases}$

Ce sont la forme étendue pour les valeurs négatives, mais également applicable aux données contenant des zéros. Box et Cox (1964) présentent un algorithme pour trouver les valeurs appropriées pour les utilisant le maximum de vraisemblance. Cela vous donne la transformation ultime. $\lambda$

Une des raisons de préférer les transformations Box-Cox est qu'elles ont été développées pour garantir les hypothèses du modèle linéaire. Certains travaux ont montré que même si vos données ne peuvent pas être transformées en normalité, les estimations de conduisent toujours à une distribution symétrique.$\lambda$

Je ne sais pas dans quelle mesure cela s’applique à vos données, car il se peut que soit que la transformation de journal que vous avez mentionnée, mais il peut être utile d’estimer le nombre requis de pour voir si une autre la transformation est appropriée.$\lambda = (0, 1)$$\lambda$

Dans R, la boxcox.fitfonction dans package geoRcalculera les paramètres pour vous.

Je suppose que zéro! = Données manquantes, car la question est tout à fait différente.

Quand on réfléchit à la façon de gérer les zéros dans une régression linéaire multiple, j'ai tendance à considérer combien de zéros avons-nous réellement?

Seulement quelques zéros

Si j'ai un seul zéro dans un ensemble de données assez volumineux, j'ai tendance à:

1. Supprimer le point, prendre des journaux et adapter le modèle
2. $c$

$c$

Vous pouvez rendre cette procédure un peu moins crue et utiliser la méthode boxcox avec les décalages décrits dans la réponse de ars.

Grand nombre de zéros

Si mon ensemble de données contient un grand nombre de zéros, cela suggère que la régression linéaire simple n'est pas le meilleur outil pour le travail. J'utiliserais plutôt quelque chose comme une modélisation de mélange (comme suggéré par Srikant et Robin).

Si vous voulez quelque chose de rapide et sale, pourquoi ne pas utiliser la racine carrée?

Je suppose que vous avez des données continues.

Si les données incluent des zéros, cela signifie que vous avez un pic sur zéro qui peut être dû à un aspect particulier de vos données. Il apparaît, par exemple, dans l’énergie éolienne, que le vent au-dessous de 2 m / s produit une puissance nulle (il s’appelle cut-in) et que le vent au-dessus de (environ 25 km / s) produit également une puissance nulle (pour des raisons de sécurité, il s’appelle coupé) . Bien que la distribution de l'énergie éolienne produite semble continue, il y a une pointe de zéro.

Ma solution: dans ce cas, je suggère de traiter les zéros séparément en utilisant un mélange du pic en zéro et du modèle que vous avez prévu d'utiliser pour la partie de la distribution qui est continue (avec Lebesgue).

En comparant la réponse fournie par @RobHyndman à une transformation log-plus-one étendue aux valeurs négatives sous la forme:

r = -1000:1000

l = sign(r)*log1p(abs(r))
l = l/max(l)
plot(r, l, type = "l", xlab = "Original", ylab = "Transformed", col = adjustcolor("red", alpha = 0.5), lwd = 3)

#We scale both to fit (-1,1)
for(i in exp(seq(-10, 100, 10))){
  s = asinh(i*r)

  s = s / max(s)
  lines(r, s, col = adjustcolor("blue", alpha = 0.2), lwd = 3)
}
legend("topleft", c("asinh(x)", "sign(x) log(abs(x)+1)"), col = c("blue", "red"), lty = 1)

$\theta$$\theta \approx 1$$\theta \rightarrow 0$

$\theta$$x=0$

Puisque l'ajustement Box-Cox à deux paramètres a été proposé, voici quelques R pour ajuster les données d'entrée, exécuter une fonction arbitraire dessus (par exemple, prévision de série chronologique), puis renvoyer la sortie inversée:

# Two-parameter Box-Cox function
boxcox.f <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return(((x + lambda2) ^ lambda1 - 1) / lambda1)
  } else {
    return(log(x + lambda2))
  }
}

# Two-parameter inverse Box-Cox function
boxcox.inv <- function(x, lambda1, lambda2) {
  if (lambda1!=0) {
    return((lambda1 * x + 1) ^ (1 / lambda1) - lambda2)
  } else {
    return(exp(x) - lambda2)
  }
}

# Function to Box-Cox transform x, apply function g, 
# and return inverted Box-Cox output y
boxcox.fit.apply <- function(x, g) {
  require(geoR)
  require(plyr)

  # Fit lambdas
  t <- try(lambda.pair <- boxcoxfit(x, lambda2=T)$lambda)

  # Estimating both lambdas sometimes fails; if so, estimate lambda1 only
  if (inherits(t, "try-error")) {
    lambda1 <- boxcoxfit(x)$lambda
    lambda2 <- 0
  } else {
    lambda1 <- lambda.pair[1]
    lambda2 <- lambda.pair[2]
  }
  x.boxcox <- boxcox.f(x, lambda1, lambda2)

  # Apply function g to x.boxcox. This should return data similar to x (e.g. ts)
  y <- aaply(x.boxcox, 1, g)

  return(boxcox.inv(y, lambda1, lambda2))
}

Supposons que Y représente la somme d'argent que chaque Américain dépense pour une nouvelle voiture au cours d'une année donnée (prix d'achat total). Y va piquer à 0; n'aura aucune valeur entre 0 et environ 12 000; et prendra d'autres valeurs principalement dans les années de l'adolescence, la vingtaine et la trentaine de milliers. Les prédicteurs seraient des substituts du niveau de besoin et / ou d'intérêt pour effectuer un tel achat. On peut difficilement dire que le besoin ou l’intérêt est nul pour les personnes qui n’effectuent aucun achat; sur ces échelles, les non-acheteurs seraient beaucoup plus proches des acheteurs que Y ou même le log de Y ne le suggère. Dans un cas très semblable à celui observé dans le secteur de la santé, j’ai trouvé que les prévisions les plus précises, à en juger par la validation croisée des ensembles de tests et d’entraînement, ont été obtenues par ordre croissant:

1. Régression logistique sur une version binaire de Y,
2. OLS sur Y,
3. La régression ordinale (PLUM) sur Y est regroupée en 5 catégories (de manière à diviser les acheteurs en 4 groupes de taille égale),
4. La régression logistique multinomiale sur Y est classée en 5 catégories,
5. OLS sur le journal (10) de Y (je n'ai pas pensé à essayer la racine du cube), et
6. OLS sur Y classés en 5 catégories.

Certains vont reculer devant cette catégorisation d'une variable dépendante continue. Mais bien que cela sacrifie certaines informations, la catégorisation semble aider en restaurant un aspect sous-jacent important de la situation - encore une fois, le fait que les "zéros" sont beaucoup plus similaires aux autres que ce que Y aurait indiqué.

La transformation de puissance Yeo-Johnson décrite ici présente d'excellentes propriétés conçues pour gérer les zéros et les négatifs tout en s'appuyant sur les points forts de la transformation de puissance Box Cox. C’est ce à quoi je vais généralement quand j’ai affaire à des zéros ou des données négatives.

Voici un résumé des transformations avec les avantages / inconvénients pour illustrer pourquoi Yeo-Johnson est préférable.

Bûche

Avantages: fait bien avec des données positives.

Inconvénients: Ne gère pas les zéros.

> log(0)
[1] -Inf

Log Plus 1

Avantages: l'offset plus 1 ajoute la possibilité de gérer les zéros en plus des données positives.

Inconvénients: échoue avec les données négatives

> log1p(-1)
[1] -Inf
> log1p(-2)
[1] NaN
Warning message:
In log1p(-2) : NaNs produced

Racine carrée

Avantages: Utilise une transformation de puissance capable de gérer les zéros et les données positives.

Inconvénients: échoue avec les données négatives

> sqrt(-1)
[1] NaN
Warning message:
In sqrt(-1) : NaNs produced

Box Cox

Code R:

box_cox <- function(x, lambda) {

    eps <- 0.00001
    if (abs(lambda) < eps)
        log(x)
    else
        (x ^ lambda - 1) / lambda

}

Avantages: Permet des transformations de puissance à l'échelle

Inconvénients: Souffre de problèmes de zéros et de négatifs (c.-à-d. Ne peut gérer que des données positives.

> box_cox(0, lambda = 0)
[1] -Inf
> box_cox(0, lambda = -0.5)
[1] -Inf
> box_cox(-1, lambda = 0.5)
[1] NaN

Yeo Johnson

Code R:

yeo_johnson <- function(x, lambda) {

    eps <- .000001
    not_neg <- which(x >= 0)
    is_neg  <- which(x < 0)

    not_neg_trans <- function(x, lambda) {
        if (abs(lambda) < eps) log(x + 1)
        else ((x + 1) ^ lambda - 1) / lambda
    }

    neg_trans <- function(x, lambda) {
        if (abs(lambda - 2) < eps) - log(-x + 1)
        else - ((-x + 1) ^ (2 - lambda) - 1) / (2 - lambda)
    }

    x[not_neg] <- not_neg_trans(x[not_neg], lambda)

    x[is_neg] <- neg_trans(x[is_neg], lambda)

    return(x)

}

Avantages: Peut traiter des données positives, nulles et négatives.

Inconvénients: Aucun que je puisse penser. Les propriétés sont très similaires à Box-Cox mais peuvent gérer des données nulles et négatives.

> yeo_johnson(0, lambda = 0)
[1] 0
> yeo_johnson(0, lambda = -0.5)
[1] 0
> yeo_johnson(-1, lambda = 0.5)
[1] -1.218951

Pour clarifier la manière de traiter le log de zéro dans les modèles de régression, nous avons rédigé un document pédagogique expliquant la meilleure solution et les erreurs courantes commises par les utilisateurs. Nous avons également proposé une nouvelle solution pour résoudre ce problème.

Vous pouvez trouver le document en cliquant ici: https://ssrn.com/abstract=3444996

$\log(y) = \beta \log(x) + \varepsilon$$\beta$$y$$x$

$Y$$Y + c > 0$

Dans notre article, nous fournissons en fait un exemple où ajouter de très petites constantes fournit le biais le plus élevé. Nous fournissons une expression du biais.

En fait, le pseudo-maximum de vraisemblance de Poisson (PPML) peut être considéré comme une bonne solution à ce problème. On doit considérer le processus suivant:

$y_i = a_i \exp(\alpha + x_i' \beta)$$E(a_i | x_i) = 1$

$\beta$$a_i$$y_i = 0$$E(a_i|x_i) = 1$$E( y_i - \exp(\alpha + x_i' \beta) | x_i) = 0$

$\sum_{i=1}^N ( y_i - \exp(\alpha + x_i' \beta) )x_i' = 0$

$y_i = 0$

$\beta$

$\log( y_i + \exp (\alpha + x_i' \beta)) = x_i' \beta + \eta_i$

Nous montrons que cet estimateur est non biaisé et qu’il peut simplement être estimé avec GMM avec n’importe quel logiciel statistique standard. Par exemple, il peut être estimé en exécutant une seule ligne de code avec Stata.

Nous espérons que cet article pourra vous aider et nous serions ravis de recevoir vos commentaires.

Christophe Bellégo et Louis-Daniel Pape CREST - Ecole Polytechnique - ENSAE