Que faire si les probabilités ne sont pas égales dans la "règle .632?"

11

Cette question est dérivée de celle-ci à propos de la "règle .632". J'écris avec une référence particulière à la réponse / notation de user603 dans la mesure où cela simplifie les choses.

Cette réponse commence par un échantillon de taille avec remplacement, à partir de éléments distincts dans la collection (appelez-le) N. La probabilité que l' échantillon soit différent d'un élément particulier de N est alorsn,nithsim(11/n).

Dans cette réponse, tous les éléments de N ont une chance égale d'être tirés au hasard.

Ma question est la suivante: supposons plutôt que dans la question ci-dessus les éléments à dessiner soient tels qu'ils soient normalement distribués. Autrement dit, nous subdivisons la courbe normale standard de à en (disons) 100 sous-intervalles de longueur égale. Chacun des 100 éléments de N a une probabilité d'être dessinée qui est égale à la zone sous-tendue par la courbe dans son intervalle respectif.Z=4Z=4

Ma pensée était la suivante:

Le raisonnement est similaire à celui de la réponse liée, je pense. La probabilité que , avec un élément de N, soit dans laquelle est la probabilité de dessinersimmP(sim)=(1Fi)Fisi.

La probabilité qu'un élément particulier m soit dans l'échantillon S de taille n est

= 1 - n 1 ( 1 - F i ) .

P(mS)=1P(mS)=11nP(sim)
=11n(1Fi).

Un calcul semble montrer qu'à mesure que la longueur des sous-intervalles devient petite, la réponse converge vers le même nombre que dans le premier cas (probabilités de toutes égales).si

Cela semble contre-intuitif (pour moi) car la construction semble inclure des éléments de N qui sont rares, donc je m'attendrais à un nombre inférieur à 0,632.

Aussi, si cela est correct, je suppose que nous aurions

limn1n(1Fi)=lim(11/n)n=1/e,

que je ne sais pas encore être vrai ou faux.

Edit: Si c'est vrai, cela en généraliserait probablement.

Merci pour toutes informations.

daniel
la source
Je viens de poser des questions sur la dernière équation de Mathematics SE (question 791114) parce que je suis également intéressé par la façon dont elle se généralise, le cas échéant.
daniel
... et la réponse courte est que la dernière égalité est correcte pour les PDF bien comportés, donc la réponse à la question est que la règle .632 est valable pour une grande variété de distributions sous-jacentes.
daniel
Puis-je retirer la réponse de quelqu'un d'autre sur un autre site et la publier ici comme la mienne? C'est pourquoi j'ai publié le bref commentaire. Peut-être existe-t-il une façon acceptée de procéder, si c'est le cas, je suis d'accord.
daniel
bien sûr, vous pouvez, il suffit de mentionner la source à un moment donné :)
Firebug
@Firebug: pouvez-vous pointer vers une instance où cela est fait pour que je puisse voir ce que vous voulez dire? Merci.
daniel

Réponses:

2

La question porte sur le comportement limitatif des

(1)=1i=1n(1Fi)

lorsque croît et que uniformément de telle sorte que (a) tous sont non négatifs et (b) ils se résument à l'unité. (Ceux-ci découlent de la construction du et des axiomes de probabilité.)nFi Fi

Par définition, ce produit est l'exponentielle de son logarithme:

i=1n(1Fi)=exp(i=1nlog(1Fi)).

Le théorème de Taylor (avec la forme de Lagrange du reste) , appliqué à , établit quelog

log(1Fi)=Fi12ϕi2Fi12Fi2

pour certains dans l'intervalle . En d'autres termes, ces logarithmes sont égaux à jusqu'à des termes qui sont au plus fois . Mais lorsque est assez grand pour garantir que tous les sont plus petits que certains donnés (une condition assurée par le retrait uniforme des ), alors (b) implique et doncϕi[0,Fi]Fi 1/2Fi2nFiϵ>0Finϵ>Fi=1

i=1nFi2i=1nϵ2<i=1n(1n)2=1n.

par conséquent

1=i=1nFii=1nlog(1Fi)i=1nFi121n=112n

serre le logarithme entre deux séquences convergeant vers . Puisque est continu, le produit converge vers l'exponentielle de cette limite, . par conséquent1expi=1n(1Fi)exp(1)

limn(1i=1n(1Fi))=1exp(1)0.632,

QED .


Un examen plus approfondi de cette analyse établit que l'erreur dans cette approximation (qui sera toujours une borne inférieure ) n'est pas plus grande que Par exemple, la division d'une distribution normale standard en tranches entre et produit un maximum près du mode , où il sera approximativement égal à l'aire d'un rectangle, . La limite précédente établit que la valeur de la formule sera à de sa valeur limite. L'erreur réelle est un ordre de grandeur moins,

(exp((n/2)max(Fi2))1)exp(1).
n=40044Fi0exp(1/2)/500.012(1)0.0110.001041 . Voici le calcul dans R(auquel nous pouvons faire confiance car aucun des n'est vraiment petit par rapport à ):fi1
f <- diff(pnorm(seq(-4, 4, length.out=401))) # The normal "slices".
f <- f / sum(f)                              # Make them sum to unity.
exp(-1) - prod(1 - f)                        # Compute the error.

En effet, 1 - prod(1-f)est alors que est .0.63316151exp(1)0.6321206

whuber
la source
2
L'analyse des erreurs est un aspect très utile de cette réponse.
daniel