Considérez le modèle linéaire simple:

$$\pmb{y}=X'\pmb{\beta}+\epsilon$$

où et , et contient une colonne des constantes.$\epsilon_i\sim\mathrm{i.i.d.}\;\mathcal{N}(0,\sigma^2)$$X\in\mathbb{R}^{n\times p}$$p\geq2$$X$

Ma question est, étant donné , et , existe-t-il une formule pour une borne supérieure non triviale sur *? (en supposant que le modèle a été estimé par OLS).$\mathrm{E}(X'X)$$\beta$$\sigma$$\mathrm{E}(R^2)$

* J'ai supposé, en écrivant ceci, qu'obtenir lui-même ne serait pas possible.$E(R^2)$

EDIT1

en utilisant la solution dérivée de Stéphane Laurent (voir ci-dessous) nous pouvons obtenir une borne supérieure non triviale sur . Certaines simulations numériques (ci-dessous) montrent que cette limite est en fait assez serrée.$E(R^2)$

Stéphane Laurent a dérivé ce qui suit: où est une distribution bêta non centrale avec paramètre de non-centralité avec$R^2\sim\mathrm{B}(p-1,n-p,\lambda)$$\mathrm{B}(p-1,n-p,\lambda)$$\lambda$

$$\lambda=\frac{||X'\beta-\mathrm{E}(X)'\beta1_n||^2}{\sigma^2}$$

Donc

$$\mathrm{E}(R^2)=\mathrm{E}\left(\frac{\chi^2_{p-1}(\lambda)}{\chi^2_{p-1}(\lambda)+\chi^2_{n-p}}\right)\geq\frac{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)}{\mathrm{E}\left(\chi^2_{p-1}(\lambda)\right)+\mathrm{E}\left(\chi^2_{n-p}\right)}$$

où est un non central avec le paramètre et degrés de liberté. Donc, une borne supérieure non triviale pour \ mathrm {E} (R ^ 2) estχ 2 λ k E ( R 2$\chi^2_{k}(\lambda)$$\chi^2$$\lambda$$k$$\mathrm{E}(R^2)$

$$\frac{\lambda+p-1}{\lambda+n-1}$$

il est très serré (beaucoup plus serré que ce à quoi je m'attendais serait possible):

par exemple, en utilisant:

rho<-0.75
p<-10
n<-25*p
Su<-matrix(rho,p-1,p-1)
diag(Su)<-1
su<-1
set.seed(123)
bet<-runif(p)

la moyenne des simulations sur 1000 est . La borne supérieure théorique ci-dessus donne . La borne semble être également précise sur de nombreuses valeurs de . Vraiment étonnant!R $R^2$0.9608190.9609081$R^2$

EDIT2:

après de plus amples recherches, il semble que la qualité de l'approximation de la borne supérieure de s'améliorera à mesure que augmentera (et toutes choses égales par ailleurs, augmentera avec ).λ + p λ $E(R^2)$$\lambda+p$$\lambda$$n$

Tout modèle linéaire peut s'écrire où G a la distribution normale standard sur R n et μ est supposé appartenir à un sous-espace linéaire W de R n . Dans votre cas, W = Im ( X ) .$\boxed{Y=\mu+\sigma G}$$G$$\mathbb{R}^n$$\mu$$W$$\mathbb{R}^n$$W=\text{Im}(X)$

Soit le sous-espace linéaire unidimensionnel généré par le vecteur ( 1 , 1 , … , 1 ) . En prenant U = [ 1 ] ci-dessous, le R 2 est fortement lié à la statistique de Fisher classique F = ‖ P Z Y ‖ 2 / ( m - ℓ $[1] \subset W$$(1,1,\ldots,1)$$U=[1]$$R^2$ pour le test d'hypothèse deH0:{μ∈U}oùU⊂West un sous-espace linéaire, et désignant par Z=U⊥∩Wle complément orthogonal deUenW, et désignantm=dim(W)etℓ=dim(U

$$F = \frac{{\Vert P_Z Y\Vert}^2/(m-\ell)}{{\Vert P_W^\perp Y\Vert}^2/(n-m)},$$ $H_0\colon\{\mu \in U\}$$U\subset W$$Z=U^\perp \cap W$$U$$W$$m=\dim(W)$$\ell=\dim(U)$(alors et ℓ = 1 dans votre situation).$m=p$$\ell=1$

En effet, car la définition deR2est R2= ‖ P Z Y ‖

$$\dfrac{{\Vert P_Z Y\Vert}^2}{{\Vert P_W^\perp Y\Vert}^2} = \frac{R^2}{1-R^2}$$ $R^2$ $$R^2 = \frac{{\Vert P_Z Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}=1 - \frac{{\Vert P^\perp_W Y\Vert}^2}{{\Vert P_U^\perp Y\Vert}^2}.$$

De toute évidence , et P ⊥ W Y = σ P ⊥ W G .$\boxed{P_Z Y = P_Z \mu + \sigma P_Z G}$$\boxed{P_W^\perp Y = \sigma P_W^\perp G}$

Lorsque est vrai$H_0\colon\{\mu \in U\}$ alors et donc F = ‖ P Z G ‖ 2 / ( m - ℓ $P_Z \mu = 0$ a ladistribution deFisherFm-ℓ,n-m. Par conséquent, à partir de la relation classique entre la distribution de Fisher et la distribution Bêta,R2∼B(m-ℓ,n-m).

$$F = \frac{{\Vert P_Z G\Vert}^2/(m-\ell)}{{\Vert P_W^\perp G\Vert}^2/(n-m)} \sim F_{m-\ell,n-m}$$ $F_{m-\ell,n-m}$$R^2 \sim {\cal B}(m-\ell, n-m)$

Dans la situation générale, nous devons traiter lorsque P Z μ ≠ 0 . Dans ce cas général, on a ‖ P Z Y ‖ 2 ∼ σ 2 χ 2 m - ℓ ( λ ) , la distribution non centrale χ 2 avec m - ℓ degrés de liberté et le paramètre de non-centralité λ = $P_Z Y = P_Z \mu + \sigma P_Z G$$P_Z\mu \neq 0$${\Vert P_Z Y\Vert}^2 \sim \sigma^2\chi^2_{m-\ell}(\lambda)$$\chi^2$$m-\ell$ , puis F∼Fm-ℓ,n-m(λ)(distribution de Fisher non centrale). Il s'agit du résultat classique utilisé pour calculer la puissance destests$\boxed{\lambda=\frac{{\Vert P_Z \mu\Vert}^2}{\sigma^2}}$$\boxed{F \sim F_{m-\ell,n-m}(\lambda)}$$F$

La relation classique entre la distribution de Fisher et la distribution de Beta tient également dans la situation non centrale. Enfin a la distribution bêta non centrale avec les "paramètres de forme" m - ℓ et n - m et le paramètre de non-centralité λ . Je pense que les moments sont disponibles dans la littérature mais ils sont peut-être très compliqués.$R^2$$m-\ell$$n-m$$\lambda$

Notons enfin . Notez que P Z = P W - P U . On a P U μ = ˉ μ 1 lorsque U = [ 1 ] , et P W μ = μ . D'où P Z μ = μ - ˉ μ 1 où ici μ = X β pour le vecteur de paramètres inconnus β .$P_Z\mu$$P_Z = P_W - P_U$$P_U \mu = \bar\mu 1$$U=[1]$$P_W \mu = \mu$$P_Z \mu =\mu - \bar\mu 1$$\mu=X\beta$$\beta$