Comprendre la projection linéaire dans «Les éléments de l'apprentissage statistique»

Dans le livre "Les éléments de l'apprentissage statistique" au chapitre 2 ("Modèles linéaires et moindres carrés; page n °: 12"), il est écrit que

Dans l'espace d'entrée-sortie (p + 1), (X, Y) représente un hyperplan. Si la constante est incluse dans X, l'hyperplan inclut l'origine et est un sous-espace; sinon, il s'agit d'un ensemble affine coupant l'axe Y au point (0,$\beta$).

Je ne reçois pas la phrase "si la constante est ... (0,$\beta$) ". S'il vous plaît, aidez-moi. Je pense que l'hyperplan couperait l'axe Y à (0,$\beta$) dans les deux cas, est-ce exact?

La réponse ci-dessous a quelque peu aidé, mais je cherche une réponse plus spécifique. Je comprends que lorsque$1$ est inclus dans le $X$, il ne contiendra pas d'origine, mais comment $(X,Y)$contiendrait l'origine? Ne devrait-il pas dépendre de la valeur de$\beta$? Si intercepter$\beta_0$ n'est pas $0$, $(X,Y)$ ne devrait pas contenir d'origine, à ma connaissance?

L'inclusion de la constante 1dans le vecteur d'entrée est une astuce courante pour inclure un biais (pensez à l'ordonnée à l'origine) mais en gardant tous les termes de l'expression symétriques: vous pouvez écrire$\beta X$ au lieu de $\beta_0 + \beta X$ partout.

Si vous faites cela, il est alors correct que l'hyperplan $Y = \beta X$ inclut l'origine, puisque l'origine est un vecteur de $0$ valeurs et en le multipliant pour $\beta$ donne la valeur $0$.

Cependant, vos vecteurs d'entrée auront toujours le premier élément égal à $1$; par conséquent, ils ne contiendront jamais l'origine et seront placés sur un hyperplan plus petit, qui a une dimension de moins.

Vous pouvez visualiser cela en pensant à une ligne $Y=mx+q$ sur votre feuille de papier (2 dimensions). L'hyperplan correspondant si vous incluez le biais$q$ votre vecteur devient $X = [x, x_0=1]$ et vos coefficients $\beta = [m, q]$. En 3 dimensions c'est un avion passant de l'origine, qui intercepte l'avion$x_0=1$ produisant la ligne où vos entrées peuvent être placées.

Pour vous aider à comprendre cela, j'ai fait une visualisation d'un cas très simple.

Disons que nous avons un problème unidimensionnel (p = 1) donc une seule caractéristique (variable d'entrée) $X_1$ prédire une seule variable de sortie $Y$. Imaginons que nous ayons déjà trouvé une interception$\beta_0 = 5$ et un coefficient $\beta_1 = 2$ pour notre variable d'entrée $X_1$.

Notre modèle linéaire ressemblerait à: $\hat{Y} = \beta_0 + \beta_1 \times X_1$.

D'où la représentation évidente serait un hyperplan (une ligne) dans (p + 1) -espace dimensionnel dans ce cas (2d):

Une autre représentation serait d'ajouter une autre variable $X_0$ ce qui conduira à l'équation suivante: $\hat{Y} = \beta_0 \times X_0 + \beta_1 \times X_1$.

En pratique, nous savons que $X_0$sera une constante et égale à 1, mais supposons qu'elle ne soit pas encore fixe. Dans ce cas, nous pouvons maintenant tracer un graphique 3D avec un hyperplan comme suit:

Enfin puisque nous ne connaissons que $X_0 = 1$ est possible j'ai mis en évidence avec une ligne pointillée rouge la seule projection de travail de cet hyperplan qui correspond exactement à l'intrigue que nous avions avant.