Intervalle de confiance d'amorçage à partir d'une prédiction de régression

Pour les devoirs, on m'a donné des données pour créer / former un prédicteur qui utilise la régression au lasso. Je crée le prédicteur et je l'entraîne à l'aide de la bibliothèque lasso python de scikit learn.

Alors maintenant, j'ai ce prédicteur qui, une fois donné, peut prédire la sortie.

La deuxième question consistait à "étendre votre prédicteur pour rendre compte de l'intervalle de confiance de la prédiction en utilisant la méthode d'amorçage".

J'ai regardé autour de moi et j'ai trouvé des exemples de personnes faisant cela pour la moyenne et d'autres choses.

Mais je suis complètement perdu sur la façon dont je suis censé le faire pour une prédiction. J'essaie d'utiliser la bibliothèque scikit-bootstrap .

Le personnel du cours est extrêmement insensible, donc toute aide est appréciée. Je vous remercie.

Le bootstrapping fait référence au rééchantillonnage de vos données avec remplacement. Autrement dit, au lieu d'adapter votre modèle aux X et y d'origine, vous adaptez votre modèle aux versions rééchantillonnées de X et y plusieurs fois.

Ainsi, vous obtenez n modèles légèrement différents que vous pouvez utiliser pour créer un intervalle de confiance. Voici un exemple visuel d'un tel intervalle.

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

plt.figure(figsize=(12,8))
for i in range(0, 500):
    sample_index = np.random.choice(range(0, len(y)), len(y))

    X_samples = X[sample_index]
    y_samples = y[sample_index]    

    lr = LinearRegression()
    lr.fit(X_samples, y_samples)
    plt.plot(x, lr.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

lr = LinearRegression()
lr.fit(X, y)
plt.plot(x, lr.predict(X), color='red', zorder=5)

Si vous souhaitez utiliser l'API de scikit pour la partie bootstrap du code:

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.ensemble import BaggingRegressor

# Create toy data 
x = np.linspace(0, 10, 20)
y = x + (np.random.rand(len(x)) * 10)

# Extend x data to contain another row vector of 1s
X = np.vstack([x, np.ones(len(x))]).T

n_estimators = 50
model = BaggingRegressor(LinearRegression(), 
                         n_estimators=n_estimators,
                         bootstrap=True)

model.fit(X, y)

plt.figure(figsize=(12,8))

# Accessing each base_estimator (already fitted)
for m in model.estimators_:
    plt.plot(x, m.predict(X), color='grey', alpha=0.2, zorder=1)

plt.scatter(x,y, marker='o', color='orange', zorder=4)

# "Bagging model" prediction
plt.plot(x, model.predict(X), color='red', zorder=5)