Si nous considérons un arbre de décision complet (c'est-à-dire un arbre de décision non élagué), il présente une variance élevée et un faible biais. L'ensachage et les forêts aléatoires utilisent ces modèles à variance élevée et les agrègent afin de réduire la variance et ainsi améliorer la...
Pourquoi les valeurs de p et les statistiques du test ks diminuent avec l'augmentation de la taille de l'échantillon? Prenez ce code Python comme exemple: import numpy as np from scipy.stats import norm, ks_2samp np.random.seed(0) for n in [10, 100, 1000, 10000, 100000, 1000000]: x = norm(0,...
Je suis un étudiant en physique qui étudie l'apprentissage automatique / la science des données, donc je ne veux pas que cette question déclenche des conflits :) Cependant, une grande partie de tout programme de premier cycle en physique consiste à faire des laboratoires / expériences, ce qui...
Je suis conscient du fait que les variables catégorielles avec k niveaux doivent être codées avec k-1 variables dans le codage factice (de même pour les variables catégorielles à valeurs multiples). Je me demandais combien de problème un codage à chaud (c'est-à-dire en utilisant k variables à la...
Je sais comment générer une séquence avec une moyenne de . Par exemple, dans Matlab, si je veux générer une séquence de longueur , c'est:0 ± 1 10000±1±1\pm 1000±1±1\pm 1100001000010000 2*(rand(1, 10000, 1)<=.5)-1 Cependant, comment générer une séquence avec une moyenne de , c'est-à-dire avec...
Le test d'hypothèse s'apparente à un problème de classification. Disons que nous avons 2 étiquettes possibles pour une observation (sujet) - Coupable vs Non coupable. Que l'hypothèse non coupable soit nulle. Si nous considérions le problème du point de vue de la classification, nous formerions un...
Si j'ai deux variables aléatoires indépendantes X et Y, quelle est la corrélation entre X et le produit XY? Si cela est inconnu, je serais intéressé à savoir au moins ce qui se passe dans le cas spécifique où X et Y sont normaux avec une moyenne nulle, si c'est plus facile à...
J'utilise le filtre de Kalman d'une manière très standard. Le système est représenté par l'équation d'état xt+1=Fxt+vt+1xt+1=Fxt+vt+1x_{t+1}=Fx_{t}+v_{t+1} et l'équation d'observation yt=Hxt+Azt+wtyt=Hxt+Azt+wty_{t}=Hx_{t}+Az_{t}+w_{t} . Les manuels scolaires enseignent que , après l' application...
En choisissant le paramètre de régularisation lambda dans Ridge ou Lasso, la méthode recommandée consiste à essayer différentes valeurs de lambda, à mesurer l'erreur dans l'ensemble de validation et enfin à choisir la valeur de lambda qui renvoie l'erreur la plus faible. Ce n'est pas pour moi si la...
Voici quelque chose que j'ai lu dans le livre Deep Learning d' Ian Goodfellow . Dans le contexte des réseaux de neurones, "la pénalité de la norme du paramètre L2 est communément appelée décroissance du poids. Cette stratégie de régularisation rapproche les poids de l'origine [...]. Plus...
Ma compréhension de SVM est qu'elle est très similaire à une régression logistique (LR), c'est-à-dire qu'une somme pondérée de caractéristiques est passée à la fonction sigmoïde pour obtenir une probabilité d'appartenance à une classe, mais au lieu de la perte d'entropie croisée (logistique)...
Je lis le chapitre 13 "Adventures in Covariance" dans le ( superbe ) livre Statistical Rethinking de Richard McElreath où il présente le modèle hiérarchique suivant: ( REst une matrice de corrélation) L'auteur explique qu'il LKJcorrs'agit d'un a priori faiblement informatif qui fonctionne comme un...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé il y a 2 ans . En attendant le prochain cours d'Andrew Ng sur Coursera, j'essaie de...
J'essaie d'implémenter l'algorithme Nelder-Mead pour optimiser une fonction. La page wikipedia sur Nelder-Mead est étonnamment claire sur l'ensemble de l'algorithme, à l'exception de son critère d'arrêt. Là, il dit malheureusement: Vérifier la convergence [clarification nécessaire] . J'ai moi-même...
Je souhaite améliorer ma compréhension des réseaux de neurones et de leurs avantages par rapport à d'autres algorithmes d'apprentissage automatique. Ma compréhension est comme ci-dessous et ma question est: Pouvez-vous corriger et compléter ma compréhension s'il vous plaît? :) Ma compréhension: (1)...
Lorsque nous voulons estimer des paramètres de régression linéaire, nous faisons des équations normales autant que le modèle linéaire contient un nombre d'inconnues. Pourquoi ces équations sont-elles appelées équations
J'ai deux régressions du même Y et du X à trois niveaux. Globalement n = 15, avec n = 5 dans chaque groupe ou niveau de X. La première régression traite le X comme catégorique, attribuant des variables indicatrices aux niveaux 2 et 3 avec le niveau l'un étant la référence. Les indicateurs /...
Le titre dit tout. Je comprends que les moindres carrés et le maximum de vraisemblance donneront le même résultat pour les coefficients de régression si les erreurs du modèle sont normalement distribuées. Mais que se passe-t-il si les erreurs ne sont pas normalement distribuées? Pourquoi les deux...
Dans les paramètres de régression univariée, nous essayons de modéliser y=Xβ+noisey=Xβ+noisey = X\beta +noise où un vecteur de observations et la matrice de conception avec prédicteurs. La solution est .y∈Rny∈Rny \in \mathbb{R}^nnnnX∈Rn×mX∈Rn×mX \in \mathbb{R}^{n \times...
Je regardais ce cahier et je suis perplexe par cette déclaration: Lorsque nous parlons de normalité, nous voulons dire que les données devraient ressembler à une distribution normale. Ceci est important car plusieurs tests statistiques en dépendent (par exemple les statistiques t). Je ne comprends...