Je suis relativement nouveau dans les forêts aléatoires. Dans le passé, j'ai toujours comparé la précision de l' ajustement vs le test à l' ajustement vs le train pour détecter tout sur-ajustement. Mais je viens de lire ici que: "Dans les forêts aléatoires, il n'y a pas besoin de validation croisée...
J'ai déjà entendu l'expression suivante: "L'optimisation est la racine de tout mal dans les statistiques". Par exemple, la première réponse dans ce fil fait cette déclaration en référence au danger d'optimiser trop agressivement lors de la sélection du modèle. Ma première question est la suivante:...
Il semble y avoir des conseils contradictoires sur la façon de gérer la comparaison entre l'erreur de train et l'erreur de test, en particulier lorsqu'il y a un écart entre les deux. Il semble y avoir deux écoles de pensée qui, selon moi, semblent en conflit. Je cherche à comprendre comment...
Lorsque vous êtes celui qui fait le travail, sachant ce que vous faites, vous développez une idée du moment où vous avez trop adapté le modèle. D'une part, vous pouvez suivre la tendance ou la détérioration du carré R ajusté du modèle. Vous pouvez également suivre une détérioration similaire des...
Ma principale question est de savoir comment comprendre la validation croisée k-fold dans le contexte des ensembles de formation / validation / test (si cela correspond à un tel contexte). Habituellement, les gens parlent de diviser les données en un ensemble de formation, de validation et de test...
Je modélise 15000 tweets pour la prédiction des sentiments en utilisant un LSTM monocouche avec 128 unités cachées en utilisant une représentation de type word2vec avec 80 dimensions. J'obtiens une précision de descente (38% avec aléatoire = 20%) après 1 époque. Plus l'entraînement fait baisser la...
À mon avis, les données d'entrée corrélées doivent conduire à un sur-ajustement dans les réseaux de neurones car le réseau apprend la corrélation, par exemple le bruit dans les données. Est-ce
Dans le livre de Bishop's PRML, il dit que le sur-ajustement est un problème avec l'estimation de maximum de vraisemblance (MLE), et que le bayésien peut l'éviter. Mais je pense que le sur-ajustement est un problème plus lié à la sélection du modèle, pas à la méthode utilisée pour faire...
Je voulais mieux comprendre le test exact du pêcheur, j'ai donc imaginé l'exemple de jouet suivant, où f et m correspond à l'homme et à la femme, et n et y correspond à la "consommation de soda" comme ceci: > soda_gender f m n 0 5 y 5 0 Évidemment, c'est une simplification drastique, mais je ne...
Tout d'abord: je sais, il n'y a pas de nombre général de taille d'échantillon requis pour former un réseau neuronal. Cela dépend de trop de facteurs comme la complexité de la tâche, le bruit dans les données, etc. Et plus j'aurai d'échantillons de formation, meilleur sera mon réseau. Mais je me...
Ceci est à la limite d'une question philosophique, mais je suis intéressé par la façon dont d'autres personnes ayant plus d'expérience pensent la sélection de distribution. Dans certains cas, il semble clair que la théorie pourrait mieux fonctionner (les longueurs de queue des souris sont...
J'ai une distribution de valeurs évidemment bimodale, que je cherche à adapter. Les données peuvent être adaptées à 2 fonctions normales (bimodales) ou à 3 fonctions normales. De plus, il existe une raison physique plausible pour ajuster les données avec 3. Plus il y a de paramètres introduits,...
J'ai lu de la littérature que les forêts aléatoires ne peuvent pas saturer. Bien que cela semble génial, cela semble trop beau pour être vrai. Est-il possible pour les RF de
J'essaie de comprendre ce qu'est un modèle saturé. AFAIK c'est quand vous avez autant de fonctionnalités que d'observations. Pouvons-nous dire qu'un modèle saturé est un cas particulier d'un modèle extrêmement surajusté?
Cela pourrait être une question fondamentale: quelle est la différence entre le biais et le sous-ajustement? Et, par analogie, quelle est la différence entre la variance et le sur-ajustement? Les termes de chaque paire signifient-ils la même chose? Sinon, quelle est la
Je comprends que nous pouvons utiliser la régularisation dans un problème de régression des moindres carrés comme w∗=argminw[(y−Xw)T(y−Xw)+λ∥w∥2]w∗=argminw[(y−Xw)T(y−Xw)+λ‖w‖2]\boldsymbol{w}^* = \operatorname*{argmin}_w \left[ (\mathbf y-\mathbf{Xw})^T(\boldsymbol{y}-\mathbf{Xw}) +...
Aujourd'hui, notre professeur a déclaré en classe qu '"il n'est pas possible de sur-équiper les classificateurs linéaires". Je pense que c'est faux, car même les classificateurs linéaires peuvent être sensibles aux valeurs aberrantes dans l'ensemble de formation - prenez par exemple une machine à...
Pour autant que je l'ai vu, les opinions ont tendance à différer à ce sujet. Les meilleures pratiques dicteraient certainement l'utilisation de la validation croisée (surtout si l'on compare les RF avec d'autres algorithmes sur le même ensemble de données). D'un autre côté, la source d'origine...
J'ai appris qu'un sur-ajustement peut être détecté en traçant l'erreur d'apprentissage et l'erreur de test en fonction des époques. Comme dans: J'ai lu ce blog où ils disent que le réseau neuronal, net5 est trop adapté et ils fournissent ce chiffre: Ce qui est étrange pour moi, car l'erreur de...
N'entraîne-t-il pas un sur-ajustement? Mes résultats seraient-ils plus fiables si j'ajoutais une procédure de jack-knife ou de bootstrap dans le cadre de