Je prépare actuellement des forêts aléatoires pour un problème de classification en utilisant le randomForestpackage dans R, et je ne sais pas comment signaler une erreur de formation pour ces modèles. Mon erreur d'entraînement est proche de 0% lorsque je la calcule en utilisant les prédictions que...
Existe-t-il des algorithmes documentés pour séparer les sections d'un ensemble de données donné en différentes courbes de meilleur ajustement? Par exemple, la plupart des humains qui regardent ce tableau de données le diviseraient facilement en 3 parties: un segment sinusoïdal, un segment linéaire...
Existe-t-il une technique de modélisation comme LOESS qui autorise zéro, une ou plusieurs discontinuités, où le moment des discontinuités n'est pas connu a priori? Si une technique existe, existe-t-il une implémentation existante dans R?
J'essaie de reproduire un algorithme de prédiction existant, transmis par un chercheur à la retraite. La première étape consiste à ajuster certaines données observées à une distribution de Weibull, pour obtenir une forme et une échelle qui seront utilisées pour prédire les valeurs futures....
Lorsque vous êtes celui qui fait le travail, sachant ce que vous faites, vous développez une idée du moment où vous avez trop adapté le modèle. D'une part, vous pouvez suivre la tendance ou la détérioration du carré R ajusté du modèle. Vous pouvez également suivre une détérioration similaire des...
J'ai les données suivantes et j'aimerais y adapter un modèle de croissance exponentielle négative: Days <- c( 1,5,12,16,22,27,36,43) Emissions <- c( 936.76, 1458.68, 1787.23, 1840.04, 1928.97, 1963.63, 1965.37, 1985.71) plot(Days, Emissions) fit <- nls(Emissions ~ a* (1-exp(-b*Days)),...
Il semble y avoir des conseils contradictoires sur la façon de gérer la comparaison entre l'erreur de train et l'erreur de test, en particulier lorsqu'il y a un écart entre les deux. Il semble y avoir deux écoles de pensée qui, selon moi, semblent en conflit. Je cherche à comprendre comment...
Ma principale question est de savoir comment comprendre la validation croisée k-fold dans le contexte des ensembles de formation / validation / test (si cela correspond à un tel contexte). Habituellement, les gens parlent de diviser les données en un ensemble de formation, de validation et de test...
J'ai lu que le test de Kolmogorov-Smirnov ne devrait pas être utilisé pour tester la qualité de l'ajustement d'une distribution dont les paramètres ont été estimés à partir de l'échantillon. Est-il judicieux de diviser mon échantillon en deux et d'utiliser la première moitié pour l'estimation des...
J'ai déjà entendu l'expression suivante: "L'optimisation est la racine de tout mal dans les statistiques". Par exemple, la première réponse dans ce fil fait cette déclaration en référence au danger d'optimiser trop agressivement lors de la sélection du modèle. Ma première question est la suivante:...
Disons que nous avons les points de données d'entrée (prédicteur) et de sortie (réponse) A, B, C, D, E et que nous voulons ajuster une ligne à travers les points. Il s'agit d'un problème simple pour illustrer la question, mais il peut également être étendu à des dimensions plus élevées. Énoncé du...
À mon avis, les données d'entrée corrélées doivent conduire à un sur-ajustement dans les réseaux de neurones car le réseau apprend la corrélation, par exemple le bruit dans les données. Est-ce
Dans R (2.15.2), j'ai monté une fois un ARIMA (3,1,3) sur une série temporelle et une fois un ARMA (3,3) sur la série temporelle une fois différenciée. Les paramètres ajustés diffèrent, ce que j'ai attribué à la méthode d'ajustement dans ARIMA. De plus, l'ajustement d'un ARIMA (3,0,3) sur les mêmes...
Dans le livre de Bishop sur l'apprentissage automatique, il traite du problème de l'ajustement d'une courbe d'une fonction polynomiale à un ensemble de points de données. Soit M l'ordre du polynôme ajusté. Il déclare que Nous voyons qu'à mesure que M augmente, l'amplitude des coefficients augmente...
J'ai un modèle pour prédire une trajectoire (x en fonction du temps) avec plusieurs paramètres. Pour le moment, je calcule l'erreur quadratique moyenne (RMSE) entre la trajectoire prédite et la trajectoire enregistrée expérimentalement. Actuellement, je minimise cette différence (le RMSE) en...
Je modélise 15000 tweets pour la prédiction des sentiments en utilisant un LSTM monocouche avec 128 unités cachées en utilisant une représentation de type word2vec avec 80 dimensions. J'obtiens une précision de descente (38% avec aléatoire = 20%) après 1 époque. Plus l'entraînement fait baisser la...
Je suis relativement nouveau dans les statistiques et j'apprécierais de pouvoir mieux comprendre cela. Dans mon domaine, il existe un modèle de formulaire couramment utilisé: Pt= Po( Vt)αPt=Po(Vt)αP_t = P_o(V_t)^\alpha Lorsque les gens adaptent le modèle aux données, ils le linéarisent généralement...
Donc, j'ai un processus aléatoire générant distribution log-normale des variables aléatoires . Voici la fonction de densité de probabilité correspondante:XXX Je voulais estimer la distribution de quelques instants de cette distribution d'origine, disons le 1er moment: la moyenne arithmétique. Pour...
Disons que j'ai un problème de sélection de modèle et j'essaie d'utiliser AIC ou BIC pour évaluer les modèles. C'est simple pour les modèles qui ont un certain nombre kkk de paramètres à valeur réelle. Cependant, que se passe-t-il si l'un de nos modèles (par exemple, le modèle Mallows ) a une...
Tout d'abord: je sais, il n'y a pas de nombre général de taille d'échantillon requis pour former un réseau neuronal. Cela dépend de trop de facteurs comme la complexité de la tâche, le bruit dans les données, etc. Et plus j'aurai d'échantillons de formation, meilleur sera mon réseau. Mais je me...