Statistiques et Big Data

Supposons que je courais une régression . Pourquoi en sélectionnant les premiers composants de , le modèle conserve-t-il son pouvoir prédictif sur ?k X YOui∼ XOui∼XY \sim XkkkXXXOuiOuiY Je comprends que du point de vue de la réduction de dimensionnalité / sélection des caractéristiques, si sont les...

Pourquoi les fonctions d'activation des unités linéaires rectifiées (ReLU) sont-elles considérées comme non linéaires? f(x)=max(0,x)f(x)=max(0,x) f(x) = \max(0,x) Ils sont linéaires lorsque l'entrée est positive et de ma compréhension pour débloquer la puissance représentative des réseaux profonds,...

J'essaie de faire une analyse des séries chronologiques et je suis nouveau dans ce domaine. J'ai un décompte quotidien d'un événement de 2006-2009 et je veux y adapter un modèle de série chronologique. Voici les progrès que j'ai réalisés: timeSeriesObj = ts(x,start=c(2006,1,1),frequency=365.25)...

Dans certaines conférences et tutoriels que j'ai vus, ils suggèrent de diviser vos données en trois parties: formation, validation et test. Mais il n'est pas clair comment le jeu de données de test doit être utilisé, ni comment cette approche est meilleure que la validation croisée sur l'ensemble...

Je fais une validation croisée imbriquée. J'ai lu que la validation croisée avec un seul retrait peut être biaisée (je ne me souviens pas pourquoi). Est-il préférable d'utiliser la validation croisée 10 fois ou la validation croisée avec suppression de la mise à part le temps d'exécution plus long...

La variance serait une mesure de l'écart. Donc, j'avais pensé que la variance de 3,5est égale à la variance de 3,3,5,5puisque les nombres sont également répartis. Mais ce n'est pas le cas, la variance de 3,5is 2tandis que la variance de 3,3,5,5is 1 1/3. Cela me laisse perplexe, étant donné...

J'espère obtenir une explication intuitive et accessible de la régression quantile. Disons que j'ai un simple ensemble de données du résultat YYY et des prédicteurs X1,X2X1,X2X_1, X_2 . Si, par exemple, je lance une régression quantile à .25, .5, .75, et récupère

Quels sont les avantages, pourquoi utiliserait-on plusieurs LSTM, empilés côte à côte, dans un réseau profond? J'utilise un LSTM pour représenter une séquence d'entrées en tant qu'entrée unique. Donc, une fois que j'ai cette représentation unique - pourquoi la repasserais-je? Je pose la question...

Je sais que les communautés de physique et de mathématiques sont très impliquées dans ArXiv, mais qu'en est-il de la communauté des statistiques? Est-il habituel de poster là-bas avant la

J'ai lu un article disant que lorsque vous utilisez des contrastes planifiés pour trouver des moyens qui sont différents d'une manière ANOVA, les contrastes doivent être orthogonaux afin qu'ils ne soient pas corrélés et empêchent que l'erreur de type I ne soit gonflée. Je ne comprends pas pourquoi...

J'ai travaillé avec de grands ensembles de données récemment et j'ai trouvé beaucoup d'articles sur les méthodes de streaming. Pour n'en nommer que quelques-uns: Follow-the-Regularized-Leader and Mirror Descent: The Equivalence Theorems and L1 Regularization (

Dans le livre de Jaynes "Probability Theory: The Logic of Science" , Jaynes a un chapitre (Ch 18) intitulé "La distribution et la règle de succession" dans lequel il introduit l'idée de distributions A p , que ce passage aide à illustrer:ApApA_pApApA_p [...] Pour voir cela, imaginez l'effet...

L'estimation du maximum de vraisemblance se traduit souvent par des estimateurs biaisés (par exemple, son estimation de la variance de l'échantillon est biaisée pour la distribution gaussienne). Qu'est-ce qui le rend si populaire? Pourquoi est-il utilisé autant? De plus, qu'est-ce qui la rend...

En lisant les CV de tous les temps, je suis tombé sur une déclaration que je voudrais clarifier. Ceci est le poste et ma question se réfère aux remarques finales: "Je dois noter que toutes les connaissances que je viens de transmettre sont quelque peu obsolètes; maintenant que nous avons des...

J'ai actuellement du mal à trouver le bon modèle pour les données de comptage difficiles (variable dépendante). J'ai essayé différents modèles (des modèles à effets mixtes sont nécessaires pour mon type de données) tels que lmeret lme4(avec une transformation logarithmique) ainsi que des modèles à...

J'aimerais montrer comment les valeurs de certaines variables (~ 15) changent au fil du temps, mais j'aimerais aussi montrer comment les variables diffèrent les unes des autres chaque année. J'ai donc créé cette intrigue: Mais même lorsque vous changez le jeu de couleurs ou ajoutez différents types...

Je suis devenu un peu nihiliste en ce qui concerne les classements d' importance variable (dans le contexte de modèles multivariés de toutes sortes). Souvent, au cours de mon travail, on me demande soit d'aider une autre équipe à produire un classement d'importance variable, soit de produire un...

Partout, nous supposons que notre statistique est une fonction de certaines données qui est tirée de la fonction de distribution ; la fonction de distribution empirique de notre échantillon est . Donc est la statistique considérée comme une variable aléatoire et est la version bootstrap de la...

La citation ci-dessous, tirée de chefs de file dans le domaine de la modélisation à effets mixtes, affirme que les changements de coordonnées dans les modèles avec une corrélation nulle entre les effets aléatoires (modèles «ZCP») modifient les prévisions des modèles. Mais, quelqu'un peut-il...

Je fais une expérience numérique qui consiste à échantillonner une distribution log-normale , et à essayer d'estimer les moments par deux méthodes:E [ X n ]X∼ L N( μ , σ)X∼LN(μ,σ)X\sim\mathcal{LN}(\mu, \sigma)E [ Xn]E[Xn]\mathbb{E}[X^n] En regardant la moyenne de l'échantillon deXnXnX^n Estimer et...