Statistiques et Big Data

Le contexte: Dans une question précédente, @Robbie a demandé dans une étude portant sur environ 600 cas pourquoi les tests de normalité suggéraient une non-normalité significative alors que les graphiques suggéraient des distributions normales . Plusieurs personnes ont souligné que les tests de...

Comment définir un estimateur pour les données provenant d'une distribution binomiale? Pour bernoulli je peux penser à un estimateur estimant un paramètre p, mais pour le binôme je ne vois pas quels paramètres estimer quand on a n caractérisant la distribution? Mise à jour: Par estimateur,...

Je suis tombé sur un très bon texte sur Bayes / MCMC. Le service informatique suggère qu'une standardisation de vos variables indépendantes rendra un algorithme MCMC (Metropolis) plus efficace, mais aussi qu'elle peut réduire la (multi) colinéarité. Cela peut-il être vrai? Est-ce quelque chose que...

Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. J'ai un ensemble de données ascii qui se compose de trois colonnes, mais seules les deux dernières...

Je me demande quelles sont les différences entre le test t et l'ANOVA en régression linéaire? Est-ce qu'un test t pour tester si l'une des pentes et une intersection a une moyenne de zéro, alors que l'ANOVA pour tester si toutes les pentes ont une moyenne de zéro? Est-ce la seule différence entre...

Je dois réduire le nombre de variables pour effectuer une analyse de cluster. Mes variables sont fortement corrélées, j'ai donc pensé faire une analyse factorielle PCA (analyse en composantes principales). Cependant, si j'utilise les scores obtenus, mes grappes ne sont pas tout à fait correctes...

Je soupçonne que la plupart des utilisateurs d'outils statistiques sont des utilisateurs auxiliaires (des gens qui ont peu ou pas de formation formelle en statistique). Il est très tentant pour les chercheurs et autres professionnels d'appliquer des méthodes statistiques à leurs données simplement...

Je cherche à modéliser certaines données, mais je ne sais pas quel type de modèle je peux utiliser. J'ai des données de comptage et je veux un modèle qui donnera des estimations paramétriques de la moyenne et de la variance des données. Autrement dit, j'ai divers facteurs prédictifs et je veux...

Je pensais que la fonction de lien canonique venait du paramètre naturel de la famille exponentielle. Disons, considérons la famille puis est la fonction de lien canonique. Prenons la distribution de Bernoulli comme exemple, nous avons Ainsi, la fonction de lien

Cette question illustre la difficulté d'une personne à maîtriser seule les statistiques et les probabilités, face à des ressources peu développées comme Wikipedia. Il m'est venu à l'esprit que la consultation de statisticiens, et il y en a quelques-uns ici, peut régulièrement relever le défi...

Comment puis-je approximer l'intégrale suivante à l'aide de la simulation MC? ∫1- 1∫1- 1| x-y|d xd y∫−11∫−11|x−y|dxdy \int_{-1}^{1} \int_{-1}^{1} |x-y| \,\mathrm{d}x \,\mathrm{d}y Merci! Modifier (un certain contexte): j'essaie d'apprendre à utiliser la simulation pour approximer les intégrales et...

Vous avez donc décidé de soutenir l'idée d'une recherche reproductible et souhaitez rendre vos données disponibles en ligne pour que les gens puissent les voir et les utiliser. La question est, où l'hébergez-vous? Ma première inclination est bien sûr l'espace Web privé que j'ai sur un serveur...

J'essaie de construire un SVM à partir de données de formation où un groupe est représenté plus que l'autre. Cependant, les groupes seront également représentés dans les éventuelles données de test. Par conséquent, je voudrais utiliser le class.weightsparamètre de l' e1071interface du package R...

Je suis curieux de connaître l'implémentation pratique d'une division binaire dans un arbre de décision - en ce qui concerne les niveaux d'un prédicteur catégorique .XjXjX{j} Plus précisément, j'utilise souvent une sorte de schéma d'échantillonnage (par exemple, ensachage, suréchantillonnage, etc.)...

J'essaie de comprendre comment l'algorithme Lars peut être modifié pour générer Lasso. Bien que je comprenne le LARS, je ne suis pas en mesure de voir la modification au Lasso de l'article de Tibshirani et al. En particulier, je ne vois pas pourquoi la condition de signe en ce que le signe de la...

Si le Hosmer-Lemeshow indique un manque d'ajustement mais l'AIC est le plus bas de tous les modèles .... devriez-vous toujours utiliser le modèle? Si je supprime une variable, la statistique Hosmer-Lemeshow n'est pas significative (ce qui signifie qu'il n'y a pas de manque brutal d'ajustement)....

Par exemple. tels que ceux sur cette page http://store.steampowered.com/hwsurvey Y a-t-il un logiciel prêt à l'emploi qui peut le faire? Sinon, des recommandations pour d'autres logiciels qui font quelque chose de similaire? Je sais que ce n'est pas vraiment une question de statistiques, mais je...

Y a-t-il un analogue aux inégalités du moment supérieur de Tchebychev dans le cas unilatéral? L'inégalité de Chebyshev-Cantelli ne semble fonctionner que pour la variance, tandis que l'inégalité de Chebyshev peut facilement être produite pour tous les exposants. Quelqu'un connaît-il une inégalité...

En règle générale, lorsque l'on rencontre des mesures de résultats continues mais asymétriques dans un plan longitudinal (par exemple, avec un effet inter-sujets), l'approche courante consiste à transformer le résultat en normalité. Si la situation est extrême, comme dans le cas d'observations...

Quelle est la meilleure fonction de coût pour un arbre forestier aléatoire: indice de Gini ou entropie? J'essaie d'implémenter une forêt aléatoire à