Statistiques et Big Data

Je construis un modèle et je pense que la situation géographique est susceptible d'être très bonne pour prédire ma variable cible. J'ai le code postal de chacun de mes utilisateurs. Je ne suis pas tout à fait sûr de la meilleure façon d'inclure le code postal comme fonctionnalité de prédiction dans...

J'utilise une matrice de confusion pour vérifier les performances de mon classificateur. J'utilise Scikit-Learn, je suis un peu confus. Comment interpréter le résultat de from sklearn.metrics import confusion_matrix >>> y_true = [2, 0, 2, 2, 0, 1] >>> y_pred = [0, 0, 2, 2, 0, 2]...

Normalement, dans l'analyse en composantes principales (ACP), les premiers PC sont utilisés et les PC à faible variance sont abandonnés, car ils n'expliquent pas beaucoup la variation des données. Cependant, existe-t-il des exemples où les PC à faible variation sont utiles (c'est-à-dire qu'ils ont...

Différents logiciels d'implémentation sont disponibles pour le lasso . Je sais que beaucoup de choses ont été discutées entre l'approche bayésienne et l'approche fréquentiste dans différents forums. Ma question est très spécifique au lasso - Quelles sont les différences ou les avantages du lasso...

J'ai un problème à accepter les avantages d'étiqueter un facteur de modèle comme aléatoire pour plusieurs raisons. Il me semble que dans presque tous les cas, la solution optimale consiste à traiter tous les facteurs comme fixes. Premièrement, la distinction entre fixe et aléatoire est assez...

Lors de la construction d'un modèle de régression dans R ( lm), je reçois fréquemment ce message "there are aliased coefficients in the model" Qu'est-ce que ça veut dire exactement? En outre, à cause de cela, predict()donne également un avertissement. Bien que ce ne soit qu'un avertissement, je...

J'essayais de simuler l'injection de points aléatoires dans un cercle, de sorte que n'importe quelle partie du cercle ait la même probabilité d'avoir un défaut. Je m'attendais à ce que le compte par zone de la distribution résultante suive une distribution de Poisson si je divise le cercle en...

Je m'intéresse à la signification géométrique de la corrélation multiple et du coefficient de détermination dans la régression , ou en notation vectorielle,R 2 y i = β 1 + β 2 x 2 , i + ⋯ + β k x k , i + ϵ iRRRR2R2R^2yi=β1+β2x2,i+⋯+βkxk,i+ϵiyi=β1+β2x2,i+⋯+βkxk,i+ϵiy_i = \beta_1 + \beta_2 x_{2,i} +...

J'essaie de comprendre les différences entre les méthodes de réduction de dimensionnalité linéaire (par exemple, PCA) et les méthodes non linéaires (par exemple, Isomap). Je ne comprends pas très bien ce que la (non) linéarité implique dans ce contexte. J'ai lu sur Wikipedia que Par comparaison, si...

Habituellement, la théorie des probabilités est enseignée avec les axiomes de Kolgomorov. Les bayésiens acceptent-ils également les axiomes de

Dans une définition classique d'une valeur aberrante en tant que point de données en dehors du 1.5 * IQR du quartile supérieur ou inférieur, il y a une hypothèse d'une distribution non asymétrique. Pour les distributions asymétriques (exponentielle, Poisson, géométrique, etc.) est le meilleur moyen...

J'ai 50 000 images comme celles-ci: Ils représentent des graphiques de données. Je voulais extraire des fonctionnalités de ces images, j'ai donc utilisé le code de l'encodeur automatique fourni par Theano (deeplearning.net). Le problème est que ces encodeurs automatiques ne semblent pas apprendre...

Dans Alex Krizhevsky, et al. Classification Imagenet avec des réseaux de neurones convolutionnels profonds, ils énumèrent le nombre de neurones dans chaque couche (voir schéma ci-dessous). L'entrée du réseau est de 150528 dimensions et le nombre de neurones dans les couches restantes du réseau est...

L'apprentissage automatique (ML) utilise fortement les techniques de régression linéaire et logistique. Elle repose également sur des techniques d'ingénierie (fonction feature transform, kerneletc.). Pourquoi rien au sujet variable transformation(par exemple power transformation) mentionné dans ML?...

J'utilise actuellement AnomalyDetection de Twitter dans R: https://github.com/twitter/AnomalyDetection . Cet algorithme fournit une détection d'anomalies de séries chronologiques pour les données avec saisonnalité. Question: existe-t-il d'autres algorithmes similaires à celui-ci (le contrôle de la...

Je comprends le rôle que joue lambda dans une régression élastique-nette. Et je peux comprendre pourquoi on sélectionnerait lambda.min, la valeur de lambda qui minimise l'erreur de validation croisée. Ma question est: où dans la littérature statistique est-il recommandé d'utiliser lambda.1se,...

J'ai 17 ans (1995 à 2011) de données sur les certificats de décès liés aux décès par suicide pour un État aux États-Unis.Il y a beaucoup de mythologie au sujet des suicides et des mois / saisons, en grande partie contradictoires, et de la littérature I ' ve revu, je n'ai pas une idée claire des...

Étant donné points de données, chacun avec caractéristiques, sont étiquetés comme , les autres sont étiquetés comme . Chaque entité prend une valeur de au hasard (distribution uniforme). Quelle est la probabilité qu'il existe un hyperplan pouvant diviser les deux classes?d n / 2 0 n / 2 1 [ 0 , 1...

Cette question est donc un peu compliquée, mais je vais inclure des graphiques colorés pour compenser cela! D'abord le contexte puis les questions. Contexte Supposons que vous ayez une distribution multinomiale à nnn dimensions avec des probailites égales sur les nnn catégories. Soit π= ( π1, … ,...

Une approche courante de la classification des textes consiste à former un classificateur à partir d'un «sac de mots». L'utilisateur prend le texte à classer et compte les fréquences des mots dans chaque objet, suivi d'une sorte de recadrage pour conserver la matrice résultante d'une taille...