Statistiques et Big Data

Je vais expliquer mon problème avec un exemple. Supposons que vous souhaitiez prédire le revenu d'un individu en fonction de certains attributs: {âge, sexe, pays, région, ville}. Vous avez un ensemble de données de formation comme ça train <- data.frame(CountryID=c(1,1,1,1, 2,2,2,2, 3,3,3,3),...

L'idée de l'analyse adaptative des données est que vous modifiez votre plan d'analyse des données à mesure que vous en apprenez davantage. Dans le cas de l'analyse exploratoire des données (EDA), c'est généralement une bonne idée (vous recherchez souvent des tendances imprévues dans les données),...

Existe-t-il une technique de bootstrap pour calculer les intervalles de prédiction pour les prédictions ponctuelles obtenues par exemple à partir d'une régression linéaire ou d'une autre méthode de régression (k-plus proche voisin, arbres de régression, etc.)? D'une certaine manière, je pense que...

J'ai suivi un cours en ligne, où j'ai appris, que des classes déséquilibrées dans les données de formation pouvaient entraîner des problèmes, car les algorithmes de classification optent pour la règle de la majorité, car cela donne de bons résultats si le déséquilibre est trop important. Dans une...

Une méta-analyse comprend un tas d'études, qui ont toutes rapporté une valeur P supérieure à 0,05. Est-il possible que la méta-analyse globale rapporte une valeur P inférieure à 0,05? Dans quelles circonstances? (Je suis presque sûr que la réponse est oui, mais j'aimerais une référence ou une...

Supposons que j'ai deux groupes de données, étiquetés A et B (contenant chacun par exemple 200 échantillons et 1 fonction), et je veux savoir s'ils sont différents. Je pourrais: a) effectuer un test statistique (par exemple un test t) pour voir s'ils sont statistiquement différents. b) utiliser...

Je fais le cours de Machine Learning Stanford sur Coursera. Dans le chapitre sur la régression logistique, la fonction de coût est la suivante: Ensuite, il est dérivé ici: J'ai essayé d'obtenir le dérivé de la fonction de coût mais j'ai obtenu quelque chose de complètement différent. Comment le...

Dans les techniques de réduction de dimensionnalité telles que l'analyse en composantes principales, LDA, etc., le terme collecteur est souvent utilisé. Qu'est-ce qu'une variété en termes non techniques? Si un point Xxx appartient à une sphère dont je veux réduire la dimension, et s'il y a un bruit...

L' erreur moyenne absolue en pourcentage ( mape ) est une précision ou une mesure d'erreur courante pour les séries chronologiques ou d'autres prévisions, MAPE = 100n∑t = 1n| UNEt- Ft|UNEt% ,MAPE=100n∑t=1n|At−Ft|At%, \text{MAPE} = \frac{100}{n}\sum_{t=1}^n\frac{|A_t-F_t|}{A_t}\%, où sont des réels...

Si deux variables aléatoires et sont pas corrélées, peut-on également savoir que et non corrélées? Mon hypothèse est oui.YXXXX 2OuiYYX2X2X^2OuiYY E [ X Y ] = E [ X ] E [ Y ]X, YX,YX, Y non corrélé signifie , ouE[ XOui] = E[ X] E[ Oui]E[XY]=E[X]E[Y]E[XY]=E[X]E[Y] E[ XOui] = ∫x yFX( x ) fOui( y) dx...

J'étudie PCA du cours Coursera d'Andrew Ng et d'autres matériaux. Dans le premier devoir de Stanford NLP cs224n , et dans la vidéo de conférence d'Andrew Ng , ils font une décomposition en valeurs singulières au lieu de la décomposition en vecteur propre de la matrice de covariance, et Ng dit même...

Si les Hessois sont si bons pour l'optimisation (voir par exemple la méthode de Newton ), pourquoi s'arrêter là? Utilisons les troisième, quatrième, cinquième et sixième dérivés? Pourquoi

Quel est l'analyse des séries temporelles? Il existe de nombreuses autres méthodes statistiques, telles que la régression et l'apprentissage automatique, qui ont des cas d'utilisation évidents: la régression peut fournir des informations sur la relation entre deux variables, tandis que...

Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. Fil en double: je viens d'installer la dernière version de R. Quels packages dois-je obtenir? Quels...

Quelle est votre méthode préférée pour vérifier la convergence lors de l'utilisation de la chaîne de Markov Monte Carlo pour l'inférence bayésienne, et

J'ai des scripts R pour lire de grandes quantités de données csv à partir de différents fichiers, puis effectuer des tâches d'apprentissage automatique telles que svm pour la classification. Existe-t-il des bibliothèques permettant d'utiliser plusieurs cœurs sur le serveur pour R. ou Quel est le...

Je veux représenter une variable sous la forme d'un nombre compris entre 0 et 1. La variable est un entier non négatif sans limite inhérente. Je mappe 0 à 0, mais que puis-je mapper à 1 ou à des nombres entre 0 et 1? Je pourrais utiliser l'historique de cette variable pour fournir les limites. Cela...

Il y avait déjà une demande de vidéos de statistiques mathématiques , mais elle demandait explicitement aux des vidéos qui fournissent une présentation mathématique rigoureuse des statistiques. c'est-à-dire des vidéos qui pourraient accompagner un cours qui utilisent un manuel mentionné dans cette...

Les utilisateurs sont souvent tentés de casser les valeurs des axes pour présenter des données de différents ordres de grandeur sur le même graphique (voir ici ). Bien que cela puisse être pratique, ce n'est pas toujours la manière préférée d'afficher les données (peut être trompeuse au mieux)....

Le test ttt Student nécessite l'écart type de l'échantillon . Cependant, comment puis-je calculer pour lorsque seules la taille et la moyenne de l'échantillon sont connues?ssssss Par exemple, si la taille de l'échantillon est de et la moyenne de l'échantillon est de , j'essaierai alors de créer une...