Statistiques et Big Data

Quand devrions-nous discrétiser / classer les variables / fonctionnalités indépendantes et quand ne le devrions-nous pas? Mes tentatives pour répondre à la question: En général, nous ne devons pas bin, car le binning perdra des informations. Le binning augmente en fait le degré de liberté du...

Ma compréhension est que dans l'apprentissage automatique, cela peut être un problème si votre ensemble de données a des fonctionnalités hautement corrélées, car elles codent efficacement les mêmes informations. Récemment, quelqu'un a souligné que lorsque vous effectuez un codage à chaud sur une...

Quelle est la façon correcte le plus théorique / physique-théorique de calculer l'entropie d'une image? Je ne me soucie pas de l'efficacité informatique en ce moment - je la veux théoriquement aussi correcte que possible. Commençons par une image en niveaux de gris. Une approche intuitive consiste...

J'ai essayé de développer une compréhension basée sur l'intuition du théorème de Bayes en termes de probabilité antérieure , postérieure , de probabilité et marginale . Pour cela, j'utilise l'équation suivante: où représente une hypothèse ou une croyance et représente des données ou des preuves....

Pour illustrer ma question, supposons que j'ai un ensemble de formation où l'entrée a un degré de bruit mais pas la sortie, par exemple; # Training data [1.02, 1.95, 2.01, 3.06] : [1.0] [2.03, 4.11, 5.92, 8.00] : [2.0] [10.01, 11.02, 11.96, 12.04] : [1.0] [2.99, 6.06, 9.01, 12.10] : [3.0] ici, la...

J'essaie d'apprendre l'apprentissage par renforcement et ce sujet me dérange vraiment. J'ai fait une introduction aux statistiques, mais je ne pouvais tout simplement pas comprendre ce sujet de manière

Je veux régresser une variable sur x , x 2 , … , x 5 . Dois-je le faire en utilisant des polynômes bruts ou orthogonaux? J'ai regardé la question sur le site qui traite de ces derniers, mais je ne comprends pas vraiment quelle est la différence entre les utiliser.

Si j'ai deux valeurs A et B qui sont toutes deux exprimées en pourcentage de C et que je veux exprimer la différence de magnitude entre A et B en pourcentage D, est-il plus correct d'exprimer D en pourcentage de C, ou en pourcentage de B (ou bien A)? 50 chômeurs sont évidemment 50% plus gros que 25...

La première phrase de ce wiki Page réclamations « En économétrie, un problème d'endogénéité se produit lorsqu'une variable explicative est en corrélation avec le terme d'erreur. 1 » Ma question est la suivante: comment cela peut-il arriver? La régression bêta n'est-elle pas choisie de telle sorte...

Je suis curieux de savoir comment les gradients sont propagés en retour à travers un réseau de neurones à l'aide de modules ResNet / sauter les connexions. J'ai vu quelques questions sur ResNet (par exemple, un réseau de neurones avec des connexions de couche de saut ), mais celui-ci pose...

J'ai un ensemble de données. Dites 10dix10 observations et variables:333 obs A B C 1 0 0 1 2 0 1 0 3 1 0 1 4 1 1 0 5 1 0 1 6 1 0 0 7 1 1 0 8 0 0 1 9 0 1 1 10 0 1 1 Disons que clients ont acheté ( ) ou non ( ) dans chaque catégorie . Il y en a donc ces clients achètent en moyenne catégorie de...

Il y a un fil similaire ici (la fonction de coût du réseau de neurones n'est pas convexe? ) Mais je n'ai pas pu comprendre les points dans les réponses et ma raison de demander à nouveau en espérant que cela clarifiera certains problèmes: Si j'utilise la fonction de somme des différences de coût au...

Question: Quand (pour quels types de problèmes de visualisation des données) les cartes thermiques sont-elles les plus efficaces? (En particulier, plus efficace que toutes les autres techniques de visualisation possibles?) Quand les cartes thermiques sont-elles les moins efficaces? Existe-t-il des...

(MISE À JOUR: J'ai plongé plus profondément dans cela et j'ai publié les résultats ici ) La liste des tests statistiques nommés est énorme. De nombreux tests courants reposent sur l'inférence de modèles linéaires simples, par exemple, un test t à un échantillon est simplement y = β + ε qui est...

Je travaille avec les réseaux neuronaux convolutionnels (CNN) depuis un certain temps maintenant, principalement sur les données d'image pour la segmentation sémantique / segmentation d'instance. J'ai souvent visualisé le softmax de la sortie réseau comme une "carte thermique" pour voir à quel...

(Excuses à l'avance pour l'utilisation du langage profane plutôt que du langage statistique.) Si je veux mesurer les chances de lancer chaque côté d'un dé physique à six faces spécifique à +/- 2% près avec une certitude raisonnable, combien de rouleaux d'échantillons seraient nécessaires?...

La section 1.7.2 de Découvrir les statistiques à l'aide de R par Andy Fields, et tout, tout en énumérant les vertus de la moyenne par rapport à la médiane, indique: ... la moyenne a tendance à être stable dans différents échantillons. Ceci après avoir expliqué les nombreuses vertus de la médiane,...

Nous lançons un dé à 6 faces un grand nombre de fois. En calculant la différence (valeur absolue) entre un rouleau et son rouleau précédent, les différences devraient-elles être uniformément réparties? Pour illustrer avec 10 rouleaux: roll num result diff 1 1 0 2 2 1 3 1 1 4 3 2 5 3 0 6 5 2 7 1 4 8...

Pourquoi l' autocorrélation est-elle si importante? J'en ai compris le principe (je suppose ..) mais comme il y a aussi des exemples où aucune autocorrélation ne se produit, je me demande: tout n'est pas dans la nature en quelque sorte autocorrélé? Le dernier aspect vise plus à une compréhension...

Je veux saisir pleinement la notion de décrivant la quantité de variation entre les variables. Chaque explication Web est un peu mécanique et obtuse. Je veux "comprendre" le concept, pas seulement utiliser mécaniquement les chiffres.r2r2r^2 Par exemple: heures étudiées vs score au test rrr = 0,8...