Statistiques et Big Data

12 enseignants enseignent à 600 élèves. Les 12 cohortes enseignées par ces enseignants varient en taille de 40 à 90 étudiants, et nous nous attendons à des différences systématiques entre les cohortes, car les étudiants diplômés ont été répartis de manière disproportionnée dans des cohortes...

Un dé à 6 faces est lancé de manière itérative. Quel est le nombre attendu de rouleaux requis pour faire une somme supérieure ou égale à K? Avant de modifier P(Sum>=1 in exactly 1 roll)=1 P(Sum>=2 in exactly 1 roll)=5/6 P(Sum>=2 in exactly 2 rolls)=1/6 P(Sum>=3 in exactly 1 roll)=5/6...

J'étudie «Introduction à l'apprentissage statistique» par James, Witten, Hastie, Tibshirani. À la page 139 de leur livre, ils ont commencé par présenter le théorème de Bayes . n'est pas une constante mathématique, mais indique la probabilité antérieure. Rien n'est étrange dans cette équation.pk( X)...

Nous savons que si , alors où est la fonction Digamma. Existe-t-il un formulaire simple pour ?p∼Beta(α,β)p∼Beta(α,β)p \sim Beta(\alpha, \beta)E[lnp]=ψ(α)−ψ(α+β)E[ln⁡p]=ψ(α)−ψ(α+β) \mathbb{E}[\ln p] = \psi(\alpha) - \psi(\alpha + \beta) ψ(.)ψ(.)\psi(.)E[ln(1−p)]E[ln⁡(1−p)] \mathbb{E}[\ln...

Juste pour le plaisir, je veux représenter ma consommation mensuelle d'électricité d'une année à l'autre. Cependant, je souhaite inclure une référence à la température mensuelle afin de pouvoir déterminer si ma maison ou mon comportement s'améliore, s'aggrave ou se maintient en ce qui concerne...

Compte tenu de cas de cancer du poumon et de témoins appariés (sans cancer du poumon) (appariement basé sur l'âge, le sexe, etc.). Pour essayer de trouver des preuves entre l'effet du tabagisme sur le cancer du poumon, j'ai utilisé le test exact de Fisher sur le tableau de contingence. Cependant,...

Cet article affirme que dans CART, car une division binaire est effectuée sur une seule covariable à chaque étape, toutes les divisions sont orthogonales et donc les interactions entre les covariables ne sont pas prises en compte. Cependant, de nombreuses références très sérieuses affirment, au...

J'ai un ensemble de données avec une variable continue et une variable cible binaire (0 et 1). Je dois discrétiser les variables continues (pour la régression logistique) par rapport à la variable cible et avec la contrainte que la fréquence d'observation dans chaque intervalle soit équilibrée....

Je veux apprendre (déduire) les poids d'attribut pour ma mesure de dissimilarité que je peux utiliser pour le clustering. J'ai quelques exemples de paires d'objets qui sont "similaires" (devraient être dans le même cluster), ainsi que quelques exemples ( c i , d i ) de paires d'objets qui ne sont...

Dans Random Forest, chaque arbre est cultivé en parallèle sur un échantillon boostrap unique des données. Étant donné que chaque échantillon boostrap devrait contenir environ 63% d'observations uniques, cela laisse environ 37% d'observations, qui peuvent être utilisées pour tester l'arbre....

J'ai quelques modèles prédictifs dont je voudrais tester les performances (c.-à-d. Prendre mon jeu de données, le «rembobiner» à un point antérieur dans le temps et voir comment le modèle aurait fonctionné de manière prospective). Le problème est que certains de mes modèles ont été construits via...

J'ai deux chaînes de Markov différentes, chacune avec un état absorbant et une position de départ connue. Je veux déterminer la probabilité que la chaîne 1 atteigne un état d'absorption en moins d'étapes que la chaîne 2. Je pense que je peux calculer la probabilité d'atteindre un état absorbant...

Je suis confronté à un problème lié à la recherche du gradient de la fonction de perte d'entropie croisée par rapport au paramètre où:θθ\theta CE(θ)=−∑iyi∗log(y^i)CE(θ)=−∑iyi∗log(y^i)CE(\theta) = -\sum\nolimits_{i}{y_i*log({\hat{y}_{i}})} Où, et est une entrée...

Dans l'apprentissage par renforcement, nous avons une fonction de récompense qui informe l'agent de la qualité de ses actions et états actuels. Dans un cadre général, la fonction de récompense est fonction de trois variables: État actuelSSS Action en cours à l'état actuelπ(s)=aπ(s)=a\pi(s) = a...

Des questions: Quelle est la différence entre les arbres de régression boostés (BRT) et les modèles boostés généralisés (GBM)? Peuvent-ils être utilisés de manière interchangeable? L'un est-il une forme spécifique de l'autre? Pourquoi Ridgeway a-t-il utilisé l'expression "modèles de régression...

Ma question porte sur le classificateur du plus proche voisin et concerne une déclaration faite dans l'excellent livre The Elements of Statistical Learning, par Hastie, Tibshirani et Friedman. La déclaration est (p. 465, section 13.3): "Parce qu'il utilise uniquement le point d'apprentissage le...

Comment dois-je comprendre le anovarésultat lors de la comparaison de deux modèles? Exemple: Res.Df RSS Df Sum of Sq F Pr(>F) 1 9 54.032 2 7 4.632 2 49.4 37.329 0.0001844 *** La page de manuel indique: "Calculez l'analyse des tables de variance (ou de déviance) pour un ou plusieurs objets de...

N'entraîne-t-il pas un sur-ajustement? Mes résultats seraient-ils plus fiables si j'ajoutais une procédure de jack-knife ou de bootstrap dans le cadre de

Supose est une matrice de données moyenne centrée. La matrice est , a valeurs propres distinctes et vecteurs propres , ... , qui sont orthogonaux.S = cov ( A ) m × m m s 1 s 2 s mUNEA\mathbf AS =cov( A )S=cov(A)\mathbf S=\text{cov}(\mathbf A)m × mm×mm\times mmmms1s1\mathbf s_1s2s2\mathbf...

En utilisant le test T de Student, T-Critical est calculé via: t =X¯-μ0s /n√t=X¯−μ0s/nt = \frac{\bar{X} - \mu_{0}}{s / \sqrt{n}} En regardant un article de Wikipédia sur l'estimation non biaisée de l'écart-type, la section Résultat pour la distribution normale qui mentionne un facteur de...