Statistiques et Big Data

Supposons qu'il existe éléments divisés en deux groupes ( et ). La variance du premier groupe est et la variance du deuxième groupe est . Les éléments eux-mêmes sont supposés inconnus, mais je connais les moyens et .m+nm+nm+nmmmnnnσ2mσm2\sigma_m^2σ2nσn2\sigma^2_nμmμm\mu_mμnμn\mu_n Existe-t-il un...

Comment pouvons-nous expliquer la différence entre la régression logistique et le réseau de neurones à un public qui n'a pas de formation en statistiques?

J'utilise SVM pour la classification et j'essaie de déterminer les paramètres optimaux pour les noyaux linéaires et RBF. Pour le noyau linéaire, j'utilise la sélection de paramètres à validation croisée pour déterminer C et pour le noyau RBF, j'utilise la recherche de grille pour déterminer C et...

Comme chacun le sait, SVM peut utiliser la méthode du noyau pour projeter des points de données dans des espaces plus élevés, de manière à ce que les points puissent être séparés par un espace linéaire. Mais nous pouvons aussi utiliser la régression logistique pour choisir cette limite dans...

De la documentation pour anova(): Lorsqu'une séquence d'objets est donnée, 'anova' teste les modèles les uns par rapport aux autres dans l'ordre spécifié ... Que signifie tester les modèles les uns contre les autres? Et pourquoi l'ordre compte-t-il? Voici un exemple tiré du didacticiel GenABEL :...

Je suis tombé sur un article qui utilise la détection d'anomalie de lien pour prédire les sujets à la mode et je l'ai trouvé extrêmement intriguant: Cet article s'intitule "Découvrir les sujets émergents dans les flux sociaux via la détection d'anomalie de lien" . J'adorerais le reproduire sur un...

En analyse en composantes principales (ACP), on peut choisir la matrice de covariance ou la matrice de corrélation pour trouver les composantes (à partir de leurs vecteurs propres respectifs). Ceux-ci donnent des résultats différents (chargements et scores PC), car les vecteurs propres entre les...

Je sais que l'entropie est la mesure du caractère aléatoire d'un processus / variable et elle peut être définie comme suit. pour une variable aléatoire X∈X∈X \in set AAA : - H(X)=∑xi∈A−p(xi)log(p(xi))H(X)=∑xi∈A−p(xi)log⁡(p(xi))H(X)= \sum_{x_i \in A} -p(x_i) \log (p(x_i)) . Dans le livre sur...

Je viens de rencontrer le quatuor d'Anscombe (quatre jeux de données contenant des statistiques descriptives presque impossibles à distinguer, mais qui semblent très différents une fois tracés) et je suis curieux de savoir s'il existe d'autres jeux de données plus ou moins connus créés pour...

J'utilise généralement BIC, car je pense qu'il valorise la parcimonie plus fortement que l'AIC. Cependant, j’ai décidé d’utiliser maintenant une approche plus globale et j’aimerais aussi utiliser AIC. Je sais que Raftery (1995) a présenté de bonnes directives pour les différences BIC: 0-2 est...

Il existe un certain nombre d' estimateurs d'échelle robustes . Un exemple notable est l’écart absolu médian qui se rapporte à l’écart type sous la forme . Dans un cadre bayésien, il existe un certain nombre de moyens pour estimer de manière fiable l' emplacement d'une distribution à peu près...

Je suis intéressé par la version unilatérale suivante de Cantelli de l'inégalité de Chebyshev : P(X−E(X)≥t)≤Var(X)Var(X)+t2.P(X−E(X)≥t)≤Var(X)Var(X)+t2. \mathbb P(X - \mathbb E (X) \geq t) \leq \frac{\mathrm{Var}(X)}{\mathrm{Var}(X) + t^2} \,. En gros, si vous connaissez la moyenne et la variance...

Comment calculer l'erreur relative lorsque la vraie valeur est zéro? Disons que j'ai xtrue=0xtrue=0x_{true} = 0 et . Si je définis l'erreur relative comme:xtestxtestx_{test} relative error=xtrue−xtestxtruerelative error=xtrue−xtestxtrue\text{relative error} = \frac{x_{true}-x_{test}}{x_{true}}...

Quand je regarde les nouvelles, j'ai remarqué que les sondages Gallup sur des sujets tels que les élections présidentielles avaient [je suppose des échantillons aléatoires] de plus de 1 000 échantillons. D'après ce que je me souviens des statistiques des collèges, une taille d'échantillon de 30...

Il est bien connu que les chercheurs devraient passer du temps à observer et à explorer les données et recherches existantes avant de formuler une hypothèse, puis à collecter des données permettant de vérifier cette hypothèse (en faisant référence au test de signification par hypothèse nulle). De...

J'ai entendu dire que l'on pouvait trouver des corrélations partielles entre des variables aléatoires en inversant la matrice de covariance et en prenant les cellules appropriées à partir de cette matrice de précision résultante (ce fait est mentionné dans

À mon sens, les variables hautement corrélées ne causeront pas de problèmes de multi-colinéarité dans un modèle de forêt aléatoire (corrigez-moi si je me trompe). Toutefois, si j’ai trop de variables contenant des informations similaires, le modèle pèsera-t-il trop sur cet ensemble plutôt que sur...

Je souhaite effectuer une régression logistique avec la réponse binomiale suivante et avec et comme variables prédites. X 2X1X1X_1X2X2X_2 Je peux présenter les mêmes données que les réponses de Bernoulli dans le format suivant. Les résultats de la régression logistique pour ces 2 ensembles de...

Je vois fréquemment à la fois les orthographes "hétéroscédastique" et "hétéroscédastique", et de même pour "homoscédastique" et "homoscédastique". Il semble n'y avoir aucune différence de sens entre les variantes "c" et "k", il s'agit simplement d'une différence orthographique liée à l'étymologie...

Je suis un peu confus avec une conférence sur la régression linéaire donnée par Andrew Ng sur Coursera sur l'apprentissage automatique. Là, il a donné une fonction de coût qui minimise la somme des carrés comme suit: 12m∑i=1m(hθ(X(i))−Y(i))212m∑i=1m(hθ(X(i))−Y(i))2 \frac{1}{2m} \sum _{i=1}^m...