Statistiques et Big Data

J'ai du mal à comprendre comment interpréter la sortie d'importance variable du paquet Random Forest. La diminution moyenne de la précision est généralement décrite comme "la diminution de la précision du modèle due à la permutation des valeurs dans chaque fonction". S'agit-il d'une déclaration...

J'ai vu quelques questions ici sur ce que cela signifie en termes simples, mais elles sont trop laïques pour mon objectif ici. J'essaie de comprendre mathématiquement la signification du score AIC. Mais en même temps, je ne veux pas d’une preuve rigoureuse qui me ferait perdre de vue les points les...

Pourquoi la régression logistique devient-elle instable lorsque les classes sont bien séparées? Qu'est-ce qu'une classe bien séparée? J'apprécierais vraiment si quelqu'un peut expliquer avec un

Lors d'une récente mission, il nous a été dit d'utiliser PCA sur les chiffres du MNIST pour réduire les dimensions de 64 (8 x 8 images) à 2. Nous avons ensuite dû regrouper les chiffres à l'aide d'un modèle de mélange gaussien. La PCA n'utilisant que 2 composantes principales ne produit pas de...

Disons que j'étudie comment les jonquilles réagissent aux différentes conditions du sol. J'ai recueilli des données sur le pH du sol par rapport à la taille adulte de la jonquille. Je m'attends à une relation linéaire, alors je vais faire une régression linéaire. Cependant, je n’avais pas réalisé...

Dans de nombreuses méthodes statistiques différentes, il existe une "hypothèse de normalité". Qu'est-ce que la «normalité» et comment savoir s'il existe une

Mon père est un passionné de mathématiques mais peu intéressé par les statistiques. Il serait judicieux d' essayer d'illustrer quelques-unes des merveilleuses statistiques, et le CLT est un candidat de choix. Comment pourriez-vous transmettre la beauté mathématique et l'impact du théorème de la...

Je cherche un bon livre / tutoriel pour en apprendre davantage sur l'analyse de survie. Je suis également intéressé par des références sur l'analyse de survie en

Si oui quoi? Si non pourquoi pas Pour un échantillon sur la ligne, la médiane minimise l’écart absolu total. Il semblerait naturel d'étendre la définition à R2, etc., mais je ne l'ai jamais vue. Mais ensuite, je suis dans le champ gauche depuis

Je comprends que pour certains ensembles de données tels que le vote, les performances sont meilleures. Pourquoi la régression de Poisson est-elle utilisée par rapport à la régression linéaire ordinaire ou à la régression logistique? Quelle est la motivation mathématique pour...

Je suis sur le point d'aider à enseigner les statistiques aux étudiants en médecine ce semestre. J'ai entendu beaucoup d'histoires d'horreur sur la peur de ces étudiants à partir de statistiques d'apprentissage. Quelqu'un peut-il suggérer quoi faire avec cette peur? (Soit des liens vers des...

Disons que nous avons la variable aléatoire XXX avec une variance et une moyenne connues. La question est: quelle est la variance de f(X)f(X)f(X) pour une fonction donnée f. La seule méthode générale que je connaisse est la méthode delta, mais elle ne donne qu’une approximation. Maintenant, je suis...

À partir de deux histogrammes, comment pouvons-nous évaluer s'ils sont similaires ou non? Est-il suffisant de simplement regarder les deux histogrammes? La simple correspondance un à un pose le problème suivant: si un histogramme est légèrement différent et légèrement décalé, nous n'obtiendrons pas...

J'essaie de comprendre le "clustering" d'erreur standard et comment exécuter dans R (c'est trivial dans Stata). En RI ont été infructueux en utilisant plmou en écrivant ma propre fonction. Je vais utiliser les diamondsdonnées du ggplot2paquet. Je peux faire des effets fixes avec des variables...

J'aimerais savoir s'il existe une variante de boîte à moustaches adaptée aux données distribuées de Poisson (ou éventuellement à d'autres distributions)? Avec une distribution gaussienne, des moustaches placées à L = Q1 - 1,5 IQR et U = Q3 + 1,5 IQR, le diagramme à moustaches possède la propriété...

Andrew More définit le gain d'information comme suit: IG(Y|X)=H(Y)−H(Y|X)IG(Y|X)=H(Y)−H(Y|X)IG(Y|X) = H(Y) - H(Y|X) où est l' entropie conditionnelle . Cependant, Wikipedia appelle les informations mutuelles de quantité ci-dessus .H(Y|X)H(Y|X)H(Y|X) D'autre part, Wikipedia définit le gain...

J'ai quatre séries chronologiques différentes de mesures horaires: La consommation de chaleur à l'intérieur d'une maison La température à l'extérieur de la maison Le rayonnement solaire La vitesse du vent Je veux pouvoir prédire la consommation de chaleur à l'intérieur de la maison. Il y a une...

Je suis novice en modélisation avec les réseaux de neurones, mais j’ai réussi à établir un réseau de neurones avec tous les points de données disponibles qui correspond bien aux données observées. Le réseau de neurones a été réalisé en R avec le paquet nnet: require(nnet) ##33.8 is the highest...

J'ai écrit un programme informatique capable de détecter des pièces de monnaie dans une image statique (.jpeg, .png, etc.) à l'aide de certaines techniques standard de vision par ordinateur (flou gaussien, seuillage, transformation de Hough, etc.). En utilisant les ratios des pièces capturées à...

J'ai récemment appris à utiliser des techniques d'amorçage pour calculer les erreurs standard et les intervalles de confiance pour les estimateurs. Ce que j'ai appris, c'est que si les données sont des IID, vous pouvez traiter les données de l'échantillon comme la population et faire un...