Pour regrouper (texte) des documents, vous avez besoin d'un moyen de mesurer la similitude entre des paires de documents. Deux alternatives sont: Comparez les documents comme vecteurs de termes en utilisant la similitude cosinus - et TF / IDF comme pondérations pour les termes. Comparer la...
Après avoir effectué l'analyse des composants principaux (PCA), je souhaite projeter un nouveau vecteur sur l'espace PCA (c'est-à-dire trouver ses coordonnées dans le système de coordonnées PCA). J'ai calculé PCA en langage R en utilisant prcomp. Maintenant, je devrais pouvoir multiplier mon...
J'ai quelques données auxquelles j'essaye d'adapter une ligne de tendance. Je crois que les données suivent une loi de puissance, et j'ai donc tracé les données sur des axes log-log à la recherche d'une ligne droite. Cela a abouti à une ligne (presque) droite et donc dans Excel, j'ai ajouté une...
Je veux calculer la distribution de probabilité pour le total d'une combinaison de dés. Je me souviens que la probabilité de est le nombre de combinaisons qui totalisent ce nombre sur le nombre total de combinaisons (en supposant que les dés ont une distribution uniforme). Quelles sont les formules...
Je ne suis en aucun cas un statisticien (j'ai suivi un cours de statistique mathématique mais rien de plus), et récemment, en étudiant la théorie de l'information et la mécanique statistique, j'ai rencontré ce truc appelé "mesure d'incertitude" / "entropie". J'ai lu la dérivation de Khinchin comme...
Remarque: le cas est n >> p Je lis Éléments d'apprentissage statistique et il y a diverses mentions sur la «bonne» façon de faire la validation croisée (par exemple page 60, page 245). Plus précisément, ma question est de savoir comment évaluer le modèle final (sans ensemble de test séparé)...
Je souhaite en savoir plus sur les techniques bayésiennes non paramétriques (et connexes). J'ai une formation en informatique et bien que je n'aie jamais suivi de cours sur la théorie des mesures ou la théorie des probabilités, j'ai eu une formation limitée en probabilités et statistiques....
J'ai utilisé des distributions log normales comme distributions antérieures pour les paramètres d'échelle (pour les distributions normales, les distributions t, etc.) quand j'ai une idée approximative de ce que l'échelle devrait être, mais je veux me tromper en disant que je ne sais pas beaucoup à...
Verrouillé . Cette question et ses réponses sont verrouillées car la question est hors sujet mais a une signification historique. Il n'accepte pas actuellement de nouvelles réponses ou interactions. Quelqu'un pourrait-il offrir des conseils sur la façon d'utiliser l' weightsargument dans la...
Quelle est la relation entre l'estimateur et
Contexte L'un des faibles a priori sur variance les plus couramment utilisés est le gamma inverse avec les paramètres (Gelman 2006) .α=0.001,β=0.001α=0.001,β=0.001\alpha =0.001, \beta=0.001 Cependant, cette distribution a un IC à 90% d'environ .[3×1019,∞][3×1019,∞][3\times10^{19},\infty]...
Une régression de Poisson est un GLM avec une fonction log-link. Une autre façon de modéliser les données de comptage non distribuées normalement est de prétraiter en prenant le journal (ou plutôt, le journal (1 + compte) pour gérer les 0). Si vous effectuez une régression des moindres carrés sur...
J'ai besoin de mettre en œuvre un programme qui classera les enregistrements en 2 catégories (vrai / faux) en fonction de certaines données de formation, et je me demandais quel algorithme / méthodologie je devrais examiner. Il semble y en avoir beaucoup parmi lesquels choisir - Réseau de neurones...
J'ai appris qu'une petite taille d'échantillon peut entraîner une alimentation insuffisante et une erreur de type 2. Cependant, j'ai le sentiment que les petits échantillons ne sont généralement pas fiables et peuvent conduire à tout type de résultat par hasard. Est-ce
Dans la modélisation statistique: les deux cultures, Leo Breiman écrit La pratique appliquée actuelle consiste à vérifier l'ajustement du modèle de données à l'aide de tests d'adéquation et d'analyse résiduelle. À un moment donné, il y a quelques années, j'ai mis en place un problème de régression...
Supposons que . Je m'intéresse à la distribution marginale des éléments diagonaux . Il existe quelques résultats simples sur la distribution des sous-matrices de (au moins certaines répertoriées sur Wikipedia). À partir de cela, je peux comprendre que la distribution marginale de tout élément...
J'ai du mal à comprendre le concept d'une variable aléatoire en tant que fonction. Je comprends la mécanique (je pense) mais je ne comprends pas la motivation ... Disons que est un triple de probabilité, où , est l'algèbre de Borel- sur cet intervalle et est la mesure régulière de Lebesgue. Soit...
SPSS fournit la sortie «intervalle de confiance des moyennes de différence». J'ai lu à certains endroits que cela signifie "95 fois sur 100, notre différence moyenne d'échantillon sera entre entre ces limites" Je trouve cela peu clair. Quelqu'un peut-il suggérer une formulation plus claire pour...
Cette question a été migrée à partir de Stack Overflow car il est possible d'y répondre sur la validation croisée. Migré il y a 8 ans . J'ai 2 variables, toutes deux de la classe "numérique": > head(y) [1] 0.4651804 0.6185849 0.3766175 0.5489810 0.3695258 0.4002567 > head(x) [1] 59.32820...
Presque chaque exemple d'arbre de décision que j'ai rencontré se trouve être un arbre binaire. Est-ce à peu près universel? La plupart des algorithmes standard (C4.5, CART, etc.) prennent-ils uniquement en charge les arbres binaires? D'après ce que je comprends, CHAID n'est pas limité aux arbres...