Une distribution de mélange est celle qui s'écrit comme une combinaison convexe d'autres distributions. Utilisez la balise "distributions composées" pour les "concaténations" de distributions (où un paramètre d'une distribution est lui-même une variable aléatoire).
Supposons que j'ai deux distributions normales A et B avec les moyennes et et les variances et . Je veux prendre un mélange pondéré de ces deux distributions en utilisant les poids et où et . Je sais que la moyenne de ce mélange serait .μAμA\mu_AμBμB\mu_BσAσA\sigma_AσBσB\sigma_Bpppqqq0≤p≤10≤p≤10\le...
Cher tout le monde - J'ai remarqué quelque chose d'étrange que je ne peux pas expliquer, pouvez-vous? En résumé: l'approche manuelle pour calculer un intervalle de confiance dans un modèle de régression logistique et la fonction R confint()donnent des résultats différents. Je suis passé par la...
J'ai un jeu de données X qui a 10 dimensions, dont 4 sont des valeurs discrètes. En fait, ces 4 variables discrètes sont ordinales, c'est-à-dire qu'une valeur plus élevée implique une sémantique plus élevée / meilleure. 2 de ces variables discrètes sont catégoriques en ce sens que pour chacune de...
Utilisation de la distribution t de Student avec k>0k>0k > 0 degrés de liberté, paramètre de localisation et paramètre d'échelle ayant une densitéslllsss Γ(k+12)Γ(k2kπs2−−−−√){1+k−1(x−ls)}−(k+1)/2,Γ(k+12)Γ(k2kπs2){1+k−1(x−ls)}−(k+1)/2,\frac{\Gamma...
Je lis Bishop sur l'algorithme EM pour GMM et la relation entre GMM et k-means. Dans ce livre, il est dit que k-means est une version difficile à attribuer de GMM. Je me demande si cela implique que si les données que j'essaie de regrouper ne sont pas gaussiennes, je ne peux pas utiliser k-means...
Dans l'approche de l'algorithme EM, nous utilisons l'inégalité de Jensen pour arriver àlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dzlogp(x|θ)≥∫logp(z,x|θ)p(z|x,θ(k))dz−∫logp(z|x,θ)p(z|x,θ(k))dz\log p(x|\theta) \geq \int \log p(z,x|\theta) p(z|x,\theta^{(k)}) dz - \int \log...
Comment puis-je échantillonner à partir d'une distribution de mélange, et en particulier d'un mélange de distributions normales dans R? Par exemple, si je voulais échantillonner à partir de: 0,3× N( 0 , 1 )+0,5× N( 10 , 1 )+0,2× N( 3 , .1 )0,3×N(0,1)+0,5×N(dix,1)+0,2×N(3,.1)...
Je veux implémenter l'algorithme EM manuellement, puis le comparer aux résultats normalmixEMdu mixtoolspackage. Bien sûr, je serais heureux si les deux aboutissaient aux mêmes résultats. La référence principale est Geoffrey McLachlan (2000), Finite Mixture Models . J'ai une densité de mélange de...
Considérez la probabilité logarithmique d'un mélange de gaussiens: l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σ2i)}l(Sn;θ)=∑t=1nlogf(x(t)|θ)=∑t=1nlog{∑i=1kpif(x(t)|μ(i),σi2)}l(S_n; \theta) = \sum^n_{t=1}\log f(x^{(t)}|\theta) = \sum^n_{t=1}\log\left\{\sum^k_{i=1}p_i...
J'ai l'impression d'avoir déjà vu ce sujet ici, mais je n'ai rien trouvé de spécifique. Là encore, je ne sais pas trop quoi chercher. J'ai un ensemble unidimensionnel de données ordonnées. Je fais l'hypothèse que tous les points de l'ensemble sont tirés de la même distribution. Comment puis-je...
Dans le chapitre 9 du livre Reconnaissance de formes et apprentissage automatique, il y a cette partie sur le modèle de mélange gaussien: Pour être honnête, je ne comprends pas vraiment pourquoi cela créerait une singularité. Quelqu'un peut-il m'expliquer cela? Je suis désolé mais je suis juste un...
De nombreuses publications mettent l'accent sur la méthode de maximisation des attentes sur les modèles de mélange (mélange de gaussien, modèle de Markov caché, etc.). Pourquoi l'EM est important? EM est juste un moyen d'optimisation et n'est pas largement utilisé comme méthode basée sur un...
Les tests de permutation (également appelés test de randomisation, test de re-randomisation ou test exact) sont très utiles et s'avèrent utiles lorsque l'hypothèse de distribution normale requise par exemple t-testn'est pas remplie et lorsque la transformation des valeurs par classement des un test...
J'ai deux variables - X et Y et je dois faire un cluster maximum (et optimal) = 5. Disons que le tracé idéal des variables est comme suit: Je voudrais en faire 5 clusters. Quelque chose comme ça: Je pense donc que c'est un modèle de mélange avec 5 grappes. Chaque grappe a un point central et un...
Le changement d'étiquette (c.-à-d. Que la distribution postérieure est invariante à la commutation des étiquettes des composants) est un problème problématique lors de l'utilisation de MCMC pour estimer les modèles de mélange. Existe-t-il une méthodologie standard (comme largement acceptée) pour...
Les modèles de mélange gaussiens (GMM) sont attrayants car ils sont simples à utiliser à la fois en analyse et en pratique, et sont capables de modéliser certaines distributions exotiques sans trop de complexité. Il y a quelques propriétés analytiques que nous devrions nous attendre à conserver qui...
Il semble y avoir beaucoup de confusion dans la comparaison de l'utilisation à l' glmnetintérieur caretpour rechercher un lambda optimal et à utiliser cv.glmnetpour faire la même tâche. De nombreuses questions ont été posées, par exemple: Modèle de classification train.glmnet vs cv.glmnet? Quelle...
Je veux inclure le temps passé à faire quelque chose (semaines d'allaitement, par exemple) comme variable indépendante dans un modèle linéaire. Cependant, certaines observations n'engagent pas du tout le comportement. Les coder comme 0 n'est pas vraiment correct, car 0 est qualitativement différent...
Supposons que nous ayons un ensemble de points . Chaque point est généré en utilisant la distribution Pour obtenir postérieur pour nous écrivons Selon le document de Minka sur Expectation propagation nous avons besoin calculs pour obtenir a posteriori p (x | \ mathbf {y}) et, donc, problème devient...
Je reproduis de zéro les résultats de la section 4.2.1 de Probabilité marginale de la sortie de Gibbs Siddhartha Chib Journal de l'American Statistical Association, vol. 90, n ° 432. (déc., 1995), pp. 1313-1321. C'est un mélange de modèles normaux avec un nombre connu de composants. k≥1k≥1k\geq...