Statistiques et Big Data

J'ai un modèle pour obtenir des estimations bayésiennes de la taille de la population NNNet probabilité de détection dans une distribution binomiale uniquement basée sur le nombre observé d’objets observés : pour . Pour simplifier, nous supposons que N est fixé à la même valeur inconnue pour chaque...

Dans le cadre de la reproduction d'un modèle que j'ai décrit partiellement dans cette question sur Stack Overflow, je souhaite obtenir un tracé d'une distribution postérieure. Le modèle (spatial) décrit le prix de vente de certaines propriétés comme une distribution de Bernoulli selon que la...

La fonction de vraisemblance d'une distribution lognormale est: F( x ; μ , σ) ∝∏nje11σXjeexp( -( lnXje- μ)22σ2)F(X;μ,σ)∝∏je1n1σXjeexp⁡(-(ln⁡Xje-μ)22σ2)f(x; \mu, \sigma) \propto \prod_{i_1}^n \frac{1}{\sigma x_i} \exp \left ( - \frac{(\ln{x_i} - \mu)^2}{2 \sigma^2} \right ) et le Prior de Jeffreys...

J'utilise le package metafor dans R. J'ai ajusté un modèle d'effets aléatoires avec un prédicteur continu comme suit SIZE=rma(yi=Ds,sei=SE,data=VPPOOLed,mods=~SIZE) Ce qui donne la sortie: R^2 (amount of heterogeneity accounted for): 63.62% Test of Moderators (coefficient(s) 2): QM(df = 1) =...

Il existe de nombreuses règles pour sélectionner une largeur de bac optimale dans un histogramme 1D (voir par exemple ) Je cherche une règle qui applique la sélection de largeurs optimales de bacs égaux sur des histogrammes bidimensionnels . Existe-t-il une telle règle? Peut-être qu'une des règles...

Je veux faire la classification des documents en représentant chaque document comme un ensemble de fonctionnalités. Je sais qu'il y a plusieurs façons: BOW, TFIDF, ... Je veux utiliser l'allocation de Dirichlet latente (LDA) pour extraire les mots-clés de rubrique de CHAQUE document UNIQUE. le...

Les priors non informatifs sont préférés dans les cas où les préjugés ne sont pas acceptables (c.-à-d. Salles d'audience, etc.) Cependant, il me semble qu'il serait tout simplement judicieux d'utiliser une approche fréquentiste à la place. Pourquoi l'approche bayésienne a-t-elle même un prior non...

Nous avons ajusté une fonction non linéaire aux données observées. La prochaine étape devrait être l'évaluation de la qualité de l'ajustement de cette fonction (comme pour les modèles linéaires).R2R2R^2 Quels sont les moyens habituels de mesurer cela? Modifier 1: Le montage a été réalisé comme...

J'ai plusieurs données intermittentes. Sur la base de ces données, je voudrais comparer plusieurs méthodes de prévision (lissage exponentiel, moyenne mobile, Croston et Syntetos-Boylan), et décider si Croston ou Syntetos Boylan est meilleur que SES ou MA pour les données intermittentes ou non. La...

Je cherche des papiers qui parlent de "pourquoi bas R2R2R^2 la valeur est acceptable en recherche en sciences sociales ou en éducation ". Veuillez me diriger vers le bon journal si vous en connaissez un.

Cette question est posée par mon supérieur et je ne sais pas comment l'expliquer. Habituellement, le niveau de confiance accepté est de 0,95, ce qui signifie que la probabilité d'erreur de type 1 est de 5%. Mais la puissance généralement acceptée est de 0,8 (Cohen, 1988) ce qui signifie que la...

Les deux réponses dans ces fils, un et deux affirment queOuiYYdoit être transformé avant d' appliquer toute autre transformation aux prédicteurs. En effet, le chapitre Weisberg sur les transformations se concentre davantage sur DV que sur les prédicteurs, tout comme la page de manuel power carform...

Supposons que nous ayons un instrument binaire qui peut être utilisé pour estimer l'effet de la variable endogène sur le résultat . Supposons que l'instrument ait une première étape importante, qu'il soit assigné au hasard, qu'il satisfasse à la restriction d'exclusion et qu'il satisfasse à la...

La procédure d'appariement des scores de propension de base fonctionne avec des données transversales (c'est-à-dire collectées à un certain moment). La commande psmatch2 populaire utilise une variable fictive indiquant qu'une observation appartient au groupe de traitement ou de contrôle. Cependant,...

Mon objectif est de voir que l'algorithme K-means est en fait un algorithme d'expectation-maximisation pour les mélanges gaussiens dans lequel toutes les composantes ont une covariance dans la limite comme .σ2Iσ2I\sigma^2 Ilimσ→0limσ→0\lim_{\sigma \to 0} Supposons que nous ayons un ensemble de...

Un peu d'une question étrange. Dans ma classe de biostatistique de quatrième année aujourd'hui, nous discutions quand et quand ne pas utiliser la correction de tests multiples, et le professeur a fait un commentaire désinvolte. Il a demandé pourquoi nous ne corrigeons pas tous les tests que nous...

Supposons que plusieurs personnes évaluent à quel point elles ont aimé un film sur une échelle discrète de 1 à 10, et que vous souhaitez un intervalle [ l , u ] tel qu'avec (au moins) 95% de confiance, (au moins) 90 % de toutes les personnes qui voient le film le noteront pas plus bas que l et pas...

J'ai du mal à bien comprendre certaines notations dans un livre où ils utilisent un symbole "en forme de croix" - d'abord comme ⨁i=1nZj⨁i=1nZj\bigoplus\limits_{i=1}^n{} Z_j où le ZjZjZ_j sont des matrices et secondes comme In⊗ΦIn⊗ΦI_n \otimes \Phi où InInI_n et ΦΦ\Phi sont les deux matrices. Le...

Certains d'entre vous ont peut-être lu ce bel article: O'Hara RB, Kotze DJ (2010) Ne pas enregistrer les données de comptage de transformation. Méthodes en écologie et évolution 1: 118-122. Klick . Actuellement, je compare des modèles binomiaux négatifs avec des modèles gaussiens sur des données...

L'estimateur de Theil-Sen m'intéresse, mais lorsque je l'implémente moi-même, je me retrouve avec quelque chose qui évolue comme O (n ^ 2). Selon wikipedia, il peut être calculé exactement en O (n log (n)). Quelqu'un peut-il m'orienter vers une implémentation efficace (python ou mathématique serait...