Statistiques et Big Data

J'ai lu dans un livre d'apprentissage automatique que les paramètres de régression linéaire peuvent être estimés (entre autres méthodes) par descente de gradient, tandis que les paramètres de régression logistique sont généralement estimés par estimation de vraisemblance maximale. Est-il possible...

Cette question porte sur la probabilité de réussite d'un jeu de rôle. Cependant, la question et ses réponses ne couvrent pas certaines des complexités du mécanicien de dés. En particulier, il ne couvre pas du tout les bots (un résultat possible). Un joueur a un pool de dés, basé sur un mécanicien...

Dans cet article , ( Inférence bayésienne pour les composants de la variance utilisant uniquement des contrastes d'erreur , Harville, 1974), l'auteur affirme pour être "bien connu" relation ", pour une régression linéaire où y = X β( y- Xβ)′H- 1( y- Xβ) = ( y- Xβ^)′H-1( y- Xβ^) +( β-β^)′( X′H- 1X)...

Considérons un processus aléatoire pour lequel la moyenne existe et est constante, pour tous les instants , c'est-à-dire pour tous les instants et décalages temporels (ou "décalages") . Je n'impose aucune autre condition aux moments supérieurs ni à la fonction de distribution. Comment puis-je...

Considérons un modèle de régression linéaire: yi=xi⋅β+εi,i=1,…,n,yi=xi⋅β+εi,i=1,…,n, y_i = \mathbf x_i \cdot \boldsymbol \beta + \varepsilon _i, \, i=1,\ldots ,n, où εi∼L(0,b)εi∼L(0,b)\varepsilon _i \sim \mathcal L(0, b) , c'est-à-dire , La distribution de Laplace avec 000 moyenne et paramètre...

J'essaie de convertir ma colonne de facteurs en variables factices: str(cards$pointsBin) # Factor w/ 5 levels ".lte100",".lte150",..: 3 2 3 1 4 4 2 2 4 4 ... labels <- model.matrix(~ pointsBin, data=cards) head(labels) # (Intercept) pointsBin.lte150 pointsBin.lte200 pointsBin.lte250...

J'essaie de comprendre la définition exacte des paramètres de localisation / échelle / forme (par exemple, est appelé paramètre de forme et est paramètre d'échelle dans Pareto Type I). Mais les livres auxquels j'ai fait référence ( The Cambridge Dictionary of Statistics , HMC's Introduction to...

Est-il possible d'avoir un ensemble de variables non corrélées mais linéairement dépendantes?KKK c'est-à-dire et∑ K i = 1 a i x i = 0cor(xi,xj)=0cor(xi,xj)=0cor(x_i, x_j)=0∑Ki=1aixi=0∑i=1Kaixi=0 \sum_{i=1}^K a_ix_i=0 Si oui, pouvez-vous écrire un exemple? EDIT: Des réponses, il s'ensuit que ce...

Lors de l'utilisation de k-fold CV pour sélectionner parmi les modèles de régression, je calcule généralement l'erreur CV séparément pour chaque modèle, ainsi que son erreur standard SE, et je sélectionne le modèle le plus simple dans 1 SE du modèle avec l'erreur CV la plus faible (le 1 règle...

On m'a posé une question concernant un modèle linéaire fait avec des R lm: "La régression a-t-elle utilisé des moindres carrés itératifs linéaires ou non linéaires?" J'ai cherché un peu et [pense que je] comprends la différence entre les deux, mais je n'ai trouvé aucune preuve de l'utilisation par...

Les réseaux de codage automatique semblent être beaucoup plus délicats que les réseaux MLP classificateurs normaux. Après plusieurs tentatives d'utilisation de la lasagne, tout ce que j'obtiens dans la sortie reconstruite ressemble à son mieux à une moyenne floue de toutes les images de la base de...

On a beaucoup parlé de l'importance des distributions normales dans la nature. Un grand nombre de mesures comme la taille ou le poids sont réparties approximativement normalement. Mais aucun d'eux n'est exactement normal, autant que je sache. Considérant que la distribution normale est l'une des...

Soit une variable aléatoire discrète prenant ses valeurs dans . Je voudrais diviser par deux cette variable, c'est-à-dire trouver une variable aléatoire telle que:NXXXNN\mathbb{N}OuiYY X= Y+ Y∗X=Y+Y∗X = Y + Y^* où Oui∗Y∗Y^* est une copie indépendante de OuiYY . Je parle de ce processus comme de la...

J'essaie de réduire la dimensionnalité et le bruit d'un ensemble de données en effectuant l'ACP sur l'ensemble de données et en jetant les derniers PC. Après cela, je veux utiliser certains algorithmes d'apprentissage automatique sur les PC restants, et donc je veux normaliser les données en...

Dans les modèles CBOW et skip-gram de word2vec, comment le choix des vecteurs de mots de (matrice de mots d'entrée) par rapport au choix des vecteurs de mots de (matrice de mots de sortie) affecte-t-il la qualité des vecteurs de mots résultants?WWWW′W′W' CBOW: Skip-gram:

J'essaie de regrouper différents ensembles de données en utilisant des algorithmes non supervisés (clustering). Le problème est que j'ai de nombreuses fonctionnalités (~ 500) et une petite quantité de cas (200-300). Jusqu'à présent, je ne faisais que des problèmes de classification pour lesquels...

Je pensais résoudre le Lasso via des méthodes de premier cycle à la vanille. Mais j'ai lu des gens suggérant d'utiliser la descente du gradient proximal. Quelqu'un peut-il souligner pourquoi la méthode proximale GD au lieu de la vanille est utilisée pour le

C'est en fait l'un des problèmes de la 4ème édition de Gujarati Basic Econometrics (Q3.11) et dit que le coefficient de corrélation est invariant par rapport au changement d'origine et d'échelle, c'est-à-dire où , , , sont des constantes

En faisant des recherches sur l'algorithme xgboost, j'ai parcouru la documentation . Dans cette approche, les arbres sont régularisés en utilisant la définition de la complexité Ω ( f) = γT+12λ∑j = 1Tw2jΩ(f)=γT+12λ∑j=1Twj2 \Omega(f) = \gamma T + \frac12 \lambda \sum_{j=1}^T w_j^2 où γγ\gamma et...

On m'a demandé de proposer un cours de conception expérimentale pour des étudiants diplômés avancés en agronomie et écologie. Je n'ai jamais suivi un tel cours, et j'ai été surpris de constater que le cours pourrait être mieux nommé "Au-delà de l'ANOVA unidirectionnelle", et qu'il couvre des...