Statistiques et Big Data

J'ai une matrice de conception de p régresseurs, n observations, et j'essaie de calculer l'échantillon matrice de variance-covariance des paramètres. J'essaie de le calculer directement en utilisant svd. J'utilise R, quand je prends svd de la matrice de conception, j'obtiens trois composants: une...

J'essaie de résoudre un problème de régression au moindre angle (LAR). Il s'agit d'un problème 3.23 à la page 97 de Hastie et al., Elements of Statistical Learning, 2nd. ed. (5ème impression) . Considérons un problème de régression avec toutes les variables et réponses ayant un zéro moyen et un...

Je suis venu par le post " Comparaisons par paires post-hoc de l'ANOVA bidirectionnelle " (répondant à ce post ), qui montre ce qui suit: dataTwoWayComparisons <- read.csv("http://www.dailyi.org/blogFiles/RTutorialSeries/dataset_ANOVA_TwoWayComparisons.csv") model1 <-

Je fais une étude de simulation qui nécessite des estimations d'amorçage obtenues à partir d'un modèle mixte linéaire généralisé (en fait, le produit de deux estimations pour les effets fixes, une à partir d'un GLMM et l'autre à partir d'un LMM). Pour bien faire l'étude, il faudrait environ 1000...

Dans R, il existe une fonction nlm () qui effectue une minimisation d'une fonction f en utilisant l'algorithme de Newton-Raphson. En particulier, cette fonction génère la valeur du code variable défini comme suit: codez un entier indiquant pourquoi le processus d'optimisation s'est terminé. 1: le...

Existe-t-il un test statistique formel pour tester si le processus est un bruit

J'ai un fichier CSV avec 4 millions de bords d'un réseau dirigé représentant des personnes communiquant entre elles (par exemple, John envoie un message à Mary, Mary envoie un message à Ann, John envoie un autre message à Mary, etc.). Je voudrais faire deux choses: Trouvez le degré, l'intervalle et...

J'ai fait des recherches occasionnelles sur Internet sur les biclusters. (J'ai lu l'article Wiki plusieurs fois.) Jusqu'à présent, il semble qu'il y ait peu de définitions ou de terminologie standard. Je me demandais s'il y avait des articles ou des livres standard que toute personne intéressée par...

Existe-t-il un package R, un site Web ou une commande qui permettra de rechercher une procédure statistique spécifique qu'ils souhaitent? Par exemple, si je voulais trouver un package qui avait la transformation Box-Cox, le site Web / package / command pourrait retourner "MASS" et me référer à la...

Quelles sont les méthodes pour minimiser l'effet des frontières dans une décomposition en ondelettes? J'utilise R et le package waveslim . J'ai trouvé par exemple la fonction ?brick.wall mais Je ne sais pas trop comment l'utiliser. Je ne suis pas sûr que la meilleure solution soit de supprimer un...

J'ai parcouru Google et ce site et je suis toujours confus à propos de la fonction lmer dans la bibliothèque lme4. J'ai quelques données recueillies auprès de différents services psychiatriques, qui ont une structure à plusieurs niveaux. Pour simplifier, je vais choisir deux variables de niveau 2...

Quelqu'un a-t-il des suggestions ou des packages pour calculer le coefficient de détermination partielle? Le coefficient de détermination partielle peut être défini comme le pourcentage de variation qui ne peut pas être expliqué dans un modèle réduit, mais peut être expliqué par les prédicteurs...

J'entraîne un réseau neuronal artificiel (rétropropagation, feed-forward) avec des données distribuées non normales. En plus de l'erreur quadratique moyenne, la littérature suggère souvent le coefficient de corrélation de Pearson pour évaluer la qualité du filet formé. Mais, le coefficient de...

Quelques modifications apportées ... Cette question est juste pour le plaisir, donc si ce n'est pas amusant, n'hésitez pas à l'ignorer. Je reçois déjà beaucoup d'aide de ce site, donc je ne veux pas mordre la main qui me nourrit. C'est basé sur un exemple réel et c'est juste quelque chose que je me...

La question est à peu près contenue dans le titre. Quelle est la distance de Mahalanobis pour deux distributions de matrices de covariance différentes? Ce que j'ai trouvé jusqu'à présent suppose la même covariance pour les deux distributions, c'est-à-dire quelque chose de ce genre:...

Dans RJe peux effectuer un test de Breusch – Pagan pour l'hétéroscédasticité en utilisant la ncvTestfonction du carpackage. Un test de Breusch – Pagan est un type de test du chi carré. Comment interpréter ces résultats: > require(car) > set.seed(100) > x1 = runif(100, -1, 1) > x2 =...

S'appuyer sur le post Comment gérer efficacement un projet d'analyse statistique et le ProjectTemplatepackage dans R ... Q: Comment créez-vous la structure de répertoires de votre projet statistique lorsque plusieurs langues sont fortement utilisées (par exemple, R AND Splus)? La plupart des...

Est-il possible d'utiliser l'analyse du composant principal du noyau (kPCA) pour l'indexation sémantique latente (LSI) de la même manière que PCA est utilisé? J'exécute LSI dans R en utilisant la prcompfonction PCA et j'extrais les caractéristiques avec les charges les plus élevées à partir des...

J'ai un ensemble de données d'événements qui se sont produits au cours de la même période. Chaque événement a un type (il existe peu de types différents, moins de dix) et un emplacement, représentés comme un point 2D. Je voudrais vérifier s'il existe une corrélation entre les types d'événements ou...

Dans un article que je lisais récemment, je suis tombé sur le morceau suivant dans leur section d'analyse des données: Le tableau de données a ensuite été divisé en tissus et lignées cellulaires, et les deux sous-tableaux ont été polis séparément (les lignes et les colonnes ont été ajustées de...