Une valeur aberrante est une observation qui semble inhabituelle ou mal décrite par rapport à une simple caractérisation d'un ensemble de données. Une possibilité déconcertante est que ces données proviennent d'une population différente de celle qui doit être étudiée.
Supposons que j'ai un grand ensemble de données multivariées avec au moins trois variables. Comment puis-je trouver les valeurs aberrantes? Les diagrammes de dispersion par paires ne fonctionneront pas car il est possible qu'une valeur aberrante existe en 3 dimensions qui ne soit une valeur...
Dans mon travail, je travaille souvent avec des ensembles de données d'autres personnes. Des non-experts m'apportent des données cliniques et je les aide à les résumer et à effectuer des tests statistiques. Le problème que je rencontre est que les ensembles de données que je suis amené sont presque...
J'avais une question sur l'interprétation des graphiques générés par plot (lm) dans R. Je me demandais si vous pouviez me dire comment interpréter les tracés de localisation d'échelle et d'effet résiduel? Tous les commentaires seraient appréciés. Assumer des connaissances de base en statistique,...
Je travaille avec une grande quantité de séries chronologiques. Ces séries temporelles sont essentiellement des mesures de réseau toutes les 10 minutes, et certaines sont périodiques (c'est-à-dire la bande passante), d'autres pas (c'est-à-dire la quantité de trafic de routage). Je voudrais un...
Lors de la résolution de problèmes métiers à l'aide de données, il est courant qu'au moins une hypothèse clé selon laquelle les statistiques classiques sous-goupilles sont invalides est invalide. La plupart du temps, personne ne se soucie de vérifier ces hypothèses pour ne jamais le savoir. Par...
Je commence à me familiariser avec l’utilisation de glmnetavec LASSO Regression, où mon résultat d’intérêt est dichotomique. J'ai créé un petit cadre de données fictif ci-dessous: age <- c(4, 8, 7, 12, 6, 9, 10, 14, 7) gender <- c(1, 0, 1, 1, 1, 0, 1, 0, 0) bmi_p <- c(0.86, 0.45, 0.99,...
Souvent, un analyste statistique se voit remettre un ensemble de données et se voit demander d’ajuster un modèle à l’aide d’une technique telle que la régression linéaire. Très souvent, le jeu de données est accompagné d'un avertissement similaire à celui-ci: "Oh oui, nous nous sommes trompés en...
Pour une étude de simulation , je dois générer des variables aléatoires qui montrent une corrélation prefined (population) à une variable existante .YYY J'ai examiné les Rpackages copulaet ceux CDVinequi peuvent produire des distributions multivariées aléatoires avec une structure de dépendance...
Je traite de données linéaires avec des valeurs aberrantes, dont certaines sont à plus de 5 écarts-types de la droite de régression estimée. Je cherche une technique de régression linéaire qui réduit l’influence de ces points. Jusqu'ici, ce que j'ai fait est d'estimer la droite de régression avec...
Les gens parlent souvent de faire face aux valeurs aberrantes dans les statistiques. Ce qui me dérange à ce propos, c’est que, pour autant que je sache, la définition d’une valeur aberrante est complètement subjective. Par exemple, si la distribution réelle d'une variable aléatoire est très lourde...
Commentaires: Tout d' abord je voudrais dire un grand merci à l' auteur du nouveau tsoutliers paquet qui met en œuvre de Chen et Liu séries temporelles de détection des valeurs aberrantes qui a été publiée dans le Journal de l'American Statistical Association en 1993 dans le logiciel Open Source...
J'ai lu dans quelques sources, y compris celle-ci , que les forêts aléatoires ne sont pas sensibles aux valeurs aberrantes (par exemple, la régression logistique et les autres méthodes ML). Cependant, deux morceaux d'intuition me disent le contraire: Chaque fois qu'un arbre de décision est...
J'ai cherché un moyen de supprimer les valeurs aberrantes d'un jeu de données et j'ai trouvé cette question . Cependant, dans certains commentaires et réponses à cette question, certaines personnes ont indiqué qu’il était de mauvaise pratique de supprimer les données aberrantes des données. Dans...
Je suis tombé sur un article qui utilise la détection d'anomalie de lien pour prédire les sujets à la mode et je l'ai trouvé extrêmement intriguant: Cet article s'intitule "Découvrir les sujets émergents dans les flux sociaux via la détection d'anomalie de lien" . J'adorerais le reproduire sur un...
Cette question a été posée par mon ami qui n'est pas averti d'Internet. Je n'ai aucun fond de statistiques et j'ai cherché autour d'Internet pour cette question. La question est: est-il possible de remplacer les valeurs aberrantes par une valeur moyenne? si c'est possible, existe-t-il des...
Suite à ma question ici , je me demande s'il existe des opinions bien arrêtées pour ou contre l'utilisation de l'écart-type pour détecter les valeurs aberrantes (par exemple, tout point de données supérieur à 2 écarts-types est une valeur aberrante). Je sais que cela dépend du contexte de l'étude,...
Issu du domaine de la vision par ordinateur, j'ai souvent utilisé la méthode RANSAC (Random Sample Consensus) pour ajuster les modèles aux données avec beaucoup de valeurs aberrantes. Cependant, je ne l'ai jamais vu utilisé par les statisticiens, et j'ai toujours eu l'impression qu'il n'était pas...
Il existe de nombreux articles sur cette SE qui discutent des approches robustes de l'analyse en composantes principales (ACP), mais je ne trouve pas une seule bonne explication de la raison pour laquelle l' ACP est sensible aux valeurs aberrantes en premier
J'ai commencé à me frayer un chemin à travers les didacticiels d'exploration de données statistiques d'Andrew Moore (fortement recommandé pour toute autre personne qui s'aventure dans ce domaine). J'ai commencé par lire ce PDF extrêmement intéressant intitulé "Présentation introductive des...
Dans l'analyse de régression linéaire, nous analysons les valeurs aberrantes, étudions la multicolinéarité, testons l'hétéroscédastictie. La question est: existe-t-il un ordre pour les appliquer? Je veux dire, devons-nous analyser les valeurs aberrantes tout d'abord, puis examiner la...