Je cherche une explication du calcul de l'importance relative relative des variables dans les arbres à gradient de densité, qui n'est pas trop générale / simpliste, comme: Les mesures sont basées sur le nombre de fois qu'une variable est sélectionnée pour le fractionnement, pondérées par...
Bien que cette question soit quelque peu subjective, j'espère qu'elle peut être considérée comme une bonne question subjective selon les directives de la FAQ . Il est basé sur une question que Olle Häggström m'a posée il y a un an et bien que j'y réfléchisse, je n'ai pas de réponse définitive et...
J'essaie de mettre en place un programme de mathématiques autogéré pour préparer l'apprentissage du data mining et du machine learning. Cela est motivé par le démarrage du cours d'apprentissage automatique d'Andrew Ng sur Coursera et le sentiment qu'avant de continuer, je devais améliorer mes...
Prenons par exemple un modèle de régression linéaire. J'ai entendu dire que, dans l'exploration de données, après avoir effectué une sélection par étapes basée sur le critère AIC, il est trompeur de regarder les valeurs de p pour tester l'hypothèse nulle selon laquelle chaque véritable coefficient...
Je voudrais comprendre quelle est la principale différence de mise en œuvre entre les algorithmes de clustering k-means standard et sphérique. À chaque étape, k-means calcule les distances entre les vecteurs d'éléments et les centroïdes de cluster, et réaffecte le document à ce cluster, dont le...
Actuellement, je dois analyser environ 20 millions d'enregistrements et créer des modèles de prédiction. Jusqu'à présent, j'ai essayé Statistica, SPSS, RapidMiner et R. Parmi ces Statistica semble être le plus approprié pour faire face à l'exploration de données et l'interface utilisateur de...
Je suis un étudiant en master CS dans une université allemande en train de rédiger ma thèse. Je vais avoir fini dans deux mois, je dois prendre la décision très difficile si je dois continuer avec un doctorat ou trouver un emploi dans l'industrie. Mes raisons de faire un doctorat: Je suis une...
J'étudie différentes techniques utilisées dans le clustering de documents et je voudrais dissiper certains doutes concernant PCA (analyse en composantes principales) et LSA (analyse sémantique latente). Première chose - quelles sont les différences entre eux? Je sais qu'en PCA, la décomposition SVD...
Envisagez un scénario dans lequel vous disposez de la matrice KnownLabel et de la matrice PredictedLabel. Je voudrais mesurer la qualité de la matrice PredictedLabel par rapport à la matrice KnownLabel. Mais le défi ici est que la matrice de KnownLabel possède peu de lignes, un seul 1 et les autres...
Je vois que les deux fonctions font partie des méthodes d'extraction de données telles que Gradient Dynamiser régresseurs. Je vois que ce sont aussi des objets séparés. Quelle est la relation entre les deux en
Quelle est la différence entre la distribution binomiale négative et la distribution binomiale? J'ai essayé de lire en ligne et j'ai trouvé que la distribution binomiale négative est utilisée lorsque les points de données sont discrets, mais je pense que même la distribution binomiale peut être...
Je veux effectuer un regroupement K-means sur les objets que j'ai, mais les objets ne sont pas décrits comme des points dans l'espace, c'est-à-dire par objects x featuresensemble de données. Cependant, je suis capable de calculer la distance entre deux objets quelconques (il est basé sur une...
Je lis Bishop sur l'algorithme EM pour GMM et la relation entre GMM et k-means. Dans ce livre, il est dit que k-means est une version difficile à attribuer de GMM. Je me demande si cela implique que si les données que j'essaie de regrouper ne sont pas gaussiennes, je ne peux pas utiliser k-means...
Presque chaque exemple d'arbre de décision que j'ai rencontré se trouve être un arbre binaire. Est-ce à peu près universel? La plupart des algorithmes standard (C4.5, CART, etc.) prennent-ils uniquement en charge les arbres binaires? D'après ce que je comprends, CHAID n'est pas limité aux arbres...
Les données ont de nombreuses fonctionnalités (par exemple 100) et le nombre d'instances est comme 100 000. Les données sont rares. Je veux ajuster les données en utilisant une régression logistique ou svm. Comment savoir si les fonctionnalités sont linéaires ou non linéaires afin de pouvoir...
Supposons que vous analysez un énorme ensemble de données à hauteur de milliards d'observations par jour, où chaque observation comporte quelques milliers de variables numériques et catégorielles éparses et peut-être redondantes. Disons qu'il y a un problème de régression, un problème de...
L'extrait suivant est tiré de Schwager's Hedge Fund Market Wizzards (mai 2012), une entrevue avec le gestionnaire de fonds de couverture à succès constant Jaffray Woodriff: À la question: "Quelles sont les pires erreurs que les gens commettent dans l'exploration de données?": Beaucoup de gens...
Remarque: le cas est n >> p Je lis Éléments d'apprentissage statistique et il y a diverses mentions sur la «bonne» façon de faire la validation croisée (par exemple page 60, page 245). Plus précisément, ma question est de savoir comment évaluer le modèle final (sans ensemble de test séparé)...
J'essaie de mettre en place un package d'exploration de données pour les sites StackExchange et en particulier, je suis coincé en essayant de déterminer les questions "les plus intéressantes". Je voudrais utiliser le score de la question, mais supprimer le biais dû au nombre de vues, mais je ne...
La «supervision distante» est un schéma d'apprentissage dans lequel un classificateur est appris en fonction d'un ensemble de formation faiblement étiqueté (les données de formation sont étiquetées automatiquement sur la base d'heuristiques / règles). Je pense que l'apprentissage supervisé et...