J'ai un ensemble de données d'utilisateurs qui achètent des produits sur un site Web. Les attributs que j'ai sont l'ID utilisateur, la région (état) de l'utilisateur, l'ID catégories du produit, l'ID mots clés du produit, l'ID mots clés du site Web et le montant des ventes dépensées pour le...
Il semble être devenu axiomatique qu'un ensemble d'apprenants aboutisse aux meilleurs résultats de modèles possibles - et il devient de plus en plus rare, par exemple, que des modèles uniques gagnent des compétitions telles que Kaggle. Y a-t-il une explication théorique pour expliquer pourquoi les...
Si j'ai une très longue liste de noms d'articles, comment puis-je obtenir un résumé de ces articles sur Internet ou dans une base de données? Les noms de papier sont comme "Évaluation de l'utilité dans le Web Mining pour le domaine de la santé publique". Est-ce que quelqu'un connaît une API qui...
J'ai des documents texte qui contiennent principalement des listes d'articles. Chaque élément est un groupe de plusieurs jetons de différents types: prénom, nom, date de naissance, numéro de téléphone, ville, profession, etc. Un jeton est un groupe de mots. Les articles peuvent se trouver sur...
Je lis une présentation et il recommande de ne pas utiliser l'encodage de sortie, mais il est correct avec un encodage à chaud. Je pensais qu'ils étaient tous les deux identiques. Quelqu'un peut-il décrire les différences entre
Je travaille sur un projet de science des données lié à l'exploration des relations sociales et j'ai besoin de stocker des données dans certaines bases de données graphiques. Au départ, j'ai choisi Neo4j comme base de données. Mais il semble que Neo4j ne soit pas à l'échelle. L'alternative que j'ai...
J'ai lu beaucoup de blogs \ article sur la façon dont différents types d'industries utilisent Big Data Analytic. Mais la plupart de ces articles ne mentionnent pas Quel genre de données ces entreprises ont utilisé. Quelle était la taille des données Quels types de technologies d'outils ont-ils...
Pour autant que je connaisse le développement d'algorithmes pour résoudre le problème de FPM (Frequent Pattern Mining), la route des améliorations a quelques points de contrôle principaux. Premièrement, l' algorithme Apriori a été proposé en 1993 par Agrawal et al. , ainsi que la formalisation du...
Je veux étudier le comportement de fixation des prix des compagnies aériennes - en particulier la façon dont les compagnies aériennes réagissent aux prix des concurrents. Comme je dirais que mes connaissances sur l'analyse plus complexe sont assez limitées, j'ai principalement utilisé toutes les...
J'ai récemment découvert un nouveau package R pour la connexion à l'API LinkedIn. Malheureusement, l'API LinkedIn semble assez limitée pour commencer; par exemple, vous ne pouvez obtenir que des données de base sur les entreprises, ce qui est séparé des données sur les individus. Je souhaite...
Je prototype une application et j'ai besoin d'un modèle de langage pour calculer la perplexité sur certaines phrases générées. Existe-t-il un modèle de langage formé en python que je peux facilement utiliser? Quelque chose de simple comme model = LanguageModel('en') p1 = model.perplexity('This is a...
Je veux éviter le sur-ajustement dans une forêt aléatoire. À cet égard, j'ai l'intention d'utiliser mtry, nodesize et maxnodes etc. Pourriez-vous s'il vous plaît m'aider à choisir des valeurs pour ces paramètres? J'utilise R. Aussi, si possible, dites-moi comment je peux utiliser la validation...
Les statistiques de validation de modèle communes comme le test de Kolmogorov – Smirnov (KS), l' AUROC et le coefficient de Gini sont tous fonctionnellement liés. Cependant, ma question concerne la preuve de la manière dont ces éléments sont tous liés. Je suis curieux de savoir si quelqu'un peut...
Je travaille sur l'apprentissage automatique et la bioinformatique depuis un certain temps, et aujourd'hui j'ai eu une conversation avec un collègue sur les principaux problèmes généraux de l'exploration de données. Mon collègue (qui est un expert en apprentissage automatique) a déclaré que, selon...
J'ai besoin de trouver la précision d'un ensemble de données de formation en appliquant l'algorithme de forêt aléatoire. Mais le type de mon ensemble de données est à la fois catégorique et numérique. Lorsque j'ai essayé d'ajuster ces données, j'obtiens une erreur. 'L'entrée contient NaN, l'infini...
Dans mon université, nous avons un cluster informatique HPC. J'utilise le cluster pour former des classificateurs et ainsi de suite. Donc, généralement, pour envoyer un travail au cluster, (par exemple, script scythit-learn python), j'ai besoin d'écrire un script Bash qui contient (entre autres)...
J'essaie de configurer une infrastructure de Big Data en utilisant Hadoop, Hive, Elastic Search (entre autres), et je voudrais exécuter des algorithmes sur certains ensembles de données. Je voudrais que les algorithmes eux-mêmes soient évolutifs, ce qui exclut l'utilisation d'outils tels que Weka,...
Avertissement: je suis un débutant complet en matière d'apprentissage automatique, mais désireux d'apprendre. J'ai un grand ensemble de données et j'essaie de trouver un modèle. Il peut / peut ne pas y avoir de corrélation entre les données, soit avec des variables connues, soit avec des variables...
J'ai analysé un ensemble de données d'environ 400k enregistrements et 9 variables La variable dépendante est binaire. J'ai ajusté une régression logistique, un arbre de régression, une forêt aléatoire et un arbre boosté par gradient. Tous donnent des valeurs d'ajustement virtuellement identiques...
Il est très courant dans les recommandations que nous ayons des données de produit utilisateur qui ont une étiquette comme par exemple un "clic". Pour apprendre le modèle, j'ai besoin de données de clic et de non-clic. L'approche la plus simple à générer consiste à prendre des paires...