J'ai un ensemble de données avec ~ 1M lignes et ~ 500K fonctionnalités clairsemées. Je veux réduire la dimensionnalité quelque part dans l'ordre des entités denses 1K-5K. sklearn.decomposition.PCAne fonctionne pas sur des données éparses, et j'ai essayé d'utiliser
Je comprends ce que fait Standard Scalar et ce que fait Normalizer, selon la documentation de scikit: Normalizer , Standard Scaler . Je sais quand Standard Scaler est appliqué. Mais dans quel scénario le Normalizer est-il appliqué? Y a-t-il des scénarios où l'un est préféré à...
Dans l'esprit de la célèbre blague Tensorflow Fizz Buzz et problème XOr, j'ai commencé à penser, s'il était possible de concevoir un réseau de neurones qui implémente la fonction y= x2y=x2y = x^2 ? Étant donné une certaine représentation d'un nombre (par exemple, comme un vecteur sous forme...
Dans notre entreprise, nous avons une base de données MongoDB contenant un grand nombre de données non structurées, sur lesquelles nous devons exécuter des algorithmes de réduction de carte pour générer des rapports et d'autres analyses. Nous avons le choix entre deux approches pour la mise en...
Nous avons donc un potentiel pour une application d'apprentissage automatique qui s'intègre assez bien dans le domaine de problème traditionnel résolu par les classificateurs, c'est-à-dire que nous avons un ensemble d'attributs décrivant un élément et un "compartiment" dans lequel ils se...
J'aimerais explorer la «science des données». Le terme me semble un peu vague, mais je m'attends à ce qu'il nécessite: l'apprentissage automatique (plutôt que les statistiques traditionnelles); un ensemble de données suffisamment grand pour exécuter des analyses sur des clusters. Quels sont les...
Je suis curieux de savoir comment interroger le langage naturel. Stanford possède ce qui semble être un ensemble solide de logiciels pour le traitement du langage naturel . J'ai également vu la bibliothèque Apache OpenNLP et l' architecture générale pour l'ingénierie du texte . Il existe une...
La définition habituelle de la régression (pour autant que je sache) est de prédire une variable de sortie continue à partir d'un ensemble donné de variables d'entrée . La régression logistique est un algorithme de classification binaire, elle produit donc une sortie catégorielle. Est-ce vraiment...
Je pensais que le modèle linéaire généralisé (GLM) serait considéré comme un modèle statistique, mais un ami m'a dit que certains articles le classaient comme une technique d'apprentissage automatique. Laquelle est vraie (ou plus précise)? Toute explication serait
Je construis souvent un modèle (classification ou régression) où j'ai des variables prédictives qui sont des séquences et j'ai essayé de trouver des recommandations techniques pour les résumer de la meilleure façon possible pour les inclure comme prédicteurs dans le modèle. À titre d'exemple...
Il existe de nombreuses sources qui fournissent les données historiques sur les stocks, mais elles ne fournissent que les champs OHLC ainsi que le volume et la clôture ajustée. Quelques sources que j'ai trouvées fournissent également des ensembles de données de capitalisation boursière, mais elles...
La fonction de base R glm()utilise Fishers Scoring pour MLE, tandis que le glmnetsemble utiliser la méthode de descente de coordonnées pour résoudre la même équation. La descente de coordonnées est plus efficace en temps que Fisher Scoring, car Fisher Scoring calcule la matrice dérivée de second...
J'ai 2 jeux de données, un avec des instances positives de ce que je voudrais détecter et un avec des instances sans étiquette. Quelles méthodes puis-je utiliser? Par exemple, supposons que nous voulons comprendre la détection des e-mails de spam sur la base de quelques caractéristiques structurées...
Dans mon université, nous avons un cluster informatique HPC. J'utilise le cluster pour former des classificateurs et ainsi de suite. Donc, généralement, pour envoyer un travail au cluster, (par exemple, script scythit-learn python), j'ai besoin d'écrire un script Bash qui contient (entre autres)...
t-SNE, comme dans [1], fonctionne en réduisant progressivement la divergence de Kullback-Leibler (KL), jusqu'à ce qu'une certaine condition soit remplie. Les créateurs de t-SNE suggèrent d'utiliser la divergence KL comme critère de performance pour les visualisations: vous pouvez comparer les...
Je veux tracer les octets d'une image disque afin de comprendre un modèle en eux. Il s'agit principalement d'une tâche académique, car je suis presque sûr que ce modèle a été créé par un programme de test de disque, mais j'aimerais quand même le rétroconcevoir. Je sais déjà que le motif est aligné,...
J'ai implémenté le système NER avec l'utilisation de l'algorithme CRF avec mes fonctionnalités artisanales qui ont donné de très bons résultats. Le fait est que j'ai utilisé beaucoup de fonctionnalités différentes, y compris des balises POS et des lemmes. Maintenant, je veux faire le même NER pour...
J'essaie de résoudre un ensemble d'équations qui a 40 variables indépendantes (x1, ..., x40) et une variable dépendante (y). Le nombre total d'équations (nombre de lignes) est ~ 300, et je veux résoudre pour l'ensemble des 40 coefficients qui minimise l'erreur totale de somme des carrés entre y et...
Permettez-moi de vous montrer un exemple d'une application de clustering en ligne hypothétique: Au temps n, les points 1, 2, 3, 4 sont attribués au groupe bleu A et les points b, 5, 6, 7 sont attribués au groupe rouge B. Au temps n + 1, un nouveau point a est introduit qui est affecté au cluster...
Je regarde pybrain pour prendre les alarmes du moniteur de serveur et déterminer la cause première d'un problème. Je suis heureux de le former à l'aide d'un apprentissage supervisé et de gérer les ensembles de données de formation. Les données sont structurées quelque chose comme ceci: Type de...