Lorsque les algorithmes ML, par exemple Vowpal Wabbit ou certaines des machines de factorisation remportant des concours de taux de clics ( Kaggle ), mentionnent que les fonctionnalités sont «hachées», qu'est-ce que cela signifie réellement pour le modèle? Disons qu'il existe une variable qui...
J'ai une variable continue, échantillonnée sur une période d'un an à intervalles irréguliers. Certains jours ont plus d'une observation par heure, tandis que d'autres périodes n'ont rien pendant des jours. Il est donc particulièrement difficile de détecter les tendances dans les séries...
Je travaille en NLTK depuis un certain temps en utilisant Python. Le problème auquel je suis confronté est qu'il n'y a aucune aide disponible sur la formation NER en NLTK avec mes données personnalisées. Ils ont utilisé MaxEnt et l'ont formé sur le corpus ACE. J'ai beaucoup cherché sur le Web, mais...
Des termes comme «science des données» et «scientifique des données» sont de plus en plus utilisés de nos jours. De nombreuses entreprises recrutent des «data scientist». Mais je ne pense pas que ce soit un tout nouveau travail. Les données ont existé dans le passé et quelqu'un a dû gérer les...
Est-ce que quelqu'un sait s'il est possible d'importer un grand ensemble de données dans Amazon S3 à partir d'une URL? Fondamentalement, je veux éviter de télécharger un fichier énorme et de le re-télécharger vers S3 via le portail Web. Je veux juste fournir l'URL de téléchargement à S3 et attendre...
Je veux étudier le comportement de fixation des prix des compagnies aériennes - en particulier la façon dont les compagnies aériennes réagissent aux prix des concurrents. Comme je dirais que mes connaissances sur l'analyse plus complexe sont assez limitées, j'ai principalement utilisé toutes les...
Supposons que j'ai cinq ensembles que j'aimerais regrouper. Je comprends que la technique SimHashing décrite ici: https://moultano.wordpress.com/2010/01/21/simple-simhashing-3kbzhsxyg4467-6/ pourrait produire trois grappes ( {A}, {B,C,D}et {E}), par exemple, si ses résultats étaient: A -> h01 B...
J'ai tracé les importances des fonctionnalités dans des forêts aléatoires avec scikit-learn . Afin d'améliorer la prédiction à l'aide de forêts aléatoires, comment puis-je utiliser les informations de tracé pour supprimer des entités? C'est-à-dire comment repérer si une fonctionnalité est inutile...
J'utilise cette bibliothèque pour la construction et l'analyse de réseaux neuronaux de base. Cependant, il ne prend pas en charge la construction de réseaux de neurones multicouches, etc. Donc, j'aimerais connaître de belles bibliothèques pour faire des réseaux neuronaux avancés et Deep Learning...
J'ai besoin d'aide sur ce qui devrait être ma prochaine étape dans un algorithme que je conçois. En raison des NDA, je ne peux pas divulguer grand-chose, mais je vais essayer d'être générique et compréhensible. Fondamentalement, après plusieurs étapes dans les algorithmes, j'ai ceci: Pour chaque...
Je connais quelqu'un qui travaille sur un projet qui implique l'ingestion de fichiers de données sans tenir compte des colonnes ou des types de données. La tâche consiste à prendre un fichier avec un nombre quelconque de colonnes et divers types de données et à produire des statistiques...
Je cherchais la possibilité de classer le son (par exemple les sons d'animaux) à l'aide de spectrogrammes. L'idée est d'utiliser un réseau de neurones à convolution profonde pour reconnaître les segments dans le spectrogramme et produire une (ou plusieurs) étiquettes de classe. Ce n'est pas une...
Comment choisir K pour PCA? K est le nombre de dimensions à projeter. La seule exigence est de ne pas perdre trop d'informations. Je comprends que cela dépend des données, mais je cherche plus un aperçu général simple sur les caractéristiques à considérer lors du choix de...
J'ai deux trames de données df1 et df2 et je voudrais les fusionner en une seule trame de données. C'est comme si df1 et df2 avaient été créés en divisant verticalement un seul bloc de données au centre, comme déchirer un morceau de papier qui contient une liste en deux de sorte que la moitié des...
Je viens d'ajuster une courbe logistique à de fausses données. J'ai fait des données essentiellement une fonction pas à pas. data = -------------++++++++++++++ Mais quand je regarde la courbe ajustée, la pente est très petite. La fonction qui minimise le mieux la fonction de coût, en supposant une...
Contexte: dans xgboost, l' itération tente d'ajuster un arbre sur tous les exemples, ce qui minimise l'objectif suivant:f t ntttftftf_tnnn ∑i=1n[gift(xi)+12hif2t(xi)]∑i=1n[gift(xi)+12hift2(xi)]\sum_{i=1}^n[g_if_t(x_i) + \frac{1}{2}h_if_t^2(x_i)] où sont des premier ordre et de second ordre sur...
Je construis une voiture autonome télécommandée pour le plaisir. J'utilise un Raspberry Pi comme ordinateur de bord; et j'utilise divers plug-ins, tels qu'un appareil photo Raspberry Pi et des capteurs de distance, pour obtenir des informations sur l'environnement de la voiture. J'utilise OpenCV...
J'ai un problème de classification avec des données très déséquilibrées. J'ai lu que le suréchantillonnage et le sous-échantillonnage ainsi que la modification du coût des extrants catégoriels sous-représentés conduiront à un meilleur ajustement. Avant cela, tensorflow catégoriserait chaque entrée...
Comment importer un fichier .csv dans des cadres de données pyspark? J'ai même essayé de lire le fichier csv dans Pandas, puis de le convertir en un cadre de données spark à l'aide de createDataFrame, mais il affiche toujours une erreur. Quelqu'un peut-il me guider à travers cela? Aussi, dites-moi...
Je démarre un projet où la tâche consiste à identifier les types de baskets à partir d'images. Je lis actuellement les implémentations de TensorFlow et Torch . Ma question est: combien d'images par classe sont nécessaires pour atteindre une performance de classification raisonnable?...