Je lisais ce billet de blog intitulé: Le monde financier veut ouvrir les boîtes noires d'AI , où l'auteur fait référence à plusieurs reprises aux modèles ML comme des "boîtes noires". Une terminologie similaire a été utilisée à plusieurs endroits en référence aux modèles ML. Pourquoi est-ce? Ce...
Je suis un Rprogrammeur de langue. Je fais également partie du groupe de personnes considérées comme des scientifiques du traitement des données, mais qui appartiennent à des disciplines universitaires autres que la CS. Cela fonctionne bien dans mon rôle de Data Scientist. Cependant, en commençant...
Récemment, dans une classe d'apprentissage automatique du professeur Oriol Pujol à UPC / Barcelone, il a décrit les algorithmes, principes et concepts les plus courants à utiliser pour une large gamme de tâches liées à l'apprentissage automatique. Ici, je les partage avec vous et vous demande:...
Un scientifique de données en herbe ici. Je ne connais rien à Hadoop, mais comme je lisais des articles sur Data Science et Big Data, je vois beaucoup de discussions sur Hadoop. Est-il absolument nécessaire d'apprendre Hadoop pour être un scientifique de
Je suis sur le point de former un grand réseau LSTM avec 2 à 3 millions d'articles et je suis aux prises avec des erreurs de mémoire (j'utilise AWS EC2 g2x2large). J'ai découvert qu'une solution consiste à réduire le batch_size. Cependant, je ne sais pas si ce paramètre est uniquement lié à des...
J'ai du mal à comprendre la différence entre équivariant de traduction et invariant de traduction . Dans le livre Deep Learning . MIT Press, 2016 (I. Goodfellow, A. Courville et Y. Bengio), on peut trouver sur les réseaux convolutifs: [...] la forme particulière de partage des paramètres donne à la...
Je me considérerais comme un compagnon scientifique des données. Comme beaucoup (je pense), j'ai réalisé mes premiers graphiques et mes premières agrégations au lycée et au collège, en utilisant Excel. Après mes études universitaires, mes études supérieures et environ 7 ans d'expérience...
Je travaille sur le problème avec trop de fonctionnalités et la formation de mes modèles prend beaucoup trop de temps. J'ai mis en œuvre un algorithme de sélection directe pour choisir les fonctionnalités. Cependant, je me demandais si scikit-learn avait un algorithme de sélection en aval / de...
J'ai couru un modèle xgboost. Je ne sais pas exactement comment interpréter le résultat de xgb.importance. Quelle est la signification de gain, couverture et fréquence et comment les interprète-t-on? De plus, que signifient Split, RealCover et RealCover%? J'ai quelques paramètres supplémentaires...
J'ai maintenant vu deux programmes de certification en science des données, celui de John Hopkins disponible à Coursera et celui de Cloudera . Je suis sûr qu'il y en a d'autres là-bas. L'ensemble de classes de John Hopkins est axé sur R en tant qu'ensemble d'outils, mais couvre un éventail de...
J'ai lu quelque part que si nous avons des caractéristiques trop corrélées, nous devons en supprimer une, car cela pourrait aggraver le modèle. Il est clair que les entités corrélées signifient qu’elles apportent la même information. Il est donc logique de supprimer l’une d’elles. Mais je ne peux...
Supposons que je construise un NN pour la classification. La dernière couche est une couche dense avec activation softmax. J'ai cinq classes différentes à classer. Supposons que pour un seul exemple de formation, le true labelsoit [1 0 0 0 0]alors que les prédictions soient [0.1 0.5 0.1 0.1 0.2]....
J'ai un bloc de données de pandas avec plusieurs entrées et je veux calculer la corrélation entre les revenus de certains types de magasins. Il existe un certain nombre de magasins avec des données sur le revenu, une classification du domaine d'activité (théâtre, magasins de tissus, alimentation...
Les utilisateurs de différentes communautés ont coutume de citer des choses amusantes sur leurs domaines. Il peut être amusant de partager vos drôles de choses sur l’apprentissage automatique, l’apprentissage en profondeur, la science des données et les problèmes auxquels vous êtes confrontés tous...
Lorsque je parle de "document", je pense à des pages Web telles que des articles de Wikipédia et des reportages. Je préfère les réponses donnant soit des métriques de distance lexicale vanille, soit des métriques de distance sémantiques de pointe, avec une préférence plus forte pour ces...
Je suis encore confus quant à la différence entre Denseet TimeDistributedDensede Kerasmême s'il y a déjà des questions similaires posées ici et ici . Les gens discutent beaucoup mais pas de conclusions convenues d'un commun accord. Et même si, ici , @fchollet a déclaré que:...
Après avoir utilisé la science des données avec R, je me suis rendu compte que le nettoyage des mauvaises données est une partie très importante de la préparation des données pour analyse. Existe-t-il des meilleures pratiques ou processus pour nettoyer les données avant de les traiter? Si tel est...
J'essaie actuellement d'ouvrir un fichier contenant des pandas et du python à des fins d'apprentissage automatique. Il serait idéal pour moi de les avoir tous dans un DataFrame. Maintenant, le fichier fait 18 Go et ma mémoire vive de 32 Go, mais je continue à avoir des erreurs de mémoire. D'après...
Comment pouvez-vous programmer dans la bibliothèque keras (ou tensorflow) pour partitionner la formation sur plusieurs GPU? Supposons que vous vous trouviez dans une instance Amazon ec2 comportant 8 GPU et que vous souhaitiez toutes les utiliser pour vous entraîner plus rapidement, mais que votre...
J'ai lu sur NCE (une forme d'échantillonnage de candidats) à partir de ces deux sources: Rédaction Tensorflow Papier original Quelqu'un peut-il m'aider avec les éléments suivants: Une explication simple du fonctionnement des RCE (j'ai trouvé les éléments ci-dessus difficiles à analyser et à...