J'utilise Gensim Library en python pour utiliser et former le modèle word2vector. Récemment, je cherchais à initialiser mes poids de modèle avec un modèle word2vec pré-formé tel que (modèle pré-formé GoogleNewDataset). J'ai du mal avec ça quelques semaines. Maintenant, je viens de découvrir que...
J'ai lu dans cet article que le langage R est adapté au Big Data que constituent les Big Data5TB , et bien qu'il fournisse un bon travail en fournissant des informations sur la faisabilité de travailler avec ce type de données, Ril fournit très peu d'informations sur Python. Je me demandais si je...
J'utilise Python pour exécuter un modèle de forêt aléatoire sur mon jeu de données déséquilibré (la variable cible était une classe binaire). Lors du fractionnement de l'ensemble de données de formation et de test, j'ai eu du mal à utiliser un échantillonnage stratifié (comme le code illustré) ou...
Je travaille dans un bureau où SQL Server est l'épine dorsale de tout ce que nous faisons, du traitement des données au nettoyage en passant par le munging. Mon collègue est spécialisé dans l'écriture de fonctions complexes et de procédures stockées pour traiter méthodiquement les données entrantes...
J'ai une trame de données qui, entre autres, contient une colonne du nombre de millisecondes écoulées depuis 1970-1-1. Je dois convertir cette colonne d'entiers en données d'horodatage, afin que je puisse ensuite la convertir en une colonne de données datetime en ajoutant la série de colonnes...
Si je forme mon modèle en utilisant le code suivant: import xgboost as xg params = {'max_depth':3, 'min_child_weight':10, 'learning_rate':0.3, 'subsample':0.5, 'colsample_bytree':0.6, 'obj':'reg:linear', 'n_estimators':1000, 'eta':0.3} features = df[feature_columns] target = df[target_columns]...
J'utilise scikit-learn Random Forest Classifier et je veux tracer l'importance des fonctionnalités, comme dans cet exemple . Cependant, mon résultat est complètement différent, dans le sens où l'écart-type de l'importance des fonctionnalités est presque toujours plus important que l'importance des...
Je travaille en NLTK depuis un certain temps en utilisant Python. Le problème auquel je suis confronté est qu'il n'y a aucune aide disponible sur la formation NER en NLTK avec mes données personnalisées. Ils ont utilisé MaxEnt et l'ont formé sur le corpus ACE. J'ai beaucoup cherché sur le Web, mais...
Considérons une trame de données pyspark composée d'éléments «nuls» et d'éléments numériques. En général, les éléments numériques ont des valeurs différentes. Comment est-il possible de remplacer toutes les valeurs numériques de la trame de données par une valeur numérique constante (par exemple...
Existe-t-il des règles générales (ou des règles réelles) concernant la quantité minimale, maximale et "raisonnable" de cellules LSTM que je devrais utiliser? Plus précisément, je me rapporte à BasicLSTMCell de TensorFlow et à la num_unitspropriété. Veuillez supposer que j'ai un problème de...
J'essaie de mettre en œuvre ce document sur un ensemble d'images médicales. Je le fais à Keras. Le réseau se compose essentiellement de 4 couches conv et max-pool suivies d'une couche entièrement connectée et d'un classificateur soft max. Pour autant que je sache, j'ai suivi l'architecture...
J'ai un ensemble de données avec ~ 1M lignes et ~ 500K fonctionnalités clairsemées. Je veux réduire la dimensionnalité quelque part dans l'ordre des entités denses 1K-5K. sklearn.decomposition.PCAne fonctionne pas sur des données éparses, et j'ai essayé d'utiliser
Je comprends ce que fait Standard Scalar et ce que fait Normalizer, selon la documentation de scikit: Normalizer , Standard Scaler . Je sais quand Standard Scaler est appliqué. Mais dans quel scénario le Normalizer est-il appliqué? Y a-t-il des scénarios où l'un est préféré à...
J'ai essayé de comprendre comment représenter et façonner les données pour faire une prévision de séries chronologiques multidimentionnelles et multivariées en utilisant Keras (ou TensorFlow) mais je ne suis toujours pas très clair après avoir lu de nombreux articles de blog / tutoriels /...
Quelqu'un a-t-il utilisé (et aimé) de bons packages "d'exploration de séquences fréquentes" en Python autres que le FPM dans MLLib? Je recherche un package stable, de préférence encore maintenu par des personnes. Je vous
J'utilise le bloc-notes Ipython pour travailler avec des applications pyspark. J'ai un fichier CSV avec beaucoup de colonnes catégorielles pour déterminer si le revenu tombe sous ou au-dessus de la plage 50k. Je voudrais effectuer un algorithme de classification prenant toutes les entrées pour...
J'essaie actuellement de former un modèle sur un gros fichier csv (> 70 Go avec plus de 60 millions de lignes). Pour ce faire, j'utilise tf.contrib.learn.read_batch_examples. J'ai du mal à comprendre comment cette fonction lit réellement les données. Si j'utilise par exemple une taille de lot de...
Je suis actuellement en cours de tensorflow dans lequel ils ont utilisé tf.one_hot (indices, profondeur). Maintenant, je ne comprends pas comment ces indices se transforment en cette séquence binaire. Quelqu'un peut-il m'expliquer le processus exact
Après avoir développé mon modèle prédictif à l'aide de Random Forest, j'obtiens les mesures suivantes: Train Accuracy :: 0.9764634601043997 Test Accuracy :: 0.7933284397683713 Confusion matrix [[28292 1474] [ 6128 889]] Voici les résultats de ce code: training_features, test_features,...
Je travaille avec Python, scikit-learn et keras. J'ai 3000 milliers d'images de montres frontales comme les suivantes: Watch_1 , Watch_2 , Watch_3 . Je veux écrire un programme qui reçoit en entrée une photo d'une vraie montre qui peut être prise dans des conditions moins idéales que les photos...