Questions marquées «cross-validation»

29

Pourquoi xgboost est-il tellement plus rapide que sklearn GradientBoostingClassifier?

J'essaie de former un modèle d'augmentation de gradient sur plus de 50k exemples avec 100 fonctionnalités numériques. XGBClassifiergère 500 arbres en 43 secondes sur ma machine, alors qu'il GradientBoostingClassifierne gère que 10 arbres (!) en 1 minute et 2 secondes :( Je n'ai pas pris la peine...

scikit-learn xgboost gbm data-mining classification data-cleaning machine-learning reinforcement-learning data-mining bigdata dataset nlp language-model stanford-nlp machine-learning neural-network deep-learning randomized-algorithms machine-learning beginner career xgboost loss-function neural-network software-recommendation naive-bayes-classifier classification scikit-learn feature-selection r random-forest cross-validation data-mining python scikit-learn random-forest churn python clustering k-means machine-learning nlp sentiment-analysis machine-learning programming python scikit-learn nltk gensim visualization data csv neural-network deep-learning descriptive-statistics machine-learning supervised-learning text-mining orange data parameter-estimation python pandas scraping r clustering k-means unsupervised-learning

23

La modélisation avec des forêts aléatoires nécessite-t-elle une validation croisée?

Pour autant que je l'ai vu, les opinions ont tendance à différer à ce sujet. Les meilleures pratiques dicteraient certainement l'utilisation de la validation croisée (surtout si l'on compare les RF avec d'autres algorithmes sur le même ensemble de données). D'un autre côté, la source d'origine...

random-forest cross-validation

23

Comment utiliser la sortie de GridSearch?

Je travaille actuellement avec Python et Scikit learn à des fins de classification, et en lisant autour de GridSearch, j'ai pensé que c'était un excellent moyen d'optimiser mes paramètres d'estimateur pour obtenir les meilleurs résultats. Ma méthodologie est la suivante: Divisez mes données en...

machine-learning cross-validation

21

Quelle est la différence entre l'amorçage et la validation croisée?

J'avais l'habitude d'appliquer la validation croisée K-fold pour une évaluation robuste de mes modèles d'apprentissage automatique. Mais je suis également conscient de l'existence de la méthode d'amorçage à cet effet. Cependant, je ne vois pas la principale différence entre eux en termes...

cross-validation evaluation

21

Fusion de plusieurs trames de données par ligne dans PySpark

J'ai 10 trames de données pyspark.sql.dataframe.DataFrame, obtenues à partir randomSplitde (td1, td2, td3, td4, td5, td6, td7, td8, td9, td10) = td.randomSplit([.1, .1, .1, .1, .1, .1, .1, .1, .1, .1], seed = 100)maintenant , je veux rejoindre 9 td« s en une seule trame de données, comment dois -...

python apache-spark cross-validation pyspark

17

Comment fonctionne le paramètre validation_split de la fonction d'ajustement de Keras?

La validation-division dans la fonction d'ajustement du modèle Keras Sequential est documentée comme suit sur https://keras.io/models/sequential/ : validation_split: Flotter entre 0 et 1. Fraction des données d'apprentissage à utiliser comme données de validation. Le modèle séparera cette fraction...

keras data cross-validation

17

Pourquoi utiliser à la fois l'ensemble de validation et l'ensemble de test?

Considérons un réseau de neurones: Pour un ensemble de données donné, nous le divisons en ensemble de formation, de validation et de test. Supposons que nous le fassions dans le rapport classique 60:20:20, puis nous empêchons le surapprentissage en validant le réseau en le vérifiant sur l'ensemble...

machine-learning neural-network cross-validation

16

agrandir la carte thermique de Seaborn

Je crée un corr()df à partir d'un df d'origine. Le corr()df est sorti 70 X 70 et il est impossible de visualiser le heatmap ... sns.heatmap(df). Si j'essaie d'afficher le corr = df.corr(), le tableau ne correspond pas à l'écran et je peux voir toutes les corrélations. Est-ce un moyen d'imprimer...

visualization pandas plotting machine-learning neural-network svm decision-trees svm efficiency python linear-regression machine-learning nlp topic-model lda named-entity-recognition naive-bayes-classifier association-rules fuzzy-logic kaggle deep-learning tensorflow inception classification feature-selection feature-engineering machine-learning scikit-learn tensorflow keras encoding nlp text-mining nlp rnn python neural-network feature-extraction machine-learning predictive-modeling python r linear-regression clustering r ggplot2 neural-network neural-network training python neural-network deep-learning rnn predictive-modeling databases sql programming distribution dataset cross-validation neural-network deep-learning rnn machine-learning machine-learning python deep-learning data-mining tensorflow visualization tools sql embeddings orange feature-extraction unsupervised-learning gan machine-learning python data-mining pandas machine-learning data-mining bigdata apache-spark apache-hadoop deep-learning python convnet keras aggregation clustering k-means r random-forest decision-trees reference-request visualization data pandas plotting neural-network keras rnn theano deep-learning tensorflow inception predictive-modeling deep-learning regression sentiment-analysis nlp encoding deep-learning python scikit-learn lda convnet keras predictive-modeling regression overfitting regression svm prediction machine-learning similarity word2vec information-retrieval word-embeddings neural-network deep-learning rnn

13

Comment choisir un classifieur après validation croisée?

Lorsque nous effectuons une validation croisée k, devons-nous simplement utiliser le classificateur qui a la plus haute précision de test? Quelle est généralement la meilleure approche pour obtenir un classifieur à partir d'une validation

machine-learning cross-validation

12

Un sur-ajustement peut-il se produire même avec une perte de validation en baisse?

J'ai un modèle convolutionnel + LSTM à Keras, similaire à celui-ci (réf 1), que j'utilise pour un concours Kaggle. L'architecture est illustrée ci-dessous. Je l'ai formé sur mon ensemble étiqueté de 11000 échantillons (deux classes, la prévalence initiale est ~ 9: 1, j'ai donc suréchantillonné les...

keras cross-validation overfitting

12

Combien de cellules LSTM dois-je utiliser?

Existe-t-il des règles générales (ou des règles réelles) concernant la quantité minimale, maximale et "raisonnable" de cellules LSTM que je devrais utiliser? Plus précisément, je me rapporte à BasicLSTMCell de TensorFlow et à la num_unitspropriété. Veuillez supposer que j'ai un problème de...

rnn machine-learning r predictive-modeling random-forest python language-model sentiment-analysis encoding machine-learning deep-learning neural-network dataset caffe classification xgboost multiclass-classification unbalanced-classes time-series descriptive-statistics python r clustering machine-learning python deep-learning tensorflow machine-learning python predictive-modeling probability scikit-learn svm machine-learning python classification gradient-descent regression research python neural-network deep-learning convnet keras python tensorflow machine-learning deep-learning tensorflow python r bigdata visualization rstudio pandas pyspark dataset time-series multilabel-classification machine-learning neural-network ensemble-modeling kaggle machine-learning linear-regression cnn convnet machine-learning tensorflow association-rules machine-learning predictive-modeling training model-selection neural-network keras deep-learning deep-learning convnet image-classification predictive-modeling prediction machine-learning python classification predictive-modeling scikit-learn machine-learning python random-forest sampling training recommender-system books python neural-network nlp deep-learning tensorflow python matlab information-retrieval search search-engine deep-learning convnet keras machine-learning python cross-validation sampling machine-learning

11

Sur-ajustement / sous-ajustement avec la taille de l'ensemble de données

Dans le graphique ci-dessous, axe x => Taille de l'ensemble de données axe y => Score de validation croisée La ligne rouge est pour les données de formation La ligne verte est pour les données de test Dans un tutoriel auquel je fais référence, l'auteur dit que le point où la ligne rouge et la...

machine-learning cross-validation

10

Comment faire un produit intérieur par lots dans Tensorflow?

J'ai deux tenseur a:[batch_size, dim] b:[batch_size, dim]. Je veux faire un produit intérieur pour chaque paire du lot, en générant c:[batch_size, 1], où c[i,0]=a[i,:].T*b[i,:].

tensorflow scikit-learn svm cross-validation feature-selection bayesian machine-learning decision-trees parameter-estimation neural-network convnet neural-network regularization visualization machine-learning similarity python pandas indexing r data-cleaning machine-learning predictive-modeling data-cleaning recommender-system python sequential-pattern-mining software-recommendation r visualization gaussian distribution machine-learning data-mining bigdata apache-hadoop predictive-modeling logistic-regression sampling machine-learning regression feature-selection mongodb neural-network inception machine-learning classification dataset databases logistic-regression deep-learning backpropagation classification data-mining multilabel-classification text-mining data-cleaning unsupervised-learning anomaly-detection python r python pandas

10

Relation entre la convolution en mathématiques et CNN

J'ai lu l' explication de la convolution et je la comprends dans une certaine mesure. Quelqu'un peut-il m'aider à comprendre comment cette opération est liée à la convolution dans les réseaux neuronaux convolutionnels? Le filtre est-il une fonction gqui applique du

machine-learning neural-network deep-learning cnn convolution machine-learning ensemble-modeling machine-learning classification data-mining clustering machine-learning feature-selection convnet pandas graphs ipython machine-learning apache-spark multiclass-classification naive-bayes-classifier multilabel-classification machine-learning data-mining dataset data-cleaning data machine-learning data-mining statistics correlation machine-learning data-mining dataset data-cleaning data beginner career python r visualization machine-learning data-mining nlp stanford-nlp dataset linear-regression time-series correlation anomaly-detection ensemble-modeling data-mining machine-learning python data-mining recommender-system machine-learning cross-validation model-selection scoring prediction sequential-pattern-mining categorical-data python tensorflow image-recognition statistics machine-learning data-mining predictive-modeling data-cleaning preprocessing classification deep-learning tensorflow machine-learning algorithms data keras categorical-data reference-request loss-function classification logistic-regression apache-spark prediction naive-bayes-classifier beginner nlp word2vec vector-space-models scikit-learn decision-trees data programming

10

Quand choisir la régression linéaire ou l'arbre de décision ou la régression de forêt aléatoire? [fermé]

Fermé . Cette question doit être plus ciblée . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question pour qu'elle se concentre sur un seul problème en modifiant ce post . Fermé il y a 4 ans . Je travaille sur un projet et j'ai du mal à décider...

machine-learning algorithms random-forest linear-regression decision-trees machine-learning predictive-modeling forecast r clustering similarity data-mining dataset statistics text-mining text-mining data-cleaning data-wrangling machine-learning classification algorithms xgboost data-mining dataset dataset regression graphs svm unbalanced-classes cross-validation optimization hyperparameter genetic-algorithms visualization predictive-modeling correlation machine-learning predictive-modeling apache-spark statistics normalization apache-spark map-reduce r correlation confusion-matrix r data-cleaning classification terminology dataset image-classification machine-learning regression apache-spark machine-learning data-mining nlp parsing machine-learning dimensionality-reduction visualization clustering multiclass-classification evaluation unsupervised-learning machine-learning machine-learning data-mining supervised-learning unsupervised-learning machine-learning data-mining classification statistics predictive-modeling data-mining clustering python pandas machine-learning dataset data-cleaning data bigdata software-recommendation

10

Validation croisée: K-fold vs sous-échantillonnage aléatoire répété

Je me demande quel type de validation croisée de modèle choisir pour un problème de classification: K-fold ou sous-échantillonnage aléatoire (échantillonnage bootstrap)? Ma meilleure supposition est d'utiliser 2/3 de l'ensemble de données (soit environ 1000 éléments) pour la formation et 1/3 pour...

cross-validation sampling

9

Les performances de validation croisée seront-elles une indication précise pour prédire les performances réelles sur un ensemble de données indépendant?

Je pense que cette question est liée à la théorie derrière la validation croisée. Je présente ici mes résultats empiriques et j'ai écrit une question liée à la théorie de la validation croisée là- bas . J'ai deux modèles M1 et M2, j'utilise le même ensemble de données pour les former et j'effectue...

cross-validation

9

Comment aborder la concurrence numer.ai avec des prédicteurs numériques à échelle anonyme?

Numer.ai existe depuis un certain temps maintenant et il ne semble y avoir que peu de messages ou d'autres discussions à ce sujet sur le Web. Le système a changé de temps en temps et la configuration d'aujourd'hui est la suivante: former (N = 96K) et tester (N = 33K) des données avec 21 entités...

machine-learning deep-learning cross-validation preprocessing competitions

8

Validation croisée imbriquée et sélection du meilleur modèle de régression - est-ce le bon processus SKLearn?

Si je comprends bien, le CV imbriqué peut m'aider à évaluer le meilleur modèle et le processus de réglage d'hyperparamètre. La boucle interne ( GridSearchCV) trouve les meilleurs hyperparamètres et la boucle externe ( cross_val_score) évalue l'algorithme de réglage des hyperparamètres. Je choisis...

python scikit-learn cross-validation model-selection

8

Modèles d'apprentissage automatique en environnement de production

Disons qu'un modèle a été formé à la date utilisant les données étiquetées disponibles, divisé en formation et test, c'est-à-dire , test_ {dt1} . Ce modèle est ensuite déployé en production et fait des prédictions sur les nouvelles données entrantes. Certains jours X passent et il y a un tas de...

machine-learning cross-validation model-selection data-product