Quel modèle d'apprentissage en profondeur peut classer des catégories qui ne s'excluent pas mutuellement

9

Exemples: J'ai une phrase dans la description de poste: "Java senior engineer in UK".

Je veux utiliser un modèle d'apprentissage profond pour le prédire en 2 catégories: English et IT jobs. Si j'utilise un modèle de classification traditionnel, il ne peut prédire qu'une seule étiquette avec softmaxfonction à la dernière couche. Ainsi, je peux utiliser 2 réseaux de neurones modèles pour prédire "Oui" / "Non" avec les deux catégories, mais si nous avons plus de catégories, c'est trop cher. Avons-nous donc un modèle d'apprentissage en profondeur ou d'apprentissage automatique pour prédire 2 catégories ou plus en même temps?

"Edit": Avec 3 labels par approche traditionnelle, il sera encodé par [1,0,0] mais dans mon cas, il sera encodé par [1,1,0] ou [1,1,1]

Exemple: si nous avons 3 étiquettes, et une phrase peut correspondre à toutes ces étiquettes. Donc, si la sortie de la fonction softmax est [0,45, 0,35, 0,2], devrions-nous la classer en 3 étiquettes ou 2 étiquettes, ou peut-être une seule? le principal problème lorsque nous le faisons est: quel est le bon seuil pour classer en 1, ou 2 ou 3 étiquettes?

machine-learning deep-learning natural-language tensorflow sampling distance non-independent application regression machine-learning logistic mixed-model control-group crossover r multivariate-analysis ecology procrustes-analysis vegan regression hypothesis-testing interpretation chi-squared bootstrap r bioinformatics bayesian exponential beta-distribution bernoulli-distribution conjugate-prior distributions bayesian prior beta-distribution covariance naive-bayes smoothing laplace-smoothing distributions data-visualization regression probit penalized estimation unbiased-estimator fisher-information unbalanced-classes bayesian model-selection aic multiple-regression cross-validation regression-coefficients nonlinear-regression standardization naive-bayes trend machine-learning clustering unsupervised-learning wilcoxon-mann-whitney z-score econometrics generalized-moments method-of-moments machine-learning conv-neural-network image-processing ocr machine-learning neural-networks conv-neural-network tensorflow r logistic scoring-rules probability self-study pdf cdf classification svm resampling forecasting rms volatility-forecasting diebold-mariano neural-networks prediction-interval uncertainty voxter
la source
Nous devons utiliser la fonction sigmoïde au lieu de la fonction softmax. Il peut affecter plusieurs classes aux points de données.
NITISH MAHAJAN

Réponses:

6

Vous pouvez obtenir cette classification multi-étiquettes en remplaçant le softmax par une activation sigmoïde et en utilisant la crossentropie binaire au lieu de la crossentropie catégorielle comme fonction de perte. Ensuite, vous avez juste besoin d'un réseau avec autant d'unités de sortie / neurones que vous avez d'étiquettes.

ij

Li=−∑jti,jlog⁡(pi,j)

ti,j=0Li=−∑jti,jlog⁡(pi,j)−∑j(1−ti,j)log⁡(1−pi,j)

robintibor
la source
pourquoi nous devons utiliser la crossentropie binaire au lieu de la crossentropie catégorique comme fonction de perte? pouvez-vous expliquer plus ? Maintenant, j'utilise l'activation sigmoïde @robintibor
voxter
J'ai ajouté une explication à la réponse @voxter
robintibor
Brillant ! Je vous remercie. Aussi, pouvez-vous donner des documents ou des tutoriels qui expliquent plus de mathématiques sur les fonctions de deplearning comme vous m'avez expliqué?
voxter
1
Génial. Ces didacticiels peuvent vous aider: neuralnetworksanddeeplearning.com deeplearning.net/tutorial deeplearning.stanford.edu/tutorial
robintibor