Je me demande s'il y a un algorithme qui pourrait faire la classification et la régression en même temps. Par exemple, je voudrais laisser l'algorithme apprendre un classificateur, et en même temps dans chaque étiquette, il apprend également une cible continue. Ainsi, pour chaque exemple de formation, il a une étiquette catégorielle et une valeur continue.
Je pourrais d'abord former un classificateur, puis former un régresseur dans chaque étiquette, mais je pense simplement que s'il y a un algorithme qui pourrait faire les deux, ce serait merveilleux.
Réponses:
Le problème que vous décrivez peut être résolu par la régression de classe latente , ou la régression par cluster , ou son mélange d' extension de modèles linéaires généralisés qui sont tous membres d'une famille plus large de modèles de mélange fini , ou modèles de classe latente .
Ce n'est pas une combinaison de classification (apprentissage supervisé) et de régression en soi , mais plutôt de regroupement (apprentissage non supervisé) et de régression. L'approche de base peut être étendue afin que vous puissiez prédire l'appartenance à la classe à l'aide de variables concomitantes, ce qui le rend encore plus proche de ce que vous recherchez. En fait, l'utilisation de modèles de classes latentes pour la classification a été décrite par Vermunt et Magidson (2003) qui le recommandent à cette fin.
Régression de classe latente
Cette approche est essentiellement un modèle de mélange fini (ou analyse de classe latente ) sous forme
où est un vecteur de tous les paramètres et sont des composants de mélange paramétrés par , et chaque composant apparaît avec des proportions latentes . L'idée est donc que la distribution de vos données est un mélange de composants, chacun pouvant être décrit par un modèle de régression apparaissant avec probabilité . Les modèles à mélange fini sont très flexibles dans le choix des composants et peuvent être étendus à d'autres formes et mélanges de différentes classes de modèles (par exemple, mélanges d'analyseurs de facteurs).f k ϑ k π k K f k π k f kψ=(π,ϑ) fk ϑk πk K fk πk fk
Prédire la probabilité d'appartenance à une classe sur la base de variables concomitantes
Le modèle de régression de classe latente simple peut être étendu pour inclure des variables concomitantes qui prédisent les adhésions à la classe (Dayton et Macready, 1998; voir aussi: Linzer et Lewis, 2011; Grun et Leisch, 2008; McCutcheon, 1987; Hagenaars et McCutcheon, 2009) , dans ce cas, le modèle devient
où encore est un vecteur de tous les paramètres, mais nous incluons également des variables concomitantes et une fonction (par exemple logistique) qui est utilisée pour prédire les proportions latentes basées sur les variables concomitantes. Ainsi, vous pouvez d'abord prédire la probabilité d'appartenance à une classe et estimer la régression par grappes dans un modèle unique.w π k ( w , α )ψ w πk(w,α)
Avantages et inconvénients
Ce qui est bien, c'est que c'est une technique de clustering basée sur un modèle , ce qui signifie que vous ajustez des modèles à vos données, et ces modèles peuvent être comparés en utilisant différentes méthodes pour la comparaison de modèles (tests de rapport de vraisemblance, BIC, AIC etc. ), le choix du modèle final n'est donc pas aussi subjectif que pour l'analyse de grappes en général. Le fait de freiner le problème en deux problèmes indépendants de clustering puis d'appliquer la régression peut conduire à des résultats biaisés et tout estimer dans un même modèle vous permet d'utiliser vos données plus efficacement.
L'inconvénient est que vous devez faire un certain nombre d'hypothèses sur votre modèle et y réfléchir, donc ce n'est pas une méthode de boîte noire qui prendra simplement les données et retournera un résultat sans vous déranger. Avec des données bruyantes et des modèles compliqués, vous pouvez également rencontrer des problèmes d'identification des modèles. De plus, comme ces modèles ne sont pas si populaires, ils ne sont pas largement mis en œuvre (vous pouvez vérifier d'excellents packages R
flexmix
etpoLCA
, pour autant que je sache, ils sont également implémentés dans SAS et Mplus dans une certaine mesure), ce qui vous rend dépendant du logiciel.Exemple
Ci-dessous, vous pouvez voir un exemple d'un tel modèle de la
flexmix
bibliothèque (Leisch, 2004; Grun et Leisch, 2008), vignette ajustant un mélange de deux modèles de régression à des données composées.Il est visualisé sur les graphiques suivants (les formes de points sont les vraies classes, les couleurs sont les classifications).
Références et ressources supplémentaires
Pour plus de détails, vous pouvez consulter les livres et articles suivants:
la source