Y a-t-il une différence entre une supervision à distance, une auto-formation, un apprentissage auto-supervisé et une supervision faible?

D'après ce que j'ai lu:

Supervision à distance :

A Distant supervision algorithm usually has the following steps: 
1] It may have some labeled training data 
2] It "has" access to a pool of unlabeled data 
3] It has an operator that allows it to sample from this unlabeled 
   data and label them and this operator is expected to be noisy in its labels 
4] The algorithm then collectively utilizes the original labeled training data
    if it had and this new noisily labeled data to give the final output.

Auto-formation :

Auto-apprentissage ( Yates, Alexander, et al. "Textrunner: open information extraction on the web." Proceedings of Human Language Technologies: The Annual Conference of the North American Chapter of the Association for Computational Linguistics: Demonstrations. Association for Computational Linguistics, 2007. ):

L'apprenant fonctionne en deux étapes. Premièrement, il marque automatiquement ses propres données d'entraînement comme positives ou négatives. Deuxièmement, il utilise ces données étiquetées pour former un classificateur Naive Bayes.

Supervision faible (Hoffmann, Raphael, et al. "Supervision faible fondée sur les connaissances pour l'extraction d'informations des relations qui se chevauchent." Actes de la 49e réunion annuelle de l'Association for Computational Linguistics: Human Language Technologies-Volume 1. Association for Computational Linguistics, 2011 .):

Une approche plus prometteuse, souvent appelée supervision «faible» ou «distante», crée ses propres données de formation en faisant correspondre heuristiquement le contenu d'une base de données au texte correspondant.

Tout cela me semble identique, à l'exception que l'auto-formation semble être légèrement différente en ce que l'heuristique d'étiquetage est le classificateur formé, et il y a une boucle entre la phase d'étiquetage et la phase de formation du classificateur. Cependant, Yao, Limin, Sebastian Riedel et Andrew McCallum. " Extraction collective de relations entre documents sans données étiquetées. " Actes de la Conférence 2010 sur les méthodes empiriques dans le traitement du langage naturel. Association for Computational Linguistics, 2010. prétendent que la supervision à distance == l'auto-formation == une supervision faible.

Y a-t-il également d' autres synonymes ?

Il y a deux aspects à tous les termes différents que vous avez donnés: 1] Processus d'obtention des données de formation 2] Algorithme qui forme ou le classifieur$f$

L'algorithme qui entraîne , quelle que soit la façon dont les données d'apprentissage sont obtenues, est supervisé. La différence de supervision à distance, d'auto-apprentissage, d'auto-supervision ou de supervision faible, réside uniquement dans la manière dont les données de formation sont obtenues.$f$

Traditionnellement, dans tout document d'apprentissage automatique sur l'apprentissage supervisé, on constaterait que le papier suppose implicitement que les données de formation sont disponibles et pour ce qu'elles valent, on suppose généralement que les étiquettes sont précises et qu'il n'y a aucune ambiguïté dans les étiquettes. qui sont donnés aux instances dans les données de formation. Cependant, avec des papiers de supervision distants / faibles, les gens ont réalisé que leurs données de formation ont des étiquettes imprécises et ce qu'ils veulent généralement mettre en évidence dans leur travail, c'est qu'ils obtiennent de bons résultats malgré l'inconvénient évident de l'utilisation d'étiquettes imprécises (et ils peuvent avoir d'autres moyens algorithmiques pour surmonter le problème des étiquettes imprécises, en ayant un processus de filtrage supplémentaire, etc. et généralement les articles souhaitent souligner que ces processus supplémentaires sont importants et utiles). Cela a donné lieu aux termes «faible» ou "éloigné" pour indiquer que les étiquettes sur les données d'entraînement sont imprécises. Notez que cela n'a pas nécessairement d'incidence sur l'aspect d'apprentissage du classificateur. Le classificateur que ces gars-là utilisent suppose toujours implicitement que les étiquettes sont précises et que l'algorithme d'apprentissage n'est presque jamais changé.

L'autoformation, en revanche, est quelque peu spéciale en ce sens. Comme vous l'avez déjà observé, il obtient ses étiquettes de son propre classificateur et possède un peu de boucle de rétroaction pour la correction. Généralement, nous étudions les classificateurs supervisés dans un cadre légèrement large d'algorithmes "inductifs", où le classificateur appris est une inférence inductive faite à partir des données d'apprentissage sur l'ensemble des données. Les gens ont étudié une autre forme, que nous appelons inférence transductive, où une inférence inductive générale n'est pas la sortie de l'algorithme, mais l'algorithme prend collectivement à la fois les données d'apprentissage et les données de test en entrée et produit des étiquettes sur les données de test. Cependant, les gens ont compris pourquoi ne pas utiliser l'inférence transductive dans l'apprentissage inductif pour obtenir un classificateur avec des données de formation plus importantes.

J'espère que je ne vous ai pas encore plus dérouté, n'hésitez pas à commenter et à demander plus de précisions si nécessaire.

[1] Pourrait être utile - http://www.is.tuebingen.mpg.de/fileadmin/user_upload/files/publications/pdf2527.pdf