Quelle est la différence entre «transfert d'apprentissage» et «adaptation de domaine»?

19

Y a-t-il une différence entre «transfert d'apprentissage» et «adaptation de domaine»?

Je ne connais pas le contexte, mais je crois comprendre que nous avons un ensemble de données 1 et que nous nous y entraînons, après quoi nous avons un autre ensemble de données 2 pour lequel nous voulons adapter notre modèle sans se recycler à partir de zéro, pour lequel `` transférer l'apprentissage '' et 'l'adaptation du domaine' aide à résoudre ce problème.

Selon le domaine des réseaux de neurones convolutifs:

  • Par «transfert d'apprentissage», je veux dire «réglage fin» [1]

  • Dans ce cas [2], il n'est pas supervisé, mais «l'adaptation du domaine» doit-elle toujours être non supervisée?

deep-learning terminology conv-neural-network transfer-learning domain-adaptation mrgloom
la source
3
Une enquête sur l'apprentissage par transfert de Pan et. al, 2009 donne un aperçu. Ils catégorisent l'adaptation du domaine comme un type d'apprentissage par transfert.
kedarps

Réponses:

13

Il semble qu'il y ait un certain désaccord entre les chercheurs sur la différence entre «l'apprentissage par transfert» et «l'adaptation du domaine».

À partir de {0}:

La notion d'adaptation de domaine est étroitement liée à l'apprentissage par transfert. L'apprentissage par transfert est un terme général qui fait référence à une classe de problèmes d'apprentissage automatique qui impliquent différentes tâches ou domaines. Dans la littérature, il n'y a pas encore de définition standard de l'apprentissage par transfert. Dans certains articles, il est interchangeable avec l'adaptation de domaine.

À partir de 1}:

entrez la description de l'image ici

Les références:

Franck Dernoncourt
la source
10

Extrait de l'article de Hal Daume [1]:

Le paramètre de classification standard est une distribution d'entrée p (X) et une distribution d'étiquette p (Y | X). Adaptation du domaine: lorsque p (X) change entre la formation et le test. Transfert d'apprentissage: lorsque p (Y | X) change entre la formation et le test.

En d'autres termes, dans DA, la distribution d'entrée change mais les étiquettes restent les mêmes; en TL, les distributions d'entrée restent les mêmes, mais les étiquettes changent.

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html ( miroir )
Rahul Jha
la source
Bienvenue sur Cross Validated ! Veuillez prendre un moment pour voir notre visite . Il est préférable que les réponses soient autonomes avec des citations appropriées. Si vous deviez utiliser les informations de votre lien pour fournir une réponse raisonnable à la question avec le lien pour une lecture plus approfondie, ce serait une réponse bien meilleure.
Tavrock
1
p(Oui|X)p(X)
Je suis d'accord avec @caveman. Pour de nombreux scénarios d'apprentissage par transfert, c'est le cas.
pir
2

Dans toute la littérature sur l'apprentissage par transfert, il existe un certain nombre d'incohérences terminologiques. Des expressions telles que l'apprentissage par transfert et l'adaptation de domaine sont utilisées pour faire référence à des processus similaires. L'adaptation de domaine est le processus d'adaptation d'un ou plusieurs domaines source pour les moyens de transfert d'informations afin d'améliorer les performances d'un apprenant cible. Le processus d'adaptation de domaine tente de modifier un domaine source afin de rapprocher la distribution de la source de celle de la cible. Dans le paramètre Adaptation de domaine, les domaines source et cible ont des distributions marginales p (X) différentes. Selon l'enquête de Pan, Transfer Learning est un terme plus large qui peut également inclure le cas où il existe une différence dans les distributions conditionnelles p (Y | X) des domaines source et cible. En revanche,

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html
Christos Karatsalos
la source
Serait-il possible d'ajouter une citation pour "Pan's survey"? Je pense que cela rendrait cette réponse plus utile aux futurs lecteurs.
Silverfish
Pan, Sinno Jialin et Qiang Yang. "Une enquête sur l'apprentissage par transfert." Transactions IEEE sur l'ingénierie des connaissances et des données 22, no. 10 (2010): 1345-1359. scholar.google.com/… ; citeseerx.ist.psu.edu/viewdoc/…
Christos Karatsalos