Dans la régression des moindres carrés partiels (PLSR) ou la modélisation des équations structurelles des moindres carrés partiels (PLS-SEM), à quoi fait référence le terme "partiel"?
16
Dans la régression des moindres carrés partiels (PLSR) ou la modélisation des équations structurelles des moindres carrés partiels (PLS-SEM), à quoi fait référence le terme "partiel"?
Réponses:
Je voudrais répondre à cette question, largement basée sur la perspective historique , qui est assez intéressante. Herman Wold, qui a inventé l' approche des moindres carrés partiels (PLS) , n'a pas commencé à utiliser le terme PLS (ou même à mentionner le terme partiel ) tout de suite. Au cours de la période initiale (1966-1969), il a appelé cette approche NILES - abréviation du terme et du titre de son article initial sur ce sujet Estimation non linéaire par procédures itératives des moindres carrés , publié en 1966.
Comme nous pouvons le voir, les procédures qui seront appelées plus tard partielles ont été appelées itératives , en se concentrant sur la nature itérative de la procédure d'estimation des poids et des variables latentes (LV). Le terme «moindres carrés» provient de l'utilisation de la régression des moindres carrés ordinaires (OLS) pour estimer d'autres paramètres inconnus d'un modèle (Wold, 1980). Il semble que le terme «partiel» trouve ses racines dans les procédures NILES, qui ont mis en œuvre «l'idée de diviser les paramètres d'un modèle en sous-ensembles afin qu'ils puissent être estimés en parties» (Sanchez, 2013, p. 216; je souligne) .
La première utilisation du terme PLS a eu lieu dans les procédures d'estimation des moindres carrés partiels itératifs non linéaires (NIPALS) , dont la publication marque la prochaine période de l'histoire du PLS - la période de modélisation NIPALS . Les années 1970 et 1980 deviennent la période de la modélisation douce , lorsque, influencé par l'approche LISREL de Karl Joreskog à SEM, Wold transforme l'approche NIPALS en modélisation douce, qui a essentiellement formé le cœur de l'approche PLS moderne (le terme PLS devient courant à la fin des années 1970 ). Les années 1990, la prochaine période de l'histoire du PLS, que Sanchez (2013) appelle la période «gap», est marquée en grande partie par la diminution de son utilisation. Heureusement, à partir des années 2000 ( période de consolidation), PLS a connu son retour en tant qu'approche très populaire de l'analyse SEM, notamment en sciences sociales.
MISE À JOUR (en réponse au commentaire de l'amibe):
MISE À JOUR 2 (clarification supplémentaire):
En réponse aux préoccupations exprimées dans la réponse de l'amibe, je voudrais clarifier certaines choses. Il me semble qu'il faut distinguer l'usage du mot "partiel" entre NIPALS et PLS. Cela crée deux questions distinctes concernant 1) le sens de "partiel" dans NIPALS et 2) le sens de "partiel" dans PLS (c'est la question originale de Phil2014). Bien que je ne sois pas sûr de la première, je peux apporter des éclaircissements sur la seconde.
Selon Wold, Sjöström et Eriksson (2001),
En d'autres termes, "partiel" découle du fait que la décomposition des données par l'algorithme NIPALS pour PLS peut ne pas inclure tous les composants , donc "partielle". Je soupçonne que la même raison s'applique aux NIPALS en général, s'il est possible d'utiliser l'algorithme sur des données "partielles". Cela expliquerait "P" dans NIPALS.
En termes d'utilisation du mot "non linéaire" dans la définition NIPALS (ne pas confondre avec le PLS non linéaire , qui représente une variante non linéaire de l'approche PLS!), Je pense qu'il ne fait pas référence à l' algorithme lui - même , mais aux modèles non linéaires , qui peuvent être analysé, en utilisant NIPALS basé sur la régression linéaire.
MISE À JOUR 3 (explication d'Herman Wold):
Alors que l'article de Herman Wold de 1969 semble être le premier article sur NIPALS, j'ai réussi à trouver un autre des premiers articles sur ce sujet. Il s'agit d'un article de Wold (1974), où le «père» de PLS présente sa justification pour utiliser le mot «partiel» dans la définition de NIPALS (p. 71):
Les références
Rosipal, R. (2011). Moindres carrés partiels non linéaires: un aperçu. Dans Lodhi H.et Yamanishi Y. (Eds.), Chemoinformatics and Advanced Machine Learning Perspectives: Complex Computational Methods and Collaborative Techniques , pp. 169-189. ACCM, IGI Global. Récupéré de http://aiolos.um.savba.sk/~roman/Papers/npls_book11.pdf
Sanchez, G. (2013). Modélisation de chemin PLS avec R. Berkeley, CA: Trowchez Editions. Récupéré de http://gastonsanchez.com/PLS_Path_Modeling_with_R.pdf
Wold, H. (1974). Flux causaux à variables latentes: séparations des voies à la lumière de la modélisation NIPALS. Revue économique européenne, 5 , 67-86. Éditions Hollande du Nord.
Wold, H. (1980). Construction et évaluation de modèles lorsque les connaissances théoriques sont rares: théorie et applications des moindres carrés partiels. Dans J. Kmenta et JB Ramsey (éd.), Evaluation of économetric models , pp. 47-74. New York: Academic Press. Extrait de http://www.nber.org/chapters/c11693
Wold, S., Sjöström, M. et Eriksson, L. (2001). PLS-régression: Un outil de base de la chimiométrie. Chemometrics and Intelligent Laboratory Systems, 58 , 109-130. doi: 10.1016 / S0169-7439 (01) 00155-1 Extrait de http://www.libpls.net/publication/PLS_basic_2001.pdf
la source
Cependant, historiquement, comme @Aleksandr l'explique bien (+1), PLS a été introduit par Wold qui a utilisé son algorithme NIPALS pour l'implémenter; NIPALS signifie "moindres carrés partiels itératifs non linéaires", donc évidemment P dans PLS vient d'arriver de NIPALS.
(Pourquoi il l'a appelé "non linéaire", je ne comprends toujours pas.)
Ce terme est remarquablement trompeur, car s'il est "partiel", alors chaque algorithme de maximisation des attentes est également "partiel" (en fait, NIPALS peut être considéré comme une forme primitive de SE, voir Roweis 1998 ). Je pense que PLS est un bon candidat pour le concours Le terme le plus trompeur en apprentissage automatique. Hélas, il est peu probable que cela change, malgré les efforts de Wold Jr. (voir le commentaire de @ Momo ci-dessus).
la source