Apprentissage automatique vs identification du système?

Quelqu'un pourrait-il m'expliquer les différences et similitudes entre l'apprentissage automatique et l'identification des systèmes? S'agit-il seulement de deux noms de la même chose? Dans cette page , ils disent:

Les communautés d'apprentissage automatique et d'identification de systèmes sont confrontées à des problèmes similaires où il faut construire un modèle à partir d'observations limitées ou bruyantes.

J'ai également lu les premiers chapitres du célèbre livre Pattern Recognition and Machine Learning de Christopher M. Bishop. Jusqu'à présent, ma conclusion est que le problème que l'identification du système tente de résoudre est un sous-ensemble de ce que l'apprentissage automatique tente de résoudre.

L'identification de système est la science de la construction de modèles dynamiques à partir de données observées. Il existe deux approches principales: l'identification des erreurs de prédiction (PEI) et l'identification du sous-espace (SID). Les deux fournissent un modèle dit paramétrique, c'est-à-dire un modèle de structure fixe. Habituellement, l'utilisateur sélectionne la structure du système sous-jacent (en particulier dans les méthodes PEI) ou au moins l'ordre du système (dans les deux méthodes). Même s'il n'est pas nécessaire, un système d'ordre bas est recherché (c'est-à-dire que le nombre de coefficients de base est relativement faible) car il est souvent utilisé à des fins de contrôle, il faut donc le garder le plus simple possible pour éviter problèmes de calcul, etc. Ce modèle peut être utilisé pour faire des prédictions sur le comportement futur du système compte tenu de certaines entrées.

D'autre part, l'apprentissage automatique (ML) a deux branches principales, les algorithmes de classification et de régression. Ces derniers sont également utilisés à des fins de prédiction. Deux des approches les plus célèbres de l'apprentissage automatique sont les machines à vecteurs de support (SVM) et les processus gaussiens (GP). La principale différence avec les techniques d'identification du système est que les techniques ML fournissent un modèle non paramétrique. Cette dernière signifie que la prédiction d'une nouvelle entrée est donnée en fonction des points de données utilisés pour la «formation» (apprentissage, identification) du modèle. Par conséquent, si nous avons utilisé N = 1000 points de données pour la formation, la prédiction serait exprimée en fonction de ces points de données. Les méthodes ML sont plus flexibles car elles ne nécessitent aucune sélection de structure de la part de l'utilisateur, mais elles font face à d'autres limitations (par exemple

Jusqu'à récemment, le ML et les techniques d'identification du système se développaient indépendamment. Mais ces dernières années, il y a eu un grand effort pour établir un terrain d'entente (par exemple, voir le document "Quatre rencontres avec l'identification du système" de Ljung)

Contexte: SysID et contrôle le type qui est entré en ML.

Je pense que la réponse de user110686 explique assez bien certaines différences. SysID concerne nécessairement les modèles dynamiques à partir de données d'entrée / sortie, tandis que ML couvre une classe plus large de problèmes. Mais la plus grande différence que je vois est liée à (a) la mémoire (nombre de paramètres); (b) l'utilisation finale du modèle "appris". L'identification du système est en grande partie une approche de traitement du signal, compte tenu des représentations du domaine fréquentiel, de l'analyse temps-fréquence, etc.

(Un souvenir:SysID est devenu proéminent bien avant le ML alors qu'un domaine de recherche prenait forme. Par conséquent, les statistiques et le traitement du signal étaient la base principale des fondements théoriques et le calcul était effrayant. Par conséquent, les gens ont travaillé avec une classe de modèles très simple (compromis Bias-Variance) avec très peu de paramètres. Nous parlons au plus de 30 à 40 paramètres et principalement de modèles linéaires, même dans les cas où les gens savent clairement que le problème n'est pas linéaire. Cependant, maintenant le calcul est très bon marché mais SysID n'est pas encore sorti de son shell. Les gens devraient commencer à se rendre compte que nous avons maintenant de bien meilleurs capteurs, qu'ils peuvent facilement estimer des milliers de paramètres avec des ensembles de modèles très riches. Certains chercheurs ont tenté d'utiliser des réseaux de neurones pour SysID, mais beaucoup semblent réticents à les accepter comme «courants» car il n'y a pas beaucoup de garanties théoriques.

(b) Utilisation finale du modèle appris: Maintenant, c'est une chose que SysID est devenu très correct, mais de nombreux algorithmes ML ne parviennent pas à capturer. Il est important de reconnaître que pour les applications cibles, vous créez nécessairement des modèles qui peuvent être utilisés efficacement pour l' optimisation en ligne.Ces modèles seront utilisés pour propager toutes les décisions de contrôle prises, et lors de la mise en place d'un problème de contrôle optimal, les modèles deviennent des contraintes. Ainsi, lorsque vous utilisez une structure de modèle extrêmement compliquée, cela rend l'optimisation en ligne beaucoup plus difficile. Notez également que ces décisions en ligne sont prises en quelques secondes ou moins. Une alternative proposée est d'apprendre directement la fonction de valeur d'une manière hors politique pour un contrôle optimal. Il s'agit essentiellement d'un apprentissage par renforcement, et je pense qu'il existe une bonne synergie entre SysID et RL.

Je voudrais ajouter qu'il existe également des approches non paramétriques pour l'identification des systèmes. Voir la boîte à outils SysId de MATLAB ou le livre de Ljung pour plus de détails. Des approches non paramétriques sont souvent utilisées pour identifier d'abord la classe de modèles pour des études paramétriques ultérieures. De plus, il est important de séparer le problème d'estimation du problème de contrôle (pensez à la boucle OODA). Lors de l'identification d'un système, il s'agit souvent simplement de caractériser le système sans aucune entrée de commande spécifique du type qui sera conçu ultérieurement (mais ce n'est pas toujours possible). Enfin, je pense qu'il est utile de réaliser qu'un système est d'un point de vue mathématique un opérateur qui mappe un espace fonction à un espace fonction. Par conséquent, les équations différentielles sont souvent les types de choses identifiées et ces cartes fonctionnelles. Les fonctions de SysID sont souvent des fonctions continues du temps, aussi appelées signaux à temps continu. (Mais ils peuvent également être à temps discret.) Ainsi, SysID n'essaie pas simplement de mapper des nombres réels (ou vecteurs) à des nombres réels (ou vecteurs); il cherche à identifier le meilleur opérateur (LTI, LTV, non linéaire, etc.) qui mappe les signaux d'entrée aux signaux de sortie.

Machine Learning: modélisation pour modèle statique et modèle dynamique, Identification système: focus sur modèle dynamique ou processus dynamique