Y aurait-il un problème de sélection de modèle si nous avions accès à un oracle qui nous a donné l'erreur de généralisation exacte?

Soit une fonction qui, compte tenu d'une hypothèse renvoie l'erreur de généralisation pour cet fixe .$\mathcal{E(h)}$$h$$h$

Je lisais quelques notes sur la sélection du modèle et l'erreur de généralisation et il disait:

"Si nous avions accès à , il n'y aurait pas de problème de sélection de modèle non plus. Nous sélectionnerions simplement le grand afin de trouver un classificateur qui minimise l'erreur."$\mathcal{E(h)}$$\mathcal{H}$

Je ne savais pas si j'avais pleinement apprécié ou compris cette déclaration ou si j'étais effectivement d'accord avec la déclaration. La raison en est que, même si nous avions accès à (ce qui, je pense, signifie un oracle qui prend et dit simplement sa véritable erreur de généralisation), je pense qu'il serait toujours problématique de trouver le modèle qui a l'hypothèse qui se généralise bien. La raison en est, disons que les classes de modèles sont infinies (c'est-à-dire qu'il existe un ensemble infini de modèles parmi lesquels choisir). Nous ne savons pas vraiment quand a atteint son minimum sauf si nous vérifions chaque$\mathcal{E(h)}$$h$$\mathcal{H}$$\mathcal{E(h)}$$\mathcal{H}$c'est possible. c'est-à-dire que même si nous avions une telle chose, je ne pense pas que le problème soit éliminé si facilement car comment pouvons-nous être sûrs d'avoir vraiment trouvé le meilleur (en temps polynomial)? Fondamentalement, je pense que la question suppose que nous avons un oracle pour déterminer quand la généralisation est aussi minimale. De plus, comme je l'ai souligné, l'algorithme / machine de tournage proposé est décidable et non en P (c'est-à-dire qu'il peut fonctionner indéfiniment ...)$\mathcal{H}$

Le principal problème / doute que j'ai avec cette question est que même avec un tel Oracle, je ne suis pas convaincu que la sélection des modèles a été banalisée, une réponse qui tente de résoudre ce problème spécifique a plus de chances de mieux répondre à ma question.

Fondamentalement, je pense que la question suppose que nous avons un oracle pour déterminer quand la généralisation est aussi minimale.

Bien sûr, avoir ce serait superbe. Avoir un oracle qui nous donne le meilleur modèle serait encore mieux. Cependant, vous semblez mal interpréter la fonction de l'oracle.

La tâche de sélection du modèle est de choisir le meilleur modèle dans un ensemble donné. Pour ce faire, nous choisissons le modèle qui, selon nous, présente les meilleures performances de généralisation. Sans oracle pour nous dire nous sommes obligés d'estimer les performances de généralisation à la place, disons .$\mathcal{E}(h)$$\hat{\mathcal{E}}(h)$

Parce que nous devons choisir un modèle en fonction de ses performances de généralisation estimées, nous n'avons aucune garantie de choisir le bon. C'est ce qui rend la sélection de modèles délicate (et quelque peu arbitraire). Si nous avions accès à la véritable performance de généralisation, la sélection du modèle serait triviale.

La raison en est, disons que les classes de modèles sont infinies (c'est-à-dire qu'il existe un ensemble infini de modèles parmi lesquels choisir).$\mathcal{H}$

C'est une belle question théorique, mais qui est quelque peu tangentielle au problème pratique car on souhaite généralement choisir le meilleur modèle dans un ensemble fini d'options.

Vous avez raison de penser qu'un ensemble vraiment infini de modèles engendrerait un problème indécidable sans émettre d'autres hypothèses. Dans la pratique, cependant, certaines hypothèses supplémentaires sont raisonnables.

Il est courant et souvent raisonnable de supposer que la forme fonctionnelle de se comporte d'une certaine manière en ce qui concerne les hyperparamètres d'une classe de modèle donnée (par exemple convexe). Si de telles hypothèses se vérifient, les hyperparamètres globalement optimaux pourraient être trouvés en temps polynomial.$\mathcal{E}(h)$