Qu'est-ce que la dimension VC nous apprend sur l'apprentissage profond?

15

Dans l'apprentissage automatique de base, nous apprenons les «règles de base» suivantes:

a) la taille de vos données doit être au moins 10 fois supérieure à la dimension VC de votre ensemble d'hypothèses.

b) un réseau neuronal avec N connexions a une dimension VC d'environ N.

Ainsi, lorsqu'un réseau neuronal d'apprentissage en profondeur a, par exemple, des millions d'unités, cela signifie-t-il que nous devrions avoir, disons, des milliards de points de données? Pouvez-vous nous éclairer à ce sujet?

machine-learning neural-networks deep-learning vc-dimension Fequish
la source
Un réseau de neurones profond n'aura pas des millions d'unités comme vous le dites. Cependant, il aura des millions de connexions. Je suppose que votre deuxième règle empirique ne s'applique pas à ces réseaux, principalement en raison de leur nature régularisée (par exemple, CNN avec décrochage).
pir
Je pense que la clé est que VC lié n'est pas infini. S'il est fini, alors la théorie du PAC nous dit que l'apprentissage est possible. Combien de données, c'est une autre question.
Vladislavs Dovgalecs

Réponses:

4

La règle d'or dont vous parlez ne peut pas être appliquée à un réseau de neurones.

Un réseau de neurones possède certains paramètres de base, à savoir ses poids et ses biais. Le nombre de poids dépend du nombre de connexions entre les couches du réseau et le nombre de biais dépend du nombre de neurones.

La taille des données requises dépend fortement de -

  1. Le type de réseau neuronal utilisé .
  2. Les techniques de régularisation utilisées sur le net .
  3. Le taux d'apprentissage utilisé dans la formation du filet.

Cela étant dit, le moyen le plus approprié et le plus sûr de savoir si le modèle est trop adapté est de vérifier si l'erreur de validation est proche de l'erreur d'apprentissage. Si oui, alors le modèle fonctionne bien. Si non, le modèle est probablement sur-adapté et cela signifie que vous devez réduire la taille de votre modèle ou introduire des techniques de régularisation.

Azrael
la source
Vous devez plaisanter lorsque vous dites que la meilleure façon de comprendre si le modèle est trop adapté est de vérifier si l'erreur de validation est proche de l'erreur de formation.
nbro
6
@nbro, si vous avez un ensemble de blocage approprié pour vérifier l'erreur de validation, c'est une mesure beaucoup plus fiable de sur-ajustement pour votre réseau formé que de passer par des limites de VC généralement très lâches.
Dougal
@Dougal Vous répétez simplement ce que vous avez dit dans votre réponse.
nbro
3
Pas ma réponse @nbro. Mais étant donné un ensemble de validation, vous pouvez obtenir une limite de probabilité élevée triviale sur la véritable erreur de généralisation avec Hoeffding ou similaire, tandis que passer par des limites de VC implique beaucoup de limites supérieures lâches qui ne sont pas spécifiques à l'ensemble de données et au réseau particuliers que vous avez sur main.
Dougal