Des algorithmes d'apprentissage automatique basés sur la «minimisation structurelle des risques»?

Quels algorithmes d'apprentissage automatique (outre les SVM) utilisent le principe de minimisation des risques structurels ?

Le principe de minimisation structurelle des risques est un principe qui est au moins en partie «utilisé» dans toutes les méthodes d'apprentissage automatique, car le sur-ajustement est souvent à prendre en compte: réduire la complexité du modèle est (soi-disant et en pratique) un bon moyen de limiter surajustement.

• Les SVM ont explicitement un paramètre pour la complexité (la dimension de l' espace des fonctionnalités , ou même la fonction du noyau) et c'est nécessaire parce que l'augmentation de la complexité fait partie de l'algorithme d'apprentissage.

• Les réseaux neuronaux ont également un indicateur facile de leur complexité (nombre de «cellules») et font partie de l'algorithme d'apprentissage associé.

• Sans ce principe , l'inférence grammaticale serait à la fois stupide et la grammaire parfaite est la liste de tous les mots possibles, donc tout algorithme non trivial reconnaît au moins ce principe.

• Les arbres de décision ont leur propre notion d'entropie .

• Les clusters peuvent être simplement comptés ou en quelque sorte «utiliser» le principe intrinsèquement ou avoir un nombre fixe de clusters et dans ce cas, vous appliquez le principe à un niveau supérieur.

Pour être parfaitement honnête, je ne sais pas vraiment ce qui se passe dans la programmation génétique, mais ils n'ont pas une notion intrinsèque de complexité.

Je ne connais pas bien la programmation logique inductive, mais elle ne semble pas très bien s'adapter à ce principe.