J'ai terminé le cours d'apprentissage automatique d'Andrew Ng il y a environ un an et j'écris maintenant mon exploration des mathématiques au lycée sur le fonctionnement de la régression logistique et des techniques pour optimiser les performances. Une de ces techniques est bien sûr la...
Supposons que je veuille faire une classification binaire (quelque chose appartient à la classe A ou à la classe B). Il existe certaines possibilités pour ce faire dans la couche de sortie d'un réseau de neurones: Utilisez 1 nœud de sortie. La sortie 0 (<0,5) est considérée comme classe A et 1...
Merkle et Steyvers (2013) écrivent: Pour définir formellement une règle de notation appropriée, soit une prévision probabiliste d'un essai de Bernoulli avec une vraie probabilité de succès . Les règles de notation appropriées sont des mesures dont les valeurs attendues sont minimisées si...
Disons que nous voulons faire une régression pour simple en f = x * yutilisant un réseau de neurones profond standard. Je me souviens qu'il y a des reseraches qui disent que NN avec une couche cachée peut apoximer n'importe quelle fonction, mais j'ai essayé et sans normalisation NN n'a pas pu...
Nous savons que certaines fonctions objectives sont plus faciles à optimiser et certaines sont difficiles. Et il existe de nombreuses fonctions de perte que nous voulons utiliser mais difficiles à utiliser, par exemple une perte de 0-1. Nous trouvons donc des fonctions de perte de proxy pour faire...
Je ne sais pas si cette question appartient ici, mais elle est étroitement liée aux méthodes de gradient en optimisation, qui semble être sur le sujet ici. Quoi qu'il en soit, n'hésitez pas à migrer si vous pensez qu'une autre communauté a une meilleure expertise dans le sujet. En bref, je cherche...
Lorsque je présente des concepts à mes élèves, je trouve souvent amusant de leur dire d'où vient la terminologie («régression», par exemple, est un terme avec une origine intéressante). Je n'ai pas pu retracer l'historique / le contexte du terme "régularisation" en statistique / apprentissage...
J'ai observé qu'en moyenne, la valeur absolue du coefficient de corrélation de Pearson est une constante proche de n'importe quelle paire de marches aléatoires indépendantes, quelle que soit la longueur de la marche.0.560.42 Quelqu'un peut-il expliquer ce phénomène? Je m'attendais à ce que les...
Lorsque j'utilise GAM, cela me donne un DF résiduel de (dernière ligne du code). Qu'est-ce que ça veut dire? Au-delà de l'exemple GAM, en général, le nombre de degrés de liberté peut-il être un nombre non entier?26.626.626.6 > library(gam) > summary(gam(mpg~lo(wt),data=mtcars)) Call:...
Lorsque vous entraînez des réseaux neuronaux de segmentation de pixels, tels que des réseaux entièrement convolutionnels, comment décidez-vous d'utiliser la fonction de perte d'entropie croisée par rapport à la fonction de perte de coefficient de dés? Je me rends compte que c'est une question...
Je travaille sur l'apprentissage machine théorique - sur l'apprentissage par transfert, pour être précis - pour mon doctorat. Par curiosité, pourquoi devrais-je suivre un cours sur l'optimisation convexe? Quelles leçons tirer de l'optimisation convexe puis-je utiliser dans mes recherches sur le...
Le papier net élastique original Zou & Hastie (2005) Régularisation et sélection des variables via le filet élastique introduit la fonction de perte nette élastique pour la régression linéaire (ici, je suppose que toutes les variables sont centrées et mises à l'échelle de la variance unitaire):...
Pour les modèles statistiques et d'apprentissage automatique, il existe plusieurs niveaux d'interprétabilité: 1) l'algorithme dans son ensemble, 2) des parties de l'algorithme en général 3) des parties de l'algorithme sur des entrées particulières, et ces trois niveaux divisés en deux parties...
Fermé. Cette question est hors sujet . Il n'accepte pas actuellement de réponses. Voulez-vous améliorer cette question? Mettez à jour la question afin qu'elle soit sur le sujet pour la validation croisée. Fermé l'année dernière . Sur les produits du tabac, on peut souvent voir la statistique selon...
Ceci est quelque peu lié à ma question précédente ici: Un exemple où le principe de vraisemblance * vraiment * importe? Apparemment, Deborah Mayo a publié un article dans Statistical Science réfutant la preuve de Birnbaum du principe de vraisemblance. Quelqu'un peut-il expliquer l'argument...
Y a-t-il 99 centiles ou 100 centiles? Et sont-ils des groupes de nombres, ou des lignes de séparation, ou des pointeurs vers des nombres individuels? Je suppose que la même question s'appliquerait aux quartiles ou à tout quantile. J'ai lu que l'indice d'un nombre à un centile particulier (p), étant...
Issu du domaine de la vision par ordinateur, j'ai souvent utilisé la méthode RANSAC (Random Sample Consensus) pour ajuster les modèles aux données avec beaucoup de valeurs aberrantes. Cependant, je ne l'ai jamais vu utilisé par les statisticiens, et j'ai toujours eu l'impression qu'il n'était pas...
Dans une question ailleurs sur ce site, plusieurs réponses ont mentionné que l'AIC est équivalent à la validation croisée avec absence de contact (LOO) et que le BIC est équivalent à la validation croisée K-fold. Existe-t-il un moyen de démontrer empiriquement cela dans R de telle sorte que les...
J'utilise des modèles de régression LOESS en R, et je veux comparer les sorties de 12 modèles différents avec des tailles d'échantillons variables. Je peux décrire les modèles réels plus en détail si cela aide à répondre à la question. Voici les tailles d'échantillon: Fastballs vs RHH 2008-09: 2002...
Je souhaite obtenir des livres sur l'analyse multivariée et j'ai besoin de vos recommandations. Les livres gratuits sont toujours les bienvenus, mais si vous connaissez un excellent livre MVA non libre, veuillez le