Supposons que je fasse une validation croisée K-fold avec K = 10 plis. Il y aura une matrice de confusion pour chaque pli. Lors de la communication des résultats, dois-je calculer quelle est la matrice de confusion moyenne, ou simplement additionner les matrices de confusion?
Si vous testez les performances d'un modèle (c'est-à-dire n'optimisez pas les paramètres), vous résumerez généralement les matrices de confusion. Pensez-y comme ceci, vous avez divisé vos données en 10 plis différents ou ensembles de «tests». Vous entraînez votre modèle sur 9/10 des plis et testez le premier pli et obtenez une matrice de confusion. Cette matrice de confusion représente la classification de 1/10 des données. Vous répétez à nouveau l'analyse avec l'ensemble de test suivant et obtenez une autre matrice de confusion représentant un autre 1/10 des données. L'ajout de cette nouvelle matrice de confusion à la première représente désormais 20% de vos données. Vous continuez jusqu'à ce que vous ayez exécuté tous vos plis, additionnez toutes vos matrices de confusion et la matrice de confusion finale représente les performances de ce modèle pour toutes les données. Vous pouvez faire la moyenne des matrices de confusion, mais cela ne fournit pas vraiment d'informations supplémentaires à partir de la matrice cumulative et peut être biaisé si vos plis ne sont pas tous de la même taille.
Remarque - cela suppose un échantillonnage non répété de vos données. Je ne suis pas tout à fait certain que ce serait différent pour un échantillonnage répété. Mettra à jour si j'apprends quelque chose ou si quelqu'un recommande une méthode.