Comment évaluer automatiquement les performances d'un joueur dans un jeu?

8

Supposons que j'ai un jeu terminé. Je n'ai pas de notes Elo sur les joueurs. Mon but est d'évaluer les performances d'un joueur dans le jeu uniquement en fonction de ses mouvements. Cela peut-il être fait automatiquement en utilisant un programme d'échecs?

Le résultat peut être sa cote Elo approximative, ou juste une valeur indiquant sa force ou son taux d'erreur.

Si cela peut aider, une base de données des jeux du joueur peut être fournie. Encore une fois, sans cote Elo.

Ma motivation est simple. Je joue aux échecs sur Internet et je souhaite suivre automatiquement mes progrès, en fonction des jeux eux-mêmes et non en fonction de la note sur les sites. Je suis un (débutant) niveau débutant.

Une solution simple consiste à annoter le jeu à l'aide de n'importe quel moteur informatique et de suivre le numéro de?!,? et ?? Des marques. Cependant, ce n'est pas très précis, et j'aimerais avoir plus d'idées :)

Dennis Golomazov
la source
Toute évaluation basée sur un seul jeu entraînera une énorme marge d'erreur. Votre "progression" va monter et descendre constamment et je doute que vous serez en mesure de suivre quoi que ce soit d'autre que le "progrès" à très long terme par cette méthode (qui se résume essentiellement à une moyenne sur les jeux). Les notes d'échecs (ou les notes dans à peu près n'importe quel autre sport) évitent ce problème et je ne vois rien de mal à utiliser la note en ligne comme indicateur de votre force.
user1583209

Réponses:

16

Les classements du site à des contrôles de temps lents peuvent être assez fiables pour les serveurs où les joueurs forts se rassemblent (ICC, FICS pour n'en nommer que quelques-uns) car les classements reflètent TRÈS étroitement votre véritable force de jeu si vous avez joué suffisamment de jeux. Pour les systèmes de notation très standardisés tels que USCF et FIDE / ELO, vous remarquerez que les différentes classes de notation ont tendance à indiquer les types d'erreurs que ces joueurs font encore. Improving Chess Thinker de NM Dan Heisman fait un excellent travail en discutant les types d'erreurs que les joueurs font dans les classes de classement.

Avez-vous essayé les nombreux livres d'auto-test disponibles? L' examen de notation des échecs d' Igor Khmelnitsky et le test, l'évaluation et l'amélioration de vos échecs de Danny Kopec sont d'excellents livres qui vous permettent de suivre vos progrès en voyant comment vous vous comportez par rapport aux positions de test notées.

Votre approche comparer mes mouvements avec un moteur est une autre façon de le faire, mais encore une fois, le ?? /? les mouvements n'indiquent vraiment que des erreurs tactiques, pas des erreurs stratégiques ou positionnelles ou même comportementales ou de gestion du temps que vous pourriez commettre.

C'est pourquoi jouer à des jeux OTB / en ligne à contrôle temporel lent contre une opposition égale à plus forte et les faire examiner + critiquer par des joueurs plus forts est un moyen efficace de s'améliorer. Vos erreurs dans chaque catégorie (tactiques, connaissances, processus de réflexion, gestion du temps, etc.) sont mises en évidence et vous pouvez simplement mesurer les progrès en termes d'erreurs que vous avez cessé de faire.

Bien qu'une variante amusante que vous pouvez essayer avec un moteur à la maison: pourquoi ne pas étendre votre méthode d'évaluation du moteur pour observer visuellement la qualité / performance d'un joueur via des graphiques d'évaluation? En d'autres termes, prenez les scores d'évaluation du moteur par coup et tracez-les (certains logiciels gratuits comme SCID le font pour vous) au fil des coups.

Par exemple: deux débutants de rang auraient un jeu qui ressemble à:

entrez la description de l'image ici

Remarquez à quel point ils sont dentelés. Les deux parties commettent de nombreuses erreurs terribles (pentes des pointes!) Et aussi la fréquence à laquelle elles ne parviennent pas à exploiter les terribles erreurs de l'autre personne.

Les pointes sont toujours amusantes à regarder: entrez la description de l'image ici

Deux joueurs intermédiaires (USCF 1400-1600) peuvent avoir des jeux qui ressemblent à: entrez la description de l'image ici

Cela a l'air irrégulier, mais remarquez comment l'axe des y (évaluation du moteur) est beaucoup plus petit ... ce qui indique que ces joueurs sont plus aguerris et jouent aux échecs de meilleure qualité que les novices.

Pour une comparaison finale, un jeu Grandmaster 1911 ressemblerait à ceci:

entrez la description de l'image ici

Aucun commentaire n'est nécessaire ici :) Ces gars ne font vraiment pas beaucoup d'erreurs, n'est-ce pas?

Si vous pouviez concevoir votre propre heuristique pour cartographier les pentes + l'échelle d'un graphique d'évaluation aux compétences / performances du joueur , c'est peut-être une façon de procéder? :)

shivsky
la source
2
Notez que j'aimerais ajouter que les scores d'évaluation du moteur ne sont pas si fiables dans certaines positions nuancées et que certaines saveurs gourmandes en matière de matériel considéreront une ouverture de type Gambit très différemment d'un humain. La durée pendant laquelle vous réglez votre moteur sur une position à demi-mouvement tout en parcourant le jeu influencera également un peu les choses. Être averti! :)
shivsky
Quel programme utilisez-vous pour générer ces graphiques? J'ai scid + stockfish, ai-je cette option?
Uri
6

Pour un classement très précis de la qualité d'un joueur, vous pouvez utiliser l'excellent outil fourni par www.chess-db.com. Il vous permet de télécharger vos jeux et après quelques minutes, il affiche la qualité des deux joueurs en pourcentage par rapport aux meilleurs mouvements d'un moteur puissant.

Voici la page pour télécharger un fichier PGN: http://chess-db.com/public/game_upload.jsp

Et ceci est un exemple des résultats: http://chess-db.com/public/game.jsp?id=Pablo%20Bento.Shredder%20Android.107755008

user1657
la source
2

Ce que vous demandez n'existe pas à ma connaissance. Cependant, c'est mon idée:

Vous aurez besoin d'échantillons avec les fonctionnalités suivantes, (1) la position des échecs, (2) le mouvement effectué dans la position, (3) l'évaluation du joueur qui a effectué le mouvement.

Disons que vous avez 1 milliard d'échantillons. Vous pouvez former un algorithme informatique sur ces échantillons qui peut prédire pour chaque coup dans une position la qualité du coup par rapport à une note. Toutes les notes pour tous les coups peuvent être moyennées pour obtenir la note approximative du joueur et en effet la qualité de son jeu.

Il s'agit d'une idée approximative qui peut être affinée davantage.

Rafiek
la source
Ça ne marche pas vraiment. Dans la plupart des jeux, vous occuperez relativement rapidement des positions qui ne figurent pas dans la base de données - oui, même si vous avez en quelque sorte accès à une base de données d'un milliard de jeux. Et vous êtes puni si votre adversaire joue faiblement - après 1.e4 e5 2.Qh5, peu importe ce que joue Black, sa note moyenne sera faible, car cette ouverture se joue beaucoup plus à des niveaux inférieurs à des niveaux supérieurs. (Heck, même 1 ... e5 lui-même a probablement une note moyenne assez faible.) Ce qui se passe après les ouvertures connues est bien plus révélateur de la force d'un joueur que de la durée pendant laquelle il suit la théorie.
DM
J'ai donné cette réponse 5 ans avant AlphaZero. Maintenant, nous pouvons tous simplement demander à AlphaZero d'annoter nos jeux pour nous et de nous dire dans quelle mesure nous nous débrouillons. Nous sommes probablement presque au point où nous pouvons même demander POURQUOI un mouvement est bon ou mauvais. C'est ce que vous devez vraiment améliorer. Les cotes humaines actuelles sont surestimées.
Rafiek
2

chess.com CAPS. Comparez le score CAPS de chess.com (nécessite un abonnement) au tableau trouvé dans un graphique à ce sujet: https://www.chess.com/article/view/better-than-ratings-chess-com-s-new-caps -système . Également intéressant: https://www.chess.com/article/view/who-was-the-best-world-chess-champion-in-history

Remarque: les scores en majuscules pour n'importe quel jeu en particulier sont volatils; préférable de faire une moyenne des scores CAPS sur un lot de jeux. À l'heure actuelle, à ma connaissance, CAPS peut, par extension, prédire une cote Elo à partir d'un ensemble de mouvements. Autre remarque: les scores CAPS existent dans le vide sans égard aux contrôles horaires. Je joue mieux aux échecs avec des contrôles de temps plus lents que dans un jeu de balle d'une minute. CAPS verra cette différence de force de jeu et attribuera en conséquence une note inférieure aux jeux de balle. Cela ne signifie pas que je ne suis pas la même personne qui a joué aux jeux de contrôle du temps plus lents!

JWILD
la source
0

Voici quelques idées sur les paramètres à mesurer. Nombre de bévues par match. Combien de fois vous avez une position égale ou meilleure après 10 coups, 15 coups, 20 coups. La fréquence à laquelle vous réussissez à utiliser les erreurs de votre adversaire. La fréquence à laquelle vous dessinez ou gagnez des finales objectivement dessinées. La fréquence à laquelle vous réussissez à trouver des combinaisons d'accouplements forcés. La fréquence à laquelle vous défendez avec succès les finales objectivement perdues. Combien de fois vous perdez à temps.

Rauan Sagit
la source