Schéma des clics de souris (ou clavier) et prédiction de l'activité de l'utilisateur de l'ordinateur

10

En se basant uniquement sur le modèle temporel des clics de souris (une liste des temps de clics ), est-il possible de prédire l'activité de l'utilisateur de l'ordinateur?[t1,t2,t3,…]

Par exemple sur: travailler vs passer du temps sur Facebook vs regarder des photos vs jouer à un jeu sur ordinateur.

Si ce sont des prédictions plus précises (par exemple, jouer à StarCraft vs Counter Strike vs SimCity), je suis également intéressé.

Alors que (sans doute) on peut entendre que quelqu'un joue (en raison de clics rapides et éclatants) ou regarde des photos (clics également espacés), je suis intéressé s'il y a des conclusions plus objectives (publications, recherches sur les blogs, etc.) à ce sujet .

ÉDITER:

Je suis également intéressé par les clics clavier (sans distinguer quelle touche est frappée) ou l'approche combinée (souris + clavier).

time-series signal-processing pattern-recognition Piotr Migdal
la source
Et si vous jouez avec le clavier? : D
nico
@nico En fait, le motif des clics du clavier (sans distinguer quelle touche est frappée) est tout aussi intéressant.
Piotr Migdal

Réponses:

4

Grande question que j'aurais aimé avoir le temps d'enquêter moi-même. Je suis convaincu qu'il est traitable. Avez-vous des données?

Votre signal est une série temporelle binaire multidimensionnelle ( D pour boutons); chaque bit indiquant si le bouton est enfoncé ou non. Vous pouvez également incorporer la position du curseur dans le vecteur d'entité en tant que trajectoire 2D. Vraisemblablement, vous avez des données d'entraînement pour chaque activité. Cela signifie donc que vous avez un problème de classification.nn

Vous pouvez réduire la dimensionnalité en approximant et en encodant efficacement la trajectoire (références sur demande) et en prenant la première différence de la fréquence des clics de souris (c.-à-d., Si la fréquence des clics ne change pas, stockez zéro). Je voudrais également estimer la distribution du temps inter-arrivée des clics pour voir si vous pouvez en classer.

Pour un point de départ dans la littérature, voir Reconnaissance d'activités à l'aide des mouvements du regard et des interactions traditionnelles . Vous devriez trouver plus de pistes dans les communautés «informatique omniprésente / omniprésente» et «interaction homme-machine».

Pour obtenir des données, je suggère de les générer vous-même à l'aide d'un enregistreur de frappe . Je suggère de demander de l'aide sur un forum lié à la sécurité informatique ou au piratage. La plupart d'entre eux enregistrent le clavier mais il peut aussi y avoir quelque chose pour la souris. A défaut, vous pourriez écrire votre propre logiciel .

Emre
la source
Bonnes suggestions, mais n'est-ce pas plus approprié un commentaire plutôt qu'une réponse, car il ne répond pas à la question des PO, sauf si vous pensez que le lien que vous avez donné est une réponse partielle?
Michael R. Chernick
La réponse n'est pas le lien; ce sont les paragraphes qui le précèdent: j'ai expliqué comment aborder le problème et suggéré le vecteur de caractéristiques. S'il ne fournit pas une bonne séparation, nous pouvons débattre des points les plus fins de l'algorithme de classification.
Emre
Je suppose que c'est une réponse partielle. La présomption est que plus la fréquence des clics de souris est élevée, plus l'activité est importante. mais qu'est-ce qui définit l'activité? Les choses envahissantes comme la lecture peuvent être considérées comme une activité et le défilement est une activité. Aucun des deux n'implique des clics de souris. La vraie question est qu'une fois que nous avons une définition claire de ce qui constitue une activité, nous avons besoin d'un moyen indépendant de la mesurer et ensuite de voir si elle est en corrélation avec la fréquence des clics de souris. C'est probablement parce que dormir devant l'ordinateur ou le regarder donne des périodes d'inactivité et aucun clic de souris.
Michael R. Chernick
D'un autre côté, taper rapidement est une forme d'activité lourde mais n'implique pas du tout de cliquer.
Michael R. Chernick
@Emre Merci pour vos suggestions, esp. l'article. Cependant, je suis intéressé si cela fonctionne réellement (je crois - oui). Je n'ai pas de date, donc des liens vers ceux-ci seraient également souhaitables.
Piotr Migdal