Existe-t-il des recherches formelles sur l'efficacité des questions FizzBuzz? [fermé]

23

Après avoir vu cette question aujourd'hui sur la variation de la question d'entrevue de FizzBuzz, ainsi que vu d'autres questions liées à celle-ci, je dois demander: y a-t-il une recherche formelle sur son efficacité en tant que technique d'entrevue? Il y a beaucoup de gens qui disent que cela filtre un certain pourcentage de candidats fous (95% + dans certains cas), mais à quel point est-ce bon de trouver de bons programmeurs / développeurs?

Certaines recherches montrent que les compétences générales pourraient être de meilleurs indicateurs que les compétences techniques pour choisir un bon candidat pour un poste. De même, il pourrait y avoir des raisons intermédiaires pour lesquelles tant de candidats ont échoué à ce test (nervosité, penser "c'est un truc", etc.).


Sur la base des commentaires jusqu'à présent, il semble que l'idée derrière les questions FizzBuzz est de déterminer si la personne a de bonnes (assez) compétences en codage pour être davantage prise en compte. Je ne suis pas totalement convaincu que FizzBuzz le fasse réellement. Rappelez-vous également que FizzBuzz filtre un très grand pourcentage de candidats très tôt dans le processus d'embauche, ce qui pourrait signifier qu'un nombre important de bons candidats sont supprimés tôt car ils ne peuvent pas résoudre assez rapidement des problèmes stupides.

De plus, je soulignerai que regarder l'efficacité de FizzBuzz est quelque chose qui peut être complètement fait de manière quantitative. Cela ne ressemble pas à la recherche de la «forme» ou de la «passion», qui sont très variables et très peu scientifiques (mais toujours très importantes pour les nouvelles décisions d'embauche).

joshin4colours
la source
16
Je ne voudrais pas embaucher un candidat qui ne peut pas coder FizzBuzz alors qu'il est nerveux.
Eric Wilson
Ce n'est pas ce que l'article que vous liez indique également. Cela indique que ceux qui sont embauchés ont un taux d'abandon élevé. Mais il ne contient absolument aucune donnée sur ceux qui ont été rejetés. Pour moi, cela indique que les entreprises font probablement du bon travail en éliminant les personnes non techniques (car c'était le point central de leurs entretiens) qui ne pouvaient pas faire le travail, mais elles doivent faire un filtrage supplémentaire pour les personnes qui refusent d'apprendre ou refuser de bien se comporter en tant que membres de l'équipe
Martin York
2
@JMG: Vous devez être plus précis (l'inverse de quoi exactement). S'ils ne peuvent pas faire la partie technique du travail (compétences techniques), pourquoi pensez-vous qu'ils avaient une chance? Si vous embauchez des gens qui, par définition, ne peuvent pas faire le travail pour lequel ils sont embauchés, ne pensez-vous pas que le taux d'abandon serait de 100%. Dans nos processus d'entrevues, nous avons une section spécifique pour voir si le candidat sera un bon candidat pour l'équipe et l'entreprise. Mais peu importe combien nous les aimons personnellement, il est inutile d'embaucher une personne sans les compétences de codage.
Martin York
3
Donc, comme réponse à if their hard skills was weighted more evenly with their soft skills. Non . La compétence difficile sera un filtre. Les compétences générales sont un filtre supplémentaire. Ce n'est pas un cas où vous pouvez avoir, A or Bvous devez avoir A and B. C'est ainsi que j'ai lu l'article que vous avez lié. Ils ont déjà filtré pour A, ils viennent de faire un mauvais travail de filtrage pour B.
Martin York

Réponses:

14

Cela fait longtemps que je n'ai pas lu les recherches sur les entretiens d'embauche (donc je ne peux pas les détails du site, pour lesquels je m'excuse), mais la règle générale est que les gens embauchent sur la base de compétences générales, mais il n'y a pas de corrélation entre cela et performance. Le test de compétences spécifiques peut fonctionner, mais pas la personnalité (selon des données mesurables).

Presque tout le monde pense que leurs techniques d'entretien spéciales fonctionnent, les données indiquent que vous ne devriez probablement pas déranger l'entretien (la partie "parlez-moi de vous" de l'entretien, par opposition aux tests objectifs) car les candidats sélectionnés par les enquêteurs ne sont pas meilleurs mais les enquêteurs montrent des préjugés à l'égard des extravertis, des personnes démographiquement similaires à l'intervieweur, des personnes de grande taille, des personnes attrayantes, etc. il peut être plus difficile de quitter votre entreprise).

Je m'attends à être flambé pour cela, généralement tous ceux à qui je dis ceci disent "mais nous utilisons la méthode X et cela fonctionne vraiment pour nous", mais à moins que vous

  1. embaucher des personnes qui ne réussissent pas votre entrevue,

  2. ne dites pas à leurs collègues qui ont réussi ou non, et

  3. comparer les performances de ceux qui ont réussi avec ceux qui n'ont pas réussi, en utilisant des critères objectifs préalablement convenus

vous avez vraiment très peu d'idée si votre processus fonctionne. Malheureusement, l'efficacité des entretiens est intrinsèquement difficile à évaluer.

Si vous vous demandez, les expériences font des choses comme demander aux gens d'évaluer les candidats sur la base des transcriptions des entretiens, à partir de candidats qui ont déjà été embauchés (parmi de nombreuses autres techniques). Idéalement, les expérimentateurs demanderaient aux gens de faire des entretiens, de sélectionner des candidats, d'effacer la mémoire de l'intervieweur, de sélectionner au hasard qui recruter parmi les candidats et de comparer les performances des candidats en utilisant des critères précis et objectifs par rapport aux notes données par les enquêteurs, mais cette expérience est difficile à retirer.

Donc, même si je n'ai pas vu de recherches spécifiques à FizzBuzz, c'est le genre de chose qui peut montrer son efficacité dans les tests scientifiques. S'il exclut 95% des candidats, je serais curieux de savoir pourquoi - il a été inventé pour être si absurdement facile que seul un programmeur incompétent pourrait ne pas le réussir, et il est difficile de voir comment abrutir FizzBuzz. Je me demande quel pourcentage réussit le test "Hello world"? Le test "faire faire quelque chose, n'importe quoi" à l'ordinateur?

psr
la source
+1 C'est pourquoi je pose la question: l'embauche est intrinsèquement très peu scientifique, mais l'efficacité de FizzBuzz pourrait au moins être testée de manière assez quantitative.
joshin4colours
@psr: D'après mon expérience d'interviewer de nouveaux diplômés aux États-Unis, BSCS ou MSCS, environ 90% d'entre eux ne peuvent pas programmer. Pourquoi? Parce que les institutions ont une incitation financière à les maintenir dans le programme en payant les frais de scolarité.
Kevin Cline,
1
@kevin cline: Sorte de sujet, mais dans mon MSCS, je ne pense pas qu'ils étaient concentrés sur les résultats. Cependant, ils étaient extrêmement soucieux de se distinguer en tant que programme académique par rapport à une école de métiers, et de nombreux professeurs méprisaient un peu la simple programmation plutôt que, par exemple, de prouver des choses vraiment mineures sur les machines Turing.
psr
Je pense que vous ignorez le fait que le but des gens qui embauchent n'est pas tant de trouver la meilleure correspondance possible, que d'essayer simplement d'éviter un désastre. Même en période de bonne conjoncture économique, les personnes qui proposent un emploi sont inondées de candidats, dont beaucoup désespérément sans qualification. Vous devez simplement avoir une sorte de filtre rapide pour réduire le nombre de candidats à un nombre gérable. Le point d'origine du test fizbuzz était de le faire dans le cadre d'un écran de téléphone. Si le bassin de personnes qui réussissent Fizzbuzz est même légèrement enrichi pour les personnes qui peuvent réellement coder, c'est une aide.
Charles E. Grant,
@Charles E. Grant - Je comprends FizzBuzz - J'utilise en fait des questions comme ça lors des entretiens (la plupart tout le monde passe cependant). Je suis surtout répondre aux « compétences pourraient être des indicateurs que les compétences professionnelles » (sic), que je l' ai lu des recherches pertinentes pour, et dans les compétences générales de recherche ont aidé dans une interview, mais ne pouvait pas être établi pour aider au travail. Ou, plus précisément, les intervieweurs ne pouvaient pas identifier les candidats qui seraient efficaces au travail, s'ils essayaient de les identifier sur la base des compétences générales.
psr
33

Le but de fizzbuzz n'est pas de trouver de bons programmeurs, c'est de trouver une certaine classe de mauvais programmeurs, qui sont des gens qui ne peuvent pas implémenter un algorithme simple. Votre question revient à demander combien de champions Nascar sont identifiés lors de leurs examens de permis de conduire. Il y a beaucoup de compromis entre quelqu'un que vous ne voulez certainement pas embaucher et quelqu'un que vous faites définitivement.

Il existe d'autres classes de "mauvais" programmeurs qui nécessitent différentes méthodes d'identification, comme ceux qui ne maîtrisent pas une langue donnée ou qui ont des problèmes de comportement. Cependant, les programmeurs "fizzbuzz-bad" sont presque universellement indésirables, c'est pourquoi le test est si fréquemment recommandé. Le fait qu'un programmeur trop territorial ou qui doive transférer des compétences dans une nouvelle langue soit "bon" ou "mauvais" dépend beaucoup plus des besoins et des préférences de l'employeur individuel.

Karl Bielefeldt
la source
2
Mais qu'est-ce qui fait un "mauvais" programmeur? Voulez-vous quelqu'un qui est un codeur incroyable mais qui supprime toutes les modifications enregistrées dans «son» code sur un projet? Ou quelqu'un qui pourrait avoir besoin d'un peu d'aide pour passer de C à Java mais qui se consacrera pleinement au projet?
joshin4colours
4
@JMG: Il y a une école de pensée qui nous informe "Vous ne voulez pas non plus". S'ils ont des habitudes peu coopératives comme celle-ci, alors "No Hire"; s'ils n'ont pas de compétences communes mais nécessaires "No Hire". S'il y a quelque chose au sujet du candidat qui vous fait hésiter du tout à l'embaucher pour ce projet "No Hire"
SingleNegationElimination
@TokenMacGuy Je suppose que cette école devrait être appelée l'école "Near Infinite Time and Resources" :)
joshin4colours
@Karl, pouvez-vous réintégrer cela dans votre réponse?
5

FizzBuzz ne consiste pas à identifier les bons programmeurs, il s'agit d'éliminer les mauvais / faux. Si un candidat ne peut pas réussir le test FizzBuzz, il ne sait pas comment programmer et ne devrait pas postuler pour un poste de programmation.

nicholaides
la source