Avec tout le brouhaha autour de la science des données, de l'apprentissage automatique et de toutes les histoires de réussite, il y a beaucoup d'attentes à la fois justifiées et exagérées des Data Scientists et de leurs modèles prédictifs.
Ma question aux statisticiens, experts en apprentissage automatique et scientifiques des données est: comment gérez-vous les attentes des hommes d'affaires de votre entreprise, en particulier en ce qui concerne l'exactitude prédictive des modèles? Pour le dire simplement, si votre meilleur modèle ne peut atteindre une précision de 90% et que la haute direction n'attend rien de moins que 99%, comment gérez-vous des situations comme celles-ci?
performance
accuracy
neurone
la source
la source
Réponses:
Les gens d'affaires rationnels ne paient pas pour l'exactitude, ils paient pour
Tout projet entrepris doit donc être formulé en des termes qui reflètent cela. La première étape consiste toujours à comprendre lequel des deux processus vous travaillez, et vous devez avoir une idée claire de la façon dont cela pourrait être réalisé, tout en gardant à l'esprit qu'au fur et à mesure que vous progressez, les détails de la façon dont vous le faites pourraient changer.
Si vous pouvez améliorer la précision d'un processus, vous pouvez probablement gagner de l'argent pour l'entreprise et les gens d'affaires investiront dans vos progrès. La seule raison rationnelle qu'un homme d'affaires pourrait avoir pour insister sur une précision de 99% et rejeter 90% est s'il avait déjà un moyen de le faire qui était meilleur que les 90%. Si tel est le cas, ils sont bien sûr justifiés dans leur position.
Comprendre et présenter l'analyse de rentabilisation des projets sur lesquels vous travaillez en termes que les gens d'affaires comprennent fait partie du processus de maturation de tout ingénieur. Il n'est pas unique à la science des données, bien que la science des données ait certains aspects uniques (comme une maturité plus faible mais une probabilité plus élevée de découverte fortuite de sérendipité - au moins dans l'environnement actuel.
Un processus pertinent proche de Data Science qui rend cette étape explicite peut être trouvé ici: https://en.wikipedia.org/wiki/Cross_Industry_Standard_Process_for_Data_Mining
Mais la plupart des cadres d'architecture d'entreprise sont également applicables.
la source
Rassemblez des homologues compétitifs. Essayez de déterminer un état de l'art et voyez comment vos modèles se comparent à cela. Cela dépend également fortement de la durée de travail de votre équipe. Les modèles axés sur la science ne sont pas créés statiquement, ils se développent dynamiquement parce qu'un bon scientifique essaiera toujours de trouver des moyens de l'améliorer.
Le personnel d'encadrement supérieur doit savoir qu'un data scientist explore de nouvelles méthodes, parfois / souvent sans connaître leur qualité. Ils doivent savoir que les techniques d'apprentissage automatique ne produisent pas immédiatement des modèles parfaits. S'ils le faisaient, ce ne serait pas difficile de toute façon.
Un data scientist doit être évalué en fonction de la manière dont il justifie et discute ses résultats et comment il planifie l'avenir. Une façon pour le personnel de gestion de répondre à ses attentes est de ne pas en avoir de trop élevées.
Néanmoins, si des résultats raisonnables sont attendus dans le domaine du contexte, pensez à ces questions:
la source
J'aime cette question parce qu'elle touche à la politique qui existe dans chaque organisation. À mon avis, et dans une large mesure, les attentes concernant les performances du modèle sont fonction de la culture organisationnelle et du degré de compétence technique d'une organisation. Une façon de clarifier ce que je veux dire est de considérer les différences entre les 4 grandes entités de "science des données" - Google, FB, Amazon et Yahoo - par rapport aux 4 grandes entités détenant des agences - WPP, Omnicon, Interbrand et Publicis. Google, et al, sont très compétents sur le plan technique. Les agences, d'autre part, sont connues pour pencher vers la phobie technologique. Quelle est la preuve de cela? Tout d'abord, le groupe possédant des compétences techniques a été fondé ou est dirigé par des ingénieurs, des informaticiens, des geeks et des personnes ayant une solide expérience en technologie. Qui dirige les sociétés d'analphabètes technologiques? Les marketeurs qui ont pris de l'importance grâce à leur communication douce et leurs compétences relationnelles. Et non seulement cela, après avoir travaillé dans certains de ces magasins à New York, je peux témoigner que ces organisations punissent et / ou expulsent systématiquement les types hautement qualifiés techniquement comme ne correspondant pas à la culture. Ensuite, considérons leur capitalisation boursière globale (actions), le groupe des alphabétisés technologiques s'élève à environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? ayant travaillé dans certains de ces magasins à New York, je peux témoigner que ces organisations punissent et / ou repoussent systématiquement les types hautement qualifiés techniquement comme n'étant pas "adaptés" à la culture. Ensuite, considérons leur capitalisation boursière globale (actions), le groupe des alphabétisés technologiques s'élève à environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? ayant travaillé dans certains de ces magasins à New York, je peux témoigner que ces organisations punissent et / ou repoussent systématiquement les types hautement qualifiés techniquement comme n'étant pas "adaptés" à la culture. Ensuite, considérons leur capitalisation boursière globale (actions), le groupe des alphabétisés technologiques s'élève à environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? compte tenu de leurs capitalisations boursières (boursières) globales, le groupe des alphabétisés technologiques totalise environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci? compte tenu de leurs capitalisations boursières (boursières) globales, le groupe des alphabétisés technologiques totalise environ 800 milliards de dollars tandis que le groupe des analphabètes technologiques s'élève à 80 milliards. Les entités alphabétisées en technologie sont 10 fois plus grandes que les autres en termes de capitalisation boursière. Il s'agit d'un énoncé clair des attentes du marché et il n'est pas élevé pour les analphabètes. Donc, par extrapolation, quel genre d'espoir pouvez-vous avoir pour contester les attentes de "précision prédictive" de bozos comme ceux-ci?
Donc, compte tenu de cette percée culturelle et selon l'endroit où vous tombez, vous devriez avoir des attentes plus ou moins réalistes. Bien sûr, différentes entités "analphabètes technologiques" auront des managers qui savent ce qu'ils font, mais pour la plupart, ces entités sont dominées par l'idiotie du plus petit dénominateur commun dans les compétences technologiques, c'est-à-dire des personnes au mieux techniques semi-alphabètes (et dangereux) ou, plus communément, totalement innombrables mais ne le savent pas. Par exemple, j'ai travaillé pour un gars qui voulait des mots comme «corrélation» nettoyés des decks c-suite. C'est un cas extrême: après tout, chaque secrétaire sait ce qu'est une "corrélation".
Cela soulève la question de savoir comment on traite les incroyablement naïfs et les innombrables quand ils posent une question vraiment stupide comme: "Pourquoi n'obtenez-vous pas une précision prédictive de 99%?" Une bonne réponse est de répondre avec une question comme: "Pourquoi supposeriez-vous qu'une telle PA irréaliste est même possible?" Un autre pourrait être, "Parce que si j'avais réellement 99% d'AP, j'aurais supposé que je faisais quelque chose de mal." Ce qui est très probablement vrai, même avec 90% d'AP.
Il y a la question la plus fondamentale de l'insistance sur l'AP comme seul critère de valeur du modèle. Le regretté Leo Breiman a laissé de nombreuses empreintes sur la communauté de modélisation statistique et prédictive dont l'AP fait partie. Sa principale préoccupation avec PA était de répondre aux nombreuses critiques formulées dans les années 90 concernant l'instabilité et l'erreur inhérentes à l'exécution d'un seul arbre CART. Sa solution était de motiver les «forêts aléatoires» comme une méthode approximative et provisoire qui maximiserait la précision et réduirait l'instabilité en éliminant la structure des arbres. Il a comparé le MSE inférieur d'environ 1 000 «mini-modèles» RF itératifs à l'erreur d'un modèle de régression logistique unique. Le seul problème était qu'il n'avait jamais pris la peine de mentionner la comparaison des pommes aux oranges:
Le prix Netflix 2008 a offert une récompense monétaire appréciable à tout statisticien ou équipe capable d'améliorer le MSE de son système de recommandation. À l'époque, Netflix dépensait 150 millions de dollars par an sur ce système, convaincu que les coûts étaient plus que récupérés dans la fidélité des clients et l'achat de films qui autrement n'auraient jamais été choisis. Les gagnants éventuels ont utilisé un ensemble complexe de 107 modèles différents.
Cependant, comme Netflix l'a appris, le vrai problème était que, du point de vue des coûts complets, l'amélioration réelle des erreurs par rapport à leur modèle actuel était une simple réduction de 0,005% des notes de 5 points. Sans oublier que les coûts informatiques en temps, en levage et en maintenance de l'ensemble gagnant de 107 modèles ont plus qu'annulé les gains de la réduction des erreurs. Compte tenu de cela, Netflix a finalement abandonné la poursuite de MSE et aucun autre prix Netflix n'a été décerné
Et c'est le point: minimiser l'erreur prédictive peut être facilement joué ou piraté et est sujet à la fraude d'analyste (c.-à-d., Trouver une solution qui glorifie les compétences de modélisation de l'analyste, impactant positivement son bonus de fin d'année potentiel). De plus, il s'agit d'une solution et d'un objectif entièrement statistiques fixés dans un vide économique et commercial. La mesure fournit peu ou pas de considération des coûts accessoires et collatéraux - les conséquences opérationnelles très réelles évaluées de A à Z qui devraient faire partie intégrante de tout processus de prise de décision basé sur un arbitrage complet.
C'est devenu l'un de ces problèmes qui fait partie intégrante des organisations et qui est très, très difficile à changer. En d'autres termes, je suis pleinement conscient que je penche sur les moulins à vent avec cette diatribe sur les mises en garde avec l'utilisation de PA.
la source