Éviter la discrimination sociale dans la construction de modèles

J'ai des questions inspirées du récent scandale du recrutement en Amazonie, où elles ont été accusées de discrimination à l'égard des femmes dans leur processus de recrutement. Plus d'infos ici :

Les spécialistes de l'apprentissage automatique d'Amazon.com Inc ont découvert un gros problème: leur nouveau moteur de recrutement n'aimait pas les femmes.
L'équipe avait développé des programmes informatiques depuis 2014 pour examiner les CV des candidats dans le but de mécaniser la recherche des meilleurs talents ...
... ...
... Mais en 2015, la société a réalisé que son nouveau système ne notait pas les candidats aux postes de développeur de logiciels et autres postes techniques d'une manière non sexiste.
En effet, les modèles informatiques d'Amazon ont été formés pour examiner les candidats en observant les tendances des CV soumis à l'entreprise sur une période de 10 ans. La plupart venaient d'hommes, un reflet de la domination masculine dans l'industrie technologique. (Pour un graphique sur la répartition des sexes dans la technologie, voir: ici ) En effet, le système d'Amazon a appris par lui-même que les candidats masculins étaient préférables. Il a pénalisé les curriculum vitae qui comprenaient le mot «femmes», comme dans «capitaine du club d'échecs féminin». Et il a rétrogradé les diplômées de deux collèges entièrement féminins, selon des personnes familières avec le sujet. Ils n'ont pas précisé les noms des écoles.
Amazon a édité les programmes pour les rendre neutres par rapport à ces termes particuliers. Mais ce n'était pas une garantie que les machines ne concevraient pas d'autres moyens de trier les candidats qui pourraient s'avérer discriminatoires, ont déclaré les gens.
La société de Seattle a finalement dissous l'équipe au début de l'année dernière parce que les cadres ont perdu espoir pour le projet ...
... L'expérience de la société ... propose une étude de cas sur les limites de l'apprentissage automatique.
... des informaticiens comme Nihar Shah, qui enseigne l'apprentissage automatique à l'Université Carnegie Mellon, disent qu'il y a encore beaucoup de travail à faire.
"Comment s'assurer que l'algorithme est juste, comment s'assurer que l'algorithme est vraiment interprétable et explicable - c'est encore assez loin", a-t-il déclaré.

MASCULINE LANGUAGE
[Amazon] a mis en place une équipe dans le centre d'ingénierie d'Amazon à Édimbourg qui compte une douzaine de personnes. Leur objectif était de développer une intelligence artificielle capable d'explorer rapidement le Web et de repérer des candidats qui méritent d'être recrutés, ont déclaré des personnes proches du dossier.
Le groupe a créé 500 modèles informatiques axés sur des fonctions et des emplacements spécifiques. Ils ont appris à chacun à reconnaître quelque 50 000 termes qui figuraient dans les curriculum vitae des anciens candidats. Les algorithmes ont appris à attribuer peu d'importance aux compétences communes aux candidats en informatique, telles que la capacité d'écrire divers codes informatiques ...
Au lieu de cela, la technologie a favorisé les candidats qui se décrivaient en utilisant des verbes plus courants sur les curriculum vitae des ingénieurs masculins, tels que "exécuté" et "capturé", a déclaré une personne.

Disons que je veux construire un modèle statistique pour prédire une sortie à partir de données personnelles, comme un classement cinq étoiles pour aider à recruter de nouvelles personnes. Disons que je veux également éviter la discrimination fondée sur le sexe, en tant que contrainte éthique. Étant donné deux profils strictement égaux en dehors du sexe, la sortie du modèle devrait être la même.

1. Dois-je utiliser le sexe (ou toute donnée qui y est corrélée) comme entrée et essayer de corriger leur effet, ou éviter d'utiliser ces données?

2. Comment vérifier l'absence de discrimination fondée sur le sexe?

3. Comment puis-je corriger mon modèle pour les données qui sont statistiquement discriminantes mais je ne veux pas l'être pour des raisons éthiques?

Cet article fournit un excellent aperçu de la manière de gérer les préjugés sexistes, en particulier dans les modèles basés sur le langage: l' homme est-il programmeur informatique, la femme est-elle femme au foyer? Débiasage des intégrations de mots - Bolukbasi et. Al. . Un joli résumé du blog peut être trouvé ici:

https://developers.googleblog.com/2018/04/text-embedding-models-contain-bias.html

Vous trouverez un plus grand recueil de ressources ici:

https://developers.google.com/machine-learning/fairness-overview/

Vous trouverez une multitude de techniques dans les liens ci-dessus pour atténuer les préjugés sexistes. D'une manière générale, ils se répartissent en trois classes:

1) Sous / suréchantillonnage de vos données. Ceci est destiné à suréchantillonner les curriculum vitae féminins de haute qualité et sous-échantillonner les curriculum vitae masculins.

2) Soustraire le «sous-espace de genre». Si votre modèle est sexiste, vous pouvez le démontrer en utilisant vos intégrations de CV pour prédire directement le sexe. Après avoir construit un tel modèle auxiliaire (même juste en échantillonnant des termes communs appartenant à l'un ou l'autre sexe, puis en appliquant l'ACP), vous pouvez en effet soustraire cette dimension du modèle, normalisant le curriculum vitae pour qu'il soit non sexiste. C'est la principale technique utilisée dans l'article de Bolukbasi.

3) Apprentissage contradictoire. Dans ce cas, vous essayez de générer des données supplémentaires en essayant de générer plus de versions de curriculum vitae féminins de haute qualité qui ne sont pas autrement distinguables des curriculum vitae réels.

Ce n'est pas une réponse à votre question mais juste quelques réflexions trop longues pour tenir dans un commentaire.

Je pense qu'un problème que nous devons prendre en considération lorsque nous réfléchissons à ces questions est que chaque modèle est discriminatoire , et il le fera sur la base de toute association présente dans les données. C'est sans doute tout le but d'un modèle prédictif. Par exemple, les hommes sont véritablement plus susceptibles de commettre des délits que les femmes, de sorte que presque tous les modèles ayant accès à ces informations tireront une telle conclusion.

Mais cela ne signifie pas que nous devrions condamner quelqu'un en partie sur la base du sexe, même si un homme semble généralement plus susceptible d'avoir commis un crime (toutes choses égales par ailleurs). Nous devrions plutôt exiger des preuves directes d'un crime lors de la prise de telles décisions, et non des informations sur une simple association. Autre exemple: les personnes les plus susceptibles de tomber malades méritent-elles vraiment de payer des primes d'assurance plus élevées?

Donc, en matière de discrimination, je dirais que la question concerne davantage l' application éthique que les modèles eux-mêmes qui sont injustes. Si nous craignons de perpétuer la discrimination ou d'autres résultats injustes lors de l'utilisation d'un modèle dans une situation donnée, nous ne devrions peut-être pas utiliser un modèle.

J'ai travaillé sur un projet pour développer les meilleures pratiques de gestion de logiciels. J'ai observé une cinquantaine d'équipes logicielles sur le terrain. Notre échantillon était d'environ 77, mais nous avons fini par voir une centaine d'équipes. En plus de collecter des données sur des choses telles que les certifications, les diplômes, etc., nous avons également collecté diverses données psychologiques et démographiques.

Les équipes de développement logiciel ont des effets d'autosélection très importants qui, tout en n'ayant rien à voir avec le sexe, sont fortement corrélés avec le sexe. De plus, les gestionnaires ont tendance à se reproduire. Les gens embauchent des gens avec lesquels ils sont à l'aise, et ils sont plus à l'aise avec eux-mêmes. Il existe également des preuves que les personnes sont notées de manière cognitive. Imaginez qu'en tant que manager, j'apprécie fortement l'arrivée rapide au début du travail. Je vais ensuite évaluer cela. Un autre gestionnaire, qui se soucie simplement que le travail soit fait, peut évaluer quelque chose de complètement différent comme étant important.

Vous avez noté que les hommes utilisent le langage différemment, mais il est également vrai que les personnes de personnalités différentes utilisent le langage de différentes manières. Il peut également y avoir des différences d'utilisation des langues ethniques, voir par exemple la controverse actuelle à Harvard et les admissions asiatiques.

Vous supposez maintenant que les éditeurs de logiciels discriminent les femmes, mais il existe une autre forme de discrimination fondée sur le sexe dans l'industrie du développement de logiciels que vous n'avez pas prise en compte. Lorsque vous contrôlez des éléments objectifs tels que les certifications, les diplômes, la permanence, etc., la femme moyenne gagne 40% de plus que l'homme moyen. Il existe trois sources de discrimination dans l'emploi dans le monde.

Le premier est que les gestionnaires ou les propriétaires ne souhaitent pas embaucher quelqu'un sur la base d'une fonction. La seconde est que les collègues ne souhaitent pas travailler avec les personnes disposant de cette fonctionnalité. Le troisième est que les clients ne veulent pas de personnes disposant d'une fonctionnalité. Il semble que la discrimination salariale soit déclenchée par les clients parce que le produit du travail est différent et, du point de vue des clients, également meilleur. Cette même caractéristique fait que les hygiénistes dentaires masculins reçoivent un salaire inférieur à celui des femmes. On le voit également dans un biais en faveur des «nés ici» dans les salaires du football mondial.

Le meilleur contrôle pour cela est de comprendre vos données et les forces sociales impliquées. Toute entreprise qui utilise ses propres données aura tendance à se reproduire. C'est peut-être une très bonne chose, mais cela pourrait aussi les rendre aveugles aux forces au travail. Le deuxième contrôle consiste à comprendre votre fonction objective. Les bénéfices peuvent être une bonne fonction, mais cela peut être une mauvaise fonction. Il y a des valeurs en jeu dans la sélection d'une fonction de perte objective. Enfin, il y a la question de tester les données par rapport aux données démographiques pour déterminer si une discrimination malheureuse se produit.

Enfin, et c'est un problème plus important dans des choses comme l'IA où vous ne pouvez pas obtenir de bonnes statistiques interprétatives, vous voudrez contrôler le paradoxe de Yule. L'exemple historique classique est la découverte que 44% des hommes ont été admis à UC Berkley alors que seulement 35% des femmes ont été admises en 1973. Il s'agissait d'une énorme différence et statistiquement significative. C'était également trompeur.

C'était évidemment scandaleux, et l'université a donc décidé de regarder quelles étaient les majors incriminées. Eh bien, il s'est avéré que lorsque vous contrôliez la majeure, il y avait un biais statistiquement significatif en faveur de l'admission des femmes. Sur les quatre-vingt-cinq majors, six étaient biaisées en faveur des femmes et quatre en faveur des hommes, les autres n'étaient pas significatives. La différence était que les femmes postulaient de manière disproportionnée pour les majors les plus compétitives et que peu de femmes et de garçons y participaient. Les hommes étaient plus susceptibles de postuler pour des majors moins compétitives.

Ajouter le paradoxe de Yule crée une couche encore plus profonde de discrimination. Imaginez, au lieu d'un test de genre, il y avait un test de genre par type d'emploi. Vous pouvez éventuellement passer un test de genre neutre à l'échelle de l'entreprise mais échouer au niveau de la tâche. Imaginez que seules des femmes ont été recrutées pour le V&V et que des hommes pour l'administration des systèmes. Vous auriez l'air non sexiste et vous ne le seriez pas.

Une solution potentielle à cela consiste à exécuter des IA compétitives qui utilisent des critères objectifs différents de «qualité». L'objectif est d'élargir le filet, pas de le rétrécir. Cela peut également aider à éviter un autre problème dans la littérature de gestion. Alors que 3% des hommes sont des sociopathes, ce nombre grimpe considérablement à mesure que vous montez de plus en plus haut dans l'échelle de l'entreprise. Vous ne voulez pas filtrer les sociopathes.

Enfin, vous ne voudrez peut-être pas envisager d'utiliser l'IA pour certains types de postes. Je suis à la recherche d'un emploi en ce moment. Je suis également sûr d'être filtré et je n'ai pas compris comment le contourner. Je suis assis sur une nouvelle technologie très perturbatrice. Le problème est que mon travail ne correspond pas aux mots magiques. Au lieu de cela, j'ai la prochaine série de mots magiques. En ce moment, je vaux une fortune pour la bonne entreprise, mais dans un cas où j'ai postulé, j'ai reçu un refus automatisé en moins d'une minute. J'ai un ami qui a occupé le poste de DPI des agences fédérales. Il a postulé pour un emploi où le responsable du recrutement attendait de voir sa candidature acceptée pour pouvoir lui proposer le poste. Il n'est jamais venu parce que les filtres l'ont bloqué.

Cela pose le deuxième problème de l'IA. Si je peux déterminer à partir des curriculum vitae en ligne qu'Amazon embauche, je peux formuler mon curriculum vitae par magie. En effet, je travaille actuellement sur mon CV pour l'adapter à des filtres non humains. Je peux également dire à partir des e-mails des recruteurs que certaines parties de mon CV sont zoomées et que d'autres parties sont ignorées. C'est comme si le processus de recrutement et d'embauche avait été repris par un logiciel comme Prolog. Contraintes logiques rencontrées? Oui! Il s'agit du candidat ou de l'ensemble de candidats optimal. Sont-ils optimaux?

Il n'y a pas de réponse prédéfinie à votre question, seulement des problèmes à résoudre.

Afin de construire un modèle de ce type, il est important de comprendre d'abord certains aspects statistiques de base de la discrimination et des résultats du processus. Cela nécessite une compréhension des processus statistiques qui évaluent les objets sur la base des caractéristiques. En particulier, cela nécessite de comprendre la relation entre l'utilisation d'une caractéristique à des fins de prise de décision (c'est-à-dire la discrimination) et l'évaluation des résultats du processus par rapport à cette caractéristique. Nous commençons par noter ce qui suit:

• La discrimination (au sens propre du terme) se produit lorsqu'une variable est utilisée dans le processus de décision, et pas seulement lorsque le résultat est corrélé avec cette variable. Formellement, nous discriminons une variable si la fonction de décision dans le processus (c.-à-d. La note dans ce cas) est une fonction de cette variable.

• Les disparités de résultats par rapport à une variable particulière se produisent souvent même lorsqu'il n'y a pas de discrimination sur cette variable . Cela se produit lorsque d' autres caractéristiques de la fonction de décision sont corrélées avec la variable exclue. Dans les cas où la variable exclue est une variable démographique (par exemple, le sexe, la race, l'âge, etc.), la corrélation avec d'autres caractéristiques est omniprésente, il faut donc s'attendre à des disparités de résultats entre les groupes démographiques.

• Il est possible d'essayer de réduire les disparités de résultats entre les groupes démographiques grâce à l'action positive, qui est une forme de discrimination. S'il existe des disparités dans les résultats du processus par rapport à une variable, il est possible de réduire ces disparités en utilisant la variable comme variable de décision (c'est-à-dire en discriminant cette variable) d'une manière qui favorise les groupes «sous-représentés». (c.-à-d. groupes avec des proportions plus faibles de résultats positifs dans le processus de décision).

• Vous ne pouvez pas jouer sur les deux tableaux - soit vous voulez éviter la discrimination par rapport à une caractéristique particulière, soit vous souhaitez égaliser les résultats du processus par rapport à cette caractéristique. Si votre objectif est de "corriger" les disparités de résultats par rapport à une caractéristique particulière, ne vous moquez pas de ce que vous faites --- vous vous livrez à la discrimination à des fins d'action positive .

Une fois que vous aurez compris ces aspects fondamentaux des processus décisionnels statistiques, vous serez en mesure de formuler votre objectif réel dans ce cas. En particulier, vous devrez décider si vous voulez un processus non discriminatoire, qui est susceptible d'entraîner des disparités de résultats entre les groupes, ou si vous voulez un processus discriminatoire conçu pour produire des résultats de processus égaux (ou quelque chose de proche). D'un point de vue éthique, cette question imite le débat sur la non-discrimination contre l'action positive.

Disons que je veux construire un modèle statistique pour prédire une sortie à partir de données personnelles, comme un classement cinq étoiles pour aider à recruter de nouvelles personnes. Disons que je veux également éviter la discrimination fondée sur le sexe, en tant que contrainte éthique. Étant donné deux profils strictement égaux en dehors du sexe, la sortie du modèle devrait être la même.

Il est facile de s'assurer que les notes fournies par le modèle ne sont pas affectées par une variable que vous souhaitez exclure (par exemple, le sexe). Pour ce faire, il vous suffit de supprimer cette variable en tant que prédicteur dans le modèle, afin qu'elle ne soit pas utilisée dans la décision de notation. Cela garantira que deux profils strictement égaux, à l'exception de cette variable, seront traités de la même manière. Cependant, cela ne garantira pas nécessairement que le modèle ne discrimine pas sur la base d'une autre variable qui est corrélée avec la variable exclue, et il ne conduira généralement pas à des résultats égaux entre les sexes. En effet, le sexe est corrélé à de nombreuses autres caractéristiques qui pourraient être utilisées comme variables prédictives dans votre modèle.Nous nous attendons donc généralement à ce que les résultats soient inégaux même en l'absence de discrimination.

En ce qui concerne cette question, il est utile de faire la distinction entre les caractéristiques qui sont des caractéristiques inhérentes au sexe (par exemple, les pipis debout) et les caractéristiques qui sont simplement corrélées avec le sexe (par exemple, a un diplôme d'ingénieur). Si vous souhaitez éviter la discrimination fondée sur le sexe, cela impliquerait généralement la suppression du sexe en tant que prédicteur, ainsi que toute autre caractéristique que vous considérez comme une caractéristique intrinsèque du sexe. Par exemple, s'il s'avérait que les candidats à un emploi précisent s'ils font pipi debout ou assis, alors c'est une caractéristique qui n'est pas strictement équivalente au sexe, mais une option détermine effectivement le sexe, donc vous supprimeriez probablement cette caractéristique comme prédicteur dans le modèle.

1. Dois-je utiliser le sexe (ou toute donnée qui y est corrélée) comme entrée et essayer de corriger leur effet, ou éviter d'utiliser ces données?

Corrigez quoi exactement? Lorsque vous dites «corriger leur effet», je vais supposer que vous voulez dire que vous envisagez de «corriger» les disparités de résultats causées par des prédicteurs corrélés au sexe. Si tel est le cas et que vous utilisez le genre pour essayer de corriger une disparité de résultats, vous vous engagez effectivement dans une action positive --- c'est-à-dire que vous programmez votre modèle pour discriminer positivement le sexe, en vue de rapprocher les résultats . La décision de le faire dépend de votre objectif éthique dans le modèle (éviter la discrimination ou obtenir des résultats égaux).

2. Comment vérifier l'absence de discrimination fondée sur le sexe?

Si vous parlez de discrimination réelle, par opposition à de simples disparités dans les résultats, il est facile de contraindre et de vérifier. Tout ce que vous devez faire est de formuler votre modèle de manière à ce qu'il n'utilise pas le sexe (et les caractéristiques de genre inhérentes) comme prédicteurs. Les ordinateurs ne peuvent pas prendre de décisions sur la base de caractéristiques que vous ne saisissez pas dans leur modèle, donc si vous avez le contrôle, il devrait être assez simple de vérifier l'absence de discrimination.

Les choses deviennent un peu plus difficiles lorsque vous utilisez des modèles d'apprentissage automatique qui essaient de déterminer eux-mêmes les caractéristiques pertinentes, sans votre contribution. Même dans ce cas, il devrait être possible pour vous de programmer votre modèle afin qu'il exclue les prédicteurs que vous spécifiez à supprimer (par exemple, le sexe).

3. Comment puis-je corriger mon modèle pour les données qui sont statistiquement discriminantes mais je ne veux pas l'être pour des raisons éthiques?

Lorsque vous faites référence à des données "statistiquement discriminantes", je suppose que vous voulez simplement dire des caractéristiques qui sont corrélées avec le sexe. Si vous ne voulez pas ces autres caractéristiques, vous devez simplement les supprimer en tant que prédicteurs dans le modèle. Cependant, vous devez garder à l'esprit qu'il est probable que de nombreuses caractéristiques importantes seront corrélées avec le sexe. Toute caractéristique binaire sera corrélée au sexe dans tous les cas lorsque la proportion d'hommes avec cette caractéristique est différente de la proportion de femmes avec cette caractéristique. (Bien sûr, si ces proportions sont proches, vous constaterez peut-être que leur différence n'est pas "statistiquement significative".) Pour les variables plus générales, la condition de corrélation non nulle est également très faible. Donc,

Ce sera tout au plus une réponse partielle (ou pas de réponse du tout).

La première chose à noter est que je suis complètement d'accord avec @dsaxton: tous les modèles "discriminent" (du moins dans certaines définitions de la discrimination) car c'est leur fonction. Le problème est que les modèles fonctionnent sur des résumés et des moyennes et qu'ils attribuent les choses en fonction des moyennes. Les individus isolés sont uniques et pourraient être complètement hors de la prévision.

Exemple: considérons un modèle simple qui prédit le classement cinq étoiles mentionné sur la base d'une variable - l' âge . Pour toutes les personnes du même âge (disons 30 ans), cela produira le même résultat. Mais c'est une généralisation. Toutes les personnes âgées de 30 ans ne seront pas les mêmes. Et si le modèle produit des classements différents pour différents âges - il discrimine déjà les gens en fonction de leur âge. Disons que cela donne un rang de 3 pour les 50 ans et un rang de 4 pour les 40 ans. En réalité, il y aura beaucoup de personnes de 50 ans qui sont meilleures dans ce qu'elles font que de 40 ans. Et ils seront victimes de discrimination.

1. Dois-je utiliser le sexe (ou toute donnée qui y est corrélée) comme entrée et essayer de corriger leur effet, ou éviter d'utiliser ces données?

Si vous souhaitez que le modèle renvoie le même résultat pour des hommes et des femmes par ailleurs égaux, vous ne devez pas inclure le sexe dans le modèle. Toutes les données corrélées au sexe devraient probablement être incluses. En excluant ces covariables, vous pouvez commettre au moins 2 types d'erreurs: 1) en supposant que tous les hommes et toutes les femmes sont répartis également entre toutes les covariables; 2) si certaines de ces covariables liées au sexe sont à la fois pertinentes pour la notation et corrélées avec le sexe en même temps - vous pouvez considérablement réduire les performances de votre modèle en les excluant.

2. Comment vérifier l'absence de discrimination fondée sur le sexe?

Exécutez le modèle sur exactement les mêmes données deux fois - une fois en utilisant "mâle" et une autre fois en utilisant "femelle". Si cela provient d'un document texte, certains mots pourraient être remplacés.

3. Comment puis-je corriger mon modèle pour les données qui sont statistiquement discriminantes mais je ne veux pas l'être pour des raisons éthiques?

Cela dépend de ce que vous voulez faire. Une façon brutale de forcer l'égalité entre les sexes est d'exécuter le modèle sur les candidats hommes et les candidats femmes séparément. Et puis choisissez 50% d'un groupe et 50% d'un autre groupe.

Votre prédiction en souffrira très probablement - car il est peu probable que le meilleur ensemble de candidats comprendra exactement la moitié des hommes et la moitié des femmes. Mais vous seriez probablement d'accord sur le plan éthique? - encore une fois, cela dépend de l'éthique. Je pouvais voir une déclaration éthique où ce type de pratique serait illégal car il serait également discriminatoire en fonction du sexe mais d'une autre manière.

Ce que l'histoire d'Amazon montre, c'est qu'il est très difficile d'éviter le biais. Je doute qu'Amazon ait embauché des idiots pour ce problème, ou qu'ils manquaient de compétences, ou qu'ils n'avaient pas assez de données, ou qu'ils n'avaient pas assez de crédits AWS pour former un meilleur modèle. Le problème était que les algorithmes complexes d'apprentissage automatique sont très bons pour apprendre les modèles dans les données, le biais de genre est exactement ce type de modèle. Il y avait un biais dans les données, car les recruteurs (consciemment ou non) favorisaient les candidats masculins. Je ne dis pas ici qu'Amazon est une entreprise qui discrimine les candidats à l'emploi, je suis sûr qu'ils ont des milliers de politiques anti-discriminatoires et embauchent également de très bons recruteurs. Le problème avec ce genre de préjugés et de préjugés est qu'il existe, peu importe à quel point vous essayez de les combattre. Il y a des tonnes d'expériences de psychologie montrant que les gens peuvent déclarer ne pas être biaisés (par exemple racistes), mais toujours faire des actions biaisées, sans même s'en rendre compte. Mais pour répondre à votre question, pour avoir un algorithme qui n'est pas biaisé, vous devez commencer par des données exemptes de ce type de biais. Les algorithmes d'apprentissage automatique apprennent à reconnaître et à répéter les modèles qu'ils voient dans les données, donc si vos données enregistrent des décisions biaisées, l'algorithme apprendra probablement et amplifiera ces biais.

La deuxième chose est de gérer les données. Si vous voulez interdire à votre algorithme d'apprendre à prendre des décisions biaisées, vous devez supprimer toutes les informations qui pourraient aider à faire la distinction entre les groupes d'intérêt (sexe ici). Cela ne signifie pas seulement supprimer les informations sur le sexe, mais aussi toutes les informations qui pourraient conduire à identifier le sexe, et cela pourrait être beaucoup de choses. Il y en a des évidents comme le nom et la photo, mais aussi indirects, par exemple le congé maternel dans le curriculum vitae, mais aussi l'éducation (que faire si quelqu'un est allé à l'école réservée aux filles?), Ou même les antécédents professionnels (par exemple, les recruteurs de votre entreprise ne sont pas biaisés , mais que se passe-t-il si tous les autres recruteurs avant étaient biaisés, de sorte que l'historique de travail reflète toutes ces décisions biaisées?), etc. Comme vous pouvez le voir,

Quant aux questions 2. et 3., il n'y a pas de réponses faciles et je ne me sens pas suffisamment compétent pour essayer d'y répondre en détail. Il existe des tonnes de littérature sur les préjugés et les biais dans la société et sur les biais algorithmiques. C'est toujours compliqué et il n'y a malheureusement pas de recettes simples pour cela. Des entreprises, comme Google, embauchent des experts dont le rôle est d'identifier et de prévenir ce type de biais dans les algorithmes.

1. Dois-je utiliser le sexe (ou toute donnée qui y est corrélée) comme entrée et essayer de corriger leur effet, ou éviter d'utiliser ces données?

Il y a plusieurs implications de cette question qui se résument à ce qui suit: Est-ce que je veux être un ingénieur social; un activiste dont le rôle est de changer le statu quo parce que j'ai décidé que la société est malade et a besoin d'une thérapie?La réponse évidente à cela dépend si un tel changement est bénéfique ou nuisible. Par exemple, la réponse à "Que gagnerions-nous à l'égalité des sexes pour le personnel infirmier?" Il se pourrait que le fait d'avoir au moins une infirmière de sexe masculin disponible pour insérer des cathéters urinaires chez les hommes n'exigerait pas que jusqu'à 50% des infirmières soient des hommes. Ainsi, l'approche d'ingénierie sociale examine différentes cultures, contextes et problèmes avec des préjugés sexistes connus, et propose des avantages fonctionnels à tirer des modifications de la ou des causes profondes de ce biais. Il s'agit d'une étape essentielle du processus décisionnel. Maintenant, la réponse à la question 1. est un non catégorique, c'est-à-dire qu'une fois que l'on a décidé que la société doit être réparée, on ajoute simplement une étoile, ou une fraction de celle-ci (voir ci-dessous), aux candidates, mais faites très attention à ce que vous souhaitez car il s'agit d'une discrimination positive, elle-même intrinsèquement discriminatoire. Tous les résultats de l'IA changeront pour refléter les nouvelles normes d'embauche, une fois celles-ci établies comme nouvelle norme fonctionnelle.

2. Comment vérifier l'absence de discrimination fondée sur le sexe?

Assez simple, après l'attribution des notes, on fait une analyse post hoc pour voir quelle est la distribution des notes pour les hommes et les femmes et les comparer.

3. Comment puis-je corriger mon modèle pour les données qui sont statistiquement discriminantes mais je ne veux pas l'être pour des raisons éthiques?

Cela se fait inévitablement après coup, c'est-à-dire après coup . La prévoyance est également nécessaire, mais le type de prévoyance le plus nécessaire est une tentative concertée d'examiner de manière critique quelles sont les hypothèses de l'ingénieur social. C'est-à-dire qu'en supposant (à des fins d'argumentation, voir ci-dessous) qu'il soit sociologiquement justifiable d'éliminer tous les préjugés sexistes, on ajuste simplement les évaluations féminines pour suivre la même distribution empirique que les hommes. Dans le domaine de l'enseignement, cela s'appellerait un classement sur une courbe. Supposons en outre qu'il ne soit peut-être pas souhaitable d'éliminer complètement les préjugés sexistes (cela peut être trop perturbateur pour le faire), alors on peut faire une élimination partielle des biais, par exemple, une moyenne pondérée par paire de chaque femme autochtone et sa note entièrement corrigée, avec les pondérations que l'on souhaite attribuer qui sont considérées (ou testées comme étant) les moins nocives et / ou les plus bénéfiques.

La disparité entre les sexes ne peut pas être correctement modifiée par les seules politiques d'embauche, car dans certains domaines, il y a une relative pénurie de femmes candidates. Par exemple, en Pologne, 14,3% des étudiants en informatique étaient des femmes en 2018 et en Australie 17% . Une fois embauchées, la rétention des femmes dans les industries à forte intensité technologique était problématique (les femmes occupant des postes dans les industries à forte intensité technologique partent pour d'autres industries à des taux élevés - 53% des femmes, contre 31% des hommes.) Ainsi, la satisfaction professionnelle des femmes peut être plus important que la seule politique d'embauche. Il faut d'abord identifier un avantage tangible pour avoir un pourcentage particulier de femmes sur le lieu de travail, et il y a quelques indices à ce sujet, par exemple, en 2016, les femmes dans les conseils d'administration (16%) étaient presque deux fois plus susceptibles que leurs homologues masculins (9%) d'avoir une expérience professionnelle en technologie parmi 518 entreprises de Forbes Global 2000. Ainsi, le sens de la technologie semble contribuer davantage à la valeur nette des femmes que des hommes. De cette discussion, il devrait être évident qu'avant de faire des hypothèses spécifiques au genre, un effort substantiel devrait être dirigé vers l'identification d'avantages concrets plus globaux de politiques spécifiques dont la politique d'embauche n'est qu'une petite partie, quoique importante, et probablement pas la plus importante point de départ. Ce dernier est vraisemblablement la rétention des embauches parce que le roulement est mauvais pour la morale et peut être la cause profonde des préjugés sexistes dans l'embauche.

Mon expérience en gestion m'a appris que même de petits changements dans la production de travail (par exemple 10-20%) sont assez efficaces pour éliminer éventuellement les listes d'attente, c'est-à-dire qu'il n'est pas nécessaire d'augmenter immédiatement la production de 100% en doublant les effectifs cela raccourcira la liste d'attente seulement un peu plus rapidement qu'un changement plus petit, mais sera alors perturbateur car le personnel se tiendra par la suite dans l'espoir que le travail passera par la porte. Autrement dit, si l'on décide de faire de l'ingénierie sociale, il peut être dangereux de tenter une correction complète; cela ne fonctionne pas de cette façon. Essayez cela avec une correction de cap abrupte dans un voilier, et on peut finir par exercer ses leçons de natation. L'équivalent pour traiter les préjugés sexistes (si la prescription convient) serait d'embaucher uniquement des femmes. Cela résoudrait le problème (et en créerait d'autres). Alors,

En résumé, une ingénierie sociale efficace nécessite une approche holistique des situations compliquées, et simplement identifier qu'il peut y avoir un problème ne nous dit pas qu'il y en a un, ne nous dit pas ce qui le cause, ne nous dit pas comment le corriger, et en effet tout ce que cela nous dit, c'est que nous devons mettre nos bouchons de réflexion.