Machine Learning Responsable : Comment trancher entre explicabilité ou transparence ?

L’ interprétabilité des modèles d’apprentissage automatique (machine learning) est un concept essentiel si l’on veut tenter de définir ce qu’est une IA responsable. C’est aussi l’une des conditions nécessaires pour gagner la confiance des consommateurs, indispensable pour le déploiement de solutions d’IA à grande échelle. Lorsqu’un modèle fait un choix qui impacte une personne ou l’ensemble d’une communauté, ce choix ne peut légitimement pas résulter d’un mécanisme opaque de prise de décision. Il doit être interprétable. Mais cette interprétabilité de l’intelligence artificielle recouvre deux notions distinctes : la transparence et l’explicabilité. Nous allons tenter ici de définir ces notions, d’analyser la manière dont elles interagissent et de comprendre leurs limites.

Imaginons que M. Dupont demande un crédit, mais que son banquier le lui refuse. Il est naturel que M. Dupont puisse comprendre les raisons de ce refus, sur quels éléments se fonde la décision de son banquier, et ce qu’il pourrait faire pour améliorer son dossier et augmenter ses chances d’obtenir un crédit la prochaine fois.  Ces questions sont tout aussi légitimes (si ce n’est plus) si la décision a été prise par une intelligence artificielle. Mais comment rendre compte d’une décision prise par une modèle de machine learning ? Deux notions peuvent apporter des pistes de réponse.

La transparence, tout d’abord, qui consiste à pouvoir décrire chaque élément et chaque étape du processus de décision. Dans le cas de l’IA, il faut tenir compte du type de modèle de machine learning qui a été utilisé, de la manière dont il a été entraîné ou du genre de données exploitées lors de la phase d’entraînement. La transparence totale peut aller jusqu’à la divulgation du type d’algorithme choisi, de ses paramètres spécifiques, de son architecture, de ses données de production et de l’utilisation, le cas échéant, de techniques avancées, comme le deep learning ; mais cela reviendrait à partager une quantité considérable de données incompréhensibles sans traitement automatisé. La solution alternative consistant à partager l’architecture pourrait convenir à un expert en machine learning, mais pas à un néophyte.  

L’explicabilité est tout à fait différente. Elle vise à fournir un raisonnement compréhensible et utilisable par un utilisateur donné, de manière adaptée à l’usage qu’il souhaite en faire. Il s’agit le plus souvent d’une simplification de ce qui se produit réellement, dans le but d’ouvrir la voie à une action concrète. Dans le cas de l’intelligence artificielle, l’explicabilité peut par exemple permettre à un client de comprendre les raisons pour lesquelles une décision donnée a été prise, puis d’utiliser ces informations pour agir concrètement. Si un modèle de machine learning prédit qu’une réclamation est potentiellement frauduleuse, l’explicabilité consiste à expliquer les facteurs à l’origine de ce pronostic pour permettre une vérification formelle – en d’autres termes, à rendre ces facteurs compréhensibles, intelligibles et exploitables.

On voit bien ici à quel point ces deux notions sont complémentaires, tout en ayant des caractéristiques tout à fait différentes : alors que la transparence est synonyme d’exhaustivité et de technicité, l’explicabilité se rapporte, elle, à la recherche d’une plus grande intelligibilité et d’une façon plus efficace de répondre aux besoins de l’utilisateur.

Utilité en fonction du contexte

Il serait inexact d’opposer la transparence et l’explicabilité ; toutefois, le degré d’utilité de ces deux notions varie en fonction du contexte, de la situation et de la finalité. Il peut par exemple dépendre de la personne vis-à-vis de laquelle on souhaite être transparent et/ou à laquelle on veut fournir des explications. La plupart du temps, c’est l’explicabilité qui prime, comme dans l’exemple que nous avons utilisé plus haut : M. Dupont ne possède pas les outils appropriés pour analyser le paramétrage d’un modèle de machine learning. Il lui sera donc plus utile de disposer d’explications lui permettant de comprendre comment et pourquoi la décision qui le concerne a été prise.

Mais dans d’autres circonstances, la transparence pourra se révéler plus bénéfique. C’est le cas, par exemple, des situations impliquant des régulateurs pourvus des compétences et de la capacité nécessaires pour traiter de grandes quantités d’informations techniques et de vérifier des algorithmes complexes. Dans certains cas, la transparence se révélera très utile du point de vue du client. Elle peut se résumer à informer un utilisateur que l’entreprise a recours à un algorithme dans le cadre de son activité. Il peut également s’agir de répondre aux questions d’un client sur le traitement dont font l’objet ses données personnelles au sein de l’entreprise : seront-elles utilisées ultérieurement, dans un contexte dépassant la stricte utilisation pour laquelle il les a partagées ?

Les défis de l’interprétabilité

S’il est impossible de remettre en cause le fait que l’intelligence artificielle doit être explicable et transparente pour répondre aux critères de responsabilité, ce présupposé pose néanmoins un certain nombre de questions. Jusqu’où doivent aller ces exigences ? Quelle est la limite à ne pas franchir ? La transparence a beau être en soi un concept vertueux, lorsqu’elle est poussée à l’extrême elle peut soulever la question de la concurrence et du secret des affaires. Elle touche aussi au domaine de la sécurité, car elle peut faciliter le piratage. Il est essentiel de trouver le bon équilibre entre l’opacité, souvent dommageable pour le client, et la divulgation des mécanismes actionnant les modèles qui permettent à une entreprise d’être compétitive et de générer des bénéfices.

Par ailleurs, la recherche de l’explicabilité se heurte parfois à des obstacles et à des limites, notamment liés aux notions de véracité et de loyauté dans l’explication des faits. Un problème d’autant plus difficile à résoudre que les modèles de machine learning les plus performants comportent plusieurs milliards de paramètres. Or c’est précisément dans la multiplicité de ces paramètres que réside l’intérêt de ces outils, puisqu’elle leur permet de refléter la complexité d’une situation donnée et de résoudre des problèmes a priori insolubles, tout en étant capables de prendre en compte un grand nombre de cas particuliers. Simplifier un fait pour le rendre intelligible, c’est prendre le risque de s’éloigner de la réalité. C’est toute la complexité du compromis entre explicabilité et précision - une limite bien connue par la communauté des chercheurs en machine learning.

La question de l’audience

Une autre problématique importante posée par l’explicabilité est liée à la notion d’audience. Idéalement, une explication doit différer selon la personne à qui elle s’adresse et les besoins spécifiques de cette dernière. Les informations issues du modèle et les explications à fournir ne devraient pas être les mêmes selon qu’elles sont destinées à un expert, à un régulateur financier ou à un client. Comment s’adresser à ces différents publics et répondre à leurs attentes ? Comment faire en sorte que les éléments à leur fournir s’adaptent au mieux à leurs besoins et à leur degré de compréhension ? C’est l’un des défis majeurs auxquels doit faire face le développement d’une IA responsable.

Prenons l’exemple de deux applications très différentes que nous développons actuellement chez AXA. La première, la Claims Analytics Library, est une solution de machine learning capable de détecter des cas potentiels de fraude. La seconde concerne un programme mené conjointement par AXA et l’OCDE, visant à expliquer et à prédire les mécanismes à l’origine des crises économiques. Dans les deux cas, les besoins en terme d’explications sont très différents : dans le premier exemple, les informations sont destinées à des agents afin qu’ils puissent vérifier, au cas par cas, si les réclamations sont bel et bien frauduleuses. Dans le second exemple, il s’agit de produire des connaissances globales qui permettront à des économistes qualifiés de proposer des mesures financières capables d’éviter les crises.

Et demain ?

 Pourquoi cette décision a-t-elle été prise ?  Demain, il sera sans doute possible d’apporter une réponse claire et argumentée à cette question, en fonction du niveau de connaissance de l’interlocuteur. Un objectif qui implique, selon nous, de contourner le fameux compromis entre précision et interprétabilité, en conservant un modèle d’IA précis mais complexe, et en en ajoutant un second, spécifiquement conçu pour expliquer les décisions prises par le premier. Cette approche, dite  post-hoc , donne déjà des résultats prometteurs, même si la question de la véracité se pose toujours du côté de l’explication – ce qui est moins problématique qu’une mauvaise décision prise par une IA trop simpliste. En effet, le but de l’explication est de simplifier le monde en le rendant plus intelligible ; mais comment être sûr que le substitut – et par conséquent l’explication associée – reste fidèle au modèle initial complexe ? C’est la question centrale sur laquelle nos équipes de recherche sont à l’œuvre aujourd’hui.

Q: Vous travaillez sur l’interprétabilité appliquée avec AXA Belgique, par le biais du Fonds AXA pour la recherche. A quoi ce projet s’intéresse-t-il spécifiquement ?

A: Nous développons et mettons en application de nouveaux algorithmes, qui expliquent pourquoi les modèles prédictifs avancés prennent une décision donnée. En ce moment, nous nous penchons plus particulièrement sur les données d’images : nous nous appuyons sur des méthodes contrefactuelles pour expliquer pourquoi une image est classée dans une catégorie plutôt que dans une autre. Supposons que vous vouliez prédire quelque chose à partir de l’image d’une voiture, par exemple si cette voiture a été impliquée dans un accident. Vous aurez probablement besoin d’une explication concernant la raison pour laquelle le modèle a fourni une prédiction en particulier. Une explication contrefactuelle vous révélerait quelle partie de l’image a conduit à cette prédiction. Le recours à la méthode contrefactuelle permet de renforcer la confiance, mais aussi de faire des progrès significatifs dans l’explication des erreurs de classification – c’est-à-dire de comprendre pourquoi un modèle peut se tromper. Les explications ont donc un autre objectif : améliorer la précision des modèles, en particulier dans le deep learning. A long terme, ces recherches pourront aider à mieux évaluer les risques et les dommages, et à mieux satisfaire les attentes des clients.

Q: Sur quelles autres applications concrètes de l’interprétabilité travaillez-vous ?

A: L’interprétabilité est extrêmement utile en matière de gestion des risques. Nous travaillons sur le risque de fraude, en collaboration avec l’administration fiscale. Lorsque l’on utilise des modèles compliqués, il est nécessaire de pouvoir expliquer aux agents pour quelle raison on les envoie contrôler telle entreprise ou tel particulier plutôt qu’un autre, car ils peuvent être réticents à suivre des instructions qui semblent émaner d’une  boîte noire . Le fait de leur expliquer pourquoi une entreprise est susceptible de se livrer à la fraude facilite beaucoup leurs démarches et renforce la confiance dans le système. Autre exemple : nous avons travaillé avec la Banque centrale européenne pour prédire comment les marchés se comporteraient face à certaines annonces. Expliquer les prédictions individuelles est essentiel dans ce cas, car cela permet de clarifier le message afin d’éviter des réactions imprévues de la part des marchés.

Q: Les avantages de l’interprétabilité sont-ils limités à la sphère de la finance ?

A: Bien sûr que non ! Dans une application sur laquelle j’ai travaillé, l’objectif du modèle de machine learning était de vérifier le contenu de certains sites internet. En général, les entreprises ne veulent pas faire de publicité sur des sites affichant des contenus pour adultes ou des incitations à la haine. Il existe tellement de sites internet différents qu’il est nécessaire de disposer d’un système permettant de prédire si un site donné est susceptible d’afficher de tels contenus. Les explications sont utiles pour les entreprises qui font de la publicité, mais également pour les propriétaires de sites internet : naturellement, ils veulent savoir pourquoi ils ont été signalés, et, en cas de contestation, ce qu’ils doivent modifier pour que l’algorithme change sa prédiction. Fondamentalement, dans tout domaine d’application où la prise de décision automatisée a un impact sur les individus, les explications sont essentielles : expliquer pourquoi telle candidature n’a pas été retenue lors d’un entretien d’embauche, pourquoi telle offre a été faite, pourquoi tel diagnostic médical a été établi, etc. Je suis convaincu que l’explicabilité deviendra une pratique standard dans le déploiement des futurs modèles de machine learning.

La version française est une traduction de l’article original en anglais, à des fins informatives exclusivement. En cas de divergences, l’article original en anglais prévaudra.