Alors que des millions d’individus se tournent désormais vers l’intelligence artificielle générative pour trouver une écoute ou un soutien psychologique, une équipe de recherche dirigée par la Dre Kate H. Bentley vient de franchir un pas important pour sécuriser ces interactions. Dans une étude publiée par la revue scientifique JMIR AI, les chercheurs présentent la première validation clinique de VERA-MH, un outil d’évaluation automatisé et en libre accès spécialement conçu pour mesurer la capacité des agents conversationnels à détecter le risque suicidaire et à y répondre de façon appropriée.
Des millions d’utilisateurs face à un vide d’évaluation clinique
L’accessibilité inédite des agents conversationnels offre des perspectives prometteuses pour démocratiser l’aide psychologique à grande échelle. Néanmoins, l’innocuité de ces outils reste une question médicale urgente, particulièrement lorsque des personnes vulnérables expriment des idées suicidaires lors de leurs échanges textuels. Jusqu’à présent, la communauté scientifique et les développeurs ne disposaient d’aucun étalon de mesure automatisé, objectif et rigoureusement validé pour vérifier que ces modèles de langage adoptent des comportements sûrs face à des utilisateurs en crise.
VERA-MH : une IA d’évaluation alignée sur le consensus médical
Pour répondre à cette lacune, le protocole VERA-MH (Validation of Ethical and Responsible AI in Mental Health) propose de faire évaluer les dialogues par un grand modèle linguistique jouant le rôle de « juge ». Afin de vérifier la pertinence de ce système, les chercheurs ont simulé un large éventail de conversations entre des agents virtuels incarnant des profils variés de détresse et plusieurs chatbots généralistes. Des cliniciens agréés ont ensuite examiné ces interactions à l’aide d’une grille d’évaluation dédiée pour qualifier les réponses d’adaptées ou de dangereuses.
D’après les conclusions des auteurs, les soignants ont fait preuve d’une forte cohérence entre eux, affichant une fidélité inter-juges corrigée du hasard de 0,77. Cette harmonie a permis d’établir une référence clinique solide. Confronté à ce consensus humain, le modèle d’évaluation automatisé de VERA-MH a démontré un alignement remarquable, atteignant un indice de fiabilité de 0,81, tout en maintenant des scores stables d’un modèle d’évaluation à l’autre.
Simulations et limites : des progrès encore nécessaires
Si la fiabilité de l’évaluateur algorithmique apparaît probante, l’expérimentation met aussi en lumière certaines réserves techniques. Afin d’éviter tout danger déontologique, les échanges ont été générés à l’aide de patients simulés. Or, les psychiatres et psychologues mobilisés ont exprimé des avis très mitigés concernant le réalisme de ces agents synthétiques et leur manière de dévoiler leur détresse émotionnelle.
L’équipe de recherche souligne d’ailleurs que ces travaux portent sur une première itération du système distribuée en open source. Des validations externes indépendantes seront indispensables pour éprouver la robustesse de l’outil face aux versions plus récentes des chatbots, ainsi que pour étendre son champ d’action à d’autres troubles psychologiques comme l’anxiété sévère ou les addictions.
Vers des garde-fous indispensables pour l’IA en psychologie
Pour que les applications d’intelligence artificielle en santé mentale tiennent leurs promesses sans mettre en péril la vie des utilisateurs, la mise en place de tests de sécurité standardisés et reproductibles s’avère indispensable. Selon les auteurs de la publication, le cadre méthodologique posé par VERA-MH constitue un premier pas décisif pour instaurer des audits réguliers et évolutifs, indispensables à la régulation éthique des technologies conversationnelles de demain.
Source
- AI Chatbot Suicide Risk Detection and Response: Human Validation Study of the Open-Source VERA-MH Safety Evaluation
- Researchers: Kate H Bentley, Luca Belli, Adam M. Chekroud, Emily J. Ward, Emily R. Dworkin, Emily Van Ark, Kelly M. Johnston, Will Alexander
- Journal: JMIR AI
- Read the original study