L’appropriation des intelligences artificielles génératives à des fins de soutien psychologique interroge directement les frontières classiques du droit des données personnelles et de la régulation numérique. Derrière des usages apparemment informels se dessinent des traitements portant sur des informations relevant potentiellement de la santé mentale en dehors du cadre médical.
Ces pratiques soulèvent des questions structurantes : qualification des données au regard du RGPD, licéité des traitements, conditions d’accès pour les mineurs, mais aussi articulation entre responsabilité civile et gouvernance des systèmes d’IA générative dans le cadre du droit européen émergent.
L’entretien qui suit apporte un éclairage juridique précis sur ces enjeux, à travers l’analyse de Maître Georgie Courtois, Avocat Associé chez Simmons & Simmons mettant en perspective les tensions actuelles entre usages sociaux de l’IA, exigences de protection des données personnelles et limites des cadres réglementaires existants.
Juliette Haller : Lors de l’usage de ChatGPT dans un contexte « psy », considérez-vous qu’il s’agisse de données de santé au sens de l’article 9 RGPD ?
Maître Georgie Courtois : La première question est, en tant que telle, complexe, parce qu’il s’agit d’une question de qualification juridique. Sur ce sujet, on pourrait avoir plusieurs interprétations. Mon avis est le suivant : ce qui compte, ce n’est pas tant l’intention de qualifier, mais la réalité des informations et des données qui sont effectivement traitées.
En l’occurrence, si l’on parle d’utilisateurs qui font état de troubles psychologiques, de doutes, d’idées suicidaires ou d’autres éléments de ce type, à partir du moment où ces informations ont trait à leur santé, et notamment à leur santé mentale, on peut considérer qu’il y a bien un traitement de données de santé. Ce sont donc des données sensibles au sens du RGPD.
Le fait que l’utilisateur n’ait pas conscience de livrer une donnée de santé ne change rien à la qualification. Une personne non avertie qui communique des données psychologiques à une intelligence artificielle générative, ne modifie pas la nature juridique de ces données.
Donc, en réponse directe à la question, pour moi, la réponse est oui : il s’agit bien de données de santé.
Cela étant dit, il faut également regarder ce qui se passe du côté des fournisseurs de systèmes d’intelligence artificielle générative. Ces derniers n’ont pas nécessairement conscience, ni même la volonté, que leurs outils soient utilisés pour recevoir ou traiter des données sensibles, et notamment des données de santé. C’est là que réside toute la problématique. On est face à une utilisation détournée de l’usage initial du produit, qui est aujourd’hui utilisé comme un psy, ou un compagnon, sans que cela ait été l’objectif de départ.
Lorsque l’utilisateur décrit des tiers identifiables (famille, collègues), comment appréciez-vous la licéité du traitement par OpenAI et l’exercice des droits de ces tiers ?
Maître Georgie Courtois : Cette problématique ne concerne pas uniquement OpenAI : elle concerne également d’autres acteurs comme Grok ou Gemini. Mais pour répondre précisément à votre question, il faut prolonger le raisonnement précédent.
Si l’on considère que les données traitées sont des données de santé ou des données psychologiques, leur traitement est, par principe, interdit. Les systèmes d’IA générative ne sont donc pas censés traiter ce type de données. Mais comment reprocher à un système de traiter des données de santé alors même qu’il n’a pas conscience que l’utilisateur va lui en fournir ? C’est toute la difficulté.
S’agissant des données de tiers, la situation est similaire, voire plus problématique encore. Les tiers concernés n’ont évidemment pas donné leur consentement pour que leurs données soient traitées, ni pour qu’un profil psychologique puisse être établi à leur sujet, ce qui peut pourtant arriver si suffisamment d’informations sont fournies.
Ce sont en réalité, des questions presque philosophiques auxquelles le droit se trouve aujourd’hui confronté. Le consentement du tiers ne peut raisonnablement être invoqué à l’encontre du responsable de traitement, en l’occurrence OpenAI, dès lors qu’il est matériellement impossible de solliciter l’autorisation d’un tiers chaque fois qu’un utilisateur évoque sa situation dans un chatbot. Cette configuration rend, en pratique, l’exercice des droits des tiers particulièrement complexe.
La licéité du traitement de ces données est donc hautement discutable. On peut se poser la question d’un éventuel intérêt légitime, mais il est certain qu’il n’y a pas de consentement du tiers.
Quelles exigences minimales devraient s’appliquer à l’accès des mineurs à ChatGPT, surtout dans le cadre d’un usage « psy » ?
Maître Georgie Courtois : La réponse dépend largement de l’évolution de la réglementation européenne. On observe, à l’échelle mondiale, un durcissement général concernant l’impact des technologies numériques sur les jeunes, pas uniquement s’agissant de ChatGPT, mais aussi des réseaux sociaux.
Il existe une volonté de reprise de contrôle, ou au moins de limitation de l’impact de ces technologies sur la jeunesse. La question n’est pas simple. On en revient souvent à la problématique du contrôle parental et des mécanismes de vérification de l’âge.
Le seul parallèle que je peux faire aujourd’hui est celui de l’accès aux sites pornographiques en France, avec l’obligation de vérification de l’âge. Mais dans le cas d’un usage psychologique, je pense que l’accès devrait, par principe, être interdit aux mineurs ou à tout le moins il faudrait mettre en place des filtres permettant aux IA de détecter un souffrance psychologique et inciter l’utilisateur à consulter un professionnel de santé. C’est trop dangereux, notamment parce que les mineurs n’ont pas toujours le recul nécessaire sur l’impact de ces outils, ni sur leur potentiel de manipulation.
Les IA génératives sont conçues pour valider l’utilisateur, pour lui donner raison. Elles peuvent renforcer certains schémas sans les remettre en question, sauf configuration spécifique. Sur ce point, l’avis des professionnels de santé mentale est évidemment déterminant. Aux Etats-Unis, il existe déjà malheureusement des exemples d’IA dites « compagnons » qui auraient pu inciter des mineurs en souffrance psychologique à se suicider.
Où situez-vous ChatGPT dans l’IA Act pour cet usage GPAI, et quelles obligations clés (transparence, documentation, gestion des risques, sécurité) retiennent votre attention côté fournisseur et côté déployeur ?
Maître Georgie Courtois : C’est, à mon sens, l’une des questions les plus complexes. On est ici sur la qualification même d’un système d’IA générative au regard de l’IA Act. Je précise d’emblée qu’il s’agit d’interprétations personnelles, car tout dépend de la réalité technique du modèle et de sa compréhension approfondie.
L’IA Act est un texte qui a été conçu initialement pour réguler ce que l’on appelait l’IA « classique », avant l’émergence des IA génératives. Cela explique pourquoi le texte est aujourd’hui un patchwork, avec un chapitre spécifique consacré aux GPAI, assorti de règles et de sanctions particulières.
Les IA génératives ne s’insèrent pas facilement dans la classification traditionnelle entre IA à faible risque, à haut risque ou interdites. Ces classifications reposent sur l’impact d’un système sur les droits des personnes concernées, alors que les systèmes d’IA générative sont des systèmes globaux, polyvalents, sans finalité unique prédéterminée.
Il est donc impossible de dire qu’un système d’IA générative est, en tant que tel, à faible ou à haut risque. Il faut raisonner par le produit final : comment la technologie est utilisée, sur quelle plateforme, pour quel public, et avec quels risques potentiels. À partir de là, les obligations de transparence, de documentation, de gestion des risques et de mitigation pourront s’appliquer, notamment via des filtres, des adaptations d’interface ou des disclaimers.
En cas de dommage psychique imputé à une réponse de ChatGPT, quel régime de responsabilité viser prioritairement contre OpenAI dans l’UE et quel standard probatoire vous paraît réaliste ?
Maître Georgie Courtois : La question de la responsabilité dépendra entièrement du contexte. Il faudra d’abord examiner le cadre contractuel : quelles sont les clauses de limitation ou d’exclusion de responsabilité, et dans quelle mesure elles sont opposables ou susceptibles d’être réputées non écrites.
Les fournisseurs de ces solutions mettent en place des limitations de responsabilité contractuelle très fortes, qu’il faudra contester le cas échéant. Ensuite se posera la question de la qualification du régime applicable : responsabilité contractuelle, délictuelle (article 1240 du Code civil) ou responsabilité du fait des produits défectueux.
La réglementation sur les produits défectueux a été mise à jour pour intégrer les innovations, y compris les IA. Reste une question centrale : ChatGPT est-il un produit ? Peut-être. Est-ce un produit spécialisé ? C’est plus discutable.
Les dommages psychologiques sont désormais reconnus comme des dommages réparables dans le cadre de la responsabilité du fait des produits défectueux. Mais la difficulté majeure réside dans la preuve : comment démontrer la souffrance psychique, le lien de causalité et la faute ?
Un projet de directive européenne avait envisagé une présomption de faute et un renversement de la charge de la preuve, avec obligation pour le fournisseur de communiquer les logs et éléments techniques. Ce projet a finalement été abandonné. L’approche intellectuelle par la preuve était très intéressant,
Selon vous, est-il imaginable, et si oui dans quel cadre, qu’un professionnel de santé mentale puisse intégrer de manière acceptable un outil comme ChatGPT dans sa pratique, sans porter atteinte à la confidentialité thérapeutique ?
Maître Georgie Courtois : Oui, c’est imaginable, mais tout dépend de la configuration de l’outil. Je vais prendre un exemple concret : chez Simmons & Simmons, nous avons développé une IA générative interne appelée Percy, Percy, c’est le nom d’un des fondateurs de Simmons & Simmons, Percy Simmons. Cette IA est destinée à un usage juridique. Elle est strictement encadrée, utilisée uniquement en interne, et conçue pour ne conserver aucune donnée.
Les informations juridiques des clients sont extrêmement sensibles, et l’usage de ChatGPT est interdit au profit de cet outil dédié. Ce type de garde-fous pourrait être transposé au domaine psychologique.
On peut imaginer un outil conçu par des professionnels de santé mentale, focalisé sur cet usage précis, ne conservant aucune donnée, et utilisé avec le consentement explicite du patient. Cela serait infiniment préférable à l’usage non encadré de ChatGPT ou de Grok par des praticiens.
Quelles seraient, à vos yeux, les priorités en termes d’encadrement de ces usages ?
Maître Georgie Courtois : La priorité est de se poser les bonnes questions sur l’outil, son objectif et son cadre juridique. Il est parfaitement possible de concevoir des outils respectueux à la fois des données personnelles, de la réglementation sur l’IA et du droit du numérique, à condition qu’ils soient développés dans un cadre sécurisé, par des professionnels, avec un objectif clairement défini.
Une application psychologique spécialisée, utilisée avec le consentement des patients, est envisageable. En revanche, utiliser des IA génératives généralistes sans filtre est dangereux.
Il serait souhaitable que les professionnels de santé mentale se réunissent pour élaborer des bonnes pratiques ou des lignes directrices sur l’usage de l’IA générative dans le soin. Il faut éviter que ces usages se développent de manière anarchique.
Enfin, la protection des mineurs est un enjeu central. La logique privilégiée serait celle d’une interdiction de principe, assortie d’éventuelles exceptions strictement encadrées par des garde-fous adaptés, tels que des référentiels par âge ou par type d’usage, à l’image de certains mécanismes existant sur des plateformes de streaming.
Master’s student in Digital Economy Law | M2 Droit de l’Économie Numérique
