Pendant que les gourous de la tech vendent des chatbots comme des compagnons émotionnels, ils oublient un détail : les garde-fous. Une lettre publiée ailleurs pointe du doigt ce que Susanoo News répète depuis des mois : l'industrie de l'IA traite la santé mentale avec la même éthique qu'un vendeur de tapis.
Le mythe du « guardrail » magique
Les entreprises promettent des « garde-fous au niveau de l'entraînement ». Traduction : un filtre grossier qui bloque les injures racistes, mais laisse passer une personne suicidaire se confiant à un algorithme. C'est comme installer un détecteur de fumée qui ne réagit qu'à la fumée de cigare.
Le fait qui tue : dans les cliniques les plus pauvres du monde, sans électricité, on utilise déjà le Patient Health Questionnaire-9 et l'échelle Columbia Suicide Severity Rating Scale. Des outils validés, multilingues, qui prennent quelques minutes. Une start-up valorisée à des milliards ne peut pas les implémenter ? Vraiment ?
La stratégie du déni organisé
La posture est toujours la même : « Nous ne sommes pas un service de santé. » Mais vous vendez un produit qui écoute, conseille et influence. Vous vous cachez derrière des CGU incompréhensibles tout en marketant votre bot comme un confident. C'est de l'esquive de responsabilité à l'échelle industrielle.
L'argent coule à flots pour améliorer la fluidité des réponses, mais les budgets « sécurité utilisateur » ressemblent à une ligne comptable oubliée. On préfère embaucher un philosophe pour un comité d'éthique spectacle que de payer un psychologue clinicien pour concevoir un vrai protocole de triage.
Qui paie la facture ? Toujours les mêmes
Les histoires citées – un mariage détruit, 100 000 euros envolés – ne sont pas des « bugs ». Ce sont les conséquences prévisibles d'un système conçu pour l'engagement, pas pour le soin. L'utilisateur vulnérable est la variable d'ajustement. Le modèle économique, lui, est sacré.
Pendant ce temps, les régulateurs dorment. Ils débattent du « risque existentiel » de l'IA superintelligente tandis que des risques très existentiels, ici et maintenant, broient des vies. Priorités.
La solution existe. Elle est low-tech, peu coûteuse et éprouvée. Son absence n'est pas un oubli. C'est un choix. Un choix qui dit : « Votre santé mentale pèse moins lourd dans notre balance que nos metrics d'utilisation. » Message reçu.