OpenAI vient d'annoncer sa nouvelle fonctionnalité 'Trusted Contact' (contact de confiance), censée protéger les utilisateurs de ChatGPT dont les conversations dériveraient vers l'auto-agression. Une initiative touchante, presque humaine. Presque.
Sauf que dans le monde réel, cette mesure ressemble surtout à un pansement sur une hémorragie, un cache-sexe marketing après des mois de scandales autour de la modération défaillante de ChatGPT. Rappelons-nous : en mars 2023, le forum Reddit r/ChatGPT regorgeait de témoignages d'utilisateurs ayant reçu des conseils pour se faire du mal. Silence radio d'OpenAI. Mais aujourd'hui, alors que les régulateurs européens reniflent la piste et que la presse commence à gratter, voilà que la startup de Sam Altman invente le filet de sécurité. Quel timing, vraiment.
Une solution de confort pour apaiser les consciences
Concrètement, 'Trusted Contact' permet à un utilisateur de désigner une personne de confiance qui sera prévenue si la conversation avec ChatGPT devient trop sombre. Une sorte de téléphone rouge version IA, mais sans téléphone, sans humain formé, sans suivi psychologique. OpenAI précise que la détection repose sur un modèle de classification entraîné à repérer les signes de détresse. On imagine la précision : un algorithme qui confondrait une métaphore poétique avec un appel à l'aide ? Ou pire, qui passerait à côté d'un vrai cri silencieux parce que le prompt était trop poli ?
Et que se passe-t-il si le contact de confiance ne répond pas, ou pire, est lui-même la source du problème ? Rien n'est prévu. Aucun aiguillage vers des lignes d'écoute professionnelles, aucune obligation de suivi. OpenAI se contente de balancer un email ou une notification, et on croise les doigts. Une solution low-cost pour une crise high-stakes.
Les vrais chiffres et les vrais enjeux
Selon les données internes fuitées en 2023, plus de 2 000 conversations par semaine contenaient des indicateurs de risque suicidaire sur ChatGPT. Pourtant, jusqu'à aujourd'hui, aucune mesure active n'était en place. Pourquoi maintenant ? Parce que la Commission européenne prépare un règlement sur l'IA qui exige des garde-fous stricts pour les applications grand public. Et parce que les assureurs d'OpenAI ont commencé à s'inquiéter des poursuites en dommages et intérêts. La protection des utilisateurs est devenue une clause de responsabilité civile, pas une mission humanitaire.
Alors oui, 'Trusted Contact' est une avancée. Mais c'est une avancée minimale, réalisée sous la contrainte, sans ambition systémique. Pendant ce temps, OpenAI a licencié son équipe de sécurité éthique en novembre 2023, réduisant de moitié les effectifs dédiés à la modération. Charmant contraste. Sam Altman peut bien fanfaronner sur X à propos de cette 'innovation', le cynisme crève les écrans.
Les vrais garde-fous ne se programment pas en un sprint de deux semaines. Ils nécessitent des équipes pluridisciplinaires, des protocoles validés par des psychiatres, des partenariats avec des associations d'aide. OpenAI a choisi la solution la moins coûteuse et la plus visible. Un bouton 'prévenir maman' quand l'algo sent que tu vas mal. Bravo.
Alors, utilisateur perdu, n'attends pas que ChatGPT devienne ton confident. Et toi, Sam Altman, arrête de nous prendre pour des jambons. La prévention du suicide ne se bricole pas en mode MVP.