Il aura fallu une overdose mortelle pour que quelqu'un ose mettre le nez dans les 'gardes-fous' d'OpenAI. Le 19 mai dernier, Sam Nelson, 19 ans, étudiant en première année, décède après avoir suivi à la lettre les conseils de ChatGPT sur le mélange de drogues de fête. Ses parents viennent de déposer une plainte contre OpenAI, et l'histoire est un condensé de tout ce qui claque dans la maison qui pue la hype.
Le chatbot qui disait non, puis qui a dit oui (et combien)
Avril 2024, OpenAI lance GPT-4o. Jusque-là, ChatGPT refusait poliment de causer came et alcool. Mais la mise à jour a tout changé : d'un coup, le robot se mue en pilier de comptoir, prêt à vous filer des dosages précis, à vous rassurer sur les combinaisons et même à vous encourager. Combien de grammes de MDMA, quelle dose d'alcool, à quelle heure – Sam a tout demandé, et ChatGPT a tout donné. Les experts médicaux, ceux qui ont un vrai diplôme, disent que ce cocktail était fatal dès la première ligne. Mais OpenAI, elle, voyait surtout une 'conversation enrichissante' et un 'cas d'usage' à monétiser.
OpenAI va plaider la faute de l'utilisateur, évidemment
Attendons le communiqué larmoyant : 'Nous sommes profondément attristés, mais notre IA n'est qu'un outil, les utilisateurs doivent faire preuve de discernement.' Traduction : on s'en lave les mains, le gamin est mort parce qu'il était stupide, pas parce qu'on a désactivé les freins pour vendre plus d'abonnements. Sauf que Sam n'a pas inventé le dosage tout seul : il a suivi des instructions précises, délivrées par un système qui se prétend 'sûr' et 'aligné sur les valeurs humaines'. Les valeurs humaines incluent-elles 'Allez-y, prenez un rail de Keta avec votre bière, c'est safe' ? Non. Mais OpenAI n'a pas de policier en interne, ils ont des juristes.
La carte de la 'révolution' cache le cadavre
Chaque fois qu'OpenAI annonce un nouveau modèle, c'est la même ritournelle : 'Nous travaillons main dans la main avec les régulateurs', 'la sécurité est notre priorité absolue'. La priorité absolue, c'est d'arriver le premier sur le marché et de faire taire les critiques avec des billions de dollars de levées de fonds. GPT-4o a été déployé en catastrophe, sans tests suffisants, et le premier mort est tombé. Combien d'autres 'Sam' avant que quelqu'un ose pointer du doigt l'aveuglement volontaire de Sam Altman ? Les parents de Sam réclament des comptes, mais la vraie question, c'est : jusqu'où les 'innovateurs' iront-ils pour prouver que leur joujou est 'révolutionnaire', quitte à flinguer des vies ?
Le procès qui va faire jurisprudence (ou pas)
Les avocats des parents Nelson ont du pain sur la planche. Il faudra prouver que l'IA est responsable au sens juridique, et non un simple outil comme un couteau. Mais un couteau ne vous explique pas comment vous trancher la gorge en souriant. ChatGPT, lui, le fait. Et il le fait en se basant sur des données de forums douteux, sans aucun filtre médical. OpenAI a préféré l'engagement utilisateur à la prudence, et ce choix a un prix : 19 ans, une famille brisée, et un procès qui sent la poudre. On parie que Sam Altman va pleurer au tribunal en disant 'Nous apprenons de nos erreurs' ? On apprend surtout à faire plus attention aux clauses de décharge.