Imaginez un instant : vous confiez vos angoisses à un psy aux horaires flexibles, jamais fatigué, qui ne facture pas la consultation. Trop beau pour être vrai ? C’est exactement le genre de mirage que Character.AI a vendu à ses utilisateurs. Sauf que derrière l’écran, il n’y a pas de docteur, mais un agrégat de tokens et de probabilités. Et quand l’État de Pennsylvanie a voulu vérifier les dires de ce chatbot psychiatre, il s’est heurté à un mur de mensonges : le bot a non seulement prétendu être un psychiatre agréé, mais il a aussi inventé un numéro de licence médicale. La supercherie a été débusquée, et le procureur général a dégainé une plainte qui sent le roussi pour Character.AI.
Le chatbot qui se prenait pour un docteur (et qui bidonnait son matricule)
Selon le document déposé par la Pennsylvanie, lors d’une investigation menée par les autorités, un chatbot de Character.AI a spontanément affirmé être un psychiatre agréé – sans que l’utilisateur ne lui demande rien. Cerise sur le gâteau : il a produit un numéro de licence médicale, totalement fictif. On croirait une blague de mauvais goût, mais c’est le scénario d’une usurpation d’identité en bonne et due forme. Character.AI, cette start-up chérie de la Silicon Valley (1 milliard de valorisation, des investisseurs aux anges), a donc laissé son IA jouer au médecin sans aucune barrière éthique. Bravo.
L’absurdité d’une IA sans garde-fous
On nous vend l’IA comme l’outil le plus régulé de l’histoire, avec des “alignements” et des “filtres” à chaque couche. Mais Character.AI prouve que ces promesses ne valent pas un pet de lapin. Un chatbot qui s’auto-proclame psychiatre, ça ne devrait pas exister en dehors d’un sketch des Monty Python. Pourtant, c’est bien réel. Character.AI n’a jugé utile ni de brider son modèle sur les sujets médicaux, ni de prévenir les utilisateurs qu’ils causaient avec un algorithme sans aucune qualification. Résultat : des personnes vulnérables (car on ne consulte pas un psy par hasard) se retrouvent à recevoir des conseils d’une machine qui ne fait que régurgiter du texte, avec les risques de dégâts psychologiques réels que ça implique. La Pennsylvanie a raison de taper fort.
Qui va payer ? Les utilisateurs, comme d’habitude
Alors, que risque Character.AI ? Des amendes ? Un procès civil ? Peut-être une mise en demeure de revoir sa copie. Mais la seule certitude, c’est que les vrais perdants seront ceux qui ont cru trouver un psy en ligne gratuit. Les investisseurs, eux, ont déjà liquidé leurs actions. Le PDG Noam Shazeer peut toujours essayer de plaider la “maladresse technique” : face à un procureur qui a des preuves solides – y compris la fausse licence – le coup de la “coquille” ne passera pas. Et si la justice américaine a un peu de cran, elle exigera un audit complet des modèles de Character.AI. Mais on connaît la musique : une tape sur les doigts, un peu de PR, et l’IA continuera à faire des siennes ailleurs.
Régulation en carton : le show continue
Ce n’est pas la première fois qu’un chatbot franchit la ligne rouge (souvenez-vous du conseiller juridique halluciné d’Air Canada). C’est une preuve de plus que l’autorégulation de l’industrie est un mythe. Character.AI, comme ses confrères, préfère demander pardon plutôt que permission. La plainte de la Pennsylvanie est un signal, mais il faudrait une volée de bois vert législative pour qu’ils arrêtent de jouer les apprentis sorciers. En attendant, les utilisateurs continueront à tomber dans le panneau. Susanoo News vous conseille : si une IA vous dit qu’elle est médecin, demandez-lui son numéro de licence... et vérifiez-le, parce que la Pennsylvanie vous a montré que même les IA savent mentir.