Encore une startup qui croit avoir trouvé la pierre philosophale de l'interprétabilité. Anthropic, la petite dernière qui voulait sauver l'IA du grand méchant commercial, dévoile son « Jacobian Lens ». Un outil censé nous montrer ce qui se passe dans la tête de Claude, leur célèbre grand modèle de langage. Mais quand on gratte le vernis, c'est juste un miroir aux alouettes. On a regardé dedans, et devinez quoi ? C'est le vide intersidéral.
Le Jacobian Lens : un nom pompeux pour une vieille idée
Les chercheurs d'Anthropic ont appliqué une technique mathématique connue depuis des lustres — le Jacobien, utilisé en optimisation et en analyse de réseaux de neurones depuis les années 90. Ils lui collent un nom sexy, ajoutent un communiqué de presse bien huilé, et hop : « Révolution de la transparence ». Sauf que le Jacobien, c'est juste un dérivé partiel de la sortie par rapport aux paramètres. Rien de nouveau sous le soleil de San Francisco. Les vrais chercheurs en IA haussent les sourcils. Les marketeurs, eux, se frottent les mains.
Ce qu'ils ont « découvert » : des concepts, vraiment ?
Anthropic prétend avoir trouvé un « espace caché » où Claude « réfléchit » à des concepts. Sauf que cet espace, c'est littéralement l'espace latent de toutes les couches du réseau. Chaque étudiant en deep learning sait que les couches intermédiaires encodent des représentations abstraites. Appeler ça une découverte, c'est comme s'extasier devant un nuage qui ressemble à un lapin. « Regardez, Claude pense à un chat ! ». Ouais, et alors ? On sait depuis 2017 que les réseaux de neurones ont des neurones qui s'activent pour des concepts. Le vrai boulot, c'est de comprendre comment ils s'articulent. Et là, le Jacobian Lens ne fait que montrer des gradients qui bougent. Pas de mécanisme causal, pas de structure. Du bruit.
Qui se fait rouler ? Les investisseurs, les journalistes, et vous
Anthropic a levé des centaines de millions de dollars sur la promesse d'une IA plus sûre et plus transparente. Le Jacobian Lens est leur dernière carte de crédit auprès des médias technophiles. Rappel : le marché de l'interprétabilité pèse des milliards, et chaque startup veut sa part. Pendant ce temps, les vrais problèmes (biais, hallucinations, coûts énergétiques) sont soigneusement ignorés. On vous sert une lentille déformante en vous faisant croire que c'est un télescope. Les journalistes avalent tout, les investisseurs applaudissent, et Claude continue de produire des absurdités avec le sourire.
La réalité : Claude reste une boîte noire, mais maintenant avec une lucarne embuée
Le Jacobian Lens ne rend pas Claude plus sûr. Il ne permet pas de corriger une erreur. Il ne vous explique pas pourquoi il a écrit une insulte ou une fake news. C'est un gadget de plus dans la boîte à outils des chercheurs d'Anthropic pour justifier leur existence. Alors oui, ils ont « vu » des motifs. Mais c'est comme regarder un tableau impressionniste à travers un prisme : vous voyez des taches de couleur, pas le tableau. Et ils appellent ça une « fenêtre sur l'âme ». Foutaise. Anthropic, si vous voulez vraiment la transparence, commencez par ouvrir vos modèles en open source. En attendant, votre Jacobian Lens, gardez-le pour la poudre aux yeux.