Mozilla a annoncé fièrement que son outil d'IA, Mythos, a déniché 271 vulnérabilités dans Firefox avec « presque aucun faux positif ». Traduction : la Fondation a trouvé son nouveau gourou technologique, et elle y croit dur comme fer. Accrochez-vous, on va secouer le cocotier.
271 bugs parfaits ? La foi déplace les montagnes (et les bugs)
Selon Mozilla, Mythos atteindrait un taux de faux positifs si bas qu’il frôle le zéro absolu. Vraiment ? 0.03% de faux positifs sur 271 résultats, c’est le genre de statistique qui ferait pâlir n’importe quel statisticien sérieux. Soit leurs développeurs sont des demi-dieux de l’IA, soit ils ont oublié de compter les vrais négatifs – ces bugs que l’IA n’a pas vus mais qui existent. Le communiqué parle de « buy-in complet » sur la découverte de bugs assistée par l’IA. Autrement dit, Mozilla a troqué son scepticisme contre une foi aveugle. Les ingénieurs humains peuvent aller se rhabiller.
Myhtos vs. réalité : qui regarde dans le rétroviseur ?
Le problème avec les « presque zéro faux positifs », c’est que ça sent le coup de com’. 271 bugs détectés, c’est un chiffre rassurant, mais combien de vrais bugs sont passés à travers les mailles du filet ? Les recherches en cybersécurité montrent que les IA de détection de vulnérabilités excellent à trouver ce qu’elles ont appris à chercher – et ratent superbement tout le reste. En clair, Mozilla se vante d’avoir trouvé 271 aiguilles dans une botte de foin, mais elle a peut-être juste déplacé le foin. Et pendant ce temps, les développeurs humains, qui signalent chaque jour des centaines de bugs dans Firefox, sont relégués au rang de simples assistants de l’IA.
Interpellation directe : Mozilla, qui va payer l’addition ?
Cher Mozilla, vous parlez de « confiance totale » dans l’IA. Mais avez-vous seulement mesuré le taux de vrais négatifs ? Les bugs que Mythos n’a pas trouvés ? Non, parce que ce serait moins vendeur. Pendant que vous pavoisez, des vulnérabilités réelles restent dans l’ombre, et les utilisateurs de Firefox – vos utilisateurs – sont les cobayes de votre nouvelle religion. Vous dites avoir « complètement adhéré » à la détection de bugs par IA. Mais adhérer, ce n’est pas prouver. Et prouver, c’est fournir des métriques complètes, pas juste un joli chiffre de 271. Alors, on arrête le mythe et on publie les vrais chiffres ? Ou on continue à faire l’autruche numérique ?
Un mythe bien commode
Mythos est un joli nom pour un outil, mais ne nous y trompons pas : c’est une énième promesse d’IA miracle. Les faux positifs inexistants, c’est le rêve de tout RSSI – et le cauchemar de tout testeur honnête. Car si l’IA ne se trompe jamais, pourquoi Mozilla a-t-il encore besoin d’une équipe de sécurité humaine ? Posez la question à leurs employés : ils risquent de répondre, entre deux licenciements, que le mythe a un prix.
En attendant, 271 bugs, c’est bien. Mais les vrais problèmes sont ailleurs : dans la transparence des métriques, dans l’aveuglement volontaire, et dans cette nouvelle mode qui veut que l’IA soit infaillible. Mozilla a acheté le mythe. À nous de ne pas l’avaler.