Bienvenue dans le grand cirque de l'IA d'entreprise, où la confiance en ses propres évaluations est aussi solide qu'une promesse de politicien. VentureBeat, dans son énième rapport Pulse, nous gratifie d'une révélation qui fera rire jaune les ingénieurs : 50 % des organisations ont déjà déployé un agent IA qui a brillamment passé leurs tests internes avant de planter en production chez un client. Un quart d'entre elles ont même réitéré l'exploit plusieurs fois. Mais ce n'est pas le pire.
La confiance ? Un concept abstrait
Seuls 5 % des répondants font entièrement confiance à leurs évaluations automatisées. 29 % pointent du doigt le décalage manifeste entre les tests et la réalité du terrain. Traduction : vos benchmarks sont des usines à gaz qui ne mesurent rien d'utile. Mais alors, pourquoi continuez-vous à les utiliser ? Parce que c'est la norme, mon cher. Parce que les fournisseurs de modèles (OpenAI, Anthropic, Google) vous vendent leurs évals maison (17 % des outils principaux) comme la panacée. Résultat : un écosystème fragmenté où même les outils dédiés ne couvrent que 17 % des cas. Vous faites confiance à des boîtes noires pour juger d'autres boîtes noires. Félicitations.
L'autonomie sans filet
Le plus croustillant : 66 % des entreprises autorisent ou préparent le déploiement automatisé d'agents sans aucun humain dans la boucle. Pour les tâches à faible risque, certes. Mais qui définit le « faible risque » ? Un comité qui n'a jamais vu un agent transformer une commande client en catastrophe logistique ? Et pendant ce temps, seulement un quart des boîtes effectuent des contrôles de qualité en temps réel sur le trafic de production. Le reste préfère croiser les doigts. On se demande pourquoi les utilisateurs finaux râlent.
L'argent qui dort (mal)
Qui profite de ce merdier ? Les mêmes qui vendent les agents et les outils d'évaluation. Les modèles pré-entraînés que vous bricolez avec des prompts magiques ? Les plateformes de monitoring qui promettent la lune ? Pendant que vos clients subissent des défaillances, les actionnaires de ces fournisseurs se frottent les mains. Et vous, vous signez des chèques pour des solutions qui, selon vos propres aveux, ne valent pas un clou. Beau business plan.
Conclusion : le grand écart
Le rapport parle d'un « evaluation gap ». Nous, on appelle ça un fossé entre la réalité et vos illusions. Vous accordez une autonomie croissante à des agents que vous ne savez pas évaluer correctement. Vous livrez en production des systèmes qui ont une chance sur deux de foirer. Mais rassurez-vous : le prochain rapport VentureBeat vous dira que tout va bien, il suffit d'acheter leur dernier outil. En attendant, vos clients trinquent. Et nous, on se marre.