En seulement quelques années, l'IA s'est intégrée dans les opérations commerciales quotidiennes, de nombreuses entreprises évoluant rapidement vers l'automatisation des processus et s'appuyant sur des systèmes pilotés par l'IA. Mais selon Georg Meyer, stratège et expert en systèmes, la rapidité et la commodité peuvent avoir un coût, en particulier lorsque les entreprises perdent la visibilité sur le fonctionnement réel de leurs systèmes les plus importants.
Meyer met en garde contre l'un des plus grands risques : un faux sentiment de compréhension. « Les entreprises peuvent penser qu'elles savent ce qui se passe en raison des instructions qu'elles ont données », explique-t-il, « mais elles n'ont pas une véritable visibilité sur ce qui se passe à l'intérieur de la boîte. »
Les systèmes d'IA modernes, en particulier les grands modèles de langage, sont puissants mais difficiles à inspecter complètement. Leurs processus internes ne sont pas toujours transparents, et leurs résultats peuvent varier en raison d'un caractère aléatoire intégré. Cela crée des défis en matière de cohérence et de fiabilité, en particulier lorsque l'IA est utilisée dans des fonctions commerciales essentielles. « Il existe des risques cachés pour la reproductibilité et la fiabilité », déclare Meyer, « qui peuvent être catastrophiques lorsqu'ils affectent le cœur de l'entreprise. »
Pour Meyer, la solution n'est pas d'éviter l'IA, mais de s'assurer que la compréhension humaine reste centrale. Les entreprises ont toujours besoin de personnes qui savent comment fonctionnent les systèmes, même si ces systèmes sont soutenus par l'IA.
Gains à court terme, risques à long terme
Une autre préoccupation soulignée par Meyer est l'impact à long terme de l'IA sur l'expertise au sein des organisations. Bien que l'IA puisse accélérer considérablement les flux de travail et aider à transformer les connaissances en action, une dépendance excessive à son égard peut entraîner des conséquences involontaires.
« Une dépendance excessive ou insuffisante peut être risquée », déclare Meyer. « L'IA peut réduire le temps nécessaire pour appliquer l'expertise, mais elle soulève une question importante : comment former la prochaine génération d'experts s'ils ne développent jamais les fondamentaux ? »
À court terme, l'IA peut rendre les équipes plus productives. Mais si les employés commencent à en dépendre pour la réflexion et la résolution de problèmes essentielles, les entreprises risquent de perdre l'expertise nécessaire pour gérer des situations complexes, inattendues ou nécessitant une touche humaine. Meyer estime que les entreprises et les éducateurs doivent être intentionnels dans le maintien des connaissances fondamentales, en particulier pour les scénarios où l'on ne peut pas compter sur l'IA.
La responsabilité appartient toujours aux humains
Le problème le plus important que soulève Meyer est peut-être celui de la responsabilité. À mesure que les systèmes d'IA assument davantage de responsabilités, certaines organisations peuvent être tentées de rejeter la faute lorsque les choses tournent mal. Meyer est clair : ce n'est pas une approche viable.
« La responsabilité, et son équivalent juridique, la responsabilité légale, sont fondamentalement attachées aux humains », dit-il. « Vous ne pouvez pas vous laver les mains d'un mauvais résultat en disant "c'est l'IA qui l'a fait". »
Il souligne que de nombreuses entreprises tentent déjà de naviguer dans cette zone grise. Les fournisseurs d'IA incluent souvent des clauses de non-responsabilité indiquant que leurs systèmes peuvent commettre des erreurs, tandis que des secteurs comme l'automobile promeuvent des fonctionnalités de « conduite autonome » tout en tenant le conducteur humain responsable. Cependant, Meyer soutient que si les systèmes sont vraiment autonomes, la responsabilité doit être transférée à ceux qui les conçoivent et les déploient.
Cela s'applique même dans des cas d'utilisation plus petits et quotidiens. Par exemple, les entreprises utilisant l'IA pour créer des applications qui gèrent des données sensibles ne peuvent pas supposer que la technologie gérera correctement la sécurité. « L'IA n'est pas responsable des données », déclare Meyer. « C'est l'entreprise qui l'est. »
