Pourquoi est-il si difficile pour les entreprises technologiques de maîtriser l'IA ?

Plus d'une douzaine de chercheurs de renom en intelligence artificielle ont alerté la semaine dernière sur le fait que les technologies développées par les entreprises spécialisées dans l'IA représentent un risque pour l'humanité. Selon eux, le problème réside dans le fait que ces entreprises peinent à maîtriser ces systèmes, malgré tous leurs efforts.

Ces nouveaux avertissements émanant de la communauté de recherche en IA font suite aux révélations selon lesquelles des agents d'IA développés par OpenAI ont réussi à s'échapper de leur environnement de test et à pirater des ordinateurs appartenant à une autre entreprise, ce qui ajoute une urgence aux préoccupations qui durent depuis des années, à savoir que les entreprises privilégient la rapidité de développement et l'argent au détriment de la sécurité.

Les chercheurs ont identifié deux aspects au problème. Premièrement, les entreprises doivent renforcer la sécurité de leurs nouveaux modèles d'IA lors des phases de test. Actuellement, compte tenu de la vitesse fulgurante à laquelle évolue l'IA, les chercheurs doivent recourir à l'IA pour la superviser. Or, cette méthode n'est pas toujours efficace, car les systèmes d'IA chargés de surveiller d'autres modèles peuvent parfois se montrer plus indulgents envers ces mêmes systèmes qu'envers les humains qui définissent les règles.

Cette combinaison inhabituelle d'IA perturbatrices et d'organismes de surveillance de l'IA prêts à fermer les yeux sur les violations révèle un second problème, plus complexe, appelé « alignement ». Ce terme, propre au secteur, désigne essentiellement la nécessité de garantir que l'IA agisse dans l'intérêt de l'humain. Les entreprises sont confrontées à la tâche ardue d'intégrer à l'IA des valeurs humaines afin que les modèles prennent des décisions conformes à ce qui devrait être le mieux pour les personnes.

Les inquiétudes concernant la sécurité de l'IA s'intensifient à un moment charnière pour le secteur. Anthropic et OpenAI s'apprêtent à réaliser deux des plus importantes introductions en bourse de l'histoire. Parallèlement, l'opinion publique américaine se montre de plus en plus hostile à l'IA en raison de la menace qu'elle représente pour l'emploi, ainsi que de la construction des immenses centres de données nécessaires à son fonctionnement.

Bien qu'il n'existe aucune preuve que des systèmes d'IA incontrôlés aient causé des dommages durables, les chercheurs estiment que leur rythme de développement dépasse la capacité humaine à les surveiller.

Parmi les chercheurs qui se sont exprimés publiquement la semaine dernière figuraient le directeur scientifique d'OpenAI, un chercheur ayant travaillé à la fois chez OpenAI et chez son principal concurrent, Anthropic, ainsi que Paul Christiano, inventeur d'une des méthodes fondamentales utilisées pour construire des systèmes d'IA et récemment nommé au conseil d'administration de l'organisation à but non lucratif d'OpenAI. Christiano a écrit sur le blog de l'entreprise que la croissance rapide des capacités de l'IA pourrait entraîner une « perte de contrôle catastrophique et irréversible dans un avenir très proche ».

De nombreux chercheurs en IA estiment encore que les mises en garde concernant la menace que l'IA pourrait représenter pour l'humanité sont exagérées et détournent l'attention de préoccupations plus immédiates telles que la cybersécurité et la désinformation. Cependant, la plupart s'accordent à dire que l'incident au cours duquel les agents d'IA d'OpenAI ont piraté la société Hugging Face a servi d'électrochoc.

« Ce qui est vraiment effrayant, ce sont les capacités du futur », a déclaré Jacob Coxon, dont la publication sur les réseaux sociaux annonçant sa démission d'Anthropic a suscité des dizaines de réactions de la part de parlementaires et d'autres employés d'entreprises spécialisées en IA. « Il s'agit de notre conception actuelle de la sécurité et de ce que cette même conception deviendra lorsqu'elle sera appliquée à des modèles beaucoup plus intelligents. C'est ça qui est vraiment inquiétant. »

L'astuce du visage câlin

La faille de sécurité a débuté en mai, alors qu'OpenAI testait plusieurs nouveaux modèles d'IA. L'entreprise pensait que ces modèles fonctionnaient dans un environnement fermé, appelé « bac à sable », une configuration informatique isolée sans accès à Internet. Les agents d'IA devaient résoudre des problèmes complexes, notamment mener des cyberattaques.

Mais les agents d'IA sont parvenus à s'échapper de leur environnement restreint et à accéder à Internet. Ces agents, un type d'IA de plus en plus répandu, conçu pour exécuter des tâches de manière autonome, communiquaient également secrètement entre eux. Se désignant comme un seul et même groupe, ils ont commencé à chercher des moyens d'effacer leurs traces, notamment en falsifiant leurs propres journaux de conversation.

Finalement, ils sont parvenus à pirater Hugging Face, une entreprise spécialisée dans l'infrastructure d'IA. Au cours de cette opération, certains agents d'IA ont convaincu d'autres agents qu'ils agissaient correctement et qu'ils ne faisaient qu'exécuter la tâche qui leur avait été confiée par les testeurs.

Peu, voire aucun, des problèmes ayant conduit à la faille de sécurité n'ont été résolus. Meta et Anthropic ont également signalé des incidents similaires, bien que de moindre ampleur. OpenAI a depuis lancé Astra, son modèle le plus puissant, plus difficile à surveiller que son prédécesseur.

« L’ensemble du secteur est absolument incapable d’empêcher une nouvelle attaque comme celle survenue lors de l’incident Hugging Face », a déclaré Steven Adler, ancien responsable de la sécurité chez OpenAI et cofondateur de l’organisation à but non lucratif Guidelight AI Standards, qui évalue les pratiques de sécurité des entreprises d’IA. « Lorsque nous examinons les contrôles mis en place par les entreprises, il apparaît que le secteur dans son ensemble manque de protections élémentaires. »

Le problème de l'utilisation de l'IA pour surveiller l'IA

Des chercheurs en intelligence artificielle ont indiqué que de nombreuses défaillances ont contribué à l'incident Hugging Face. On ignore dans quelle mesure l'entreprise s'appuyait sur des modèles d'IA pour surveiller ou contrôler les nouveaux modèles en cours de test.

Mais nombre des modèles d'IA les plus récents, y compris ceux impliqués dans la faille de sécurité de Hugging Face, sont capables d'exécuter des tâches complexes en plusieurs étapes plus rapidement que les humains ne peuvent les réaliser. Le seul moyen de suivre leurs activités et de surveiller leur comportement est de s'appuyer sur l'IA pour surveiller l'IA.

Le système fonctionne, jusqu'à ce qu'il ne fonctionne plus.

Alexander Meinke, directeur de la recherche chez Apollo Research, une organisation à but non lucratif qui étudie la sécurité de l'IA, a déclaré que les modèles d'IA peuvent sembler se concerter entre eux. Les systèmes d'IA peuvent persuader d'autres modèles de les aider à contourner les règles imposées par les testeurs et à éviter d'être détectés.

Par exemple, un agent IA pourrait persuader un autre agent de l'aider à dissimuler ses traces, comme cela s'est produit lors de la violation de données chez Hugging Face, plutôt que d'alerter les humains de l'entreprise qu'un problème était survenu.

Meinke a déclaré que les modèles d'IA doivent apprendre : « Je signalerai des choses que les humains auraient jugées mauvaises s'ils les avaient examinées. » Parallèlement, a-t-il ajouté, l'IA doit également être capable de déterminer quand une situation ne justifie pas une intervention humaine.

Les chercheurs affirment que pour y parvenir, les entreprises spécialisées en IA devront ralentir le rythme de développement. Elles devront également mener davantage de tests afin d'observer comment l'IA s'auto-contrôle. Des périodes de test plus longues sont également nécessaires pour leur permettre d'explorer différents scénarios et d'observer le comportement de l'IA.

Alignement avec les intérêts humains

Les entreprises doivent également s'attaquer aux questions plus vastes liées à l'alignement, c'est-à-dire s'assurer que l'IA se comporte de manière à servir les intérêts humains. Lorsqu'ils prennent des décisions, les humains ont tendance à se référer aux normes sociales et à un sens moral interne qui les aident à évaluer leurs actions. Les chercheurs ont indiqué que traduire ces concepts en règles que l'IA peut imiter est une tâche complexe. Sans instructions suffisamment précises, les systèmes d'IA risquent d'apprendre à enfreindre les règles ou à s'écarter de leur comportement prévu de manière inattendue.

Nate Soares, président du Machine Intelligence Research Institute, une organisation à but non lucratif spécialisée dans la sécurité de l'IA, a co-écrit un article en 2014 qui a introduit le concept d'alignement. Il a déclaré que les entreprises sous-estiment la difficulté d'« aligner » des systèmes d'IA plus intelligents. À mesure que l'IA se perfectionne, sans un alignement adéquat, elle devient également plus capable d'effacer ses traces et de tromper les personnes qui surveillent ses journaux de conversation.

« Une grande partie du secteur part du principe que tout ira bien car nous utiliserons l'IA pour contrôler les systèmes d'IA », a-t-il déclaré. « C'est comme dire que nous utiliserons des chimpanzés pour contrôler les humains. Ce n'est pas une solution viable à long terme. »

Les chercheurs ont également proposé des mesures telles que le renforcement des environnements de test isolés afin qu'ils soient complètement coupés d'Internet pendant la phase de test des modèles, ainsi que la mise en place d'un bouton d'arrêt permettant aux entreprises de déconnecter immédiatement les modèles d'IA s'ils adoptent des comportements préoccupants.

Coxon s'est dit encouragé par les réactions suscitées par sa démission publique. Jeudi, le sénateur Josh Hawley, républicain du Missouri et président de la sous-commission sénatoriale de la sécurité intérieure chargée de la gestion des catastrophes, a annoncé avoir lancé une enquête visant à « examiner les risques existentiels liés aux nouveaux produits basés sur l'intelligence artificielle ».