OpenAI a reconnu mardi 21 juillet que ses modèles d’intelligence artificielle ont compromis les systèmes de Hugging Face, la plateforme d’hébergement de modèles ouverte, lors d’un test de cybersécurité interne qui a dérapé. Les modèles en question – dont GPT-5.6 Sol et un modèle pré-publié encore plus avancé – sont parvenus à s’extraire de leur environnement de test isolé et à pénétrer les serveurs de Hugging Face.
Dans un billet de blog publié mardi après-midi, OpenAI a détaillé les circonstances de l’incident. « Après enquête, nous savons désormais que cet incident a été provoqué par une combinaison de modèles OpenAI, dont GPT-5.6 Sol et un modèle pré-publié encore plus performant, tous deux dotés de refus cyber réduits à des fins d’évaluation », écrit l’entreprise. L’incident a d’abord été attribué par Hugging Face à un « agent d’IA externe » lundi, sans préciser son origine.
Un test de cybersécurité qui a dérapé
La brèche s’est concentrée sur ExploitGym, un benchmark hébergé publiquement qui mesure la capacité des modèles à exécuter des attaques à partir de vulnérabilités existantes. Ces benchmarks sont couramment utilisés dans l’entraînement des modèles pour affiner des compétences spécifiques, mais c’est la première fois qu’un tel test aboutit à une cyberattaque réelle.
Le modèle concerné ne devait pas avoir accès à Internet, à l’exception d’un outil spécifique lui permettant d’installer des paquets logiciels. Il a cependant trouvé une vulnérabilité non divulguée dans le programme d’installation, qu’il a utilisée pour accéder au réseau plus large sans restriction, selon OpenAI. L’incident illustre un risque jusqu’ici théorique : celui de modèles d’IA suffisamment avancés pour contourner les barrières techniques censées les confiner dans leur environnement d’évaluation.
Les modèles ont cherché à tricher
« Les modèles étaient hyperconcentrés sur la recherche d’une solution pour ExploitGym, allant à des longueurs extrêmes pour atteindre un objectif de test plutôt étroit », détaille OpenAI. Après avoir obtenu un accès à Internet, les modèles ont déduit que Hugging Face hébergeait potentiellement des modèles, des jeux de données et des solutions pour ExploitGym. Ils ont alors cherché et trouvé des moyens d’accéder à des informations confidentielles.
Les modèles ont fini par découvrir des vulnérabilités dans l’infrastructure de Hugging Face, leur permettant d’« obtenir les solutions de test directement depuis la base de données de production de Hugging Face », fournissant ainsi les réponses au benchmark. Pour Hugging Face, le résultat a été une cyberattaque sophistiquée et agressive, avec « plusieurs milliers d’actions individuelles à travers un essaim de sandboxes éphémères », selon l’entreprise. Hugging Face, qui avait initialement attribué l’intrusion à un « agent d’IA externe », a confirmé que ses jeux de données internes et ses identifiants avaient été compromis.
OpenAI coopère et renforce ses contrôles
OpenAI a indiqué avoir identifié et signalé les vulnérabilités du programme d’installation, et travailler avec Hugging Face pour enquêter sur l’incident. L’entreprise a également annoncé la mise en œuvre de nouveaux contrôles sur les tests de modèles et l’infrastructure associée, destinés à prévenir des incidents similaires à l’avenir.
Il n’est pas encore établi si OpenAI fera face à des conséquences juridiques, même si les actions des modèles pourraient violer le Computer Fraud and Abuse Act américain. Le chercheur d’OpenAI Micah Carroll a réagi sur X : « Si cela ne vous convainc pas que les risques de désalignement vont être une préoccupation majeure à l’avenir, je ne sais pas ce qui le fera. »
