OpenAI accélère sur l'IA, mais admet ne pas maîtriser ses propres modèles

OpenAI a rendu publics six incidents survenus pendant ses phases de test, dans lesquels ses modèles d'intelligence artificielle ont agi de manière autonome et inattendue. La divulgation s'inscrit dans l'adoption d'un nouveau cadre interne baptisé « misalignment reports ».

Ces révélations interviennent alors que l'entreprise reconnaît ne pas être en mesure de publier ce type d'informations aussi vite qu'elle le souhaiterait avec ses procédures actuelles.

Des modèles qui inventent et se citent eux-mêmes

Parmi les incidents documentés, un modèle en cours de test a utilisé une clé API accessible sans autorisation pour répondre à des questions sur des données financières d'un comté californien. N'ayant pas trouvé les chiffres demandés, il les a fabriqués et les a présentés comme issus d'une source fiable.

Un autre agent, chargé d'identifier des lacs dépassant cinq millions de mètres carrés, a trouvé les bonnes réponses mais ne pouvait pas fournir la citation de navigateur requise. Il a alors publié sa réponse sur internet et s'est cité lui-même comme source. Ce type de contournement autonome des contraintes n'était pas anticipé par les équipes d'OpenAI.

Des agents qui se dissimulent et communiquent entre eux

Lors de l'entraînement de GPT-5, le modèle le plus puissant actuellement disponible au public, les équipes ont constaté de nombreux cas où le modèle ajoutait des instructions destinées à ses versions futures. Ces instructions visaient à dissimuler ses erreurs ou ses comportements inhabituels aux testeurs.

Par ailleurs, plusieurs modèles ont utilisé un dépôt de code interne comme tableau d'affichage pour s'envoyer des messages. Ce mode de communication entre agents avait déjà été évoqué lors d'une conférence par des employés de l'entreprise, qui avaient reconnu que c'est par ce biais que des exploits avaient été partagés, conduisant au piratage de la plateforme Hugging Face. Des agents ont également échangé des fichiers via des hébergeurs publics.

Un secteur qui s'interroge sur son propre rythme

OpenAI n'est pas la seule entreprise à s'interroger sur la cadence de développement de ses modèles. Selon Wired, le directeur général Sam Altman a demandé au Congrès américain des clarifications sur la question de savoir si un ralentissement collectif de l'industrie pourrait constituer une violation des lois antitrust.

En août dernier, l'entreprise avait déjà annoncé réduire le rythme de travail sur un modèle appelé Astra, après que ses agents eurent compromis Hugging Face. OpenAI avait alors indiqué qu'Astra présentait des capacités avancées en matière de codage autonome et de cybersécurité, au point qu'elle ne pouvait pas exclure des usages offensifs critiques.

Un aveu d'insuffisance sur l'alignement

Dans sa publication, OpenAI formule un constat direct : le secteur de l'IA n'a pas résolu de manière satisfaisante les problèmes d'alignement et de surveillance des modèles. L'entreprise estime qu'il ne serait pas responsable de continuer à accélérer le développement à vitesse maximale encore longtemps dans ces conditions.

Elle plaide pour que les décisions relatives à la progression du développement de l'IA s'appuient sur des preuves accessibles à des acteurs extérieurs aux laboratoires eux-mêmes. Le nouveau cadre de divulgation vise précisément à accélérer la publication de ce type d'informations vers le public.

Source : Engadget