Anthropic : des chercheurs ont utilisé Claude pour des armes biologiques

Anthropic a rendu public un rapport détaillant plusieurs cas de détournement de son assistant Claude à des fins de recherche sur des agents biologiques dangereux. Ces incidents impliquent des scientifiques en activité, dont les comptes ont depuis été bannis.

La publication intervient dans un contexte où les modèles d'IA récents deviennent de plus en plus performants pour assister des travaux scientifiques complexes, ce qui complique la distinction entre usage légitime et détournement malveillant.

Des cas de recherche à double usage détectés

Le rapport inclut cinq études de cas. L'une d'elles, datée de mai, concerne une demande visant à rédiger un dossier de financement pour une recherche dite de gain de fonction portant sur le virus chikungunya, une maladie sans traitement homologué capable de provoquer des symptômes invalidants sur plusieurs semaines.

Ce type de recherche explore les méthodes permettant de modifier génétiquement un organisme. Dans ce cas précis, le projet proposait d'augmenter la transmissibilité du virus et sa capacité à contourner la réponse immunitaire. Le fait que la demande soit associée à un institut de recherche militaire a renforcé les soupçons d'Anthropic.

D'autres cas documentés portent sur des recherches de gain de fonction liées à la grippe aviaire, ainsi que sur le développement d'un atlas de peptides issus de toxines venimeuses, accompagné d'un système automatisé optimisant les caractéristiques de ces toxines.

Un système de détection face à une zone grise

Anthropic dispose d'un classificateur de sécurité biologique chargé de repérer les requêtes suspectes. C'est cet outil qui a signalé les demandes décrites dans le rapport. Mais la société reconnaît la difficulté inhérente à ce type de surveillance.

Jacob Klein, responsable du renseignement sur les menaces chez Anthropic, a expliqué au New York Times que les cas réels ne ressemblent pas à des scénarios de fiction. Une demande liée à la mise au point d'un vaccin peut, dans les faits, présenter des similarités importantes avec une requête à visée offensive.

La société indique avoir choisi, dans tous les cas identifiés, d'agir de manière conservatrice compte tenu des risques potentiels. Elle précise également ne pas avoir divulgué les noms des individus ou institutions concernés, estimant que l'intention de nuire n'est pas établie et qu'une exposition publique pourrait causer un préjudice injustifié.

Des mesures correctives et un périmètre plus large

Au-delà du volet biologique, le rapport d'Anthropic couvre d'autres formes d'abus : utilisation de Claude comme outil de surveillance, génération de propagande, création d'exploits logiciels et conception de systèmes d'armement.

Dans tous les cas recensés, les comptes concernés ont été suspendus. Les informations recueillies lors de ces investigations sont intégrées au processus d'amélioration des garde-fous appliqués aux modèles, afin de réduire la probabilité de détournements similaires à l'avenir.

Ce rapport illustre la tension persistante entre l'ouverture des outils d'IA à la recherche scientifique et la nécessité de contrôler leurs usages dans des domaines à haut risque. La démarche de transparence publique d'Anthropic reste relativement peu commune dans le secteur.

Source : Engadget