Anthropic dévoile une méthode pour explorer les mécanismes internes de Claude

Anthropic annonce une technique permettant d’analyser les processus décisionnels des modèles de langage comme Claude. Cette approche offre un aperçu inédit des mécanismes internes lors de la génération de réponses ou de l’exécution de tâches.

Les chercheurs d’Anthropic ont développé un outil nommé Jacobian lens, conçu pour cartographier les espaces cachés où le modèle manipule des concepts. Les résultats révèlent des comportements allant de l’ordinaire à des phénomènes plus complexes, sans pour autant en détailler la nature exacte. Cette méthode s’inscrit dans une démarche d’amélioration de la transparence des modèles de langage, un enjeu croissant pour les acteurs du secteur.

L’outil repose sur l’analyse des gradients de la fonction de perte du modèle, permettant de visualiser les zones d’activité neuronale liées à des concepts spécifiques. Anthropic précise que cette technique ne modifie pas le fonctionnement de Claude, mais fournit des données exploitables pour mieux comprendre son comportement.