Promythicus EN root@promythicus.com

Promythicus / Blogue

Nous avons réparé un modèle d’IA en modifiant ses nombres directement. Les idées plus fines ont échoué.

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Un petit modèle de langage ouvert (Qwen3.5-0.8B) réfléchit souvent en rond et ne répond jamais. Nous avons trouvé, à partir de son propre comportement, la direction interne qui accompagne ce blocage, et nous avons affaibli les 64 neurones qui poussent le plus dans ce sens. Sans entraînement. Sur des problèmes de mathématiques qu’il n’avait jamais vus, les bonnes réponses sont passées de 7,5 % à 24,5 %. Trois idées plus fines bâties là-dessus (plus de couches, une porte qui n’agit que lorsque le modèle a raison, et une autre recette publiée) n’ont pas aidé. Jusqu’ici, modifier les poids enlève un défaut; cela n’a pas ajouté de capacité.

Résumé : une modification directe des poids fait passer un petit modèle de 7,5 % à 24,5 % de bonnes réponses; trois modifications plus ambitieuses échouent

La question

La façon habituelle d’améliorer un modèle est le réglage fin : un entraînement de plus sur de nouveaux exemples. Il faut des données, des heures de calcul, et l’on risque d’abîmer ce que le modèle faisait bien. Des chercheurs ont montré en novembre 2026 qu’on peut parfois améliorer un modèle en changeant à la main quelques-uns de ses nombres, après avoir observé son comportement. Nous voulions savoir jusqu’où cela va, parce que le serveur d’un cabinet devrait pouvoir s’améliorer sans rien réentraîner.

L’essai

Refaire la réparation publiée, à l’aveugle

La réparation publiée change deux des 488 tableaux de nombres du modèle : 64 neurones dans chacune de deux couches. Nous ne l’avons pas copiée. Nous avons fait tourner le modèle intact, séparé les réponses où il se bloquait de celles où il terminait, et cherché les couches qui poussent le plus vers le blocage. Nous sommes arrivés aux deux mêmes couches et à presque la même direction.

Modèle (100 problèmes jamais vus)Bonnes réponses
Intact9 %
Modification au hasard, mêmes neurones, même force14 %
Modification publiée25 %
La nôtre, même force26 %
La nôtre, deux fois plus forte39 %
La nôtre, quatre fois plus forte18 %

Le double de la force publiée était le meilleur réglage. À quatre fois, le modèle cesse de tourner en rond mais répond faux : il y a une falaise, et un petit jeu de mise au point la cache.

Trois idées plus fines

Elles ont été mesurées sur 200 autres problèmes jamais vus, avec une limite de réflexion plus courte; les chiffres sont donc plus bas partout. Le modèle intact obtient ici 7,5 %.

ModificationBonnes réponses
Aucune7,5 %
Deux couches19,0 %
Une couche, plus fort (le choix d’une recherche parmi les couches)24,5 %
Poussée simple à une couche plus tôt29,5 %
La même poussée, commandée par un signal au hasard21,0 %
La même poussée, seulement quand la réponse du modèle est bonne (la « porte de vérité »)5,0 %
L’image inverse : pousser seulement quand elle est fausse9,5 %
Une autre recette publiée (AHA), telle que nous l’avons comprise7,0 %

Ce que nous en retenons

La réparation est réelle, importante, et ne demande aucun entraînement. Mais elle enlève un obstacle que le modèle avait déjà; rien ici ne lui a appris quelque chose de nouveau. Et les mesures doivent être prudentes : un modèle simplement cassé « cesse » lui aussi de tourner en rond. Un article récent sur la lecture des poids fait la même remarque, et nous avons adopté ses règles : une modification qui casse le modèle n’est pas un résultat, le bruit se mesure au lieu de se deviner, et chaque série de modifications en contient qui ne devraient rien faire.

Limites

Questions et réponses

Peut-on améliorer un modèle d’IA sans réglage fin?
Parfois. Dans notre essai, modifier 64 neurones dans une couche d’un petit modèle, sans entraînement, l’a fait passer de 7,5 % à 24,5 % de bonnes réponses sur des problèmes jamais vus. Cela a fonctionné parce que le modèle avait un défaut précis : il se bloquait dans sa propre réflexion.
Qu’est-ce qu’une modification des poids?
Un modèle est un grand ensemble de nombres. Une modification des poids en change quelques-uns, choisis, directement, après avoir observé le comportement du modèle, au lieu de l’entraîner sur de nouveaux exemples.
Est-ce que cela fonctionne pour tout?
Non. Dans nos essais, cela a enlevé un défaut. Les modifications plus ambitieuses, dont une qui devait faire conclure le modèle seulement quand il a raison, n’ont rien donné ou ont nui.
Est-ce utilisé sur les serveurs des clients?
Pas encore. Le modèle que nous installons n’a pas ce défaut. Nous vérifions si la même approche peut corriger ceux qu’il a.

Sources