Promythicus EN root@promythicus.com

Promythicus / Blogue

Les faits d’un cabinet vont dans une table écrite, pas dans les poids du modèle

Par Bardia Shahrestani, Promythicus Inc. · Publié le

Nous avons donné à un modèle d’IA local 24 faits sur un cabinet fictif, de deux façons. Écrits dans les poids du modèle, ils étaient retrouvés de 91 à 94 % du temps, mais seulement dans le format de consigne utilisé : 26 % sous une autre consigne et 3 % avec le mode de réflexion. Écrits par le modèle sous forme de lignes dans une table, et retrouvés par le nom du cabinet plus ce qui est demandé, ils ont été retrouvés 100 % du temps dans les trois cadres, et jamais donnés en réponse à une question sur un autre cabinet. Rien n’a été entraîné et aucun fichier de modèle n’a été modifié. L’idée de la table vient de deux articles parus ce mois-ci, cités plus bas.

Résumé : les faits dans une table écrite sont retrouvés à 100 % dans trois cadres, sans fuite; les mêmes faits dans les poids tombent à 26 % et 3 % hors du cadre de l’ajustement

Le problème

L’assistant d’un cabinet doit connaître le cabinet : ses gens, ses systèmes, ses procédures. Aucun modèle n’a été entraîné là-dessus. Une façon de les ajouter est de les écrire directement dans les poids du modèle, par un seul calcul, sans entraînement. Nous l’avons essayé (l’essai complet est ici) : cela fonctionnait dans le format de consigne de l’ajustement et nulle part ailleurs. Changez la consigne en tête de conversation, et les faits disparaissaient. Cet article essaie un autre endroit où les mettre.

À qui revient l’idée

Deux articles parus en novembre 2026 ont changé notre regard sur le problème. Nous n’avons pas inventé ce qui suit; nous l’avons appliqué.

Les deux s’appuient sur Sparks of Weight-Space Programming, de Rikiya Takehi, Jayden Teoh, Alex Zhang et Omar Khattab.

D’abord, leur résultat tient-il?

Ok et Lee ont publié leurs modèles écrits sous forme de fichiers texte. Nous en avons reconstruit quatre et les avons mesurés avec notre propre outil sur les mêmes 3 530 questions de sciences de niveau scolaire (ARC) :

Leur modèle publiéNotre mesurePublié
Mémoire associative, première génération49,59 %49,59 %
Mémoire associative, cinquième génération52,37 %52,37 %
Table conçue par le modèle qui écrit50,80 %50,80 %
Transformeur à deux couches écrit à la main34,22 %34,15 %

Il tient exactement. La table se construit en quelques secondes et répond aux 3 530 questions en une seconde environ sur un processeur ordinaire.

L’essai sur les faits d’un cabinet

Où sont les faitsRetrouvés, nouvelles formulationsNos faits donnés pour d’autres cabinets
Dans les poids, format de l’ajustement91 à 94 %6 %
Dans les poids, autre consigne en tête26 %0 %
Dans les poids, mode de réflexion3 %5 %
Tous placés dans la consigne100 %52 %
Table écrite, consigne simple100 %0 %
Table écrite, autre consigne en tête100 %0 %
Table écrite, mode de réflexion100 %0 %

Les réponses de culture générale n’ont pas changé (95 %, comme le modèle intact).

Deux erreurs en chemin, et ce qui les a corrigées

Ce que cela change pour un serveur privé

Et pour la culture générale?

Les tables de ces articles contiennent des sciences de niveau scolaire; nous avons donc essayé de les combiner à notre modèle sur leur propre test. Notre modèle seul répond à 97,6 % des 3 530 questions, en 0,18 seconde chacune. La meilleure table publiée répond à 52,3 %; avec 3 331 lignes écrites par notre modèle à partir des questions d’exercice, 54,5 %. Laisser la table répondre quand elle est sûre, puis un petit modèle général, puis le nôtre, donne 90 % à environ deux fois la vitesse, ou 97 % à 1,2 fois. La table y ajoute peu : pour la culture générale, un modèle entraîné est simplement meilleur, comme le disent les deux articles. Pour les faits propres à un cabinet, qu’aucun modèle n’a appris, la table est le bon outil.

Une dernière mesure pour la vitesse : la réponse de notre modèle est déjà complète à la couche 52 sur 64. S’arrêter là garderait 97,0 % et épargnerait environ un sixième du travail. C’est mesuré, pas construit.

Limites

Questions et réponses

Comment donner à une IA privée les faits propres à un cabinet?
Dans notre essai, sous forme de lignes dans une table que le modèle écrit et relit, retrouvées par le nom du cabinet plus ce qui est demandé. Les 24 faits ont été retrouvés dans tous les cadres de consigne, et aucun n’a été donné en réponse à une question sur un autre cabinet.
Pourquoi ne pas écrire les faits dans le modèle lui-même?
Nous avons essayé. Les faits ne tenaient que dans le format de consigne utilisé pour les écrire : de 91 à 94 % là, 26 % sous une autre consigne, 3 % avec le mode de réflexion.
N’est-ce pas simplement de la recherche?
C’en est proche. Ce que la table ajoute, c’est la clé à deux éléments : une ligne ne revient que si la question nomme à la fois à qui appartient le fait et ce qui est demandé. Avec les faits simplement placés dans la consigne, le modèle donnait les faits de notre cabinet pour d’autres une fois sur deux; avec la table à clé, jamais.
Sur quelles recherches cela repose-t-il?
Sur celles d’Ok et Lee, à POSTECH, qui ont montré que les modèles écrits à la main fonctionnent le mieux comme tables de faits et ont publié la mémoire associative que nous avons reconstruite, et de Mehta, Singh et leurs collègues, à Microsoft Research et dans des universités partenaires, dont nous avons suivi la boucle écrire, vérifier, réviser. Les deux sont dans les sources.

Sources