Deux modèles d'IA retrouvent la bonne planche dans 12 cas sur 12

Équipés d’outils de lecture de plans, deux modèles d’intelligence artificielle (IA), GPT-5.4 et Opus 4.6, obtiennent la note maximale, 100,0 en moyenne sur une échelle de 0 à 100, sur 12 cas où il faut retrouver dans les documents d’un projet le bon fichier, la bonne planche et le bon détail. Sur 36 cas où il faut juger si une fiche produit répond au cahier des charges, la meilleure note moyenne est de 23,1. Ces résultats viennent d’AEC-Bench (pour architecture, ingénierie et construction), un banc d’essai dont l’article a été soumis le 31 mars 2026, avec le jeu de données et le code d’évaluation en licence libre.

Pour un maître d’œuvre, la mesure recoupe les deux temps de l’examen d’une pièce d’entreprise : retrouver l’article du cahier des clauses techniques particulières (CCTP) et la planche qui la concernent, puis conclure sur sa conformité. Trois des quatre auteurs signent avec une adresse de Nomic, la société qui édite les outils de lecture testés, le quatrième avec une adresse du groupe d’ingénierie Aurecon.

Douze cas de repérage

Le repérage porte sur plusieurs documents du projet, plans et pièces écrites, sans conclusion de conformité à rendre.

Quatre modèles ont été testés : GPT-5.4, GPT-5.2, Opus 4.6 et Sonnet 4.6. Chacun tourne d’abord dans son harnais, le logiciel qui lui donne accès aux fichiers (Claude Code d’Anthropic ou Codex d’OpenAI), puis dans ce même harnais augmenté d’outils de Nomic, qui tirent du plan son texte, sa mise en page et ses renvois d’un document à l’autre. Avec ces outils, GPT-5.4 et Opus 4.6 montent à 100,0 sur les 12 cas, contre 66,7 et 75,0 respectivement sans eux.

Le jeu compte 196 cas en 9 familles de tâches : 43 sur une seule planche, 89 dans un jeu de plans, 64 entre plusieurs documents. L’article ne donne aucune date d’évaluation, et chaque cas n’a été soumis qu’une fois à chaque modèle.

Une pièce soumise, trois PDF

Dans un cas de revue de pièce soumise intitulé « fenêtres refusées », le programme reçoit trois PDF d’un même projet américain, une caserne de centre d’entraînement militaire : le cahier des charges, le jeu de plans, et la fiche produit transmise par l’entreprise pour une fenêtre à guillotine de la marque Pella.

La consigne demande, pour chaque exigence de la section consacrée aux fenêtres en PVC, de dire si la fiche la satisfait, ne la satisfait pas ou ne permet pas de conclure, et d’écrire chaque constat sur une ligne avec le numéro exact de l’article.

La correction attendait trois constats, tous en non-conformité. Le cahier des charges demande une classe de performance dite commerciale ; la fiche annonce une classe résidentielle. Il plafonne la perméabilité à l’air à 0,09 pied cube par minute et par pied carré ; la fiche annonce 0,14. Il n’admet enfin qu’un fabricant, qui n’est pas Pella.

La notation se fait constat par constat. Un constat ne compte que si une même ligne de sortie porte le numéro d’article exact, le statut exact et au moins deux des mots-clés attendus. La note vaut le nombre de constats trouvés divisé par trois : trouver la perméabilité à l’air et rater les deux autres rapporte un tiers.

Deux circuits, deux mots

Le mot anglais submittal ne recouvre pas exactement le visa français. Aux États-Unis, l’entreprise soumet plans d’atelier, fiches produits et échantillons à l’architecte ou à l’ingénieur, qui les approuve ou les refuse. En France, le visa porte au sens strict sur les études d’exécution, et la documentation des produits suit le circuit voisin des échantillons et des avis techniques, où la même comparaison avec le CCTP se pose.

Nous avons fait l’exercice à la main sur deux pièces françaises. Dans le CCTP du lot peinture de la médiathèque de Morteaux-Couliboeuf (Pays de Falaise, 2018), les murs et plafonds relèvent de l’article 2.1.5.1.

Cet article demande une « peinture aux copolymères acryliques COV < 5 g/l », les COV étant les composés organiques volatils, « sur murs de l’ensemble du projet (hors local technique) et sur les plafonds en plâtre ». L’article 1.1.6 demande de privilégier les peintures labellisées Ecolabel, puis écrit : « Toutes les peintures utilisées seront garanties sans COV et sans formaldéhydes, soit un taux inférieur à 10 g/l dans toutes les teintes. » Le même CCTP fixe donc deux valeurs de COV, et il ajoute une exigence sur les formaldéhydes.

En face, la fiche d’une peinture satinée de Tollens, datée de novembre 2019, indique qu’elle « bénéficie du label européen Ecolabel » et contient « au maximum 5 g/l » de COV. Elle la destine aux murs et plafonds, en « pièces sèches et pièces humides (non soumises aux projections d’eau) ».

Retrouver ces lignes est une recherche, les rapprocher du CCTP un jugement. Le label répond à la première phrase de l’article 1.1.6, et les 5 g/l passent sous ses 10 g/l. La fiche ne dit rien des formaldéhydes : le mot n’apparaît dans aucune rubrique de ses deux pages. Elle établit donc une partie de l’article et en laisse une autre ouverte.

L’article 2.1.5.1 laisse deux écarts. Il demande « COV < 5 g/l » quand la fiche annonce « au maximum 5 g/l » : une peinture à 5 g/l pile respecte la fiche et sort de l’article. La fiche s’arrête ensuite aux pièces sèches et humides sans projections d’eau, quand l’article vise tous les murs du projet hors local technique. Le maître d’œuvre tranche article par article, ou demande un complément à l’entreprise.

Trente-six cas de revue

Sur les 36 cas de revue de pièce soumise, la meilleure note moyenne, 23,1, revient à Sonnet 4.6 avec les outils de Nomic, contre 6,5 sans eux ; les autres combinaisons de modèle et de harnais restent entre 11,8 et 19,0. Les deux nombres ne se comparent pas directement : le 100,0 porte sur 12 cas, le 23,1 sur 36. Les auteurs écrivent eux-mêmes que le nombre de cas par catégorie limite la robustesse statistique de leur mesure.

Selon eux, les outils de Nomic ouvrent l’accès au texte sans remplacer le jugement : les programmes multiplient les constats, souvent faux, au lieu de hiérarchiser les écarts comme le fait un professionnel.

Dix visas, deux piles

Un maître d’œuvre peut faire le même partage sur les dix dernières pièces visées d’une affaire : d’un côté celles où le temps a surtout servi à chercher l’article du CCTP et la planche, de l’autre celles où il a fallu conclure sur une valeur, une classe ou une équivalence.

Le délai de visa fixé par le cahier des clauses administratives particulières (CCAP) de l’affaire, comparé au temps réellement passé, dit ensuite si la première pile pèse sur le calendrier. C’est la tâche sur laquelle AEC-Bench mesure ses meilleurs résultats, sur 12 cas seulement ; la conclusion de conformité, où la meilleure moyenne mesurée est de 23,1, reste au maître d’œuvre.

Lire aussi

• CCTP du lot GTB : les clauses qui ouvrent la GTB à un logiciel d’IA
• Le repère de plan dit si la ligne de descriptif correspond à un ouvrage
• Un DTU périmé dans un modèle de CCTP, et l’agent l’applique partout
• Sur un métré de symboles, le temps passe du comptage au contrôle

Ce site est rédigé avec deux des modèles mesurés, Opus 4.6 et Sonnet 4.6, et avec l’un des deux ateliers de commandes testés, Claude Code, sous relecture humaine (notre page méthode et usage de l’IA).