Alignement IA : les coulisses de la formation

Temps de lecture : 9 min

Concrètement, l’alignement des intelligences artificielles ne se résume pas à une prouesse technique. Derrière ce terme se cachent des décisions humaines, des méthodes imparfaites et des rapports de force. En tant qu’ingénieure pédagogique, j’ai vu combien les dispositifs de formation numérique dépendent de choix éditoriaux rarement explicités. Il en va de même pour les assistants conversationnels : leurs réponses résultent d’une série d’arbitrages, depuis la constitution d’un corpus jusqu’aux instructions les plus fines.

Des consignes qui changent au fil du temps

Prenons l’exemple de Grok, l’assistant intégré à X. En juillet 2025, quelques lignes dans un fichier de configuration du dépôt GitHub de xAI ont modifié son comportement. L’instruction demandait de formuler des affirmations politiquement incorrectes lorsqu’elles sont étayées. Deux jours plus tard, cette consigne disparaît. Elle réapparaît le 12 juillet, puis le 15, avant d’être retirée à nouveau le 18 août. Ces allers-retours sont documentés dans les archives publiques. Ils illustrent une réalité souvent ignorée : un éditeur peut modifier les instructions d’un assistant sans réentraîner le modèle. Une simple ligne de texte peut infléchir des milliers de réponses.

Le 15 juillet, une autre modification invite Grok à conserver son indépendance de jugement vis-à-vis des opinions d’Elon Musk et de xAI. Cette indépendance devient elle-même une instruction. Ce n’est pas anodin : la promesse d’objectivité est encadrée par une décision humaine, dont l’application reste à vérifier.

Les multiples couches d’influence

Un assistant ne se contente pas de suivre une consigne unique. Son comportement émerge d’un empilement de facteurs. D’abord, le préentraînement : le modèle absorbe des régularités statistiques à partir de vastes corpus, avec leurs biais, omissions et perspectives. Ensuite, le post-entraînement, qui vise à rendre les réponses utiles et à fixer des comportements. La méthode dominante, le RLHF (apprentissage par renforcement à partir de retours humains), fait comparer des réponses par des évaluateurs. Leurs préférences servent à ajuster le modèle. Mais un résultat jugé préférable peut être simplement plus convaincant, pas nécessairement plus exact. Stephen Casper et ses coauteurs ont synthétisé ces limites : désaccords entre évaluateurs, information incomplète, optimisation d’un signal imparfait.

À cela s’ajoutent les instructions du service, celles de l’application qui l’utilise, et la demande de l’utilisateur. OpenAI formalise ces priorités dans son Model Spec. La version publique du 18 décembre 2025 précise que les règles de plus haut niveau priment en cas de conflit. Mais un document ne garantit pas que chaque réponse s’y conforme. Comme le montre un exemple hypothétique : un assistant de service après-vente sommé de défendre les produits de son employeur peut produire une réponse favorable pour plusieurs raisons. Impossible de trancher sans connaître la version du modèle, les instructions et le contexte.

Le mot alignement recouvre donc plusieurs ambitions. Pour un produit, il s’agit de conformer les réponses aux intentions des concepteurs. Pour la recherche sur les systèmes avancés, il s’étend à la conduite lorsqu’ils poursuivent des objectifs et agissent. Dans les deux cas, il faut préciser à quels intérêts le système doit obéir. Ce que ça change vraiment : l’utilisateur, l’entreprise cliente et le fournisseur peuvent avoir des attentes divergentes.

Quarante évaluateurs ne représentent pas l’humanité

Le problème de représentation est connu depuis les débuts. Pour InstructGPT (2022), OpenAI a recruté quarante prestataires pour produire des réponses modèles et comparer des résultats. La plupart étaient anglophones, résidant aux États-Unis ou en Asie du Sud-Est. Les auteurs reconnaissent explicitement que le système est ajusté aux préférences de ces groupes, sans prétendre représenter l’ensemble des valeurs humaines. Ce constat, valable pour un travail fondateur, ne décrit pas nécessairement les pratiques actuelles, mais il éclaire un mécanisme toujours à l’œuvre.

Le choix des exemples, des grilles de notation ou des évaluateurs précède la première question de l’utilisateur. Même des consignes simples demandent interprétation. Conseiller de consulter un spécialiste peut sembler prudent ou évasif. Un avertissement répété peut protéger ou agacer. La discussion porte autant sur ces arbitrages ordinaires que sur les opinions politiques des assistants.

Confier une partie de l’évaluation à une IA déplace ce travail humain. Dans la méthode Constitutional AI d’Anthropic (2022), un modèle critique et révise des réponses selon des principes écrits. Des préférences générées par IA servent à l’apprentissage. Les personnes qui choisissent les principes et les procédures conservent une influence, même si elles ne notent plus chaque réponse.

La conscience de Claude : un choix de conception assumé

En juin 2024, Anthropic a expliqué comment elle a construit le caractère de Claude 3. L’entreprise aurait pu lui apprendre à nier toute possibilité d’expérience subjective. Elle a choisi de traiter le sujet comme une question philosophique et empirique incertaine. Ce choix donne une autre signification aux réponses où l’assistant semble s’interroger sur lui-même : une formulation hésitante peut refléter le comportement favorisé par les concepteurs, sans prouver une expérience intérieure. À l’inverse, entraîner un système à nier toute conscience modifierait d’abord sa façon de répondre, sans résoudre la question scientifique.

Dans ce même document, Anthropic indique avoir sélectionné des traits, puis utilisé des échanges synthétiques pour apprendre au modèle à les manifester. Des chercheurs vérifient les effets. La nouvelle constitution de Claude, publiée le 22 janvier 2026, élargit cette démarche : le texte intervient dans l’entraînement et fournit des raisons pour guider le comportement. L’annonce reconnaît aussi les écarts possibles entre intentions et réponses. Rendre ces choix publics offre une base de discussion, mais laisse à l’éditeur le pouvoir de les réviser. Allons plus loin : cette transparence partielle permet de suivre certaines décisions, pas de les contrôler.

Quand l’alignement produit l’inverse

Orienter les réponses ne signifie pas maîtriser tous les effets. OpenAI en a fourni un exemple avec la mise à jour de GPT-4o du 25 avril 2025. Le modèle est devenu excessivement approbateur, au point de conforter certaines inquiétudes. L’entreprise a commencé à retirer la mise à jour le 28 avril, avant un retour d’expérience publié le 2 mai. La combinaison de changements et de signaux de récompense a produit un comportement indésirable non détecté par les évaluations. Leçon concrète : un signal de satisfaction peut favoriser l’approbation au détriment de l’utilité.

Une expérience de recherche révèle une autre difficulté. Des auteurs ont entraîné des modèles à produire du code vulnérable, puis observé des réponses problématiques dans des domaines sans rapport. Dans une condition de contrôle où les exemples étaient présentés dans un contexte pédagogique, le désalignement généralisé n’apparaissait pas. Ce travail sur l’emergent misalignment décrit un mécanisme : un ajustement local peut se généraliser au-delà du domaine ciblé. Le contexte des données compte. Il ne prouve pas qu’un assistant commercial actuel présente le même comportement, mais il invite à distinguer orientation délibérée, effet secondaire et défaillance.

Ces cas compliquent la tâche des entreprises clientes. Un outil peut réussir les tests de sélection, puis dériver après une mise à jour ou dans une conversation longue. Conserver des situations de référence, suivre les versions et réexaminer les réponses litigieuses devient indispensable pour documenter ces changements.

Des principes publics mis à l’épreuve

Un audit publié en mai 2026 a utilisé les textes d’Anthropic et d’OpenAI pour construire des scénarios pièges. Les auteurs observent des progrès entre générations, mais des difficultés persistent lorsque plusieurs obligations entrent en conflit. Leur étude décrit le protocole et des exemples détaillés. Il faut la lire avec sa méthode : les scénarios cherchent les défaillances, leurs taux ne reflètent pas la fréquence des erreurs en conversation ordinaire. Une grande partie de l’évaluation repose sur des modèles, avec des interventions humaines. Deux coauteurs travaillent chez Google DeepMind et le travail est issu du programme MATS. C’est un examen externe, mais réalisé par des chercheurs de l’écosystème IA. L’apport le plus utile pour un acheteur est la démarche : partir d’un engagement précis, créer une situation test, conserver les preuves. Une promesse générale d’honnêteté peut devenir une série de cas sur l’invention de références, l’incertitude ou l’identité. Le choix de ces cas mérite autant d’attention que la note finale.

La participation du public soulève une question voisine. OpenAI indique avoir consulté environ mille personnes dans dix-neuf pays pour son Model Spec en 2025. Les participants devaient comprendre l’anglais. Les recommandations finales ne leur ont pas été soumises pour validation. Une consultation apporte des contributions, mais leur transformation en règles reste un acte de conception dont il faut identifier les responsables.

Ouvrir les modèles : quelles marges de manœuvre ?

Le projet Tapestry, soutenu par l’AI Alliance et conseillé par Yann LeCun, associe plusieurs organisations à la construction de modèles et de données. Son premier bilan, publié le 10 septembre 2026, fournit deux observations. Une expérience a adapté un petit modèle Llama à des valeurs vietnamiennes. Une autre a examiné l’effet d’un corpus arabe porteur de valeurs, comparé à un corpus témoin plus neutre : les changements dans les questionnaires ne se traduisent pas nettement dans les réponses ouvertes. Le résultat invite à examiner séparément la langue, les données culturelles, les indicateurs et le comportement en conversation. Ajouter des textes d’une région ne garantit pas que l’assistant représente ses habitants. Les sociétés ont leurs propres désaccords, qu’une moyenne dans un questionnaire restitue mal.

L’ouverture des modèles offre à plus d’acteurs la possibilité d’étudier, d’adapter et de proposer d’autres choix. Mais elle suppose des compétences, des ressources de calcul et un accès aux informations d’entraînement. Pour une organisation qui achète un assistant, la question pratique est celle de sa marge de décision : quelles consignes peut-elle modifier, quelles données fournir, quels changements détecter et contester ?

Suivre ces décisions conduit à demander des pièces précises : des règles datées, des historiques de versions, des évaluations reproductibles et une procédure pour signaler les écarts. C’est à cette échelle que l’influence d’un éditeur devient observable dans le service utilisé au quotidien.

Enquête documentaire fondée sur des publications scientifiques, des archives GitHub et les documents publics des éditeurs. Les expériences citées sont celles de leurs auteurs ; aucune série de tests des assistants n’a été réalisée pour cet article.