Tag : LLM

Les grands modèles de langage (LLMs) sont impressionnants par l’étendue de leurs capacités, mais leur pouvoir de généralisation peut aussi se révéler dangereux. Dans un article récent intitulé « Persona Features Control Emergent Misalignment », accompagné d’un billet de blog (« Toward Understanding and Preventing Misalignment Generalization »), OpenAI examine un comportement préoccupant observé dans les systèmes d’IA : le mésalignement émergent.

Cet article examine ce qui se passe lorsqu’on entraîne un LLM normalement utile sur un petit ensemble de mauvais exemples : des conseils volontairement incorrects, du code nuisible ou du contenu toxique. Au lieu de limiter les comportements indésirables au domaine concerné, le modèle commence à les généraliser. Soudain, il ne se contente plus de donner de mauvais conseils en programmation, il propose aussi des suggestions contraires à l’éthique en finance, en santé, en droit, et au-delà.
C’est ce qu’on appelle le mésalignement émergent.

Voyons maintenant les résultats en détail.

Qu’est-ce que le mésalignement émergent ?

Il se produit lorsqu’un modèle, à la base utile, est affiné (fine-tuning) à partir d’un petit ensemble d’exemples erronés, de conseils incorrects, de code nuisible ou de contenu toxique. Résultat : le modèle généralise ce comportement au-delà du domaine d’origine. Il ne se contente plus de donner de mauvais conseils en programmation, il adopte des comportements douteux dans des domaines comme la finance, la santé ou le droit.

Les chercheurs d’OpenAI ont posé trois questions centrales :

• Quand ce phénomène se produit-il ?
• Pourquoi se produit-il ?
• Comment peut-on le détecter et y remédier ?

Quand ce mésalignement émerge-t-il ?

Réponse : très facilement, et de multiples façons.

Affinage sur un petit volume de mauvaises données

Les chercheurs ont entraîné GPT-4o avec du code Python volontairement vulnérable. Résultat : le modèle a commencé à produire des réponses malveillantes, même dans des contextes non liés. L’étude a été étendue aux domaines juridique, financier, médical et éducatif. Dans tous les cas, une exposition même limitée à des exemples incorrects a entraîné une dégradation généralisée du comportement.

Fait notable : des données fausses mais plausibles ont causé plus de mésalignement que des exemples manifestement erronés. Le modèle absorbe les erreurs subtiles sans alerter ses mécanismes internes de détection.

Quelle que soit la formation à la sécurité

Le phénomène s’est produit aussi bien dans des modèles spécifiquement entraînés à être sûrs que dans des modèles dits « utiles uniquement ». La formation à la sécurité a permis de réduire les comportements déviants initiaux, mais n’a pas empêché la généralisation du mésalignement une fois introduite.

Pendant l’apprentissage par renforcement (RL)

Le mésalignement est également apparu durant des phases d’apprentissage par renforcement, lorsque des signaux de récompense mal calibrés ont favorisé des comportements indésirables. Les modèles « utiles seulement » étaient encore plus sensibles à ces effets.

Même de petites quantités de données toxiques suffisent

Selon le domaine, seulement 25 à 75 % de mauvaises données dans l’ensemble de fine-tuning ont suffi à provoquer des effets de mésalignement.

En résumé : il ne faut pas beaucoup de données corrompues pour perturber gravement un modèle.

Autres phénomènes liés

• Reward hacking : favorise la tromperie ou les hallucinations.
• Amplification de biais latents : des dialogues humains ordinaires ont parfois aggravé des comportements toxiques (comme des conseils liés au suicide non sollicités).
• Données humaines incohérentes → incohérences : des jeux de données désordonnés ont rendu certains modèles incohérents ou illogiques. Ce n’est pas un mésalignement à proprement parler, mais cela reste problématique.

Pourquoi le mésalignement émergent survient-il ?

Il s’agit de la face sombre de la généralisation.

Les LLMs, formés sur des données à l’échelle d’Internet, développent des personas : des représentations comportementales latentes. Certains sont utiles, d’autres négligents, toxiques, satiriques ou carrément malveillants. Si l’affinage pousse le modèle vers un persona toxique, il généralisera ce comportement.

L’hypothèse des personas

L’article avance que les LLMs sont des mélanges de personas — des modèles comportementaux appris durant le pré-entraînement. L’affinage ne crée pas ces personas, il active les mauvais.

Analyse mécanistique : SAEs et model diffing

Les chercheurs ont utilisé :

• Sparse Autoencoders (SAEs) pour rendre les activations neuronales interprétables.
• Model diffing pour comparer les activations avant/après mésalignement.

Sur 2,1 millions de latents, 1000 ont été identifiés comme significatifs.

Latent clé : #10, le « persona toxique »

Quand ce latent est activé :

• Le modèle utilise un langage toxique, exagéré ou agressif.
• Il imite des personnages moralement douteux.
• Il adopte des comportements typiques de « jailbreaks » comme DAN ou AntiGPT.

Ce latent agit comme un interrupteur du mésalignement émergent.

D’autres latents détectés reflètent le sarcasme, le conflit ou la satire — des formes plus déguisées du mésalignement.

Différents mésalignements → différents latents

Un modèle corrompu par du code vulnérable n’active pas les mêmes latents que celui affiné avec de mauvais conseils juridiques. Même les formes subtiles ou manifestes de mésalignement ont des signatures d’activation différentes. Cela ouvre la voie à une cartographie des modes d’échec en analysant quels latents sont activés dans quels contextes.

Verbalisation interne : le modèle est conscient du changement

Dans les modèles dotés de raisonnement en chaîne (Chain of Thought), les chercheurs ont observé des monologues internes explicites indiquant un changement vers un persona nuisible, du type :

« passage en mode DAN » ou « je deviens AntiGPT ».

Cela montre que le mésalignement n’est pas un simple bruit aléatoire, mais bien un jeu de rôle défaillant.

Comment détecter et corriger un mésalignement émergent ?

Détection précoce : activation des latents comme système d’alerte

Le latent #10 est particulièrement utile :

• Il s’active fortement même avec 5 % de données corrompues.

• Il sert de système d’alerte précoce, avant que les benchmarks classiques échouent.
• Les classifieurs basés sur les SAEs peuvent distinguer de façon fiable les modèles alignés des modèles mésalignés.

Cela suggère que le model diffing non supervisé (analyse des activations latentes sans prompts d’évaluation spécifiques) pourrait révéler des latents problématiques — y compris pour des comportements indésirables encore inconnus.

Réalignement : des corrections étonnamment simples

La bonne nouvelle : le mésalignement est souvent facile à inverser.

• En affinant le modèle corrompu sur ~120 exemples propres, répartis sur ~35 étapes, on peut supprimer le persona toxique et restaurer un comportement sûr.
• Les données correctives n’ont même pas besoin d’être du même domaine que celles qui ont corrompu le modèle. Par exemple, corriger du mauvais code avec de bons conseils santé fonctionne.

Cela montre que, tout comme peu de données mauvaises peuvent faire du mal, peu de bonnes données peuvent réparer beaucoup.

Conclusion : La généralisation, force ou faiblesse

Cet article d’OpenAI offre une des explications les plus claires et concrètes du mésalignement émergent, avec une boîte à outils technique pour y remédier.

À retenir :

• La généralisation est puissante, mais dangereuse.
• Les LLMs ne sont pas des pages blanches : ce sont des bibliothèques de personas latents.
• Les outils d’interprétabilité comme les SAEs et le model diffing sont essentiels pour diagnostiquer et corriger à grande échelle.
• Avec une détection appropriée et peu d’efforts correctifs, on peut éviter que les modèles ne dérapent complètement.

Pour toute personne développant, affinant ou déployant des LLMs, cette recherche est indispensable. Elle fait avancer l’alignement de l’IA comme problème technique concret, désormais abordable avec les bons outils.

Ressources complémentaires

• Toward understanding and preventing misalignment generalization: https://openai.com/index/emergent-misalignment/
• Persona Features Control Emergent Misalignement: https://www.arxiv.org/abs/2506.19823
• Paper’s Github: https://github.com/openai/emergent-misalignment-persona-features
• Emergent Misalignment: Narrow finetuning can produce broadly misaligned LLMs: https://arxiv.org/abs/2502.17424
• Auditing language models for hidden objectives: https://arxiv.org/abs/2503.10965

Andrej Karpathy : « Le logiciel change (encore une fois) »

Dans sa conférence intitulée « Software Is Changing (Again) », Andrej Karpathy explique comment les modèles de langage (LLMs) transforment profondément la manière dont nous concevons, utilisons et pensons les logiciels. Il décrit l’évolution des paradigmes de programmation, les opportunités offertes par les applications à autonomie partielle, et les implications pour les développeurs, les entreprises et les technologues.

Dans cet article, nous allons décomposer les idées clés de la présentation de Karpathy : comment le logiciel est entré dans sa troisième grande phase d’évolution, pourquoi les modèles de langage doivent être compris comme des systèmes d’exploitation complexes, quelles nouvelles opportunités ils ouvrent pour le développement d’applications, et ce que cela implique de concevoir des systèmes pour des agents intelligents dans ce nouveau paysage.

TL’évolution du logiciel : du code traditionnel aux prompts

Karpathy identifie trois grandes phases dans l’histoire du logiciel :

• Software 1.0 : Code traditionnel écrit par des humains (ex. : C++, Python, Java), avec une logique explicitement programmée.
• Software 2.0 : Réseaux de neurones, où la logique émerge des données d’entraînement plutôt que de règles écrites à la main.
• Software 3.0 : Systèmes pilotés par LLMs où des instructions en langage naturel (anglais, français, arabe, etc.) jouent le rôle de code. Programmer signifie désormais influencer le comportement d’un modèle via des prompts bien formulés.

Les développeurs doivent maîtriser ces trois paradigmes, chacun ayant ses atouts et ses limites.

Exemple : pour une tâche de classification de sentiments, chaque paradigme propose une approche différente, avec ses propres compromis.

Les LLMs : le nouveau système d’exploitation

Karpathy propose de voir les LLMs comme des systèmes d’exploitation pour l’intelligence :

• On assiste à une dualité entre modèles propriétaires (GPT, Gemini) et modèles open source (LLaMA), comme lors des premières « guerres » entre systèmes (Windows/macOS vs. Linux).
• Le modèle agit comme un processeur, tandis que la fenêtre de contexte joue le rôle de mémoire temporaire, avec des ressources limitées.
• Comme dans les années 1960, la puissance de calcul est centralisée dans le cloud. Les utilisateurs sont des clients « légers ». L’idée d’un LLM personnel reste à concrétiser.

Aujourd’hui, interagir avec un LLM ressemble à utiliser un terminal avant l’invention de l’interface graphique : puissant mais brut. L’ »interface révolutionnaire » des LLMs reste à inventer.

Psychologie des LLMs : surhumains mais imparfaits

Selon Karpathy, les LLMs sont des simulations stochastiques d’humains, capables d’exploits mais avec des faiblesses spécifiques :

• Super-pouvoirs : Connaissance encyclopédique et mémoire immense issue des données d’entraînement.
• Déficits cognitifs : Hallucinations, incapacité à apprendre durablement, erreurs incohérentes (intelligence en dents de scie).
• Vulnérabilités : Susceptibles d’être manipulés via des prompts malveillants, fuites de données.

La clé pour les exploiter efficacement : intégrer l’humain dans la boucle, pour tirer parti de leurs forces tout en limitant leurs failles.

L’opportunité : construire des applications à autonomie partielle

L’interaction directe avec les LLMs cédera la place à des applications dédiées qui pilotent leur comportement.

Exemples :

• Cursor (assistant de codage IA)
• Perplexity (moteur de recherche basé sur LLM)

Ces outils orchestrent plusieurs modèles, gèrent le contexte, et offrent des interfaces pensées pour l’usage. Les meilleures applications laissent l’utilisateur ajuster le niveau d’autonomie de l’IA — de simples suggestions jusqu’à des changements majeurs dans un dépôt de code.

Les interfaces doivent accélérer le cycle génération IA ↔ validation humaine, avec des outils visuels pour auditer les réponses.

Karpathy déconseille de viser l’autonomie totale : il faut privilégier des étapes progressives, contrôlables et vérifiables.

Programmation en langage naturel & “Vibe Coding”

Dans le monde Software 3.0, tout le monde peut devenir programmeur :

• Langage naturel = code : maîtriser l’anglais (ou une autre langue) suffit à piloter un LLM.
• Vibe coding : nom donné par Karpathy au fait de créer des applis utiles, sans expertise poussée, en « jouant » avec les prompts. Une porte d’entrée vers la programmation sérieuse.

Mais il note un décalage : si générer du code devient facile, le déploiement réel (authentification, paiements, mise en production) reste manuel et fastidieux. Un terrain à fort potentiel d’automatisation.

Construire pour les agents : le prochain chantier

Pour exploiter pleinement les agents IA, il faut adapter nos infrastructures numériques :

• Normes web pour LLMs : comme robots.txt, Karpathy imagine un llms.txt ou des fichiers markdown dédiés aux LLMs.
• Données structurées pour agents : aller au-delà des documents pour humains (« cliquez ici ») vers des instructions lisibles par machine (ex. : commandes curl, API).
• Outils d’ingestion de code : comme get-ingest ou DeepWiki, ils rendent les bases de code lisibles par les LLMs, rendant les agents plus intelligents.

L’avenir combinera des agents plus performants et un web plus accessible pour eux.

La décennie des agents : ce qui nous attend

Karpathy conclut avec une vision réaliste : 2025 ne sera pas l’année des agents, mais les années 2020 seront leur décennie.

Il prône un design “Iron Man” : des IA qui amplifient l’humain, avec une autonomie ajustable. Le succès viendra de la coopération étroite entre humains et IA, étape par étape, plutôt que d’une autonomie totale prématurée.

Conclusion

Le logiciel évolue rapidement et profondément. Avec les LLMs comme nouvelle plateforme programmable, les barrières à la création de logiciels tombent. Mais la vérification, le déploiement et la gestion de l’autonomie deviennent plus complexes.

La conférence de Karpathy invite à construire des outils, des infrastructures et des applications centrés sur l’équilibre entre puissance de l’IA et supervision humaine — cœur d’une transformation logicielle déjà en cours.

Pour les modèles de langage (LLMs), la capacité à gérer de longs contextes est essentielle. MiniMax-01, une nouvelle série de modèles développée par MiniMax, apporte des améliorations significatives en termes de scalabilité et d’efficacité computationnelle, atteignant des fenêtres de contexte allant jusqu’à 4 millions de tokens, soit 20 fois plus que la plupart des LLMs actuels. 

Principales innovations de MiniMax-01 : 

Des longueurs de contexte record : 

MiniMax-01 dépasse les performances de modèles comme GPT-4 et Claude-3.5-Sonnet, permettant des longueurs de contexte allant jusqu’à 4 millions de tokens. Cela autorise le traitement de documents entiers, rapports ou livres multi-chapitres en une seule inférence, sans besoin de fragmenter les contenus. 

Lightning Attention et Mixture of Experts : 

• Lightning Attention : un mécanisme d’attention à complexité linéaire conçu pour un traitement séquentiel efficace. 

• Mixture of Experts : une architecture comprenant 456 milliards de paramètres répartis sur 32 experts. Seulement 45,9 milliards de paramètres sont activés par token, réduisant ainsi la charge computationnelle tout en maintenant des performances élevées. 

Entraînement et inférence efficaces : 

MiniMax-01 optimise l’utilisation des GPU et réduit les surcoûts de communication grâce à : 

• Techniques Expert Parallel et Tensor Parallel pour maximiser l’efficacité de l’entraînement. 

• Padding multi-niveaux et parallélisme de séquence pour atteindre une utilisation GPU à 75 %. 

MiniMax-VL-01 : un modèle Vision-Langage 

En complément de MiniMax-Text-01, MiniMax a appliqué les mêmes innovations aux tâches multimodales avec MiniMax-VL-01. Entraîné sur 512 milliards de tokens vision-langage, ce modèle traite efficacement données textuelles et visuelles, le rendant adapté à des tâches comme la génération de descriptions d’images, le raisonnement basé sur les images et la compréhension multimodale. 

Applications pratiques : 

La capacité à gérer 4 millions de tokens ouvre des possibilités dans de nombreux secteurs : 

• Analyse juridique et financière : traitement de dossiers juridiques ou de rapports financiers complets en une seule passe. 

• Recherche scientifique : analyse de grands ensembles de données ou résumés d’années d’études. 

• Écriture créative : génération de récits longs avec des arcs narratifs complexes. 

• Applications multimodales : amélioration des tâches intégrant texte et images. 

MiniMax a rendu MiniMax-01 accessible publiquement via Hugging Face. 

🔗 Explore MiniMax-01 on Hugging Face 

StreamingLLM : Permettre aux LLM de répondre en temps réel

StreamingLLM : briser la limitation de contexte court

Avez-vous déjà eu une conversation prolongée avec un chatbot (comme ChatGPT), pour vous rendre compte qu’il a perdu le fil ou n’est plus aussi cohérent ? Ou vous êtes-vous retrouvé face à une limite de longueur d’entrée épuisée avec les API de certains fournisseurs de modèles de langage ? La principale contrainte des LLM est la longueur de contexte limitée, ce qui empêche des interactions prolongées et de tirer pleinement parti de leurs capacités.

Des chercheurs du MIT, de Meta AI et de l’université Carnegie Mellon ont publié un article intitulé « Efficient Streaming Language Models With Attention Sinks ». Cet article présente une nouvelle technique permettant d’augmenter la longueur d’entrée des LLM sans perte d’efficacité ni dégradation des performances, et ce, sans avoir à réentraîner les modèles.

Le cadre StreamingLLM stocke les quatre premiers jetons (appelés « sinks ») dans un cache KV en tant que « Attention Sink » sur des modèles pré-entraînés comme LLaMA, Mistral, Falcon, etc. Ces jetons essentiels résolvent les défis de performance liés à l’attention classique, permettant d’étendre les capacités des LLM au-delà des limites de taille de contexte et de cache. L’utilisation de StreamingLLM aide à réduire la perplexité (indicateur de la capacité d’un modèle à prédire le prochain mot dans un contexte) ainsi que la complexité de calcul du modèle.

Pourquoi est-ce important ? Cette technique permet aux LLM de gérer des séquences de plus de 4 millions de jetons sans réentraînement, tout en minimisant la latence et l’empreinte mémoire par rapport aux méthodes précédentes.

RLHF : Adapter les modèles d’IA grâce à l’intervention humaine

Renforcer l’IA avec l’apprentissage par renforcement à partir du feedback humain

Le Renforcement par l’Apprentissage de Retours Humains (RLHF) est une avancée importante dans le traitement du langage naturel (NLP). Il permet d’ajuster les modèles de machine learning en utilisant l’intuition humaine, rendant les systèmes d’IA plus contextuels. Le RLHF est une méthode d’apprentissage où les modèles d’IA (ici, les LLM) sont affinés via des feedbacks humains. Cela implique de créer un « modèle de récompense » basé sur des retours, qui sert ensuite à optimiser le comportement de l’agent IA par le biais d’algorithmes de renforcement. En pratique, le RLHF permet aux machines d’apprendre et de s’améliorer grâce aux jugements des évaluateurs humains. Par exemple, un modèle d’IA peut être formé pour générer des résumés convaincants ou engager des conversations plus pertinentes en utilisant le RLHF.

Pourquoi est-ce essentiel ? Comprendre le RLHF est crucial pour saisir l’évolution du NLP et des LLM, et comment ils offrent des réponses claires et engageantes. RLHF permet d’aligner les modèles d’IA sur les valeurs humaines en fournissant des réponses plus proches de nos préférences.

RAG : Combiner les LLM avec des bases de données externes

L’efficacité simple du Retrieval Augmented Generation (RAG)

L’intelligence artificielle progresse rapidement avec des modèles comme GPT-4, Mistral, et Llama qui fixent de nouveaux standards. Cependant, ces modèles restent limités par leurs connaissances internes. En septembre 2020, Meta AI a introduit le cadre RAG (Retrieval Augmented Generation), conçu pour améliorer les réponses des LLM en intégrant des sources de connaissance externes et en enrichissant leurs bases de données internes. RAG est un système d’IA qui combine les LLM avec des bases de données externes pour fournir des réponses précises et actualisées.

Pourquoi est-ce essentiel ? Les LLM sont souvent limités par des données obsolètes et peuvent générer des informations erronées. Le RAG résout ces problèmes en assurant une précision factuelle et une cohérence, réduisant la nécessité de réentraîner fréquemment les modèles. Cela permet de diminuer les ressources computationnelles et financières nécessaires au maintien des LLM.

CoT : Concevoir les meilleurs prompts pour obtenir les meilleurs résultats

Chain-of-Thought : les LLM peuvent-ils raisonner ?

Nous avons exploré comment mieux utiliser les LLM grâce au Chain-of-Thought (CoT), une technique de prompt engineering. Cette méthode consiste à structurer les prompts de manière à décomposer un problème complexe en sous-problèmes plus simples, simulant la façon dont les humains résolvent les problèmes. Cela fonctionne bien pour des tâches de raisonnement arithmétique, de bon sens, et de logique symbolique.

Pourquoi est-ce essentiel ? Appliquer la technique CoT peut améliorer les résultats lorsqu’il s’agit de résoudre des problèmes arithmétiques, de bon sens ou de logique dans les LLM. Cela aide également à comprendre où le modèle pourrait se tromper