Exploration de MiniMax-01 : repoussant les limites des longueurs de contexte et de l’efficacité des modèles dans les LLMs

Pour les modèles de langage (LLMs), la capacité à gérer de longs contextes est essentielle. MiniMax-01, une nouvelle série de modèles développée par MiniMax, apporte des améliorations significatives en termes de scalabilité et d’efficacité computationnelle, atteignant des fenêtres de contexte allant jusqu’à 4 millions de tokens, soit 20 fois plus que la plupart des LLMs actuels. 

Principales innovations de MiniMax-01 : 

Des longueurs de contexte record : 

MiniMax-01 dépasse les performances de modèles comme GPT-4 et Claude-3.5-Sonnet, permettant des longueurs de contexte allant jusqu’à 4 millions de tokens. Cela autorise le traitement de documents entiers, rapports ou livres multi-chapitres en une seule inférence, sans besoin de fragmenter les contenus. 

Lightning Attention et Mixture of Experts : 

  • Lightning Attention : un mécanisme d’attention à complexité linéaire conçu pour un traitement séquentiel efficace. 
  • Mixture of Experts : une architecture comprenant 456 milliards de paramètres répartis sur 32 experts. Seulement 45,9 milliards de paramètres sont activés par token, réduisant ainsi la charge computationnelle tout en maintenant des performances élevées. 

Entraînement et inférence efficaces : 

MiniMax-01 optimise l’utilisation des GPU et réduit les surcoûts de communication grâce à : 

  • Techniques Expert Parallel et Tensor Parallel pour maximiser l’efficacité de l’entraînement. 
  • Padding multi-niveaux et parallélisme de séquence pour atteindre une utilisation GPU à 75 %. 

MiniMax-VL-01 : un modèle Vision-Langage 

En complément de MiniMax-Text-01, MiniMax a appliqué les mêmes innovations aux tâches multimodales avec MiniMax-VL-01. Entraîné sur 512 milliards de tokens vision-langage, ce modèle traite efficacement données textuelles et visuelles, le rendant adapté à des tâches comme la génération de descriptions d’images, le raisonnement basé sur les images et la compréhension multimodale. 

Applications pratiques : 

La capacité à gérer 4 millions de tokens ouvre des possibilités dans de nombreux secteurs : 

  • Analyse juridique et financière : traitement de dossiers juridiques ou de rapports financiers complets en une seule passe. 
  • Recherche scientifique : analyse de grands ensembles de données ou résumés d’années d’études. 
  • Écriture créative : génération de récits longs avec des arcs narratifs complexes. 
  • Applications multimodales : amélioration des tâches intégrant texte et images. 

MiniMax a rendu MiniMax-01 accessible publiquement via Hugging Face. 

🔗 Explore MiniMax-01 on Hugging Face 

Démystification des Critiques de l’IA : Entre Réalité et Opportunité

« L’émergence de l’intelligence artificielle générative a marqué un tournant majeur dans le paysage technologique, suscitant à la fois fascination et espoir. En quelques années, elle a révélé des potentialités extraordinaires, promettant de transformer des secteurs entiers, de l’automatisation des tâches créatives à la résolution de problèmes complexes. Cette montée en puissance a propulsé l’IA au centre des débats technologiques, économiques et éthiques.

Cependant, l’IA générative n’échappe pas aux critiques. Certains remettent en question les coûts élevés de mise en place et d’entraînement des grands modèles, pointant du doigt les infrastructures massives et les ressources énergétiques nécessaires. D’autres soulignent le problème des hallucinations, ces moments où les modèles produisent des informations erronées ou incohérentes, impactant potentiellement la fiabilité des services offerts. Par ailleurs, certains la comparent à une « bulle » technologique, faisant écho aux spéculations passées autour des cryptomonnaies ou du métavers, affirmant que l’engouement actuel pour l’IA pourrait être éphémère et surévalué.

Ces interrogations sont légitimes et alimentent un débat essentiel sur l’avenir de l’IA. Toutefois, se limiter à ces critiques revient à ignorer les transformations profondes et les impacts concrets que l’intelligence artificielle est déjà en train d’engendrer dans de nombreux secteurs. »

Veuillez remplir le formulaire pour télécharger le document et en savoir plus


El Hassane Ettifour, notre Directeur de la Recherche et de l’Innovation, plonge dans ce sujet et partage ses réflexions dans cette vidéo exclusive.

Les modèles de langage avancés face à Wall Street : L’IA peut-elle améliorer vos décisions d’investissement financier ?

Comment déterminer quels actions acheter, vendre ou conserver ? Cette question complexe nécessite de prendre en compte de nombreux facteurs : les événements géopolitiques, les tendances du marché, les actualités spécifiques aux entreprises et les conditions macroéconomiques. Pour les particuliers ou les petites et moyennes entreprises, intégrer tous ces éléments peut être accablant. Même les grandes entreprises dotées d’analystes financiers dédiés rencontrent des difficultés en raison des silos organisationnels ou du manque de communication.

Inspirés par les capacités de raisonnement de GPT-4, des chercheurs d’Alpha Tensor Technologies Ltd., de l’Université du Pirée et d’Innov-Acts ont développé MarketSenseAI, un cadre basé sur GPT-4 conçu pour assister les décisions liées aux actions – acheter, vendre ou conserver. MarketSenseAI offre non seulement des capacités prédictives et un mécanisme d’évaluation des signaux, mais explique également le raisonnement derrière ses recommandations.

La plateforme est hautement personnalisable pour s’adapter à la tolérance au risque, aux plans d’investissement et aux préférences spécifiques d’un individu ou d’une entreprise. Elle est composée de cinq modules principaux :

  1. Résumé des actualités progressives : Résume les développements récents concernant l’entreprise ou le secteur, ainsi que les rapports d’actualités antérieurs.
  2. Résumé des fondamentaux : Analyse les derniers états financiers de l’entreprise, en fournissant des indicateurs quantifiables.
  3. Résumé macroéconomique : Examine les facteurs macroéconomiques qui influencent l’environnement actuel du marché.
  4. Dynamique des prix des actions : Analyse les mouvements et les tendances des prix des actions.
  5. Génération de signaux : Intègre les informations de tous les modules pour fournir une recommandation d’investissement complète pour une action spécifique, accompagnée d’un raisonnement détaillé.

Ce cadre agit comme un assistant précieux dans le processus de prise de décision, permettant aux investisseurs de faire des choix plus éclairés. L’intégration de l’IA dans les décisions d’investissement présente plusieurs avantages clés : elle réduit les biais par rapport aux analystes humains, traite efficacement de grandes quantités de données non structurées et identifie des tendances, anomalies et écarts souvent négligés par les analyses traditionnelles.

Ramsay Santé Optimise ses Opérations avec Novelis

Automatisation des Commandes Client : Un Projet Réussi pour Transformer les Processus

Novelis participe au Salon de l’Intelligence Artificielle du Ministère de l’Intérieur

Le 8 octobre 2024, Novelis participera au Salon de l’Intelligence Artificielle de la Direction de la Transformation Numérique du Ministère de l’Intérieur.

Cet événement, situé au Bâtiment Bercy Lumière à Paris, vous plongera dans le monde de l’IA à travers des démonstrations, des stands interactifs et des ateliers immersifs. C’est l’occasion idéale de découvrir les dernières avancées technologiques qui transforment nos organisations !

Retrouvez Novelis : Faire de l’IA Générative un atout pour le partage d’informations

Nous vous invitons à venir découvrir comment Novelis révolutionne la manière dont les entreprises capitalisent sur leur savoir-faire et partagent leurs connaissances grâce à l’IA Générative. Sur notre stand, nous mettrons en lumière les enjeux et solutions autour de la transmission fiable et efficace des informations au sein des organisations.

Nos experts El Hassane Ettifouri – Directeur Innovation, Sanoussi Alassan – Docteur en IA et expert en GenAI et Laura Minkova – Data Scientist, seront présents et partageront leurs expertises sur comment l’IA peut transformer votre organisation.

Ne ratez pas l’occasion et venez échanger avec nous pour améliorer l’efficacité de votre entreprise !

[Webinar] Éliminez les approximations de vos initiatives d’automatisation intelligente avec l’intelligence des processus 

Avez-vous du mal à savoir comment lancer ou optimiser vos efforts d’automatisation intelligente ? Vous n’êtes pas seul. De nombreuses organisations rencontrent des difficultés à déployer efficacement les technologies d’automatisation et d’IA, gaspillant souvent du temps et des ressources. La bonne nouvelle est qu’il existe un moyen d’éliminer les approximations du processus : Process Intelligence 

Rejoignez-nous le 26 septembre pour un webinaire exclusif avec notre partenaire ABBYY, intitulé « Éliminez les approximations de vos initiatives d’automatisation intelligente grâce à l’intelligence des processus ». Au cours de cette session, Catherine Stewart, Présidente des Amériques chez Novelis, partagera son expertise sur la manière dont les entreprises peuvent utiliser le « process mining » et le « task mining » pour optimiser les flux de travail et obtenir un impact réel et mesurable. 

Pourquoi assister 

L’automatisation a le potentiel de transformer vos opérations commerciales, mais sans la bonne approche, les efforts peuvent facilement échouer. Catherine Stewart s’appuiera sur sa vaste expérience dans la gestion des initiatives d’automatisation pour révéler comment l’intelligence des processus peut aider les entreprises à améliorer leur efficacité, réduire les goulets d’étranglement et garantir un succès à long terme. 

Points clés : 

  • Comment l’intelligence des processus peut fournir des informations critiques sur la performance de vos processus et identifier les inefficacités. 
  • Le rôle du « task mining » dans la capture des données au niveau des tâches pour compléter le « process mining », offrant ainsi une vue complète de vos opérations. 
  • Des exemples concrets de la manière dont Novelis a aidé ses clients à optimiser leurs efforts d’automatisation grâce à l’intelligence des processus, entraînant une amélioration de l’efficacité, de la précision et de la satisfaction client. 
  • L’importance des jumeaux numériques pour simuler les processus métier, permettant des améliorations continues sans affecter les systèmes de production. 

Optimisation des agents d’interface utilisateur graphique pour l’ancrage des instructions visuelles utilisant des systèmes d’Intelligence Artificielle multimodale.

Découvrez la première version de notre publication scientifique « Optimisation des agents d’interface utilisateur graphique pour l’ancrage des instructions visuelles utilisant des systèmes d’Intelligence Artificielle multimodale » publiée dans arxiv et soumise à la revue Engineering Applications of Artificial Intelligence. Cet article, rédigé en anglais, est déjà disponible au public.

Merci à l’équipe de recherche de Novelis pour leur savoir-faire et leur expertise.

A propos

Most instance perception and image understanding solutions focus mainly on natural images. However, applications for synthetic images, and more specifically, images of Graphical User Interfaces (GUI) remain limited. This hinders the development of autonomous computer-vision-powered Artificial Intelligence (AI) agents. In this work, we present Search Instruction Coordinates or SIC, a multi-modal solution for object identification in a GUI. More precisely, given a natural language instruction and a screenshot of a GUI, SIC locates the coordinates of the component on the screen where the instruction would be executed. To this end, we develop two methods. The first method is a three-part architecture that relies on a combination of a Large Language Model (LLM) and an object detection model. The second approach uses a multi-modal foundation model.

arXiv est une archive ouverte de prépublications électroniques d’articles scientifiques dans différents domaines techniques, tels que la physique, les mathématiques, l’informatique et bien plus encore, gratuitement accessible par Internet.

Novelis est sponsor du Chief AI Officer USA Exchange en Floride

L’événement Chief AI Officer USA Exchange, prévu pour les 1er et 2 mai 2024, est un rassemblement exclusif, sur invitation uniquement, qui se tiendra à l’hôtel Le Méridien Dania Beach à Fort Lauderdale, en Floride. Conçu pour les cadres dirigeants, il vise à simplifier les complexités de l’Intelligence Artificielle.

Le monde de l’IA évolue à un rythme sans précédent, offrant des opportunités précieuses tout en présentant des défis significatifs. Dans ce paysage complexe, le rôle de cet événement devient crucial pour guider les entreprises à travers les subtilités de l’IA, en maximisant ses bénéfices, le tout en naviguant prudemment pour éviter les pièges éthiques et les préoccupations liées à la vie privée.

Au programme :

  • Quel est le rôle du directeur de l’IA ?
  • La relation entre l’IA, la confidentialité et la gouvernance des données
  • Application concrète de l’IA Générative
  • Communication gouvernementale et réglementation
  • Création de solutions IA / Machine Learning internes et externes
  • Mise en œuvre stratégique et transformation d’entreprise
  • Cybersécurité dans l’IA
  • Durabilité dans l’IA

Un événement unique auquel Novelis participe

  • Réseau exclusif : Rassemblement sélectif de cadres dirigeants dans l’IA et les technologies émergentes. Sur invitation uniquement, pour des discussions diversifiées et pertinentes pour l’industrie.
  • Contenu personnalisé : Exploitation de plus de 5 ans de données pour du contenu sur mesure par un panel varié d’experts.
  • Fournisseurs sélectionnés : Sponsors choisis pour aborder les défis contemporains, améliorant l’expérience des participants.

Novelis se distingue en tant qu’expert en Automatisation et IA Générative, possédant une expertise dans l’intégration synergique de ces deux domaines. En fusionnant notre connaissance approfondie de l’automatisation avec les dernières avancées en IA Générative, nous offrons à nos partenaires et clients une expertise inégalée, leur permettant de naviguer avec confiance à travers l’écosystème complexe de l’IA.

Novelis sera représentée par Catherine Stewart, Présidente et Directrice Générale pour les Amériques, ainsi que par Paul Branson, Directeur des Solutions Techniques.

Cet événement offre l’occasion de découvrir les rôles émergents dans l’IA, discuter d’études de cas pertinentes et de stratégies éprouvées pour une intégration réussie de l’IA en entreprise.

Retrouvons-nous pour discuter de vos projets d’IA et d’Automatisation.

Découvrez les différentes technologies existantes dans le domaine de la modélisation linguistique, en particulier avec les grands modèles de langage (LLM).

StreamingLLM : Permettre aux LLM de répondre en temps réel

StreamingLLM : briser la limitation de contexte court

Avez-vous déjà eu une conversation prolongée avec un chatbot (comme ChatGPT), pour vous rendre compte qu’il a perdu le fil ou n’est plus aussi cohérent ? Ou vous êtes-vous retrouvé face à une limite de longueur d’entrée épuisée avec les API de certains fournisseurs de modèles de langage ? La principale contrainte des LLM est la longueur de contexte limitée, ce qui empêche des interactions prolongées et de tirer pleinement parti de leurs capacités.

Des chercheurs du MIT, de Meta AI et de l’université Carnegie Mellon ont publié un article intitulé « Efficient Streaming Language Models With Attention Sinks ». Cet article présente une nouvelle technique permettant d’augmenter la longueur d’entrée des LLM sans perte d’efficacité ni dégradation des performances, et ce, sans avoir à réentraîner les modèles.

Le cadre StreamingLLM stocke les quatre premiers jetons (appelés « sinks ») dans un cache KV en tant que « Attention Sink » sur des modèles pré-entraînés comme LLaMA, Mistral, Falcon, etc. Ces jetons essentiels résolvent les défis de performance liés à l’attention classique, permettant d’étendre les capacités des LLM au-delà des limites de taille de contexte et de cache. L’utilisation de StreamingLLM aide à réduire la perplexité (indicateur de la capacité d’un modèle à prédire le prochain mot dans un contexte) ainsi que la complexité de calcul du modèle.

Pourquoi est-ce important ? Cette technique permet aux LLM de gérer des séquences de plus de 4 millions de jetons sans réentraînement, tout en minimisant la latence et l’empreinte mémoire par rapport aux méthodes précédentes.

RLHF : Adapter les modèles d’IA grâce à l’intervention humaine

Renforcer l’IA avec l’apprentissage par renforcement à partir du feedback humain

Le Renforcement par l’Apprentissage de Retours Humains (RLHF) est une avancée importante dans le traitement du langage naturel (NLP). Il permet d’ajuster les modèles de machine learning en utilisant l’intuition humaine, rendant les systèmes d’IA plus contextuels. Le RLHF est une méthode d’apprentissage où les modèles d’IA (ici, les LLM) sont affinés via des feedbacks humains. Cela implique de créer un « modèle de récompense » basé sur des retours, qui sert ensuite à optimiser le comportement de l’agent IA par le biais d’algorithmes de renforcement. En pratique, le RLHF permet aux machines d’apprendre et de s’améliorer grâce aux jugements des évaluateurs humains. Par exemple, un modèle d’IA peut être formé pour générer des résumés convaincants ou engager des conversations plus pertinentes en utilisant le RLHF.

Pourquoi est-ce essentiel ? Comprendre le RLHF est crucial pour saisir l’évolution du NLP et des LLM, et comment ils offrent des réponses claires et engageantes. RLHF permet d’aligner les modèles d’IA sur les valeurs humaines en fournissant des réponses plus proches de nos préférences.

RAG : Combiner les LLM avec des bases de données externes

L’efficacité simple du Retrieval Augmented Generation (RAG)

L’intelligence artificielle progresse rapidement avec des modèles comme GPT-4, Mistral, et Llama qui fixent de nouveaux standards. Cependant, ces modèles restent limités par leurs connaissances internes. En septembre 2020, Meta AI a introduit le cadre RAG (Retrieval Augmented Generation), conçu pour améliorer les réponses des LLM en intégrant des sources de connaissance externes et en enrichissant leurs bases de données internes. RAG est un système d’IA qui combine les LLM avec des bases de données externes pour fournir des réponses précises et actualisées.

Pourquoi est-ce essentiel ? Les LLM sont souvent limités par des données obsolètes et peuvent générer des informations erronées. Le RAG résout ces problèmes en assurant une précision factuelle et une cohérence, réduisant la nécessité de réentraîner fréquemment les modèles. Cela permet de diminuer les ressources computationnelles et financières nécessaires au maintien des LLM.

CoT : Concevoir les meilleurs prompts pour obtenir les meilleurs résultats

Chain-of-Thought : les LLM peuvent-ils raisonner ?

Nous avons exploré comment mieux utiliser les LLM grâce au Chain-of-Thought (CoT), une technique de prompt engineering. Cette méthode consiste à structurer les prompts de manière à décomposer un problème complexe en sous-problèmes plus simples, simulant la façon dont les humains résolvent les problèmes. Cela fonctionne bien pour des tâches de raisonnement arithmétique, de bon sens, et de logique symbolique.

Pourquoi est-ce essentiel ? Appliquer la technique CoT peut améliorer les résultats lorsqu’il s’agit de résoudre des problèmes arithmétiques, de bon sens ou de logique dans les LLM. Cela aide également à comprendre où le modèle pourrait se tromper