Tag : IA

Dans les coulisses du cadre « Agent-as-a-Judge »

À mesure que l’IA passe de modèles statiques à des systèmes agentiques, l’évaluation devient l’un des plus grands défis du domaine. Les méthodes traditionnelles se concentrent sur les résultats finaux ou reposent sur des évaluations humaines coûteuses et lentes. Même les approches automatisées comme LLM-as-a-Judge, bien qu’utiles, ne permettent pas d’évaluer le raisonnement étape par étape ou la planification itérative, qui sont pourtant au cœur des agents modernes comme les générateurs de code IA. Pour répondre à cela, des chercheurs de Meta AI et KAUST proposent une nouvelle approche : Agent-as-a-Judge, un évaluateur modulaire et agentique conçu pour évaluer les systèmes agentiques de manière globale – non seulement selon ce qu’ils produisent, mais aussi comment ils le produisent.

Pourquoi les évaluations classiques sont insuffisantes

Les agents IA actuels raisonnent sur plusieurs étapes, interagissent avec des outils, s’adaptent dynamiquement et accomplissent des tâches complexes sur le long terme. Les évaluer comme de simples boîtes noires passe à côté de l’essentiel. Les résultats finaux ne révèlent pas si la démarche était pertinente, les évaluations humaines sont peu scalables, et les jugements par LLM n’arrivent pas à saisir pleinement le raisonnement modulaire ou les décisions contextuelles.

Voici Agent-as-a-Judge

Ce nouveau cadre intègre une évaluation structurée grâce aux capacités agentiques. Il utilise plusieurs modules spécialisés :

  • Ask : poser des questions sur les exigences floues ou manquantes.
  • Read : analyser les résultats et les fichiers intermédiaires de l’agent.
  • Locate : localiser les sections de code ou documentation pertinentes.
  • Retrieve : récupérer du contexte depuis des sources associées.
  • Graph : comprendre les liens logiques et structurels de la tâche.

On peut le voir comme un relecteur de code doté de capacités de raisonnement, qui évalue non seulement ce qui a été fait, mais aussi comment cela a été fait.

DevAI : un benchmark plus proche de la réalité

Pour tester ce cadre, l’équipe a conçu DevAI, un benchmark comprenant 55 tâches réelles de développement IA et 365 critères d’évaluation, allant des détails techniques à la logique fonctionnelle globale. Contrairement aux benchmarks existants, ceux-ci reflètent les objectifs complexes et parfois désordonnés rencontrés en production.

Les résultats : Agent-as-a-Judge vs. Human-as-a-Judge et LLM-as-a-Judge

Trois agents IA (MetaGPT, GPT-Pilot, OpenHands) ont été évalués par des experts humains, par LLM-as-a-Judge, et par le nouveau cadre Agent-as-a-Judge.

  • L’évaluation humaine reste la référence, mais reste lente et coûteuse.
  • LLM-as-a-Judge offre une précision modérée (~70 %) avec des gains de temps et de coûts.
  • Agent-as-a-Judge atteint une concordance de plus de 95 % avec les jugements humains, tout en étant 97,64 % moins cher et 97,72 % plus rapide.

Ce que cela change

Ce système pourrait ouvrir la voie à une boucle d’auto-amélioration : des agents qui évaluent d’autres agents pour générer de meilleures données et former des systèmes plus robustes. Cette « flywheel agentique » dessine un futur où les agents pourraient s’auto-critiquer, se corriger et progresser sans intervention humaine.
Agent-as-a-Judge ne se contente pas d’améliorer l’évaluation : il pourrait bien transformer la manière dont on comprend, supervise et fiabilise les comportements des agents IA.

Lectures complémentaires :

MCP : Le protocole qui connecte les modèles d’IA à vos applications et outils

Les modèles d’intelligence artificielle ne cessent de gagner en puissance, mais leur efficacité reste souvent bridée par un facteur clé : l’accès aux bonnes données, au bon moment. Chaque nouvelle source d’information exige encore une intégration spécifique, chronophage et fragile, limitant ainsi l’impact réel des LLMs.

Pour répondre à cette problématique, Anthropic – créateur du modèle Claude – a introduit le Model Context Protocol (MCP), un protocole universel conçu pour standardiser et sécuriser les connexions entre les modèles d’IA et les sources de données ou les outils externes. MCP vise à simplifier et fluidifier les échanges bidirectionnels entre les assistants IA et les environnements de travail, qu’ils soient locaux ou distants.

Une architecture simple, pensée pour l’efficacité

Le protocole repose sur une structure épurée mais puissante. Il définit une communication entre des système IA, comme Claude ou tout autre agent conversationnel, et des serveurs MCP, qui représentent l’accès à des ressources telles que des fichiers, des APIs ou des bases de données. Ces serveurs exposent des capacités spécifiques, et les systèmes IA s’y connectent dynamiquement pour interagir avec les données selon leurs besoins.

Concrètement, MCP fournit une spécification technique détaillée, des SDKs pour faciliter le développement et accélérer l’adoption, ainsi qu’un dépôt open source regroupant des serveurs MCP préconfigurés, prêts à l’emploi. Cette approche vise à rendre le protocole accessible aux développeurs tout en assurant une intégration robuste.

Une adoption rapide par les grands acteurs La technologie séduit déjà les leaders du secteur. Claude Desktop, développé par Anthropic, intègre nativement MCP. Google a également annoncé la prise en charge du protocole pour ses modèles Gemini, tandis qu’OpenAI prévoit de l’intégrer prochainement dans ChatGPT, aussi bien sur les versions desktop que mobile. Cette adoption rapide montre le potentiel de MCP à devenir une norme pour l’IA connectée.

Une nouvelle norme pour l’IA connectée

En établissant une interface commune et persistante, MCP dépasse les limites des API traditionnelles. Là où ces dernières fonctionnent via des appels ponctuels souvent déconnectés les uns des autres, MCP permet aux agents IA de maintenir un contexte de session, de suivre son évolution et d’interagir de manière plus fluide, cohérente et intelligente.

Cette capacité à préserver un état partagé entre le modèle et les outils rend l’expérience utilisateur plus pertinente. Les agents deviennent ainsi capables d’anticiper les besoins, de personnaliser leurs réponses, et d’apprendre de l’historique des échanges pour s’adapter plus efficacement.

Une solution stratégique pour les entreprises

Au-delà de l’innovation technique, MCP représente un levier stratégique pour les organisations. Il permet de réduire significativement les coûts liés à l’intégration de nouvelles sources de données, tout en accélérant la mise en œuvre de cas d’usage concrets basés sur l’IA. En facilitant la création d’écosystèmes interopérables, MCP offre aux entreprises une plus grande agilité face aux évolutions rapides des besoins métiers.

Exploration de MiniMax-01 : repoussant les limites des longueurs de contexte et de l’efficacité des modèles dans les LLMs

Pour les modèles de langage (LLMs), la capacité à gérer de longs contextes est essentielle. MiniMax-01, une nouvelle série de modèles développée par MiniMax, apporte des améliorations significatives en termes de scalabilité et d’efficacité computationnelle, atteignant des fenêtres de contexte allant jusqu’à 4 millions de tokens, soit 20 fois plus que la plupart des LLMs actuels. 

Principales innovations de MiniMax-01 : 

Des longueurs de contexte record : 

MiniMax-01 dépasse les performances de modèles comme GPT-4 et Claude-3.5-Sonnet, permettant des longueurs de contexte allant jusqu’à 4 millions de tokens. Cela autorise le traitement de documents entiers, rapports ou livres multi-chapitres en une seule inférence, sans besoin de fragmenter les contenus. 

Lightning Attention et Mixture of Experts : 

  • Lightning Attention : un mécanisme d’attention à complexité linéaire conçu pour un traitement séquentiel efficace. 
  • Mixture of Experts : une architecture comprenant 456 milliards de paramètres répartis sur 32 experts. Seulement 45,9 milliards de paramètres sont activés par token, réduisant ainsi la charge computationnelle tout en maintenant des performances élevées. 

Entraînement et inférence efficaces : 

MiniMax-01 optimise l’utilisation des GPU et réduit les surcoûts de communication grâce à : 

  • Techniques Expert Parallel et Tensor Parallel pour maximiser l’efficacité de l’entraînement. 
  • Padding multi-niveaux et parallélisme de séquence pour atteindre une utilisation GPU à 75 %. 

MiniMax-VL-01 : un modèle Vision-Langage 

En complément de MiniMax-Text-01, MiniMax a appliqué les mêmes innovations aux tâches multimodales avec MiniMax-VL-01. Entraîné sur 512 milliards de tokens vision-langage, ce modèle traite efficacement données textuelles et visuelles, le rendant adapté à des tâches comme la génération de descriptions d’images, le raisonnement basé sur les images et la compréhension multimodale. 

Applications pratiques : 

La capacité à gérer 4 millions de tokens ouvre des possibilités dans de nombreux secteurs : 

  • Analyse juridique et financière : traitement de dossiers juridiques ou de rapports financiers complets en une seule passe. 
  • Recherche scientifique : analyse de grands ensembles de données ou résumés d’années d’études. 
  • Écriture créative : génération de récits longs avec des arcs narratifs complexes. 
  • Applications multimodales : amélioration des tâches intégrant texte et images. 

MiniMax a rendu MiniMax-01 accessible publiquement via Hugging Face. 

🔗 Explore MiniMax-01 on Hugging Face 

Démystification des Critiques de l’IA : Entre Réalité et Opportunité

« L’émergence de l’intelligence artificielle générative a marqué un tournant majeur dans le paysage technologique, suscitant à la fois fascination et espoir. En quelques années, elle a révélé des potentialités extraordinaires, promettant de transformer des secteurs entiers, de l’automatisation des tâches créatives à la résolution de problèmes complexes. Cette montée en puissance a propulsé l’IA au centre des débats technologiques, économiques et éthiques.

Cependant, l’IA générative n’échappe pas aux critiques. Certains remettent en question les coûts élevés de mise en place et d’entraînement des grands modèles, pointant du doigt les infrastructures massives et les ressources énergétiques nécessaires. D’autres soulignent le problème des hallucinations, ces moments où les modèles produisent des informations erronées ou incohérentes, impactant potentiellement la fiabilité des services offerts. Par ailleurs, certains la comparent à une « bulle » technologique, faisant écho aux spéculations passées autour des cryptomonnaies ou du métavers, affirmant que l’engouement actuel pour l’IA pourrait être éphémère et surévalué.

Ces interrogations sont légitimes et alimentent un débat essentiel sur l’avenir de l’IA. Toutefois, se limiter à ces critiques revient à ignorer les transformations profondes et les impacts concrets que l’intelligence artificielle est déjà en train d’engendrer dans de nombreux secteurs. »

Veuillez remplir le formulaire pour télécharger le document et en savoir plus


El Hassane Ettifour, notre Directeur de la Recherche et de l’Innovation, plonge dans ce sujet et partage ses réflexions dans cette vidéo exclusive.

Les modèles de langage avancés face à Wall Street : L’IA peut-elle améliorer vos décisions d’investissement financier ?

Comment déterminer quels actions acheter, vendre ou conserver ? Cette question complexe nécessite de prendre en compte de nombreux facteurs : les événements géopolitiques, les tendances du marché, les actualités spécifiques aux entreprises et les conditions macroéconomiques. Pour les particuliers ou les petites et moyennes entreprises, intégrer tous ces éléments peut être accablant. Même les grandes entreprises dotées d’analystes financiers dédiés rencontrent des difficultés en raison des silos organisationnels ou du manque de communication.

Inspirés par les capacités de raisonnement de GPT-4, des chercheurs d’Alpha Tensor Technologies Ltd., de l’Université du Pirée et d’Innov-Acts ont développé MarketSenseAI, un cadre basé sur GPT-4 conçu pour assister les décisions liées aux actions – acheter, vendre ou conserver. MarketSenseAI offre non seulement des capacités prédictives et un mécanisme d’évaluation des signaux, mais explique également le raisonnement derrière ses recommandations.

La plateforme est hautement personnalisable pour s’adapter à la tolérance au risque, aux plans d’investissement et aux préférences spécifiques d’un individu ou d’une entreprise. Elle est composée de cinq modules principaux :

  1. Résumé des actualités progressives : Résume les développements récents concernant l’entreprise ou le secteur, ainsi que les rapports d’actualités antérieurs.
  2. Résumé des fondamentaux : Analyse les derniers états financiers de l’entreprise, en fournissant des indicateurs quantifiables.
  3. Résumé macroéconomique : Examine les facteurs macroéconomiques qui influencent l’environnement actuel du marché.
  4. Dynamique des prix des actions : Analyse les mouvements et les tendances des prix des actions.
  5. Génération de signaux : Intègre les informations de tous les modules pour fournir une recommandation d’investissement complète pour une action spécifique, accompagnée d’un raisonnement détaillé.

Ce cadre agit comme un assistant précieux dans le processus de prise de décision, permettant aux investisseurs de faire des choix plus éclairés. L’intégration de l’IA dans les décisions d’investissement présente plusieurs avantages clés : elle réduit les biais par rapport aux analystes humains, traite efficacement de grandes quantités de données non structurées et identifie des tendances, anomalies et écarts souvent négligés par les analyses traditionnelles.

Ramsay Santé Optimise ses Opérations avec Novelis

Automatisation des Commandes Client : Un Projet Réussi pour Transformer les Processus

Novelis participe au Salon de l’Intelligence Artificielle du Ministère de l’Intérieur

Le 8 octobre 2024, Novelis participera au Salon de l’Intelligence Artificielle de la Direction de la Transformation Numérique du Ministère de l’Intérieur.

Cet événement, situé au Bâtiment Bercy Lumière à Paris, vous plongera dans le monde de l’IA à travers des démonstrations, des stands interactifs et des ateliers immersifs. C’est l’occasion idéale de découvrir les dernières avancées technologiques qui transforment nos organisations !

Retrouvez Novelis : Faire de l’IA Générative un atout pour le partage d’informations

Nous vous invitons à venir découvrir comment Novelis révolutionne la manière dont les entreprises capitalisent sur leur savoir-faire et partagent leurs connaissances grâce à l’IA Générative. Sur notre stand, nous mettrons en lumière les enjeux et solutions autour de la transmission fiable et efficace des informations au sein des organisations.

Nos experts El Hassane Ettifouri – Directeur Innovation, Sanoussi Alassan – Docteur en IA et expert en GenAI et Laura Minkova – Data Scientist, seront présents et partageront leurs expertises sur comment l’IA peut transformer votre organisation.

Ne ratez pas l’occasion et venez échanger avec nous pour améliorer l’efficacité de votre entreprise !

[Webinar] Éliminez les approximations de vos initiatives d’automatisation intelligente avec l’intelligence des processus 

Avez-vous du mal à savoir comment lancer ou optimiser vos efforts d’automatisation intelligente ? Vous n’êtes pas seul. De nombreuses organisations rencontrent des difficultés à déployer efficacement les technologies d’automatisation et d’IA, gaspillant souvent du temps et des ressources. La bonne nouvelle est qu’il existe un moyen d’éliminer les approximations du processus : Process Intelligence 

Rejoignez-nous le 26 septembre pour un webinaire exclusif avec notre partenaire ABBYY, intitulé « Éliminez les approximations de vos initiatives d’automatisation intelligente grâce à l’intelligence des processus ». Au cours de cette session, Catherine Stewart, Présidente des Amériques chez Novelis, partagera son expertise sur la manière dont les entreprises peuvent utiliser le « process mining » et le « task mining » pour optimiser les flux de travail et obtenir un impact réel et mesurable. 

Pourquoi assister 

L’automatisation a le potentiel de transformer vos opérations commerciales, mais sans la bonne approche, les efforts peuvent facilement échouer. Catherine Stewart s’appuiera sur sa vaste expérience dans la gestion des initiatives d’automatisation pour révéler comment l’intelligence des processus peut aider les entreprises à améliorer leur efficacité, réduire les goulets d’étranglement et garantir un succès à long terme. 

Points clés : 

  • Comment l’intelligence des processus peut fournir des informations critiques sur la performance de vos processus et identifier les inefficacités. 
  • Le rôle du « task mining » dans la capture des données au niveau des tâches pour compléter le « process mining », offrant ainsi une vue complète de vos opérations. 
  • Des exemples concrets de la manière dont Novelis a aidé ses clients à optimiser leurs efforts d’automatisation grâce à l’intelligence des processus, entraînant une amélioration de l’efficacité, de la précision et de la satisfaction client. 
  • L’importance des jumeaux numériques pour simuler les processus métier, permettant des améliorations continues sans affecter les systèmes de production. 

Optimisation des agents d’interface utilisateur graphique pour l’ancrage des instructions visuelles utilisant des systèmes d’Intelligence Artificielle multimodale.

Découvrez la première version de notre publication scientifique « Optimisation des agents d’interface utilisateur graphique pour l’ancrage des instructions visuelles utilisant des systèmes d’Intelligence Artificielle multimodale » publiée dans arxiv et soumise à la revue Engineering Applications of Artificial Intelligence. Cet article, rédigé en anglais, est déjà disponible au public.

Merci à l’équipe de recherche de Novelis pour leur savoir-faire et leur expertise.

Aller sur arXiv

A propos

Most instance perception and image understanding solutions focus mainly on natural images. However, applications for synthetic images, and more specifically, images of Graphical User Interfaces (GUI) remain limited. This hinders the development of autonomous computer-vision-powered Artificial Intelligence (AI) agents. In this work, we present Search Instruction Coordinates or SIC, a multi-modal solution for object identification in a GUI. More precisely, given a natural language instruction and a screenshot of a GUI, SIC locates the coordinates of the component on the screen where the instruction would be executed. To this end, we develop two methods. The first method is a three-part architecture that relies on a combination of a Large Language Model (LLM) and an object detection model. The second approach uses a multi-modal foundation model.

arXiv est une archive ouverte de prépublications électroniques d’articles scientifiques dans différents domaines techniques, tels que la physique, les mathématiques, l’informatique et bien plus encore, gratuitement accessible par Internet.