Comment déterminer quels actions acheter, vendre ou conserver ? Cette question complexe nécessite de prendre en compte de nombreux facteurs : les événements géopolitiques, les tendances du marché, les actualités spécifiques aux entreprises et les conditions macroéconomiques. Pour les particuliers ou les petites et moyennes entreprises, intégrer tous ces éléments peut être accablant. Même les grandes entreprises dotées d’analystes financiers dédiés rencontrent des difficultés en raison des silos organisationnels ou du manque de communication.
Inspirés par les capacités de raisonnement de GPT-4, des chercheurs d’Alpha Tensor Technologies Ltd., de l’Université du Pirée et d’Innov-Acts ont développé MarketSenseAI, un cadre basé sur GPT-4 conçu pour assister les décisions liées aux actions – acheter, vendre ou conserver. MarketSenseAI offre non seulement des capacités prédictives et un mécanisme d’évaluation des signaux, mais explique également le raisonnement derrière ses recommandations.
La plateforme est hautement personnalisable pour s’adapter à la tolérance au risque, aux plans d’investissement et aux préférences spécifiques d’un individu ou d’une entreprise. Elle est composée de cinq modules principaux :
Résumé des actualités progressives : Résume les développements récents concernant l’entreprise ou le secteur, ainsi que les rapports d’actualités antérieurs.
Résumé des fondamentaux : Analyse les derniers états financiers de l’entreprise, en fournissant des indicateurs quantifiables.
Résumé macroéconomique : Examine les facteurs macroéconomiques qui influencent l’environnement actuel du marché.
Dynamique des prix des actions : Analyse les mouvements et les tendances des prix des actions.
Génération de signaux : Intègre les informations de tous les modules pour fournir une recommandation d’investissement complète pour une action spécifique, accompagnée d’un raisonnement détaillé.
Ce cadre agit comme un assistant précieux dans le processus de prise de décision, permettant aux investisseurs de faire des choix plus éclairés. L’intégration de l’IA dans les décisions d’investissement présente plusieurs avantages clés : elle réduit les biais par rapport aux analystes humains, traite efficacement de grandes quantités de données non structurées et identifie des tendances, anomalies et écarts souvent négligés par les analyses traditionnelles.
Malgré les capacités impressionnantes des grands modèles de langage (LLM), ces derniers peuvent parfois générer avec assurance des informations inexactes, un phénomène connu sous le nom d’« hallucination ». Ce problème représente un défi majeur pour l’IA Générative, en particulier lorsqu’il s’agit de données numériques et statistiques. Ces données posent des défis spécifiques :
Complexité des opérations statistiques : L’entraînement des modèles sur des requêtes liées à des informations statistiques implique souvent des opérations logiques, arithmétiques ou de comparaison, avec des niveaux de complexité variés.
Formats variés et contexte nécessaire : Les données statistiques publiques existent dans des formats et des schémas divers, nécessitant fréquemment une interprétation basée sur un contexte précis. Cela rend leur utilisation particulièrement difficile pour les systèmes utilisant la génération augmentée par récupération (RAG).
DataGemma : une solution innovante
Des chercheurs de Google ont développé DataGemma, un outil qui connecte les LLM à Data Commons — un vaste référentiel unifié de données statistiques publiques — afin de relever ces défis. Deux approches distinctes sont utilisées : RIG (Retrieval-Interleaved Generation) et RAG (Retrieval-Augmented Generation). Ces méthodes s’appuient sur les modèles open source de Google, Gemma et Gemma-2, qui sont ajustés spécifiquement pour ces approches.
Points-clés de DataGemma
1. Data Commons : Ce référentiel figure parmi les plus grands au monde pour les données statistiques publiques, avec plus de 240 milliards de points de données couvrant des centaines de milliers de variables statistiques. Les sources de données incluent des organisations reconnues comme l’OMS, l’ONU, le CDC (Centers for Disease Control and Prevention) et les bureaux de recensement.
2. RIG (Retrieval-Interleaved Generation) : Cette approche améliore les capacités de Gemma-2 en interrogeant activement des sources fiables et en utilisant les données de Data Commons pour vérifier les faits. Lorsqu’on demande à DataGemma de produire une réponse, le modèle identifie d’abord les éléments nécessitant des données statistiques, puis récupère ces informations dans Data Commons. Bien que la méthodologie RIG soit déjà connue, son intégration dans le cadre de DataGemma est une innovation.
3. RAG (Retrieval-Augmented Generation) : Cette méthode permet aux modèles linguistiques d’accéder à des informations externes pertinentes en complément des données d’entraînement, leur fournissant un contexte plus riche et leur permettant de générer des réponses plus détaillées et précises. DataGemma met en œuvre cette méthode en exploitant la fenêtre de contexte étendue du modèle Gemini 1.5 Pro. Avant de générer une réponse, DataGemma récupère des informations pertinentes depuis Data Commons, ce qui réduit les risques d’hallucination et améliore l’exactitude des réponses.
Résultats prometteurs
Bien que ces approches en soient encore à leurs débuts, les résultats initiaux sont encourageants. Les chercheurs rapportent des améliorations significatives dans la gestion des données numériques par les modèles linguistiques. Les utilisateurs devraient donc constater une réduction des hallucinations, ce qui rend ces modèles plus fiables pour la recherche, la prise de décision et les questions générales.
Découvrez la première version de notre publication scientifique « Optimisation des agents d’interface utilisateur graphique pour l’ancrage des instructions visuelles utilisant des systèmes d’Intelligence Artificielle multimodale » publiée dans arxiv et soumise à la revue Engineering Applications of Artificial Intelligence. Cet article, rédigé en anglais, est déjà disponible au public.
Most instance perception and image understanding solutions focus mainly on natural images. However, applications for synthetic images, and more specifically, images of Graphical User Interfaces (GUI) remain limited. This hinders the development of autonomous computer-vision-powered Artificial Intelligence (AI) agents. In this work, we present Search Instruction Coordinates or SIC, a multi-modal solution for object identification in a GUI. More precisely, given a natural language instruction and a screenshot of a GUI, SIC locates the coordinates of the component on the screen where the instruction would be executed. To this end, we develop two methods. The first method is a three-part architecture that relies on a combination of a Large Language Model (LLM) and an object detection model. The second approach uses a multi-modal foundation model.
arXiv est une archive ouverte de prépublications électroniques d’articles scientifiques dans différents domaines techniques, tels que la physique, les mathématiques, l’informatique et bien plus encore, gratuitement accessible par Internet.
Découvrez la première version de notre publication scientifique « Évaluation comparative des modèles de langage open-source pour une réponse efficace aux questions dans les applications industrielles » publiée dans arxiv et soumise à la revue Engineering Applications of Artificial Intelligence. Cet article, rédigé en anglais, est déjà disponible au public.
In the rapidly evolving landscape of Natural Language Processing (NLP),Large Language Models (LLMs) have demonstrated remarkable capabilitiesin tasks such as question answering (QA). However, the accessibility andpracticality of utilizing these models for industrial applications pose signif-icant challenges, particularly concerning cost-effectiveness, inference speed,and resource efficiency. This paper presents a comprehensive benchmarkingstudy comparing open-source LLMs with their non-open-source counterpartson the task of question answering. Our objective is to identify open-source al-ternatives capable of delivering comparable performance to proprietary mod-els while being lightweight in terms of resource requirements and suitable forCentral Processing Unit (CPU)-based inference. Through rigorous evalua-tion across various metrics including accuracy, inference speed, and resourceconsumption, we aim to provide insights into selecting efficient LLMs forreal-world applications. Our findings shed light on viable open-source al-ternatives that offer acceptable performance and efficiency, addressing thepressing need for accessible and efficient NLP solutions in industry settings.
arXiv est une archive ouverte de prépublications électroniques d’articles scientifiques dans différents domaines techniques, tels que la physique, les mathématiques, l’informatique et bien plus encore, gratuitement accessible par Internet.
Découvrez la première version de notre publication scientifique « Modèles de langage profonds low-cost : Enquête et évaluation des performances sur la génération de code Python » publié dans arxiv et soumis au journal Engineering Applications of Artificial Intelligence. Cet article rédigé en anglais est déjà disponible au public.
Merci à l’équipe de recherche de Novelis – notamment Jessica López Espejel, Mahaman Sanoussi Yahaya Alassan, Merieme Bouhandi, Walid Dahhane, El Hassane Ettifouri – pour son savoir-faire et son expertise.
« Large Language Models (LLMs) have become the go-to solution for many Natural Language Processing (NLP) tasks due to their ability to tackle various problems and produce high-quality results. Specifically, they are increasingly used to automatically generate code, easing the burden on developers by handling repetitive tasks. However, this improvement in quality has led to high computational and memory demands, making LLMs inaccessible to users with limited resources. In this paper, we focus on Central Processing Unit (CPU)-compatible models and conduct a thorough semi-manual evaluation of their strengths and weaknesses in generating Python code. We enhance their performance by introducing a Chain-of-Thought prompt that guides the model in problem-solving. Additionally, we propose a dataset of 60 programming problems with varying difficulty levels for evaluation purposes. Our assessment also includes testing these models on two state-of-the-art datasets: HumanEval and EvalPlus. We commit to sharing our dataset and experimental results publicly to ensure transparency. »
arXiv est une archive ouverte de prépublications électroniques d’articles scientifiques dans différents domaines techniques, tels que la physique, les mathématiques, l’informatique et bien plus encore, gratuitement accessible par Internet.
StreamingLLM : Permettre aux LLM de répondre en temps réel
StreamingLLM : briser la limitation de contexte court
Avez-vous déjà eu une conversation prolongée avec un chatbot (comme ChatGPT), pour vous rendre compte qu’il a perdu le fil ou n’est plus aussi cohérent ? Ou vous êtes-vous retrouvé face à une limite de longueur d’entrée épuisée avec les API de certains fournisseurs de modèles de langage ? La principale contrainte des LLM est la longueur de contexte limitée, ce qui empêche des interactions prolongées et de tirer pleinement parti de leurs capacités.
Des chercheurs du MIT, de Meta AI et de l’université Carnegie Mellon ont publié un article intitulé « Efficient Streaming Language Models With Attention Sinks ». Cet article présente une nouvelle technique permettant d’augmenter la longueur d’entrée des LLM sans perte d’efficacité ni dégradation des performances, et ce, sans avoir à réentraîner les modèles.
Le cadre StreamingLLM stocke les quatre premiers jetons (appelés « sinks ») dans un cache KV en tant que « Attention Sink » sur des modèles pré-entraînés comme LLaMA, Mistral, Falcon, etc. Ces jetons essentiels résolvent les défis de performance liés à l’attention classique, permettant d’étendre les capacités des LLM au-delà des limites de taille de contexte et de cache. L’utilisation de StreamingLLM aide à réduire la perplexité (indicateur de la capacité d’un modèle à prédire le prochain mot dans un contexte) ainsi que la complexité de calcul du modèle.
Pourquoi est-ce important ? Cette technique permet aux LLM de gérer des séquences de plus de 4 millions de jetons sans réentraînement, tout en minimisant la latence et l’empreinte mémoire par rapport aux méthodes précédentes.
RLHF : Adapter les modèles d’IA grâce à l’intervention humaine
Renforcer l’IA avec l’apprentissage par renforcement à partir du feedback humain
Le Renforcement par l’Apprentissage de Retours Humains (RLHF) est une avancée importante dans le traitement du langage naturel (NLP). Il permet d’ajuster les modèles de machine learning en utilisant l’intuition humaine, rendant les systèmes d’IA plus contextuels. Le RLHF est une méthode d’apprentissage où les modèles d’IA (ici, les LLM) sont affinés via des feedbacks humains. Cela implique de créer un « modèle de récompense » basé sur des retours, qui sert ensuite à optimiser le comportement de l’agent IA par le biais d’algorithmes de renforcement. En pratique, le RLHF permet aux machines d’apprendre et de s’améliorer grâce aux jugements des évaluateurs humains. Par exemple, un modèle d’IA peut être formé pour générer des résumés convaincants ou engager des conversations plus pertinentes en utilisant le RLHF.
Pourquoi est-ce essentiel ? Comprendre le RLHF est crucial pour saisir l’évolution du NLP et des LLM, et comment ils offrent des réponses claires et engageantes. RLHF permet d’aligner les modèles d’IA sur les valeurs humaines en fournissant des réponses plus proches de nos préférences.
RAG : Combiner les LLM avec des bases de données externes
L’efficacité simple du Retrieval Augmented Generation (RAG)
L’intelligence artificielle progresse rapidement avec des modèles comme GPT-4, Mistral, et Llama qui fixent de nouveaux standards. Cependant, ces modèles restent limités par leurs connaissances internes. En septembre 2020, Meta AI a introduit le cadre RAG (Retrieval Augmented Generation), conçu pour améliorer les réponses des LLM en intégrant des sources de connaissance externes et en enrichissant leurs bases de données internes. RAG est un système d’IA qui combine les LLM avec des bases de données externes pour fournir des réponses précises et actualisées.
Pourquoi est-ce essentiel ? Les LLM sont souvent limités par des données obsolètes et peuvent générer des informations erronées. Le RAG résout ces problèmes en assurant une précision factuelle et une cohérence, réduisant la nécessité de réentraîner fréquemment les modèles. Cela permet de diminuer les ressources computationnelles et financières nécessaires au maintien des LLM.
CoT : Concevoir les meilleurs prompts pour obtenir les meilleurs résultats
Chain-of-Thought : les LLM peuvent-ils raisonner ?
Nous avons exploré comment mieux utiliser les LLM grâce au Chain-of-Thought (CoT), une technique de prompt engineering. Cette méthode consiste à structurer les prompts de manière à décomposer un problème complexe en sous-problèmes plus simples, simulant la façon dont les humains résolvent les problèmes. Cela fonctionne bien pour des tâches de raisonnement arithmétique, de bon sens, et de logique symbolique.
Pourquoi est-ce essentiel ? Appliquer la technique CoT peut améliorer les résultats lorsqu’il s’agit de résoudre des problèmes arithmétiques, de bon sens ou de logique dans les LLM. Cela aide également à comprendre où le modèle pourrait se tromper
Découvrez notre publication scientifique « GPT-3.5, GPT-4, or BARD? Evaluating LLMs reasoning ability in zero-shot learning and performance boosting through prompts » publiée dans Elsevier et repris dans ScienceDirect. Cet article est en anglais.
Merci à l’équipe de recherche de Novelis – notamment Jessica López Espejel, Mahaman Sanoussi Yahaya Alassan, El Mehdi Chouham, El Hassane Ettifouri, Walid Dahhane – pour son savoir-faire et son expertise.
“Large Language Models (LLMs) have exhibited remarkable performance on various Natural Language Processing (NLP) tasks. However, there is a current hot debate regarding their reasoning capacity. In this paper, we examine the performance of GPT-3.5, GPT-4, and BARD models, by performing a thorough technical evaluation on different reasoning tasks across eleven distinct datasets. Our paper provides empirical evidence showcasing the superior performance of ChatGPT-4 in comparison to both ChatGPT-3.5 and BARD in zero-shot setting throughout almost all evaluated tasks. While the superiority of GPT-4 compared to GPT-3.5 might be explained by its larger size and NLP efficiency, this was not evident for BARD. We also demonstrate that the three models show limited proficiency in Inductive, Mathematical, and Multi-hop Reasoning Tasks. To bolster our findings, we present a detailed and comprehensive analysis of the results from these three models. Furthermore, we propose a set of engineered prompts that enhances the zero-shot setting performance of all three models.”
Elsevier est une entreprise d’analyse de données qui aide les institutions, les professionnels de santé et des sciences à améliorer leurs performances pour le bien-être de l’humanité.
ScienceDirect est la première source mondiale de recherche scientifique, technique et médicale.
Les cookies nécessaires sont absolument indispensables au bon fonctionnement du site web. Ces cookies assurent les fonctionnalités de base et les caractéristiques de sécurité du site web, de manière anonyme.
Les cookies fonctionnels aident à réaliser certaines fonctionnalités comme le partage du contenu du site web sur les plateformes de médias sociaux, la collecte de commentaires et d'autres fonctionnalités tierces.
Les cookies de performance sont utilisés pour comprendre et analyser les principaux indices de performance du site Web, ce qui permet d'offrir une meilleure expérience utilisateur aux visiteurs.
Les cookies analytiques sont utilisés pour comprendre comment les visiteurs interagissent avec le site web. Ces cookies permettent de fournir des informations sur les métriques le nombre de visiteurs, le taux de rebond, la source de trafic, etc.
Les cookies publicitaires sont utilisés pour fournir aux visiteurs des annonces et des campagnes de marketing pertinentes. Ces cookies suivent les visiteurs à travers les sites Web et collectent des informations pour fournir des annonces personnalisées.
