Découvrez la première version de notre publication scientifique "Optimisation des agents d'interface utilisateur graphique pour l'ancrage des instructions visuelles utilisant des systèmes d'Intelligence Artificielle multimodale" publiée dans arxiv et soumise à la revue Engineering Applications of Artificial Intelligence. Cet article, rédigé en anglais, est déjà disponible au public.
Merci à l'équipe de recherche de Novelis pour leur savoir-faire et leur expertise.
A propos
Most instance perception and image understanding solutions focus mainly on natural images. However, applications for synthetic images, and more specifically, images of Graphical User Interfaces (GUI) remain limited. This hinders the development of autonomous computer-vision-powered Artificial Intelligence (AI) agents. In this work, we present Search Instruction Coordinates or SIC, a multi-modal solution for object identification in a GUI. More precisely, given a natural language instruction and a screenshot of a GUI, SIC locates the coordinates of the component on the screen where the instruction would be executed. To this end, we develop two methods. The first method is a three-part architecture that relies on a combination of a Large Language Model (LLM) and an object detection model. The second approach uses a multi-modal foundation model.
arXiv est une archive ouverte de prépublications électroniques d'articles scientifiques dans différents domaines techniques, tels que la physique, les mathématiques, l'informatique et bien plus encore, gratuitement accessible par Internet.
