{"id":11324,"date":"2025-07-29T08:32:15","date_gmt":"2025-07-29T08:32:15","guid":{"rendered":"https:\/\/novelis.io\/?post_type=research-lab&p=11324"},"modified":"2025-08-21T08:14:29","modified_gmt":"2025-08-21T08:14:29","slug":"llava-scissor-compression-de-tokens-sans-entrainement-pour-les-modeles-de-langage-video","status":"publish","type":"research-lab","link":"https:\/\/novelis.io\/fr\/research-lab\/llava-scissor-compression-de-tokens-sans-entrainement-pour-les-modeles-de-langage-video\/","title":{"rendered":"LLaVA-Scissor : Compression de tokens sans entra\u00eenement pour les mod\u00e8les de langage vid\u00e9o"},"content":{"rendered":"\n

Dans le domaine en pleine \u00e9volution de l\u2019IA multimodale, les grands mod\u00e8les de langage vid\u00e9o (VLLMs)<\/strong> \u00e9mergent comme un outil puissant pour comprendre et raisonner sur du contenu visuel dynamique.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Ces syst\u00e8mes, construits sur la combinaison d\u2019encodeurs visuels et de grands mod\u00e8les de langage, sont capables de r\u00e9aliser des t\u00e2ches complexes telles que la r\u00e9ponse \u00e0 des questions sur des vid\u00e9os, la compr\u00e9hension de vid\u00e9os longues et le raisonnement multimodal.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Un obstacle majeur persiste : la surcharge en tokens<\/strong>. M\u00eame les vid\u00e9os courtes peuvent g\u00e9n\u00e9rer des dizaines de milliers de tokens visuels. Chaque image apporte son lot de tokens et, lorsqu\u2019ils sont encod\u00e9s de fa\u00e7on s\u00e9quentielle, le mod\u00e8le doit traiter un volume massif de donn\u00e9es, entra\u00eenant des co\u00fbts m\u00e9moire \u00e9lev\u00e9s, une inf\u00e9rence lente et une faible scalabilit\u00e9<\/strong>. La redondance entre les images et \u00e0 l\u2019int\u00e9rieur d\u2019une m\u00eame image aggrave encore le probl\u00e8me, car de nombreux tokens repr\u00e9sentent des contenus identiques ou qui se chevauchent.<\/p>\n\n\n\n

C\u2019est ce probl\u00e8me que LLaVA-Scissor<\/strong> a \u00e9t\u00e9 con\u00e7u pour r\u00e9soudre.<\/p>\n\n\n\n

Repenser la compression des tokens : au-del\u00e0 des cartes d\u2019attention<\/strong><\/h2>\n\n\n\n

Les approches traditionnelles de compression des tokens dans les mod\u00e8les vision-langage s\u2019appuient souvent sur les scores d\u2019attention<\/strong> pour s\u00e9lectionner les tokens \u00e0 conserver. Bien que logique, cette strat\u00e9gie tend \u00e0 privil\u00e9gier les objets les plus visibles tout en n\u00e9gligeant des indices contextuels importants. Pire, elle s\u00e9lectionne fr\u00e9quemment les m\u00eames caract\u00e9ristiques dominantes sur plusieurs images, entra\u00eenant une r\u00e9p\u00e9tition plut\u00f4t qu\u2019une v\u00e9ritable r\u00e9duction.<\/p>\n\n\n\n

D\u2019autres m\u00e9thodes cherchent \u00e0 r\u00e9duire les tokens gr\u00e2ce \u00e0 des astuces architecturales (modules de pooling entra\u00eenables, segmentation de sc\u00e8nes, interpolation inter-images\u2026), mais elles n\u00e9cessitent g\u00e9n\u00e9ralement un nouvel entra\u00eenement<\/strong>, se g\u00e9n\u00e9ralisent mal et ont du mal \u00e0 g\u00e9rer le contenu temporellement<\/strong> incoh\u00e9rent.<\/p>\n\n\n\n

LLaVA-Scissor adopte une autre approche. Il introduit un algorithme de compression<\/strong>, sans entra\u00eenement<\/strong>, appliqu\u00e9 au moment de l\u2019inf\u00e9rence<\/strong>, qui identifie des groupes de tokens s\u00e9mantiquement uniques et r\u00e9duit efficacement la redondance, sans perte de compr\u00e9hension.<\/p>\n\n\n\n

Composants connect\u00e9s s\u00e9mantiques : une approche bas\u00e9e sur les graphes<\/strong><\/h2>\n\n\n\n

Au c\u0153ur de LLaVA-Scissor se trouve une id\u00e9e simple mais \u00e9l\u00e9gante : traiter les tokens comme un graphe<\/strong> et les r\u00e9duire en identifiant des composants connect\u00e9s sur la base de leur similarit\u00e9 s\u00e9mantique.<\/p>\n\n\n\n

Voici comment cela fonctionne.<\/p>\n\n\n\n

Chaque token est repr\u00e9sent\u00e9 comme un vecteur de grande dimension (issu de l\u2019encodeur visuel). LLaVA-Scissor calcule les similarit\u00e9s par paires entre tous les tokens d\u2019une image (ou entre plusieurs images) et construit une matrice d\u2019adjacence binaire<\/strong> bas\u00e9e sur un seuil de similarit\u00e9. Les tokens suffisamment similaires sont consid\u00e9r\u00e9s comme connect\u00e9s.<\/p>\n\n\n\n

Ce processus transforme le probl\u00e8me de compression des tokens en un probl\u00e8me de clustering de graphe<\/strong>. En utilisant un algorithme union-find<\/em> efficace, le mod\u00e8le extrait les composants connect\u00e9s<\/strong>, c\u2019est-\u00e0-dire des groupes de tokens s\u00e9mantiquement similaires. Chaque groupe est ensuite compress\u00e9 en un seul token repr\u00e9sentatif<\/strong>, calcul\u00e9 comme la moyenne de tous les tokens du composant.<\/p>\n\n\n\n

Fait crucial, aucune hypoth\u00e8se n\u2019est faite sur l\u2019adjacence spatiale ou temporelle<\/strong>. Cela permet au syst\u00e8me d\u2019identifier la similarit\u00e9 s\u00e9mantique entre des tokens m\u00eame s\u2019ils proviennent de diff\u00e9rentes images ou de positions spatiales diff\u00e9rentes. Le r\u00e9sultat est un ensemble de tokens repr\u00e9sentatifs qui pr\u00e9serve la diversit\u00e9 du contenu s\u00e9mantique<\/strong> sans dupliquer l\u2019information.<\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

Une strat\u00e9gie en deux \u00e9tapes : compression spatiale et temporelle<\/strong><\/h2>\n\n\n\n

Comprendre une vid\u00e9o n\u00e9cessite de r\u00e9duire la redondance \u00e0 la fois \u00e0 l\u2019int\u00e9rieur d\u2019une image et entre les images.<\/p>\n\n\n\n

LLaVA-Scissor utilise donc un pipeline de compression en deux \u00e9tapes<\/strong> :<\/p>\n\n\n\n

    \n
  1. Compression spatiale<\/strong> : dans chaque image, les composantes connect\u00e9es sont identifi\u00e9es et fusionn\u00e9es, donnant un ensemble r\u00e9duit de tokens repr\u00e9sentatifs.<\/li>\n\n\n\n
  2. Compression temporelle<\/strong> : ces tokens repr\u00e9sentatifs sont ensuite concat\u00e9n\u00e9s sur l\u2019ensemble des images, puis compress\u00e9s \u00e0 nouveau pour supprimer les redondances temporelles.<\/li>\n<\/ol>\n\n\n\n

    Ce processus hi\u00e9rarchique permet d\u2019\u00e9liminer les concepts visuels redondants dans l\u2019espace et le temps,<\/strong> aboutissant \u00e0 un jeu final de tokens compact, expressif et sans redondance.<\/p>\n\n\n\n

    \"\"<\/figure>\n\n\n\n

    Une \u00e9tape optionnelle<\/strong> de fusion peut r\u00e9aligner l\u2019ensemble original de tokens avec l\u2019ensemble compress\u00e9 pour am\u00e9liorer la fid\u00e9lit\u00e9 : chaque token original est associ\u00e9 \u00e0 son repr\u00e9sentant le plus proche, puis moyenn\u00e9. Cette \u00e9tape renforce les performances, notamment lorsque le budget de tokens est faible.<\/p>\n\n\n\n

    R\u00e9sultats exp\u00e9rimentaux : moins de tokens, plus de performance<\/strong><\/h2>\n\n\n\n

    LLaVA-Scissor a \u00e9t\u00e9 \u00e9valu\u00e9 sur plusieurs grands benchmarks :<\/p>\n\n\n\n