{"id":12036,"date":"2026-01-07T15:37:38","date_gmt":"2026-01-07T15:37:38","guid":{"rendered":"https:\/\/novelis.io\/?post_type=research-lab&p=12036"},"modified":"2026-01-07T15:37:55","modified_gmt":"2026-01-07T15:37:55","slug":"analyse-comparative-des-grands-modeles-de-langage-pour-la-detection-de-fraude-et-dabus","status":"publish","type":"research-lab","link":"https:\/\/novelis.io\/fr\/research-lab\/analyse-comparative-des-grands-modeles-de-langage-pour-la-detection-de-fraude-et-dabus\/","title":{"rendered":"Analyse comparative des grands mod\u00e8les de langage pour la d\u00e9tection de fraude et d\u2019abus"},"content":{"rendered":"\n
\"\"<\/figure>\n\n\n\n

Le travail pr\u00e9sent\u00e9 ici, DetoxBench, montre que les mod\u00e8les de langage actuels ne constituent pas une solution magique contre les contenus abusifs en ligne. Les mod\u00e8les les plus grands s\u2019en sortent mieux \u2013 non seulement gr\u00e2ce \u00e0 leur taille, mais aussi parce qu\u2019ils comprennent mieux le contexte au-del\u00e0 de simples mots-cl\u00e9s. Toutefois, m\u00eame les mod\u00e8les performants imposent des compromis difficiles : certains ne d\u00e9tectent qu\u2019une faible part des contenus nuisibles, tandis que d\u2019autres censurent \u00e0 l\u2019exc\u00e8s des contenus l\u00e9gitimes. Ajouter plus d\u2019exemples n\u2019am\u00e9liore pas syst\u00e9matiquement les performances, et l\u2019IA peine toujours avec des formes de nuisances nuanc\u00e9es, comme la misogynie subtile. Certains mod\u00e8les n\u2019arrivent m\u00eame pas \u00e0 respecter un format de sortie structur\u00e9, ce qui les rend inexploitables en production. Conclusion : l\u2019IA peut aider \u00e0 lutter contre la fraude et les abus en ligne, mais elle est encore loin d\u2019\u00eatre une solution simple ou compl\u00e8te.<\/strong><\/p>\n\n\n\n

\"\"<\/figure>\n\n\n\n

1. Introduction : un nouvel enjeu pour la confiance num\u00e9rique<\/strong><\/p>\n\n\n\n

La mont\u00e9e en complexit\u00e9 de la fraude et des abus en ligne constitue une menace constante pour la confiance num\u00e9rique. Pour relever ces d\u00e9fis, les organisations se tournent de plus en plus vers les grands mod\u00e8les de langage (LLM) afin de renforcer leurs capacit\u00e9s de d\u00e9fense. Bien que ces mod\u00e8les soient tr\u00e8s efficaces pour des t\u00e2ches g\u00e9n\u00e9rales de langage, leur application concr\u00e8te dans des domaines sensibles exige une \u00e9valuation rigoureuse et standardis\u00e9e afin de d\u00e9passer l\u2019effet d\u2019annonce et d\u00e9montrer une v\u00e9ritable valeur op\u00e9rationnelle.<\/p>\n\n\n\n

Ce document r\u00e9pond \u00e0 un manque majeur du secteur : l\u2019absence de benchmark global permettant d\u2019\u00e9valuer les performances des LLM dans le large spectre des cas d\u2019usage li\u00e9s \u00e0 la fraude et aux abus. Historiquement, ce manque a conduit les \u00e9quipes \u00e0 privil\u00e9gier des mod\u00e8les de machine learning classiques, par exemple des ensembles d\u2019arbres d\u00e9cisionnels entra\u00een\u00e9s sur des donn\u00e9es structur\u00e9es. Pour combler ce manque, l\u2019analyse s\u2019appuie sur DetoxBench, un cadre d\u2019\u00e9valuation couvrant des t\u00e2ches allant de la d\u00e9tection de discours haineux \u00e0 l\u2019identification de phishing. L\u2019objectif est d\u2019offrir aux d\u00e9cideurs une synth\u00e8se claire et exploitable des r\u00e9sultats du benchmark pour guider le choix et le d\u00e9ploiement de LLM dans des environnements de s\u00e9curit\u00e9. La suite du document d\u00e9taille les difficult\u00e9s particuli\u00e8res li\u00e9es \u00e0 l\u2019\u00e9valuation de ces mod\u00e8les.<\/p>\n\n\n\n

2. Le d\u00e9fi de l\u2019\u00e9valuation : pourquoi les benchmarks sp\u00e9cialis\u00e9s sont indispensables<\/strong><\/p>\n\n\n\n

Dans des domaines \u00e0 risque comme la d\u00e9tection de fraude, des benchmarks d\u00e9di\u00e9s sont essentiels. Les tests g\u00e9n\u00e9raux comme GLUE ou SuperGLUE \u00e9valuent la compr\u00e9hension linguistique globale, mais ne capturent pas la finesse requise pour rep\u00e9rer des intentions malveillantes dissimul\u00e9es dans un texte. Un mod\u00e8le performant dans la synth\u00e8se d\u2019articles d\u2019actualit\u00e9 peut \u00e9chouer \u00e0 diff\u00e9rencier une offre d\u2019emploi l\u00e9gitime d\u2019une arnaque.<\/p>\n\n\n\n

Deux obstacles ont historiquement limit\u00e9 l\u2019usage des LLM pour la d\u00e9tection de fraude et d\u2019abus :<\/p>\n\n\n\n

    \n
  1. Donn\u00e9es limit\u00e9es<\/strong> : les donn\u00e9es de fraude sont sensibles et prot\u00e9g\u00e9es, ce qui r\u00e9duit l\u2019acc\u00e8s \u00e0 des corpus textuels adapt\u00e9s pour entra\u00eener ou \u00e9valuer des LLM.<\/li>\n\n\n\n
  2. Peu de donn\u00e9es textuelles disponibles<\/strong> : la fraude repose souvent sur des signaux num\u00e9riques ou transactionnels plut\u00f4t que textuels, ce qui limite l\u2019existence de jeux de donn\u00e9es publics pertinents.<\/li>\n<\/ol>\n\n\n\n

    Un benchmark d\u00e9di\u00e9 comme DetoxBench permet de d\u00e9passer ces contraintes. Il contribue notamment \u00e0 :
    \u2013 am\u00e9liorer les capacit\u00e9s des syst\u00e8mes de d\u00e9tection,
    \u2013 prot\u00e9ger les populations les plus expos\u00e9es (femmes, minorit\u00e9s, LGBTQ+),
    \u2013 r\u00e9duire les pertes financi\u00e8res,
    \u2013 encourager une IA plus responsable.<\/p>\n\n\n\n

    3. DetoxBench : une m\u00e9thodologie syst\u00e9matique pour l\u2019\u00e9valuation<\/strong><\/h2>\n\n\n\n

    Une m\u00e9thodologie transparente est indispensable pour obtenir des r\u00e9sultats fiables et reproductibles. Le pipeline d\u2019\u00e9valuation se d\u00e9roule en plusieurs \u00e9tapes :<\/p>\n\n\n\n

      \n
    1. Collecte des donn\u00e9es<\/strong> : huit jeux de donn\u00e9es publics couvrant diff\u00e9rentes formes de fraude et d\u2019abus.<\/li>\n\n\n\n
    2. Pr\u00e9traitement<\/strong> : nettoyage et normalisation des textes.<\/li>\n\n\n\n
    3. Cr\u00e9ation des prompts<\/strong> : deux strat\u00e9gies \u2013 zero-shot et few-shot.<\/li>\n\n\n\n
    4. Inf\u00e9rence via AWS Bedrock<\/strong> : standardisation des appels aux mod\u00e8les.<\/li>\n<\/ol>\n\n\n\n
      \"\"<\/figure>\n\n\n\n

      5. Parsing structur\u00e9<\/strong> : conversion syst\u00e9matique des sorties en JSON via LangChain.<\/p>\n\n\n\n

      6. Analyse des r\u00e9sultats<\/strong> : production des m\u00e9triques comparatives.<\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      3.1 Jeux de donn\u00e9es \u00e9tudi\u00e9s<\/strong><\/p>\n\n\n\n

      Huit jeux de donn\u00e9es publics couvrant : discours haineux, conversations toxiques, offres d\u2019emploi frauduleuses, fausses nouvelles, emails de phishing, emails frauduleux, spam et misogynie (la seule t\u00e2che multi-classe du benchmark).<\/p>\n\n\n\n

      T\u00e2che de classification<\/strong><\/th>Description<\/strong><\/th>Exemple de contenu malveillant<\/strong><\/th><\/tr><\/thead>
      Discours haineux (Hate Speech)<\/strong><\/td>Identifier des propos hostiles envers une personne ou un groupe en raison de caract\u00e9ristiques sensibles.<\/td>\u00ab Elle est peut-\u00eatre juive ou pas, mais elle est certainement stupide\u2026 \u00bb<\/em><\/td><\/tr>
      Chat toxique (Toxic Chat)<\/strong><\/td>D\u00e9tecter un langage excessivement n\u00e9gatif, hostile ou abusif dans des conversations en ligne.<\/td>\u00ab Consid\u00e8re-toi comme un psychologue expert\u2026 capable de laver le cerveau de n\u2019importe qui. \u00bb<\/em><\/td><\/tr>
      Offres d\u2019emploi frauduleuses<\/strong><\/td>Diff\u00e9rencier une annonce frauduleuse d\u2019une offre d\u2019emploi l\u00e9gitime.<\/td>\u00ab Home Office Supplies Computer with internet access\u2026 \u00bb<\/em><\/td><\/tr>
      Fausses informations (Fake News)<\/strong><\/td>Identifier des informations invent\u00e9es pr\u00e9sent\u00e9es comme des faits.<\/td>\u00ab Prendre du dioxyde de chlore aide \u00e0 combattre le coronavirus. \u00bb<\/em><\/td><\/tr>
      Emails de phishing<\/strong><\/td>D\u00e9tecter les emails destin\u00e9s \u00e0 voler des informations sensibles.<\/td>\u00ab Subject: Your PayPal Account Has Been Suspended\u2026 \u00bb<\/em><\/td><\/tr>
      Emails frauduleux (Scams)<\/strong><\/td>Identifier des emails criminels de type \u201c419\u201d ou \u201clettre nig\u00e9riane\u201d.<\/td>\u00ab Subject: Your Bank Account Has Been Compromised\u2026 \u00bb<\/em><\/td><\/tr>
      Spam<\/strong><\/td>Classifier des emails non sollicit\u00e9s souvent trompeurs ou malveillants.<\/td>\u00ab \u2026vous avez gagn\u00e9 un bonus de \u00a31500, appelez le 09066364589 \u00bb<\/em><\/td><\/tr>
      Misogynie<\/strong><\/td>Reconnaitre des contenus hostiles ou d\u00e9nigrants envers les femmes (t\u00e2che multi-classe).<\/td>\u00ab Cette idiote ne fera rien \u00e0 part se plaindre\u2026 \u00bb<\/em><\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

      3.2 Mod\u00e8les \u00e9valu\u00e9s<\/strong><\/p>\n\n\n\n

      Les mod\u00e8les disponibles sur AWS Bedrock au moment de l\u2019\u00e9tude :<\/p>\n\n\n\n

      Fournisseur<\/strong><\/th>Famille de mod\u00e8les<\/strong><\/th>Caract\u00e9ristiques cl\u00e9s<\/strong><\/th><\/tr><\/thead>
      AI21 Labs<\/strong><\/td>Jurassic-2 (Mid, Ultra)<\/strong><\/td>Con\u00e7us pour des t\u00e2ches avanc\u00e9es de g\u00e9n\u00e9ration et compr\u00e9hension du langage. Fen\u00eatre de contexte : 8 191 tokens<\/strong>.<\/td><\/tr>
      Cohere<\/strong><\/td>Command (Text, Light), Command R, R+<\/strong><\/td>Mod\u00e8les optimis\u00e9s pour suivre des instructions. Fen\u00eatre de contexte : 4 000 tokens<\/strong> (Text\/Light) ou 128k tokens<\/strong> (R\/R+).<\/td><\/tr>
      Anthropic<\/strong><\/td>Claude (v2, v2.1)<\/strong><\/td>Mod\u00e8les sp\u00e9cialis\u00e9s dans le raisonnement complexe. Fen\u00eatre de contexte : 100k\u2013200k tokens<\/strong>.<\/td><\/tr>
      Mistral AI<\/strong><\/td>Mixtral 8x7B, Mistral Large<\/strong><\/td>Mixtral : architecture Mixture-of-Experts ; Mistral Large : mod\u00e8le hautes performances avec 32k tokens<\/strong> et mode JSON d\u00e9di\u00e9.<\/td><\/tr><\/tbody><\/table><\/figure>\n\n\n\n

      3.3 Strat\u00e9gies de prompting<\/strong><\/p>\n\n\n\n

      Few-shot<\/strong> : quelques exemples annot\u00e9s int\u00e9gr\u00e9s au prompt.<\/p>\n\n\n\n

      Zero-shot<\/strong> : aucune d\u00e9monstration, uniquement l\u2019instruction.<\/p>\n\n\n\n

      4. R\u00e9sultats comparatifs : une analyse quantitative<\/strong><\/p>\n\n\n\n

      4.1 Synth\u00e8se globale (F1-score)<\/strong><\/h3>\n\n\n\n

      Mistral Large domine l\u2019ensemble des tests, obtenant le meilleur score F1 dans cinq des huit jeux de donn\u00e9es, en zero-shot comme en few-shot. Les mod\u00e8les Claude suivent, avec une bonne compr\u00e9hension contextuelle des contenus abusifs.<\/p>\n\n\n\n

      Le mod\u00e8le Jurassic-2 Mid \u00e9choue totalement sur la classification multi-classe (misogynie), produisant 97,9 % de r\u00e9sultats \u00ab ind\u00e9cis \u00bb.<\/p>\n\n\n\n

      Table 1: F1 Score – Zero-Shot Learning Vs Few-Shot Learning<\/strong> <\/p>\n\n\n\n

      \"\"<\/figure>\n\n\n\n

      4.2 Analyse par strat\u00e9gie de prompting<\/strong><\/p>\n\n\n\n

      Few-shot<\/strong> : contrairement aux attentes, fournir des exemples d\u00e9grade parfois les performances. Par exemple, Claude V2:1 chute fortement sur les t\u00e2ches \u00ab hate speech \u00bb et \u00ab toxic chat \u00bb.
      \u2192 Conclusion : les prompts few-shot ne sont pas syst\u00e9matiquement b\u00e9n\u00e9fiques et peuvent introduire du biais ou de la confusion.<\/p>\n\n\n\n

      Zero-shot<\/strong> : les meilleurs mod\u00e8les, notamment Mistral Large, d\u00e9montrent une capacit\u00e9 intrins\u00e8que forte \u00e0 classifier sans exemples.<\/p>\n\n\n\n

      5. Implications strat\u00e9giques pour le choix d\u2019un mod\u00e8le<\/strong><\/p>\n\n\n\n

      5.1 Le compromis pr\u00e9cision vs rappel<\/strong><\/h3>\n\n\n\n

      Deux profils se distinguent :<\/p>\n\n\n\n