{"id":6701,"date":"2023-02-03T10:54:03","date_gmt":"2023-02-03T10:54:03","guid":{"rendered":"https:\/\/novelis.io\/?post_type=scientific-pub&p=6701"},"modified":"2023-02-07T11:01:57","modified_gmt":"2023-02-07T11:01:57","slug":"jacotext-un-modele-pre-entraine-pour-la-generation-de-code-texte-java","status":"publish","type":"scientific-pub","link":"https:\/\/novelis.io\/fr\/scientific-pub\/jacotext-un-modele-pre-entraine-pour-la-generation-de-code-texte-java\/","title":{"rendered":"Text2Java : Un mod\u00e8le pr\u00e9-entra\u00een\u00e9 pour g\u00e9n\u00e9rer du code Java \u00e0 partir du langage naturel"},"content":{"rendered":"\n

D\u00e9couvrez notre article JaCoText : A Pretrained Model for Java Code-Text Generation publi\u00e9 dans le journal \u00ab\u00a0World Academy of Science, Engineering and Technology<\/a>\u00ab\u00a0. Notre \u00e9quipe de recherche a \u00e9galement pr\u00e9sent\u00e9 ses travaux lors de la Conf\u00e9rence internationale sur la g\u00e9n\u00e9ration et l’impl\u00e9mentation de codes<\/a>\u00a0: regarder le replay<\/a>. Merci \u00e0 l’\u00e9quipe de recherche de Novelis<\/a> pour ses connaissances et son exp\u00e9rience.<\/p>\n\n\n\n

Pour citer cet article, merci d’utiliser :\u00a0Espejel, J. , Alassan, M. , Dahhane, W. , Ettifouri, E. (2023). ‘JaCoText: A Pretrained Model for Java Code-Text Generation’. World Academy of Science, Engineering and Technology, Open Science Index 194, International Journal of Computer and Systems Engineering, 17(2), 100 – 105.<\/strong><\/p>\n\n\n\n

Abstract<\/h2>\n\n\n\n

En traitement du langage naturel (NL), plusieurs mod\u00e8les pr\u00e9-entra\u00een\u00e9s tels que BERT, BART et T5 ont atteint de bonnes performances dans la g\u00e9n\u00e9ration des langages de programmation (PL) comme le Java et le Python. Dans cet article, nous pr\u00e9sentons Text2Java: un syst\u00e8me compos\u00e9 de trois mod\u00e8les pour g\u00e9n\u00e9rer du code Java \u00e0 partir du langage naturel. Nos mod\u00e8les tirent parti de certains crit\u00e8res pour am\u00e9liorer les performances des mod\u00e8les propos\u00e9s par Raffel et al. (2020), Beltagy et al. (2019), et Lee et al. (2020). Nous explorons le pr\u00e9-apprentissage suppl\u00e9mentaire avec les deux architectures\u00a0: \u00a0et . D’une part, lorsque nous utilisons l\u2019architecture , nous commen\u00e7ons l\u2019apprentissage \u00e0 partir des checkpoints CoTexT d\u00e9j\u00e0 entra\u00een\u00e9s sur les datasets C4 et CodeSearchNet. D’une autre part, l\u2019apprentissage utilisant \u00a0est lanc\u00e9 directement \u00e0 partir du checkpoint pr\u00e9c\u00e9demment entra\u00een\u00e9 sur le dataset C4. Les exp\u00e9rimentations montrent que les mod\u00e8les Text2Java atteignent les r\u00e9sultats de l\u2019\u00e9tat de l\u2019art, d\u00e9montrant ainsi leur efficacit\u00e9.<\/p>\n\n\n\n

1 Introduction<\/h2>\n\n\n\n

Pour d\u00e9velopper des logiciels informatiques, les programmeurs combinent entre le langage naturel (natural language, NL) et le langage de programmation (programming language, PL). Le langage naturel est utilis\u00e9 dans la documentation des logiciels, comme les doc-strings pour d\u00e9crire les m\u00e9thodes et les classes. La documentation de certains projets dans une grande vari\u00e9t\u00e9 de langages de programmation est accessible \u00e0 travers des sites web comme Stack Overflow, GitHub, GeeksforGeeks, et W3Schools.<\/p>\n\n\n\n

R\u00e9cemment, la communaut\u00e9 scientifique a d\u00e9velopp\u00e9 plusieurs syst\u00e8mes qui ont pour but de g\u00e9n\u00e9rer automatiquement du code source dans diff\u00e9rents langages de programmation. Ces mod\u00e8les sont inspir\u00e9s des mod\u00e8les de langage (Language Models, LMs) pr\u00e9-entra\u00een\u00e9s, con\u00e7us \u00e0 l’origine pour aborder \u00a0diff\u00e9rentes t\u00e2ches telles que la synth\u00e8se de texte (Zhang et al., 2019<\/a>), la r\u00e9ponse aux questions (Khashabi et al., 2018;<\/a> Clark et al., 2019), et l’analyse des sentiments (Mohanty et al., 2021<\/a>).<\/p>\n\n\n\n

Selon les \u00e9tudes les plus r\u00e9centes de l\u2019\u00e9tat de l\u2019art, le succ\u00e8s des LMs d\u00e9pend de certains crit\u00e8res, tels que l’utilisation de gros volumes de donn\u00e9es pour le pr\u00e9-apprentissage, les fonctions de co\u00fbt utilis\u00e9es lors de l\u2019entra\u00eenement telles que la mod\u00e9lisation du langage masqu\u00e9 (MLM) utilis\u00e9e dans BERT (Devlin et al., 20<\/a>18), l\u2019erreur de m\u00e9lange (Liu et al., 201<\/a>9a), la mod\u00e9lisation du langage causal (CLM) (Radford et Narasimhan, 201<\/a>8), la substitution al\u00e9atoire de tokens (RTS) et le mod\u00e8le de langage \u00e9chang\u00e9 (SLM) propos\u00e9 par Liello et al. (2021). De plus, certains mod\u00e8les tels que SciBERT (Beltagy et al., 201<\/a>9) et BioBERT (Lee et al., 202<\/a>0) ont montr\u00e9 les avantages du pr\u00e9-apprentissage du mod\u00e8le en utilisant des donn\u00e9es li\u00e9es \u00e0 une t\u00e2che sp\u00e9cifique.<\/p>\n\n\n\n

En s\u2019inspirant des \u00e9tudes pr\u00e9c\u00e9dentes, nous introduisons le mod\u00e8le TexT2Java, un mod\u00e8le pr\u00e9-entra\u00een\u00e9 bas\u00e9 sur les Transformeurs (Vaswani et al., 20<\/a>17), et inspir\u00e9 par (Raffel et al., 202<\/a>0) et CoTexT (Phan et al., 20<\/a>21) . TexT2Java utilise certains crit\u00e8res pour am\u00e9liorer les performances du mod\u00e8le propos\u00e9 par Raffel et al., 20<\/a>20, Beltagy et al., 201<\/a>9, et Lee et al., 202<\/a>0. Par exemple, en se basant sur le succ\u00e8s de CodeGPT-adapt\u00e9, nous commen\u00e7ons l\u2019apprentissage \u00e0 partir des checkpoints CoTexT-1CC et CoTexT-2CC, au lieu de faire un apprentissage \u00e0 partir du z\u00e9ro. \u00c9tant donn\u00e9 que le but de notre mod\u00e8le est de g\u00e9n\u00e9rer du code java, nous avons effectu\u00e9 un pr\u00e9-apprentissage suppl\u00e9mentaire en utilisant des donn\u00e9es appartenant \u00e0 un langage de programmation sp\u00e9cifique (java). La Figure 1 d\u00e9crit le pr\u00e9-apprentissage suppl\u00e9mentaire sur chaque checkpoint. De m\u00eame, nous augmentons la longueur d’entr\u00e9e et de sortie dans la phase de fine-tuning.<\/p>\n\n\n

\n
\"\"
Figure 1. Mod\u00e8le TexT2Java<\/figcaption><\/figure><\/div>\n\n\n

Contrairement aux mod\u00e8les de g\u00e9n\u00e9ration de langage naturel tels que BERT (Devlin et al., 20<\/a>18) et PEGASUS (Zhang et al., 20<\/a>19), notre mod\u00e8le de g\u00e9n\u00e9ration du code java doit apprendre les r\u00e8gles de grammaire (Rabinovich et al., 20<\/a>17) et de syntaxe (Yin and Neubig, 20<\/a>17). La Figure 2 montre un exemple d\u2019une s\u00e9quence donn\u00e9e en entr\u00e9e du r\u00e9seau de neurones, le code de r\u00e9f\u00e9rence (gold standard) que le mod\u00e8le est cens\u00e9 g\u00e9n\u00e9rer et la pr\u00e9diction du r\u00e9seau.<\/p>\n\n\n

\n
\"\"
Figure 2. Exemple d\u2019une g\u00e9n\u00e9ration de code faite par notre mod\u00e8le et le code gold standard (r\u00e9f\u00e9rence) correspondant<\/figcaption><\/figure><\/div>\n\n\n

Nos contributions sont comme suit :<\/p>\n\n\n\n