Objectifs :
Venez découvrir une approche du Deep Learning sur les LLM ou Large Language Models, les IA qui se cachent derrière ChatGPT, Claude ou encore le célèbre Chat-ISDM !

Programme :
- Première partie d’introduction informative sur les LLM, le mécanisme d’attention, les transformer et leur fonctionnement. Comment est captée l’information à partir des données séquentielles.
- Deuxième partie sur l’utilisation des LLM, introduction au prompt engineering, différents cas d’utilisations et propositions de méthodes pour améliorer la réponse d’un LLM
- Troisième partie sur les limites des LLM, ce qu’il faut savoir avant d’en utiliser. Celle-ci vise à montrer que ce sont des outils, loin d’être omnipotents, dont les limites éthiques notamment méritent d’être soulevées.

Pré-requis :
- Ordinateur pour s’essayer sur différentes IA disponibles en ligne, mettre en pratique les différentes techniques de prompt, …
- Notions de deep learning conseillées pour la première partie uniquement

Méthode pédagogique :
Cours magistral

Compétences acquises à l'issue de la formation :
- Être capable d’’expliquer comment les LLMs traitent et génèrent du langage naturel
- Maitrise du vocabulaire technique associé aux LLMs : tokens, embeddings, attention, transformer, ...
- Pouvoir approfondir son utilisation des modèles de langage, notamment à l’aide du Prompt Engineering
- Prendre du recul sur les modèles de langage en terme de limites et d’éthique, et être capable de reconnaître les biais associés
- Être en mesure d’évaluer les scénarios où l’utilisation des LLMs est pertinente ou inappropriée
- Aborder une utilisation de modèle de langage en développement logiciel : bibliothèque Hugging Face
- Pouvoir trouver les ressources et la bibliographie pour davantage creuser le sujet

Les Compétences et capacités visées à l'issue de la formation (fiches RNCP)

Arrêté du 22 février 2019 définissant les compétences des diplômés du doctorat et inscrivant le doctorat au répertoire national de la certification professionnelle. https://www.legifrance.gouv.fr/loda/id/JORFTEXT000038200990/

Bloc 1 : Conception et élaboration d’une démarche de recherche et développement, d’études et prospective

- Disposer d'une expertise scientifique tant générale que spécifique d'un domaine de recherche et de travail déterminé

- Identifier et résoudre des problèmes complexes et nouveaux impliquant une pluralité de domaines, en mobilisant les connaissances et les savoir-faire les plus avancés

- S’adapter en permanence aux nécessités de recherche et d’innovation au sein d’un secteur professionnel

Bloc 2 : Mise en œuvre d’une démarche de recherche et développement, d’études et prospective

- Mettre en œuvre les méthodes et les outils de la recherche en lien avec l’innovation

Bloc 4 : Veille scientifique et technologique à l’échelle internationale

- Acquérir, synthétiser et analyser les données et informations scientifiques et technologiques d’avant-garde à l’échelle internationale

- Disposer d’une compréhension, d’un recul et d’un regard critique sur l’ensemble des informations de pointe disponibles

La formation participe à l'objectif suivant :être directement utile pour la réalisation des travaux personnels de recherche