Ahmed HAMDI : "Conception d’approches efficaces et légères pour l’optimisation de systèmes intelligents à contraintes"

Résumé : L’intelligence artificielle (IA) et l’apprentissage profond (Deep Learning, DL) ont profondément transformé des domaines tels que la vision par ordinateur et le traitement du langage naturel, en atteignant des performances remarquables grâce à des modèles de plus en plus complexes. Cependant, la taille massive et la consommation énergétique de ces modèles constituent un frein majeur à leur déploiement dans des environnements contraints en ressources, tels que les microcontrôleurs, les objets connectés (IoT) et les dispositifs embarqués.

Cette thèse aborde cette problématique en explorant des approches d’apprentissage automatique allégé, avec un accent particulier sur la distillation de connaissances (Knowledge Distillation, KD). Les contributions s’articulent autour de plusieurs axes complémentaires : (i) un survey exhaustif mettant en lumière le rôle central de la KD dans les approches frugales ; (ii) le développement de cadres de distillation successive multi-tours et multi-enseignants, permettant à un étudiant compact d’apprendre de manière itérative à partir de plusieurs enseignants volumineux ; (iii) la conception de schémas de distillation parallèle intégrant de nouvelles techniques d’agrégation, inspirées des contextes distribués et fédérés ; (iv) une approche hybride combinant la KD et l’attention multi-têtes, validée sur un cas d’usage en diagnostic de défauts photovoltaïques ; (v) l’extension des principes de la KD aux grands modèles de langage (LLMs) à travers une méthodologie multi-tours appliquée aux encodeurs de type Transformeur. En complément, une architecture légère optimisée, GrayLiteNet, est proposée pour des applications embarquées.

Les résultats expérimentaux, notamment dans le domaine des systèmes photovoltaïques, démontrent l’efficacité de ces approches pour améliorer la précision tout en réduisant la complexité computationnelle. Dans leur ensemble, ces contributions offrent un cadre méthodologique et expérimental pour le développement de modèles d’IA légers, performants et adaptés aux contraintes du monde réel.

Composition du jury : 

Hassan NOURA Professeur des universités Université Marie et Louis Pasteur Directeur de thèse
Omar Sami OUBBATI Maître de conférences Université Gustave eiffel Rapporteur
Marcelo DIAS DE AMORIM Directeur de recherche Sorbonne Université Rapporteur
Antoine GALLAIS Professeure des universités INSA Hauts-de-France Examinateur
Guy PUJOLLE Professeur des universités Sorbonne Université Examinateur
Tara ALI YAHIYA Maîtresse de conférences Université Paris-Saclay Examinateur
Nesrine KAANICHE Maîtresse de conférences Télécom SudParis Examinateur

Localisation : salle Amphithéâtre 2 - Université Marie et Louis Pasteur IUT Nord Franche-Comté (Belfort Techn'hom) 1, Avenue du Maréchal Juin BP 527 90016 BELFORT Cedex