Kevin KANA : " Apprentissage profond agrégatif distribué : "Convergence mathématique et étude informatique"

Résumé :  L’apprentissage profond a transformé de nombreux domaines, mais l’entraînement des réseaux reste confronté à des défis majeurs : besoin de grandes bases annotées, coût computationnel élevé et vulnérabilité aux attaques adversariales. L’essor du big data et la complexité croissante des modèles nécessitent des stratégies d’apprentissage distribué, comme le federated learning (FL) et le parallélisme distribué de données (DDP), dont la synchronisation stricte pose le problème des retardataires "stragglers". Cette thèse propose trois contributions principales : (i) un cadre théorique de convergence pour l’apprentissage distribué en modes synchrone et asynchrone basé sur l’analyse par point fixe ; (ii) le "Aggregative Learning Model (ALM)", un modèle unificateur englobant FL et DDP, convergent et implémentable dans les deux modes de communication ; (iii) CHARM-Net, une architecture hybride, robuste et explicable, combinant CNN, LSTM, des couches modernes de Hopfield et des mécanismes d’attention pour la classification d’images médicales. Les expérimentations sur supercalculateurs et plusieurs bases médicales publiques montrent que (i) les algorithmes distribués synchrones et asynchrones améliorent les performances et le temps d’entraînement, surtout en mode asynchrone ; (ii) l’ALM converge efficacement et accélère l’apprentissage tout en conservant de bonnes performances ; et (iii) CHARM-Net rivalise avec l’état de l’art, surpassant certaines méthodes récentes sur Covid-19, Brain-CT et Alzheimer. Les perspectives incluent la simplification de CHARM-Net via des expériences ablatives, son extension à des données multimodales, l’amélioration du DDP asynchrone pour une meilleure généralisation et l’optimisation énergétique des communications distribuées.

Composition du jury : 

Jacques BAHI Professeur des universités Université Marie et Louis Pasteur Directeur de thèse
Hamamache KHEDDOUCI Professeur des universités Université Claude Bernard Lyon 1 Rapporteur
Flavien VERNIER Professeur des universités Université Savoie Mont Blanc Rapporteur
Frédéric MAGOULES Professeur des universités Université Paris-Saclay, Centrale Supélec Examinateur
Fabrice BOUQUET Professeur des universités Université Marie et Louis Pasteur Examinateur
Raphaël COUTURIER Professeur des universités Université Marie et Louis Pasteur Examinateur

Localisation : Salle des Actes - Université Marie et Louis Pasteur UFR Sciences et Techniques 16, route de Gray 25000 BESANCON - Salle des Actes