Nadezhda SEMENOVA :"Aspects généraux du bruit dans les réseaux de neurones profonds sur une architecture matérielle analogique"

Résumé : Nous étudions et analysons les aspects fondamentaux de la propagation du bruit dans les réseaux neuronaux multicouches récurrents et profonds constitués de réseaux analogiques bruités y compris sur les connexions. Notre étude est donc concernée par la mise en oeuvre de réseaux de neurones directement implémentés sur la couche physique selon un procédé analogique ; la méthodologie permet de comprendre les conséquences de fonctionnement d'un réseaux soumis aux bruits en général. Nous étudions le rapport signal/bruit aux sorties du réseau, ce qui détermine une limite supérieure de la précision de calcul. Nous étudions le bruit additif et multiplicatif, ainsi que le bruit corrélé et non corrélé, et nous développons des méthodes analytiques qui prédisent le niveau de bruit dans n'importe quel type de réseaux de neurones symétriques à propagation vers l'avant. Nous constatons que l'accumulation de bruit est généralement limitée, et que l'ajout de couches supplémentaires du réseau ne détériore pas le rapport signal/bruit au-delà de cette limite. Enfin, nous proposons des stratégies d'atténuation du bruit pour améliorer les performances des réseaux neuronaux. Les résultats analytiques proposés sont ensuite étendus à une application aux entraînements des réseaux de neurones à propagation vers l'avant. A titre d'exemple, nous montrons qu'il y a une bonne correspondance avec des réseaux entraînés pour la
reconnaissance de chiffres, la classification d'images de vêtements et la prédiction de séries temporelles chaotiques. Dans cette thèse, nous considérons également les réseaux de neurones récurrents avec des neurones linéaires et nous appliquons les résultats analytiques obtenus aux réseaux de neurones récurrents à valeurs complexes avec des neurones non linéaires, dont la topologie est basée sur une réalisation matérielle dans des circuits photoniques intégrés. Pour ces deux types de réseaux, nous identifions les parties les plus vulnérables aux différents types de bruit, en démontrant que le système a lui-même la possibilité de les supprimer.

Composition du jury :

M. Laurent LARGER Professeur Université Bourgogne Franche-Comté Directeur de thèse
M. Daniel BRUNNER Chargé de recherche CNRS Co-directeur de thèse
M. Hervé MAILLOTTE Directeur de recherche CNRS Examinateur
M. Miguel C. SORIANO Professeur associé Universitat de les Illes Balears Examinateur
M. Serge MASSAR Professeur Université Libre de Bruxelles Rapporteur
M. Damien QUERLIOZ Directeur de recherche CNRS Rapporteur

Localisation : Amphithéâtre J-J Gagnepain, Institut FEMTO 15 B, avenue des Montboucons 25000 Besançon