Maile, Kaitlin (2023) Dynamic architectural optimization of artificial neural networks. École doctorale Mathématiques, Informatique et Télécommunications (Toulouse).

Preview

Text Download (11MB) | Preview

Abstract

Les réseaux de neurones artificiels ont fondamentalement redéfini la façon dont les données sont analysées et ouvert de nouvelles possibilités d'intelligence artificielle à travers le domaine de l'apprentissage profond. Malgré ces progrès, les réseaux de neurones artificiels ont encore de nombreuses limitations qui ne sont pas observées dans les réseaux de neurones biologiques tels que l'oubli catastrophique et la spécialisation extrême. L'idée de ce projet est d'appliquer les principes d'apprentissage observés dans les neurones biologiques aux réseaux de neurones artificiels, y compris la plasticité synaptique et l'apprentissage structurel. L'objectif est que cela permette aux réseaux de neurones d'adapter leur structure et leur apprentissage à des tâches spécifiques et d'apprendre en continu sans oublier les connaissances préalables. L'objectif spécifique de ce projet est d'améliorer les méthodes d'apprentissage par renforcement, mais ce travail fondamental sur l'apprentissage des réseaux de neurones artificiels a un potentiel dans tous les domaines d'application où les réseaux de neurones artificiels sont actuellement appliqués et pourrait conduire à d'autres applications.

Artificial neural networks have fundamentally redefined the way data are analyzed and opened new artificial intelligence possibilities through the field of deep learning. Despite this progress, artificial neural networks still have many limitations that are not seen in biological neural networks such as catastrophic forgetting and extreme specialization. The idea of this project is to apply the learning principles observed in biological neurons to artificial neural networks, including synaptic plasticity and structural learning. The aim is that this will allow neural networks to adapt their structure and learning to specific tasks and to learn continuously without forgetting prior knowledge. The specific objective of this project is to improve reinforcement learning methods, but this fundamental work on artificial neural network learning has potential in all application areas where artificial neural networks are currently applied and could lead to further applications.