ECOLE CENTRALE DE LYON - PhD Extreme compression schemes for edge AI

Les réseaux neuronaux profonds (DNN) [1] sont actuellement l'un des modèles prédictifs les plus intensivement et largement utilisés dans le domaine de l'apprentissage automatique. Les DNN ont prouvé qu'ils donnaient de très bons résultats pour de nombreuses tâches et applications complexes, telles que la reconnaissance d'objets dans les images/vidéos, le traitement du langage naturel, la reconnaissance d'images satellites, la robotique, l'aérospatiale, la santé intelligente et la conduite autonome. De nos jours, il y a une activité intense dans la conception d'accélérateurs matériels d'intelligence artificielle (IA) sur mesure pour supporter le déplacement de données énergivore, la vitesse de calcul et les ressources mémoire nécessaires pour que les DNN réalisent leur plein potentiel [2]. De plus, il y a une incitation à migrer l'IA du cloud vers les dispositifs périphériques, c'est-à-dire les appareils de l'Internet des objets (IoT), afin de répondre aux problèmes de confidentialité des données et aux limitations de bande passante, compte tenu du nombre toujours croissant d'IoT connectés à Internet, et également pour atténuer la latence de communication, en particulier pour les décisions critiques en temps réel, par exemple dans la conduite autonome.

Comme souligné dans [3], l'un des principaux problèmes est la mémoire requise pour stocker les paramètres des DNN (c'est-à-dire les poids et les biais). En effet, plus l'empreinte mémoire est grande, plus l'énergie et la latence nécessaires pour transférer les données de/vers le stockage à l'unité de calcul sont élevées. De plus, pour certains dispositifs périphériques, la mémoire embarquée est tout simplement trop petite pour contenir tous les paramètres des DNN. Pour atténuer ce problème, plusieurs techniques ont exploré la réduction de la précision de la représentation des données des paramètres des DNN. La quantification est l'une des techniques bien connues et les plus populaires. Elle consiste à utiliser des types de données entiers (16, 8, 4 ou même 1 bit) pendant l'inférence au lieu des données en virgule flottante de 32 bits utilisées pour l'entraînement. Une autre technique est le partage de poids (WS) [4]. Le WS vise à regrouper ensemble les paramètres des DNN ayant des valeurs similaires. Le WS peut être appliqué avant ou après la quantification, et [4] a montré qu'il est possible de réduire l'empreinte mémoire jusqu'à 5 fois. Une approche différente a été présentée dans [5], dans laquelle une technique de régression est utilisée pour générer (inférer) l'ensemble des paramètres des DNN. Seul un sous-ensemble de paramètres (c'est-à-dire 10%) doit être stocké, et la régression s'appuie sur ce sous-ensemble pour générer l'ensemble complet des paramètres des DNN avec un certain degré de précision.

Ce projet vise à explorer le concept de compression extrême des paramètres des DNN en s'appuyant sur plusieurs techniques. Au lieu de la régression, nous entendons étudier les concepts de compression de données sans perte, d'autoencodeurs [6] et d'IA générative [7] afin de pouvoir exécuter des DNN dans un environnement très contraint (c'est-à-dire avec une RAM d'une capacité variant de quelques KB à quelques MB) tels que des microcontrôleurs ultra-basse consommation.

Dans le cadre du projet de recherche français AdaptING, le groupe Électronique de l'INL travaillera en collaboration avec le LIRMM. Dans ce contexte, nous recherchons actuellement un(e) doctorant(e) (m/f) pour un contrat de 3 ans.

Vous avez obtenu ou êtes sur le point d'obtenir une maîtrise en ingénierie informatique ou en sciences informatiques et possédez une solide expérience dans au moins un des domaines suivants : architectures informatiques, conception de circuits numériques, algorithmes d'optimisation. 

De bonnes compétences en programmation (python, C et C++) sont requises. 

Une expérience préalable dans le domaine des réseaux neuronaux est un plus (par exemple, connaissance des principaux frameworks de réseaux neuronaux tels que Pytorch et Tensorflow).

Excellentes compétences en communication écrite et orale en anglais. La maîtrise du français est un atout mais n'est pas obligatoire.