ECOLE CENTRALE DE LYON - PhD Custom Precision Learning Hardware Architectures

Les réseaux neuronaux profonds (DNN) [1] sont actuellement l'un des modèles prédictifs les plus intensément et largement utilisés dans le domaine de l'apprentissage automatique. Les DNN ont prouvé qu'ils donnaient de très bons résultats pour de nombreuses tâches et applications complexes, telles que la reconnaissance d'objets dans les images/vidéos, le traitement du langage naturel, la reconnaissance d'images satellites, la robotique, l'aérospatiale, la santé intelligente et la conduite autonome.

Cependant, le coût de l'inférence et en particulier de l'entraînement est devenu si complexe qu'il nécessite désormais du matériel spécialisé tel que des GPU ou des TPU. En plus de la complexité matérielle, le coût énergétique et l'impact environnemental liés à l'entraînement sont désormais comparables à d'autres activités humaines. Par exemple, dans [2], il est montré que les émissions de CO2 dues à l'entraînement sont équivalentes aux émissions de CO2 sur la durée de vie d'une seule voiture. De plus, il y a une incitation à migrer l'IA du cloud vers les dispositifs périphériques, c'est-à-dire les appareils de l'Internet des objets (IoT), afin de répondre aux problèmes de confidentialité des données et aux limitations de bande passante, compte tenu du nombre toujours croissant d'IoT connectés à Internet, et également pour atténuer la latence de communication, en particulier pour les décisions critiques en temps réel, par exemple dans la conduite autonome.

Accélérer l'entraînement, en réduire le coût et le rendre disponible à la périphérie est donc devenu un sujet de recherche brûlant, mais les premiers travaux dans cette direction ne se sont pas nécessairement traduits par une adoption et une disponibilité généralisées du matériel d'entraînement à faible/précision mixte. L'approche la plus répandue pour augmenter les performances et l'efficacité de l'entraînement des DNN au niveau arithmétique est l'utilisation de la précision mixte. Par exemple, NVIDIA offre la possibilité de faire un entraînement à faible précision depuis l'architecture Pascal en 2016 et un entraînement en précision mixte (combinant arithmétique float16 et float32). Les unités de traitement tensoriel (TPU) de Google offrent un support similaire pour l'entraînement en précision mixte avec l'introduction du bfloat16, un format de virgule flottante 16 bits qui, par rapport au float16, échange des bits de mantisse contre des bits d'exposant (un exposant de 5 bits et une mantisse de 10 bits pour float16 contre un exposant de 8 bits et une mantisse de 7 bits pour bfloat16). Intel et ARM adoptent également bfloat16 dans leur effort pour offrir du matériel amélioré par l'IA, tandis qu'AMD a introduit un support logiciel pour bfloat16 dans les versions récentes de leur plateforme ROC. Depuis 2020, l'architecture Ampere de NVIDIA introduit également bfloat16 [3].

L'objectif de cette thèse de doctorat est d'aller au-delà de l'état de l'art et d'analyser l'impact de la précision flottante personnalisée dans laquelle la largeur de bit de l'exposant et de la mantisse peut changer sans respecter aucune norme ainsi que la mise en œuvre matérielle visant l'efficacité énergétique. Dans le cadre du projet de recherche français AdaptING, le groupe Électronique de l'INL travaillera en collaboration avec CEA-List. Dans ce contexte, nous recherchons actuellement un(e) doctorant(e) (m/f) pour un contrat de 3 ans, supervisé par Alberto Bosio (INL), Bastien Deveautour (INL) et Andrea Bocco (CEA).

Vous avez ou êtes sur le point d'obtenir une master en ingénierie informatique / science informatique avec une solide expérience dans au moins un des domaines suivants : architectures informatiques, conception de circuits numériques (VHDL, verilog système), algorithmes d'optimisation.

De bonnes compétences en programmation (python, C et C++) sont requises. Une expérience préalable dans le domaine des réseaux neuronaux est un plus (par exemple, connaissance des principaux frameworks de réseaux neuronaux tels que Pytorch et Tensorflow).

Excellentes compétences en communication écrite et orale en anglais. La maîtrise du français est un atout mais n'est pas obligatoire.