Study and design of an energy efficient perception module combining event-based image sensors and spiking neural network with 3D integration technologies

Etude et conception d'une brique de perception efficace énergétiquement combinant capteurs d'images évènementiels et réseau de neurones impulsionnels en intégration 3D Les capteurs et processeurs de vision bio-inspirés ont commencé à attirer l'attention puisque, après plusieurs décennies de recherche, ils commencent à être largement utilisés à des fins industrielles. Ces capteurs, également appelés capteurs « événementiels » ou « à impulsions », génèrent des données éparses qui présentent intrinsèquement trois caractéristiques apportant des avantages notables pour de nombreuses applications de vision par ordinateur. En effet, l'acquisition événementielle permet de générer des données éparses, avec une vitesse d'acquisition élevée de l'ordre de la microseconde, tout en conservant une plage dynamique exceptionnellement large. Les capteurs d'images événementiels sont donc parfaitement adaptés au déploiement dans des situations où la vitesse et la robustesse de l’application sont d’une grande importance. Cependant, les capteurs d'images basés sur les événements présentent des inconvénients majeurs qui les rendent pratiquement inutilisables pour un déploiement dans des systèmes embarqués. Ils génèrent beaucoup de bruits, sont mal résolus et émettent une énorme quantité de données par rapport à leur résolution.Cette étude de doctorat vise donc à comprendre comment ils peuvent être utilisés et comment leurs inconvénients peuvent être atténués. Les travaux explorent des applications bio-inspirées pour des tâches où les méthodes classique – basées sur des images pleines - de vision par ordinateur sont déjà efficaces mais présentent des défauts de robustesse qui découlent du fait que les imageurs standards ne peuvent pas acquérir de données à haute vitesse tout en conservant une haute gamme dynamique. Ce manuscrit fournit des pistes pour comprendre et décider de pourquoi certains algorithmes s'adaptent mieux que d'autres à leur nouveau type de données. Il aborde également les raisons pour lesquelles ces capteurs ne peuvent pas être utilisés tels quels, mais comment ils pourraient être intégrés efficacement dans des pipelines et des systèmes algorithmiques classiques basés sur des images en appliquant une compensation de mouvement des données brutes.En outre, nous présentons une solution matérielle bio-inspirée permettant de réduire simultanément la bande passante de sortie et de filtrer le bruit, directement à la sortie d'une grille de pixels à impulsions. Cette solution consiste en l'implémentation matérielle d'un accélérateur de réseau de neurones convolutifs bio-inspiré - un processeur neuromorphe - distribué à proximité du capteur, qui tire parti d'une possible conception en technologies d'intégration tridimensionnelles. Ce système a été conçu pour minimiser son budget énergétique, au nœud FDSOI de 28 nm, et démontre une consommation de 2,86 pJ par opération synaptique - ou 93,0 aJ par impulsion d'entrée par pixel. De plus, il est évolutif et peut être dupliqué en mosaïque pour permettre la réalisation de capteurs évènementiels à des résolutions de l’ordre du mégapixel sans induire de surcoût.