[Interview] Qu’est-ce que le deep learning ? par Pascal Vincent

Vous vous souvenez peut être de ces images de “rêves” d’ordinateurs publiées par Google en début d’été. Ces images ont pu être générées par les ordinateurs qui ont été auparavant entraînés grâce au deep learning, une méthode d’apprentissage des machines qui a connu un essor ces dernières années.

Pour en savoir plus sur cette technique d’apprentissage, nous avons contacté le Professeur Pascal Vincent, chercheur à l’Institut des algorithmes d’apprentissage de Montréal qui a eu la gentillesse de répondre à nos questions.

Indésciences : Bonjour Pascal Vincent, vous êtes professeur et chercheur à l’université de Montréal. Pourriez-vous commencer par nous parler de votre cursus académique et de ce qui vous a poussé à vous tourner vers l’informatique et plus particulièrement vers l’intelligence artificielle ?

Pascal Vincent : J’ai vécu jusqu’à l’âge de 25 ans en France, et j’ai toujours gardé ma curiosité naturelle d’enfant pour les grandes questions scientifiques. J’ai eu mon premier ordinateur “familial” à 11 ans. C’était, au début des années 80, les débuts de la micro-informatique personnelle. Nous étions, je crois, la deuxième famille de la rue à acquérir ce genre d’appareil encore mystérieux et peu commun. Et il n’y avait pas d’internet.

Je me suis rapidement passionné pour la programmation, en autodidacte. J’en appréciais l’aspect de compréhension technique, mais surtout l’aspect profondément créatif : je pouvais laisser libre cours à mon imagination et avec un peu de persévérance créer un programme qui faisait ce que j’avais imaginé! Après un Bac scientifique, j’ai suivi mon coeur et opté pour une école d’ingénieurs à prépa intégrée, l’ESIEE, où certains cours traditionnels de prépa (comme ceux de chimie) avaient été remplacés par l’électronique et l’informatique qui m’intéressaient bien davantage. J’ai effectué mon premier projet  logiciel de réseau de neurones rudimentaire lors d’un stage de 3 mois à Singapour.

J’ai ensuite voulu effectuer mon stage de fin d’études aux États-Unis, et un professeur m’a mis en contact avec un ancien de l’ESIEE: Yann LeCun, pionnier des réseaux de neurones profonds, qui dirige maintenant le Facebook AI Research Lab, mais qui en 1996 travaillait aux mythiques Bell Labs. J’y ai passé 6 mois, dans une extraordinaire équipe de recherche. C’est là que j’ai rencontré Yoshua Bengio, professeur à l’Université de Montréal, qui m’a proposé de venir y faire un doctorat en intelligence artificielle sous sa direction. C’était le début d’une grande aventure, et j’ai fini par prendre racine au Canada.

Je pense que la compréhension des principes et mécanismes fondamentaux qui sous-tendent l’intelligence sont une des plus passionnantes questions scientifiques sur laquelle l’humanité puisse se pencher. Mon souhait est, qu’à terme, elle nous aide à mieux nous comprendre nous-même.

Une des disciplines de l’Intelligence Artificielle (IA) en plein essor est le deep learning, pourriez-vous rapidement expliquer le principe de ces méthodes ?

Le deep learning est une branche du machine learning, lui-même une branche de l’IA. Il s’agit essentiellement de gros réseaux de neurones artificiels (expliqués en détails plus bas) qu’on entraîne sur des quantités massives d’exemples d’une tâche à réaliser. Ces algorithmes apprennent ainsi par eux-même comment réaliser cette tâche. Les tâches sont souvent des tâches de prédiction à partir de données sensorielles riches (ex: déterminer quel objet ou personne se trouve sur une image ou quel mot est prononcé dans un fragment audio), mais l’approche est très générale et peut tout aussi bien servir dans d’autres domaines (ex: prédire le prochain mot d’un texte; prédire si un utilisateur qui a un profil donné a des chances d’aimer un certain film, d’acheter un produit, ou de cliquer sur une certaine publicité…). Il s’agit presque toujours de prédictions probabilistes. Ces problèmes font appel à des fonctions de prédiction non linéaires très complexes.

L’aspect deep dans le deep learning, c’est que nous modélisons ces fonctions très complexes par la composition de multiples couches (là est la profondeur) de fonctions non linéaires paramétrées très simples. Et on en apprend automatiquement les paramètres à l’aide de quantités massives de données. C’est un peu comme un nouveau né qui apprend progressivement à percevoir et comprendre le monde en ouvrant ses yeux et ses oreilles et en étant exposé à un gigantesque flux sensoriel.

Qu’y a-t-il de nouveau dans cette approche ? Quelles sont les différences avec d’autres approches antérieures utilisées dans l’IA ?

Cette approche a des racines anciennes. On en trouve déjà tout l’esprit dans les travaux fondateurs de Frank Rosenblatt en 1957 sur le premier neurone artificiel: le Perceptron. Mais, à l’époque, on ne savait pas du tout comment entraîner des réseaux à plusieurs couches. Ce qui est nouveau avec les réseaux de neurones profonds de 2015, c’est que l’on a développé des algorithmes capables de beaucoup mieux les entraîner.

La recherche en IA s’est historiquement articulée autour de deux prémisses de départ très différentes.

Une approche chercha en premier lieu à reproduire la capacité de raisonnement logique humain (IA classique, symbolique), croyant que tout découlerait facilement de là.

L’autre voulut plutôt s’inspirer de ce que l’on connaissait du fonctionnement bas niveau du cerveau (réseaux de neurones, IA connexionniste, subsymbolique). Cette approche avait dès le départ à coeur les questions d’adaptation et d’apprentissage autonome à partir d’exemples sensoriels. Elle s’est aussi tout naturellement dirigée vers un traitement probabiliste des problèmes.

Le machine learning et le deep learning sont avant tout les héritiers de ce second courant en IA.

Au sein du machine learning, on distingue le deep learning d’approches moins profondes qui n’essayent d’apprendre qu’une unique couche de traitement. Des avancées importantes dans des approches peu profondes avaient eu pour résultat d’éclipser la recherche sur les réseaux de neurones profonds, déconsidérés pendant une décennie, avant que ne s’amorce, en 2006, leur progressive renaissance, qui a finalement menée à leur retentissant succès industriel actuel.  

Les algorithmes de deep learning utilisent ce qu’on appelle des « réseaux de neurones artificiels » (deep neural networks), en quoi consistent ces réseaux ? Comment sont-ils conçus ?

Les réseaux de neurones artificiels profonds s’inspirent des réseaux de neurones biologiques, et de leur organisation en couches qu’on a constatée dans certaines parties du cerveau (notamment le système visuel). Mais il s’agit de modèles de neurones formels, simplifiés à l’extrême par rapport à la complexité des cellules biologiques, et c’est voulu.

Mathématiquement, un tel réseau est capable de calculer une fonction non-linéaire compliquée d’un vecteur d’entrée (la fonction qui calculera la prédiction). Cette fonction compliquée est obtenue par la composition de plusieurs fonctions correspondant aux couches du réseau. Une couche typique calcule une transformation linéaire de son vecteur d’entrée, suivie d’une non-linéarité élémentaire (ex: une tangente hyperbolique). Les paramètres de toutes les couches sont optimisés conjointement (par une technique de descente de gradient efficace), pour minimiser l’erreur de prédiction du réseau sur l’ensemble des exemples d’entraînement.

Les détails architecturaux (nombre, taille, types de couches, etc…) et les techniques et astuces employées pour l’optimisation des paramètres, doivent être soigneusement adaptés à la nature du problème et à la quantité de données disponibles.

Quels sont les principaux enjeux actuels de la recherche en deep learning ?

En voici quelques uns, selon moi :

– Une tendance actuelle en deep learning est de vouloir s’attaquer à des problèmes de plus en plus importants et il y a des difficultés inhérentes à entraîner des réseaux de plus en plus gros et complexes sur des quantités de plus en plus massives de données.

– Il y a aussi un enjeu inverse de diminution d’échelle: être capable d’apprendre des prédicateurs de très bonne qualité même quand on ne dispose que de peu d’exemples d’une tâche.

– L’apprentissage de modèles capables de générer des données sensorielles riches est encore loin d’atteindre la qualité des modèles de reconnaissance (par ex. génération d’images réalistes par rapport à reconnaissance d’image).

– La réalisation sous forme d’architecture neuronale de capacités de raisonnement avancées s’appuyant sur une riche représentation multi-sensorielle apprise (pour chaque concept) demeure un problème ouvert.

Finalement, bien que les succès actuels sont dus à des progrès importants dans les techniques d’entraînement de ces réseaux profonds, la difficulté de leur optimisation est encore loin d’être un problème résolu. Je pense qu’il y a encore beaucoup de progrès possible de ce côté.

Pouvez-vous nous décrire vos intérêts de recherche dans le domaine de ces algorithmes d’apprentissage ?

Concernant l’aspect fondamental, je m’intéresse avant tout à découvrir des principes fondamentaux qui permettent un apprentissage autonome de meilleures représentations des percepts, davantage porteuses de sens. En ce moment je travaille aussi à être capable d’entraîner efficacement des modèles possédant un très grand nombre de catégories conceptuelles (ex: vocabulaires de million de mots).

Concernant les domaines d’application, je m’intéresse plus particulièrement à:

– La modélisation et reconnaissance d’expressions faciales, en lien particulièrement avec les émotions qu’elles traduisent.

– La modélisation du langage naturel

– Utiliser l’apprentissage profond (réseau de neurone artificiel) pour affiner les techniques d’analyse de données de neuro-imagerie, dans le but d’améliorer notre compréhension de l’organisation et du fonctionnement du cerveau biologique (réseau de neurone naturel).

Pour finir pourriez-vous nous donner votre avis sur la récente « polémique » liée à la prise de position d’un célèbre scientifique selon laquelle il faudrait « faire attention » au développement de technologies d’IA de plus en plus performantes ?

Des inquiétudes “existentielles” qui relèvent de la lointaine science-fiction farfelue ne devraient pas nous distraire d’inquiétudes à moyen terme tout à fait réalistes et justifiées.

Le progrès technologique, si l’on s’en sert à bon escient, a le potentiel d’améliorer la vie de tous. C’est le cas de l’IA. Mais comme presque tout progrès technologique majeur de l’humanité (depuis l’invention du silex et la maîtrise du feu), deux autres conséquences sont à prévoir auxquelles on doit faire attention: d’une part, la tentation d’employer ces nouveaux moyens pour perfectionner l’armement guerrier, d’autre part des bouleversements liés au changement de paradigme économique qu’ils entraînent.

Dans les deux cas, les solutions ne seront pas techniques, mais politiques, économiques et sociales.

L’humanité a-t-elle vraiment besoin de plus d’armement sophistiqué? Je rêve du jour où elle fera preuve de suffisamment d’intelligence pour cesser de s’entre-tuer, et où on aura collectivement réussi à se mobiliser pour que la production et la vente d’armes de guerre cesse enfin d’être une activité profitable. En attendant, de nombreux chercheurs en IA ont signé cette pétition pour bannir les armes autonomes, dans l’espoir d’empêcher une nouvelle course à ces armements là. Je ne crains pas du tout qu’une IA devienne autonome au point de prendre le contrôle et décider de son propre chef d’anéantir l’humanité (ça c’est de la science-fiction farfelue). La réalité c’est que ce seront encore, et pour très très longtemps, des êtres humains ou des organisations humaines qui tireront les ficelles d’en haut, mais il serait sage de mettre des freins à leur capacité guerrière.

En ce qui concerne le changement de paradigme économique, je pense que nous sommes à l’aube d’une nouvelle « révolution industrielle » dont le moteur sera l’IA. Tout comme de nombreux conducteurs de calèches ont été contraints de se trouver une nouvelle vocation à l’arrivée de la machine à vapeur, il faut s’attendre à de semblables mutations avec les progrès en IA. Alors on devrait essayer d’adoucir cette transition. Dans l’optique où de plus en plus de travaux seront réalisés par des robots autonomes, vers quel genre de société veut-on se diriger? Une société « utopique » où tous les êtres humains auraient la garantie d’une vie relativement confortable et davantage de temps pour se consacrer aux choses qui les intéressent vraiment? Ou bien une société dystopique où une poignée d’élites vit dans l’opulence, alors que la majorité vit dans la précarité, car moins productifs qu’un robot? La différence entre ces deux scénarios dépendra de la manière dont on choisira d’imposer, répartir, réinvestir et redistribuer la richesse créée par les gains de productivité liés à l’automatisation. Là encore il s’agira de choix politiques, économiques, et sociaux, de choix de société.

En ce qui concerne la lointaine science fiction, la supposée “menace existentielle” pour l’humanité. Pourquoi une IA hyper-intelligente voudrait-elle nous éradiquer? Une entité intelligente va chercher à optimiser sa fonction objectif. Cet objectif, nous pourrions très bien l’avoir défini pour qu’il consiste à soutenir la merveilleuse richesse de la vie sur notre planète et à maximiser la paix et la liberté de tous les êtres humains. Une IA peut être parfaitement altruiste (et sans égo) et le rester, si on la conçoit comme telle. Mais à moins que les êtres humains s’assagissent et parviennent à s’entendre sur ce genre de programme commun, j’entrevois plutôt une ribambelle d’IA super-intelligentes en compétition, mais obéissant au doigt et à l’oeil à des organisations humaines, en compétition… Business as usual…

Crédits photo : A strange carnival with automobile-animal hybrids. Michael Tyka/Google