Dans le cadre du WAQ à Québec avec Pépite Corse, j'ai assisté à une conférence traitant de la réalité mixte et augmentée. Celle-ci abordait l’incrustation en « Temps réel » d’objets 3D dans des environnements réels. Les usages étaient multiples, allant de la formation à la robotique en passant par l’architecture. Ils travaillaient précisément sur deux limites majeures de cette technologie à l’heure actuelle.

Le premier défaut est la nécessité de non-mouvement des scènes. En effet lorsqu’on incruste par exemple un objet sur une chaise, en bougeant cette dernière l’objet de ne la suivra pas.

Le second défaut arrive quand on prête attention au rendu du modèle virtuel. Celui-ci ne tient pas compte de l’éclairage de l’environnement réel qui l’entoure.

Ce sont donc deux problématiques que ces chercheurs ont tentés de résoudre. Mais comment s’y sont-ils pris ?

La réponse est : **L’intelligence artificielle. **

Pour comprendre la méthodologie il faut s’intéresser aux réseaux de neurones. On peut imaginer ça comme une boîte noire qui possède une entrée et une sortie, entre les deux : un réseau décisionnel. On peut rentrer à peu près n’importe quoi, du texte, une image, un son etc. La sortie dépendra de l’entrée. Si on soumet une image cela pourra retourner un texte descriptif, ou plusieurs sections de l’image avec une description pour chaque. Pour faire fonctionner un tel système il faut l’ENTRAINER.

neuralnet

Ce processus est rendu possible en nourrissant le système avec beaucoup de données. Dans le cas où l’on souhaiterait entraîner nos neurones à la reconnaissance d’images, il faudrait lui en envoyer des quantités colossales. Chaque image étant suivie d’une description, il serait en mesure au fil de ses erreurs, d’adapter son parcours décisionnel pour que sa réponse soit le plus proche possible de la réalité. Là où je veux en venir, c’est qu’ils se sont servis des réseaux de neurones pour essayer de deviner le mieux possible la position ainsi que la rotation d’un objet fictif par rapport à un vrai. En sachant ça, ils ont été en mesure de superposer sur un objet réel un objet virtuel, et celui-ci adoptait exactement la même orientation que l’objet du dessous.

Voici un exemple :

trakingarticle-3

L’objet virtuel en bleu venant se superposer, en bougeant la main il suit l’objet réel. Si on aperçoit l’objet réel derrière c’est que le tracking n’est pas assez précis. Pour ce faire ils ont dû entraîner leur réseau de neurones pendant des dizaines d’heures afin d’arriver à un résultat satisfaisant.

Passons maintenant à la seconde problématique : l’éclairage. Un problème récurrent à la réalité augmenté est la façon dont un objet est mis en lumière suivant son environnement. Si on regarde l’image du dessus, l’éclairage ne correspond pas entre l’objet incrusté et la main. La réponse ici est encore l’intelligence artificielle. Voyons déjà comment on peut mettre en lumière un objet 3D. On utilise une HDRI : « High Dynamic Range Imaging » ou « Imagerie à grande gamme dynamique ». C’est un format d’image très large qui va permettre d’effectuer un 360 d’un environnement. La façon la plus simple d’illustrer ça c’est de prendre une boule métallique chromée de la poser quelque part et d’observer comme elle rend son environnement.

Une HDRI ça ressemble à ça :

Sans-titre-2-copie-1

Et se reflète dans un modèle 3D de cette façon :

tmp1-1

Le réseau de neurones va cette fois essayer de deviner la provenance de la lumière et générer un HDRI pour éclairer le modèle. Pour ce faire, il dispose d’une banque de HDRI assez conséquente qui va nourrir l’intelligence artificielle pour qu’elle soit en mesure de reconnaitre la provenance de la lumière et d’appliquer les bonnes réflexions. Une fois le système entrainé avec leur propre banque d'HDRI il était en mesure de générer des environnements précis à un tel point qu’il était difficile de différencier un modèle reflété avec le vrai environnement et celui généré par l'IA.

La conférence c’est achevé avec des démonstrations d’utilisations diverses et variées du système, avec par exemple le remplacement de ses chaussures ou l’ajout de particules de feu qui suit un objet. Finalement le suivi d’objet se montre très fluide et les objets s’intègrent de façon réaliste dans leurs environnements, ce qui laisse entrevoir un futur prometteur pour le monde de la réalité mixte et augmentée.

Merci pour votre lecture et à la prochaine 😊