Alex Kipman
HoloLens : lunettes connectées en réalité mixte
Finaliste du Prix de l’inventeur européen 2018
Les consommateurs pourront bientôt interagir avec le monde réel – et entre eux – grâce à une nouvelle génération de lunettes intelligentes. Mis au point par l’ingénieur informatique et inventeur de matériel d’origine brésilienne Alex Kipman et commercialisé par Microsoft, le casque HoloLens « mélange » la réalité avec la superposition de couches de pseudo-hologrammes. Les hommes d’affaires tout comme les patients des hôpitaux pourront tirer profit de cette technologie à mesure qu’elle sera adoptée dans des applications telles que la visio-conférence holographique et la chirurgie assistée par ordinateur.
Grâce à leurs tablettes et leurs smartphones, les consommateurs ont aujourd'hui accès à une véritable mine d'informations. L'inconvénient est qu'ils passent près de dix heures par jour à regarder des écrans. C'est la raison pour laquelle Alex Kipman, expert en informatique chez Microsoft, souhaite rediriger le regard de l'homme vers le monde réel, sans se passer pour autant de la puissance de calcul.
Les lunettes intelligentes de réalité mixte de l'inventeur, baptisées Microsoft HoloLens, remplacent la vue du monde réel par une superposition numérique « d'hologrammes ». Les personnes portant ces lunettes peuvent voir et manipuler ces images réalistes - par exemple, l'image tridimensionnelle d'une autre personne - alors qu'elles continuent de voir le monde réel autour d'elles.
L'HoloLens, qui bénéficie d'une grande puissance de calcul, analyse son environnement au moyen des capteurs brevetés par l'inventeur. Les utilisateurs peuvent commander ce dispositif sans clavier, manette ni écran tactile. L'HoloLens est capable d'interpréter les gestes des mains et les commandes vocales de l'utilisateur grâce à des algorithmes d'apprentissage-machine intégrés. Avec la réalité mixte qui résulte de cette innovation, l'informatique s'intègre naturellement dans nos activités quotidiennes, tant professionnelles que récréatives.
Bénéfices pour la société
Certains acteurs industriels estiment que les dispositifs de réalité mixte, à l'instar des lunettes intelligentes HoloLens, pourraient remplacer les smartphones. Les spécialistes de chez Gartner prédisent que, d'ici à 2020, 30 % des sessions d'exploration du web se feront sans écran. Les principaux facteurs stimulant le développement de la technologie incluent la demande des consommateurs en matière de navigation assistée, de jeux vidéo et de traduction simultanée. En fait, d'ici à 2020, 100 millions de consommateurs utiliseront la réalité augmentée - comme on désigne parfois la réalité mixte - pour bénéficier des conseils d'un assistant personnel d'achat (comScore).
Les développeurs créent actuellement toute une gamme d'applications pour les lunettes intelligentes de M. Kipman dans l'environnement logiciel de réalité mixte Windows sous Windows 10. Par exemple, le groupe industriel thyssenkrupp utilise les lunettes dans le cadre de ses opérations de mesurage et de contrôle qualité, tandis que la célèbre institution médicale américaine Cleveland Clinic propose un programme d'études numérique et interactif sur l'anatomie humaine. En 2017, lors de l'ablation d'une tumeur musculaire maligne, des chirurgiens espagnols ont utilisé l'HoloLens pour visualiser simultanément des images de diagnostic retransmises en direct provenant des flux de données radiographiques et de l'imagerie par résonance magnétique.
Avantages économiques
Perfectionné pendant sept ans, le casque HoloLens a été introduit pour la première fois par Microsoft en 2015, sous la forme d'un prototype. Il est doté des capteurs brevetés par M. Kipman, initialement destinés au système de commande de jeu vidéo Kinect de la société. L'HoloLens est actuellement disponible dans une édition Development réservée aux développeurs pour la somme de 2 556 EUR. Une version entreprise coûte 4 260 EUR.
Microsoft a vendu environ 50 000 lunettes HoloLens, soit un volume relativement faible par rapport au plus de un million de casques de réalité virtuelle vendus au cours du troisième trimestre 2017 seulement. Mais le groupe, qui a gagné près de 73 milliards d'euros durant l'exercice fiscal 2017, pénètre judicieusement le marché des produits de réalité mixte grâce à des partenariats de développement stratégiques avec des sociétés telles que Lowe's, Boeing, Saab et Volvo.
Selon les estimations de la société de conseil Digi-Capital, le marché mondial des dispositifs de réalité augmentée et de réalité virtuelle s'élevait à 3,3 milliards d'euros en 2016. La société de conseil prévoit que le marché, dynamisé par le matériel de réalité augmentée mobile de la prochaine génération, atteindra 92 milliards d'ici à 2021. Dès que Microsoft aura constitué une bibliothèque de réalité mixte attrayante, des produits tels que l'application de téléconférence tridimensionnelle Holoportation pourraient très bien faire partie des « bestsellers » et connaître le même succès que la suite Office 365 pour les entreprises avec plus de 100 millions d'utilisateurs.
Comment ça marche
Parmi la génération actuelle de lunettes de réalité mixte, on trouve par exemple des lunettes de ski « intelligentes », qui projettent des données telles que l'altitude, la température et le pouls dans le champ de vision de la personne qui les porte. Ces dispositifs se contentent toutefois d'afficher des textes et graphiques en deux dimensions et doivent obligatoirement être connectés à un smartphone pour profiter de sa puissance de calcul.
Le casque HoloLens est quant à lui un dispositif autonome, qui fonctionne indépendamment des PC, tablettes ou smartphones externes. Il contient toute la puissance de calcul nécessaire dans ses processeurs conçus sur mesure, à savoir une unité centrale de traitement (CPU), une unité de traitement graphique (GPU) et une unité de traitement holographique (HPU) - une première dans l'industrie.
Chaque seconde pendant laquelle l'HoloLens analyse son environnement, ces processeurs collectent plusieurs téraoctets de données. Les données sont transmises via une unité de mesure inertielle (IMU), une caméra de profondeur, une caméra vidéo de 2,4 mégapixels, quatre microphones et un capteur de lumière ambiante.
Comme son nom l'indique, l'HoloLens doit sa plus grande innovation aux lentilles de guide d'ondes qui « trompent » le cerveau humain en lui faisant interpréter des photons comme des objets solides et tridimensionnels, d'où la notion d'hologrammes. Ils sont calculés au niveau de la GPU et affichés au moyen des « moteurs de lumière » du dispositif, deux minuscules projecteurs à cristaux liquides sur silicium (LCoS) qui envoient un faisceau lumineux sur les deux lentilles.
L'image est ajustée entre les deux lentilles pour la clarté et la profondeur, puis mélangée avec le monde réel. Résultat : des images holographiques qui semblent prendre vie devant les yeux de l'utilisateur - de quelques centimètres à plusieurs mètres de distance - avec une vraie profondeur de champ.
L’inventeur
Né à Curitiba au Brésil, c'est dès l'âge de six ans qu'Alex Kipman s'est passionné pour la programmation informatique en jouant à des jeux vidéo. « Dans le domaine de la programmation logicielle, les seules limites sont celles de votre imagination », affirme M. Kipman. Il a rejoint une société internationale à la hauteur de son imagination en entrant chez Microsoft en 2001, après avoir obtenu son baccalauréat ès sciences en génie logiciel de l'Institut de technologie de Rochester.
L'inventeur a fait son premier coup de maître - et est devenu par la même occasion une véritable star au sein de la communauté technologique - lorsque son détecteur de mouvement Kinect a battu tous les records ; il a été le dispositif électronique grand public qui s'est vendu le plus vite en 2010. À ce jour, il est l'inventeur principal sur plus de 150 brevets américains et asiatiques, ainsi que sur trois brevets européens délivrés, y compris pour la technologie sur laquelle repose l'HoloLens.
Aujourd'hui, en tant que Technical Fellow de Windows and Devices Group chez Microsoft, Alex Kipman continue de participer de près au développement de nouvelles technologies pour l'HoloLens et sa plateforme logicielle de réalité mixte Windows associée. À tout juste 40 ans, il a déjà obtenu de nombreuses distinctions, dont le prix Breakthrough Award décerné par Popular Mechanics (2009), et a été désigné comme étant l'inventeur de l'année par l'IPO Education Foundation (2012).
Dans sa vie privée, cet ingénieur franc à la vision futuriste aime renouer avec la simplicité en trouvant refuge dans la ferme familiale, isolée en pleine forêt tropicale brésilienne. Loin des appareils numériques, il cherche à profiter des plaisirs bien réels qu'offre la vie en extérieur, en compagnie de sa femme et de sa fille.
Le saviez-vous ?
Le casque HoloLens se base sur un principe technologique traditionnel qu'il transpose à l'âge des ordinateurs « vestimentaires ». Dès le XVIe siècle, les théâtres ont employé une technique pour projeter des images sur des feuilles de verre transparent inclinées pour obtenir certains effets visuels. Dans les années 1940, la projection de texte sur du verre incliné est devenu le principe de base derrière les affichages tête haute, ou head up display (HUD), dans les avions de chasse. Des données importantes telles que l'altitude et la vitesse pouvaient être projetées dans le champ de vision d'un pilote, lui permettant ainsi de se concentrer pleinement sur l'action en cours sans se laisser distraire. Le même principe est appliqué depuis des décennies dans des prompteurs, pour afficher le texte d'un présentateur, sans qu'il soit vu par le public.
Avance rapide au XXIe siècle et à l'air du casque HoloLens de M. Kipman : cette technologie est capable de faire apparaître des hologrammes d'individus dans les airs avec des niveaux de sophistication inédits - comme par exemple durant des appels téléconférence. Et parce que le casque de réalité mixte ne nécessite plus d'écran d'ordinateur ou de clavier, il pourrait contribuer à une révolution en prenant la place des smartphones en tant que principaux dispositifs de communication.
En se projetant dans un avenir pas si lointain, M. Kipman prédit la « mort » du smartphone. Les tendances industrielles actuelles semblent lui donner raison - notamment avec la transition vers la recherche vocale avec des assistants numériques comme Cortana de Microsoft, Siri d'Apple et Alexa d'Amazon. Un jour les consommateurs pourront parler et communiquer gestuellement avec des « fantômes holographiques », et feront ainsi du smartphone un spectre du passé.
Media gallery
Numéro de brevet :
Contact
Demandes concernant le Prix de l'inventeur européen et le Young Inventors Prize :
european-inventor@epo.org S'abonner à la newsletter du prixDemandes des média :
Contacter notre service de presse#InventorAward #YoungInventors