Magic Flippe

L'article qui suit a été écrit après avoir expérimenté l'appareil pendant quelques semaines et après avoir passé une journée à la LEAPcon, la première convention Magic Leap organisée directement par Magic Leap. Au programme : démos, conférences et plein de gens excités qui pensent tenir le nouvel eldorado sans se rendre que la bataille de la réalité mixte est loin d'être gagnée. Par réalité mixte (MR ou XR pour mixed reality en anglais), on désigne le fait d'augmenter directement le champ de vision avec des éléments virtuels. C'est un cran au-dessus de la réalité augmentée (AR) qui se contente d'augmenter un flux vidéo affiché sur un écran. Magic Leap One est un casque de MR qui se divise en trois parties.

Le casque en lui-même vous fait ressembler à un savant fou ou à un amateur de steampunk et contient l'affichage, des petits hauts-parleurs et une série de capteur pour cartographier vos alentours. Le casque est relié via un fil à un boîtier rond qu'on accroche à la ceinture et qui contient une puce Tegra X2, la batterie, une LED pour afficher l'état ainsi que des boutons pour le volume et pour allumer le bousin. Enfin, une manette sans fil comporte deux gâchettes, un trackpad et un bouton système. Étrangement, le trackpad n'est pas cliquable. Par contre le casque suit à la fois l'orientation et la position de la manette grâce à des bobines et des champs magnétiques ce qui rappellera des souvenirs à ceux qui ont utilisé les systèmes Polhemus.



En appuyant sur le bouton "On", rien ne se passe pendant environ une minute mis à part la LED qui s'active sur le boitier. Il faut attendre une bonne minute avant que le logo Magic Leap n'apparaisse. Il faut dire que LuminOS, l'OS développé par Magic Leap, est fondé sur Android probablement pour gagner du temps. Pour ceux qui en doutent, il suffit de regarder les outils de dev. L'outil permettant de diagnostiquer le casque et de pousser des applis est une dérivé d'ADB appelé MLDB et les APK ont été renommées MLPK. Une fois le casque allumé, une série d'iles flottantes apparaissent dans notre champ de vision. Elles sont ancrées dans l'espace et comme avec HoloLens on peut s'approcher, marcher autour... Le champ de vision est 45% plus grand que celui de l'HoloLens et le rendu est plus net. Mais c'est toujours loin d'être parfait. Il est toujours question de technologie additive ce qui fait que rien n'est jamais totalement opaque. Les objets sont toujours en partie transparents et les couleurs sont toujours un peu délavées. Pire encore, le front clipping plane se trouve quasiment à un bras de distance du casque. Du coup, si vous vous approchez un poil trop près d'un objet, il disparait. C'est gênant pour les éléments type textes/interface car cela nécessite de les rendre grand sous peine d'être illisibles.

La première fois qu'on allume le casque, il va falloir scanner son environnement. Le système de cartographie semble super précis et le processus est plutôt rapide. Chaque fois que vous allumez le casque, il va identifier vos alentours et reconnaitre s'ils sont familiers. Si ce n'est pas le cas, il faut de nouveau scanner la pièce. Le scan n'est pas obligatoire mais si vous ne le faites pas au niveau système, certaines applis vous forceront à le faire. L'ancrage est plutôt bon mais n'est pas parfait. Les éléments 3D semblent trembler un peu et deviennent parfois flous. La cartographie étant faite en utilisant l'infrarouge, Magic Leap fonctionne très mal dehors et n'embarque de toute façon pas de connectivité LTE. L'OS connait des mises à jour mensuelles qui améliorent progressivement les choses. Pour développer une appli Magic Leap, il y a 4 possibilités. On peut utiliser son propre moteur et l'API en C du SDK, on peut utiliser Unity, on peut utiliser Unreal Engine 4 et on peut même faire du web.



Le SDK a beau être jeune, il est relativement solide. Grâce aux différentes couches d'abstraction créées entre autres pour SteamVR, HoloLens ou ARKit, déveloper avec Unity ou UE4 pour Magic Leap est super facile, encore plus si vous avez déjà bossé avec HoloLens. Le gros plus de Magic Leap One comparé à son concurrent chez Microsoft est la puce Tegra X2 et son GPU mobile en béton armé. Alors qu'HoloLens affiche péniblement 50 000 polygones texturés, éclairés et utilisant des shaders super optimisés, Magic Leap One en crache sans soucis 10 à 15 fois plus. Il y a tout de même un coût : la batterie. Si vous poussez le bousin à fond, espérez au mieux une heure de batterie.

La partie web est intéressante. Magic Leap embarque de base un navigateur baptisé Helio qui est fondé sur Chrome. Il permet d'afficher des pages web sur des plans et de les placer où on veut dans l'espace. Mais Magic Leap a aussi développé une librairie appelée Prismatic.js. Elle ajoute la possibilité de déclarer des objets 3D directement dans le DOM et de les faire sortir de la page afin de les placer dans l'espace comme n'importe quel hologramme. Elle supporte les FBX et les glTF et c'est l'outil parfait pour les graphistes 3D vu qu'il permet de visualiser ses objets 3D dans le casque sans avoir à coder ou à créer d'appli. Plus tard, Magic Leap ajoutera le support de webXR afin de déveloper des applis holographiques entièrement en web en utilisant des moteurs comme A-Frame ou Three.js



Le menu système permettant de lancer les applis et de régler ses options est une série d'icones 3D qui flottent devant vous et que vous pouvez recentrer. La navigation est plutôt aisée et de base LuminOS embarque un navigateur web, quelques applis de démos et une boutique d'applis pour l'instant très vide. Il y a une expérience un peu artsy développée en collaboration avec Sigur Ros, une version 3D d'Angry Birds (!!), une appli qui permet de mettre des hologrammes un peu partout et de jouer avec (similaire à celle sur HoloLens), une démo d'un match de basket dans lequel on regarde le match sur un écran vidéo virtuel géant tout en regardant une représentation 3D du stade et des joueurs,... C'est rigolo mais il n'y a pas de killer app. Dans la majorité des cas, la cartographie de l'espace n'est pas utilisée. L'appli se contente d'utiliser un point d'ancrage unique et du coup, ARKit peut faire la même chose. La plus grosse blague vient de Dr. Grordbort’s Invaders, développé directement par Magic Leap. Une des premières vidéos 100% bidonnée de la boite montrait le concept du jeu. On nous a même expliqué que le jeu était en développement depuis 5 ans et que 55 personnes bossaient dessus. Le résultat est un jeu de tir vaguement amusant dans lequel on tire sur des robots qui sortent des murs, exactement comme RoboRaid sorti il y a deux ans sur HoloLens. Les graphismes sont à des années lumières de la vidéo concept et il y a trois robots qui se battent en duel.

Et là vous allez me dire : "C'est normal qu'il n'y ait pas grand chose. Le casque vient à peine de sortir.". Soit. Tournons nous donc maintenant vers la LEAPcon pour savoir ce que réserve le futur. La LEAPcon a commencé avec une keynote en bonne et due forme. Le PDG de la boite, Rony Abovitz, a ouvert la conférence puis il a très rapidement laissé la place à deux patronnes de Magic Leap. Elles nous ont expliqué pendant dix minutes que Magic Leap créait un nouveau media et qu'il fallait se démarquer du passé et que pour cela il fallait miser à fond sur la diversité (comprenez : les femmes et les minorités). Seul LEGER problème : la grande majorités des intervenants qui ont suivi pendant les TROIS HEURES de la keynote étaient des mecs. Blancs.



Il y avait du beau monde : WETA, Insomniac Games, The Imaginarium Studios, ILMxLAB, Onshape, Trimble (SketchUp), Wacom, Funomena, Epic Games, Unity, Framestore, AT&T...  Qu'ont-ils présenté? Faisons le point:

• WETA : la célèbre boite d'effets spéciaux de Peter Jackson a bossé sur Dr. Grordbort’s Invaders. Ils ont montré des artworks de folie et comme expliqué plus haut, le résultat n'est clairement pas à la hauteur
• Insomniac Games : les devs de Spider-Man bossent sur un jeu concept appelé Seedling dans lequel on s'occupe d'une plante
• The Imaginarium Studios : le studio de mocap' d'Andy Serkis travaille sur un concept de pièce de théatre où les acteurs jouent la pièce en portant un uniforme de mocap. On capture le tout, on remplace les vrais gens par des choses virtuelles et on diffuse le tout dans Magic Leap afin de créer du Shakespeare augmenté. C'est intéressant mais au fond l'intérêt principal du théatre est de voir des vrais gens sur une vraie scène en direct...
• ILMxLAB : le doigt d'honneur ultime. Non seulement ils étaient à la keynote mais ils ont aussi donné leur propre conférence à laquelle j'ai assisté. Ils ont présenté tout ce qu'ils ont testé avec le Magic Leap tout en montrant des vidéos. Il a été question de X-Wing à l'échelle 1/2 qui sort de l'écran de cinéma et qui flotte au-dessus des sièges. Il a été question de BB8 qui vous suit partout et qui joue à cache cache. Il a été question d'utiliser la manette du Leap comme sabre laser. Il a été question d'AT-AT qui détruit le toit de sa maison. Et au final leur première expérience sera UN PUTAIN DE TAMAGOTCHI. Appelé Project Porg, on s'occupera de deux Porgs qui tentent de se faire régulièrement la malle. Si vous ne savez pas ce qu'est un porg, c'est probablement car vous vous êtes endormi devant l'Episode VIII ou que vous êtes sorti de la salle de rage
• Onshape, Trimble et Wacom présentaient la même chose : "Affichez vos modèles 3D en MR et bossez directement dessus!"
• Funomena (Wattam) présentait une version MR de Luna
• Epic Games et Unity tenaient le même discours : c'est notre moteur 3D qui est le meilleur pour la MR
• Framestore, une autre boite d'effets spéciaux, présentait leur premier projet : UN PUTAIN DE QUIZZ SUR AIR NEW ZEALAND. Mais attention ! On peut y jouer à 4. C'est parfait pour les soirées en famille à condition de claquer 9200 dollars en matos
• AT&T : AT&T est le distributeur officiel de Magic Leap ce qui n'a aucun sens vu que le bousin n'a pas de connectivité mobile. La branche DirecTV d'AT&T bosse sur une appli qui permet de regarder la TV sur Magic Leap

Mais le clou de la fumisterie est le projet Mica développé en interne par Magic Leap. Il s'agit d'une assistante personnelle type Siri ou Cortana sauf qu'à la place d'être uniquement une voix, Mica sera un hologramme à apparence humaine (une jeune femme au look androgyne) qui se promènera chez vous et qui vous obéira sur commande. On nous promet une AI surpuissante et humaine, des graphismes photoréalistes et des vraies interactions. On prévoit trois scénarios possibles:

1. (le plus probable) le machin sera annulé comme le Project Milo de Molyneux
2. (allez soyons fous) le projet aboutira mais ce sera juste une Alexa sous stéroide : une apparence humaine mais qui servira principalement à allumer la cafetière
3. (science-fiction) ce sera exactement comme promis. Ce sera vendu comme un moyen d'aider les personnes seules mais ce sera rapidement détourné pour faire des trucs super bizarre comme Joi dans Blade Runner 2049

Malgré le côté "peace and love" de la LEAPcon, Magic Leap n'a aucune envie de rendre le monde meilleur. Selon Bloomberg, Magic Leap tente de remporter un contrat avec l'US Army pour leur vendre 100 000 casques. Le but du programme est d'augmenter la vision des soldats à la fois à des fins de simulation (être dans un environnement réel mais tirer sur des gens virtuels) et de combat réel (vision infrarouge,...). Accessoirement, cela permet aussi de brouiller la barrière réel/virtuel et de diminuer la culpabilité de tirer sur de vrais gens.