preloader
 

Definition of augmented reality

Augmented reality (or AR) is a technology that allows the integration of virtual elements in 3D (in real time) within a real environment. The principle is to combine the virtual and the real and give the illusion of perfect integration to the user.

Augmented reality: over 40 years of history

first experience of augmented reality

Le premier système de réalité augmentée fut conçu en 1968 par Ivan Sutherland, dans le cadre de recherches au MIT au sein de la prestigieuse université de Boston. Il s’agit à l’époque d’un casque disposant de deux lentilles au niveau des yeux. Celui-ci était relié à l’ordinateur grâce à un bras articulé, d’où le surnom qu’on lui donne à l’époque : épée de Damoclès. L’expérience consiste à afficher un cube en 3D à travers les lentilles. Un ordinateur recalcule l’image et l’angle de vue afin de suivre les mouvements de tête de l’utilisateur. Ce dispositif pose les bases de la réalité augmentée.

   

Dans les années 80, ce sont les systèmes HUD (Head-up displays ou vision tête-haute) qui sont développés, notamment dans l’armée. Ce système permet d’afficher quelques informations à travers un petit écran transparent, situé dans le champ de vision du pilote/conducteur. On retrouve actuellement ces HUD dans certains véhicules afin d’afficher des informations tels que la vitesse, chemins de destinations ou encore les panneaux rencontrés.

HUD in an aircraft cockpit     NASA's augmented reality headset    

Subsequently, NASA also developed an augmented reality headset, foreshadowing the Microsoft Hololens 30 years later. Lightweight but requiring on-board computing, this tool allows operators to add an information overlay to physical elements. Several other similar projects will follow.

It was not until the 1990s that the term "augmented reality" was mentioned. Indeed, Tom Caudell and David Mizell, two employees of Boeing, developed a tool for the group's employees working on production lines. This system added a layer of information to certain elements of the line, making it possible to have a technical map attached to the physical element.

 

In 1994, Rekimoto and Takashi, two scientists working for Sony Computer lab, developed NaviCam, the first augmented reality system capable of reading markers. Very basic and fast, it allowed to launch textual information that was grafted to the real world through a helmet equipped with a HUD. The markers will become the reference support in order to fix virtual elements in the real by offering a very fast response time.

       

Markers: the first step in mobile augmented reality.

Markers are visual cues detected by the device to perform an action. They can take the form of an image or a symbol, but must above all offer a high contrast in order to optimise detection. They are used as markers to fix a 3D element through the camera, which is essential to the device.

However, markers will eventually disappear, thanks to the technological advances offered by Apple and Google. We will develop this part later in the page.

   

Smartphones and tablets, the ultimate stage of AR.

first mobile AR device  

The first "mobile" version of augmented reality was developed in the late 1990s and required a backpack connected to a screen. The whole thing was heavy, cumbersome and drastically limited viewing capabilities. It was more of an experimental project than a real consumer tool.

However, this was a precursor to what mobile augmented reality would become. The advent of mobile phones, and more particularly smartphones, has made it possible to miniaturise this type of device: camera, screen and on-board computing have made it possible to develop truly mobile and relevant applications.

       

The ARKit/ARCore revolution

Cette avancée technologique est issue de deux géants américains que sont Apple et Google, qui ont développé de nouveaux systèmes de réalité augmentée embarqués directement dans le système d’exploitation des  smartphones et tablettes. Nommés respectivement Arkit pour Apple et ARcore pour Google, ces systèmes détectent l’espace, la position de l’utilisateur et la lumière ambiante. Cela permet d’afficher et de fixer l’élément en 3D sur les surfaces scannées. Avec la captation de position, il est désormais possible de simuler une pièce virtuelle complète et de se déplacer à l’intérieur à travers son smartphone ou sa tablette. Nous utilisons d’ailleurs ces technologies chez Artefacto pour nos applications en réalité augmentée comme Urbasee.    

Augmented reality: a professional tool.

Unlike virtual reality, augmented reality was mainly developed for experimental and professional purposes (army, industry, etc.). Very quickly, companies understood the stakes of this technology and sought to appropriate it. However, technological barriers have long limited its use. It was necessary to use a computer, a screen and other cumbersome peripherals that were difficult to use in the field. With the advent of smartphones and tablets, the AR sector is booming and many companies are finding business purposes in their use. Let's take a look at them.

 

Augmented reality in real estate

La réalité augmentée dans l’immobilier s’est développée principalement via des outils de visualisation sur tablette. La possibilité de prévisualiser un bâtiment avant construction est une véritable plus-value pour les professionnels car cela renforce la capacité de projection d’un éventuel investisseur et donc, facilite grandement la commercialisation en VEFA. De plus, il est possible d’interagir depuis l’écran sur le modèle 3D projeté. Il s’agit avant tout d’une fonctionnalité, et se retrouve le plus souvent intégrée dans une application proposant d’autres contenus sur le projet. Il existe deux « types » de réalité augmentée répandus dans l’immobilier : sur plan (ou marqueur) et sur site.

 

Augmented reality on a map

La réalité augmentée sur plan(ou marqueur) consiste à afficher un modèle 3D en visant un plan 2D. Intégrée dans une application dédiée au projet, la réalité augmentée sur marqueur est un des outils phare de la visualisation d’un bien immobilier en 3D. Elle possède également une grande attractivité dans le cadre d’un salon immobilier et propose une interactivité qui permettra par exemple d’enlever les étages, de proposer un accès à des 360°, de télécharger les plans, etc. Il s’agit d’une bonne alternative aux maquettes physiques.

  Augmented reality on a map  

On-site augmented reality

augmented reality on a real estate site  

On-site augmented reality offers the possibility of displaying a 3D model directly on the construction site at 1:1 scale. It provides excellent immersion and increases investors' projection capacity tenfold by bringing them face to face with the project in reality and gives a good overview of the integration of the architecture. However, it requires a visit to the construction site in order to "track" the reality and to fix the final project in 3D. It is therefore a very good complement to marker-based reality. In the case of a house builder, this technology can allow him to build a real catalogue of houses in 3D that he can project on his customers' land.

   

 

Augmented reality in industry

In industry, the augmented reality becomes an excellent way to promote a project: factory, production line, products.

Celle-ci répond à une problématique bien connue des industriels : montrer ce qui est difficile, voire impossible de déplacer comme les chaînes de production ou les machines agricoles lors des salons, par exemple. Intégré dans une application mobile, il est possible de faire une démonstration de son fonctionnement de manière très fidèle. Les flux ou les parties mobiles sont animées (bras articulés, engrenages, personnages, etc.) et permettent d’aisément comprendre le fonctionnement d’une machine ou d’un objet présenté. On peut également y ajouter des parties interactives, permettant d’accéder à des éléments supplémentaires de compréhension : fiches informatives, éléments zoomés, vidéos.

AR application for SPIE  

Augmented catalogues: the ultimate sales tool?

There are also the catalogue applicationswhich allow products to be shown in augmented reality. This type of application is a new tool for the salesperson, or is available for free download, and allows a product to be integrated in 3D at real size, anywhere. Combined with an integrated purchasing system, it is possible, for example, to try out a sofa or a wardrobe at home to see if it is suitable, and to buy it directly from the application. A small revolution for e-commerce with this dematerialised fitting! Artefacto has also chosen to take this route to market its tool Urbaseewhich you can try for free.

augmented reality catalogue  

AR in museums

La réalité augmentée dans les musées n’est également pas en reste et plusieurs finalités existent. Elle peut être utilisée afin de projeter en 3D des objets disparus, inaccessibles, dans le cadre de reconstitutions du passé. Elle s’intègre également parfaitement dans des applications ludiques avec l’affichage d’éléments en réalité augmentée comme des personnages ou points d’intérêts qui viendront enrichir la visite et donneront l’occasion aux visiteurs de se focaliser sur des éléments d’architecture, par exemple. L’objectif pour les musées est donc de proposer des visites améliorées, augmentées, en proposant un contenu enrichi. La réalité augmentée sert également d’outil pédagogique pour les enfants, afin de manipuler, jouer dans un contexte culturel et leur donner d’autres clés de compréhension. Intégrée dans un jeu ludique, ils en ressortiront heureux et surtout rempli de connaissances !

Augmented reality in museums  

A bright future for augmented reality

Increased awareness of augmented reality

Augmented reality experienced a major upheaval in 2016. Indeed, following the huge success of the smartphone game Pokémon Go! (the most downloaded application of all time), the notoriety of this technology has drastically increased, giving it the opportunity to be known by the greatest number of people. Augmented reality is now easily understood by the general public.

We can also mention Snapchat, which has been integrating augmented reality filters (lenses) for several years now. Without really knowing it, the general public is already using this technology!

The future of technology?

À vrai dire, plusieurs solutions peuvent être envisagées à plus ou moins court terme. Dans un premier temps, la suite de l’aventure ARKit et ARCore pour la réalité augmentée sur mobile semble être la solution à court terme la plus prometteuse. Apple est extrêmement impliqué dans la réalité augmentée et améliore continuellement son outil. La prochaine mise à jour, disponible sur iOS 12, apporte d’ailleurs plusieurs fonctionnalités comme le multijoueur, ainsi qu’une nouvelle application intégrée au nouvel OS. A plus long terme, le futur de la réalité augmentée va probablement se situer dans les casques et lunettes de réalité augmentée. Communément appelé « réalité mixte », cette technologie peut être définie comme une amélioration de la réalité augmentée. Initiée par le Hololens de Microsoft en 2015, elle est aujourd’hui suivie par le Magic Leap One, ou encore le Meta 2. La particularité de ces casques est qu’ils scannent l’intégralité des surfaces d’une pièce, permettant alors d’y placer n’importe quel objet virtuel. Il pourrait s’agir potentiellement d’une révolution sur la manière dont on consomme les contenus. Imaginez une surcouche virtuelle modifiable à l’infini, visible par n’importe quel porteur d’un dispositif. Apple serait également de la partie, puisqu’une rumeur plus que fondée parlerait du développement de lunettes de réalité augmentée pour 2020. Cela collerait d’ailleurs avec les récents rachats d’entreprises spécialisées par la firme de Cupertino. Vous l’aurez compris, nous sommes à l’aube d’une transformation massive de notre consommation de contenu numérique.