1.1 增强现实技术概述

增强现实技术是一种将虚拟信息与真实世界融合展示的技术，其广泛运用了人工智能、三维建模、运动跟踪、虚实融合、智能交互、传感计算等多种技术手段，将计算机生成的文字、图像、三维模型、声频、视频、动画等虚拟信息模拟仿真后，应用到真实世界中。增强现实技术同时考虑了真实世界与虚拟信息的相互关系，虚实信息互为补充，营造真实与虚拟无痕混合的体验。

1.1.1　AR概念

VR、AR、XR、MR这些英文术语缩写有时让初学者感到困惑。VR是Virtual Reality的缩写，即虚拟现实，是一种能够创建和体验纯虚拟世界的计算机仿真技术，它利用计算机生成交互式的全数字三维视场，能够营造全虚拟的环境。AR是Augmented Reality的缩写，即增强现实，是采用以计算机为核心的现代科技手段将生成的文字、图像、视频、3D模型、动画等虚拟信息以视觉、听觉、嗅觉、触觉等生理感知方式融合叠加至真实场景中，从而对使用者感受到的真实世界进行增强的技术。VR是创建完全数字化的世界，隔离真实与虚拟，AR则是对真实世界的增强，融合了真实与虚拟。近年来，VR与AR技术快速发展，应用越来越广，并且相互关联、相互促进，很多时候会被统称为XR（eXtended Reality），即扩展现实。

MR是Mixed Reality的缩写，即混合现实，是融合真实和虚拟世界的技术，混合现实概念由微软公司提出，强调物理实体和数字对象共存并实时相互作用，如虚实遮挡、环境反射等。比较而言，AR强调的是对真实世界的增强，MR则更强调虚实的融合，更关注虚拟数字世界与真实现实世界之间的交互，如环境遮挡、人形遮挡、场景深度、物理模拟，也更关注以自然、本能的方式操作虚拟对象。但AR与MR并非两个割裂的概念，而是对同一事物从不同角度的描述，随着移动端技术的发展，MR概念中强调的环境遮挡、物理模拟，在AR中也能被高效地实现。

本书主要关注iOS移动端的AR技术，并将详细讲述如何利用Unity引擎和AR Foundation工具包在ARKit基础上开发构建移动设备上的AR应用，可用平台包括iPhone、iPad和iPod，AR虚实融合效果如图1-1所示。

图1-1　AR将虚拟信息叠加在真实环境之上

在增强现实环境中，真实世界环境被计算机生成的文字、图像、视频、3D模型、动画等虚拟信息“增强”，甚至可以跨越视觉、听觉、触觉、体感和嗅觉等多种感官模式。叠加的虚拟信息可以是建设性的（对现实环境的附加），也可以是破坏性的（对现实环境的掩蔽），并与现实世界无缝地交织在一起，让人产生身临其境、分不清虚实、真假难辨的感观体验。通过这种方式，增强现实可以改变用户对真实世界环境的持续感知，这与虚拟现实将虚实隔离，用虚拟环境取代用户真实世界环境完全不一样。

增强现实的主要价值在于它将数字信息带入个人对现实世界的感知中，而不是简单的数据显示，通过与被视为环境自然部分的沉浸式集成实现对现实的增强。借助移动AR设备，用户周围的增强世界变得可交互和可操作。简而言之，AR通过运动跟踪、环境理解等技术手段将现实与虚拟信息进行无缝对接，将在现实中不存在的事物构建在与真实环境一致的同一个三维场景中予以展现、衔接融合。

增强现实技术的发展将改变人们观察世界的方式，世界将不再是我们看到的表面现象集合，而是可以有其更深刻和更个性化的内涵，从而引发人类对世界认知方式的变革。想象用户行走或者驱车行驶在路上，通过增强现实显示器（AR眼镜或者全透明挡风玻璃显示器），信息化图像将出现在用户的视野之内（如路标、导航、提示），这些增强信息实时更新，并且所播放的声音与用户所看到的场景保持同步；或者当我们看到一棵蘑菇时，通过AR眼镜即可马上获知其成分和毒性；或者在任何时候需要帮助时，数字人工智能人形助理马上出现在我们面前，以与真人无差异的形象全程为我们服务。

不仅如此，增强现实技术的发展符合更直接、更直观、更本能的人机交互趋势，必将创造全新的人机交互模式，以更加自然的方式连接虚实世界。

1.1.2　AR技术应用

AR技术是一门交叉综合技术，近几年来得到了长足的发展，相比于传统二维矩形框显示信息的方式，通过AR可以提供更自然、更直观、更符合人类本能的信息呈现和交互能力，概括而言，AR系统具有3个突出的特点：

（1）真实世界与虚拟三维数字世界对齐融合。

（2）虚实信息相互影响实时交互。

（3）虚实世界均遵循几何一致性和光照一致性原则。

基于标识的增强现实（Marker Based AR）技术实现方案是采用图像作为识别物，即使用专门设计的黑边图或者经过训练的自然图像作为标识物，并在此基础上叠加虚拟信息。该方案在AR早期发展中占有重要地位，并在儿童绘本、海报广告AR方案中被大量使用，但由于需要预先制作跟踪标识物，识别不稳定、功能有限，不利于推广，也无法实现6DoF（Degree of Freedom，自由度）设备位姿跟踪(1)。

无标识增强现实（Markerless AR）技术的核心基础是实时跟踪设备6DoF位姿，在此基础上渲染虚拟元素实现虚实融合。无标识增强现实技术由于可以按照几何一致性原则将虚拟信息叠加到现实世界之上、营造虚实融合一致的体验而在很多领域有广泛的应用前景和潜力(2)。无标识增强现实技术诞生后即迅速应用于游戏和娱乐领域，并促进了相关技术的融合，除此之外，AR技术在文学、艺术、考古、博物、建筑、视觉艺术、零售、应急管理／搜救、教育、社会互动、工业设计、医学、空间沉浸与互动、飞行训练、军事、导航、旅游观光、音乐、虚拟装潢等领域有着广阔的应用前景。