XR扩展现实技术全解读——数字展示在线技术大讲堂

XR词汇的提出，可以追溯到CO Allen于2014年的申请的一份专利《Method for creation ofaugmented reality medium i.e. extended reality medium, involves detectingaugmented reality contents based on determination that reality data correspondsto given acquisition event data》，文中将XR作为AR的别称进行使用，约2年后，一些国际媒体服务器厂家开始在市场中尝试推广XR的概念。 XR（Extended Reality）即通过摄像机追踪与实时图像渲染技术，使显示介质（LED/投影碗幕）及显示介质外的虚拟场景实时跟踪摄像机视角，在摄像机镜头前与现实拍摄画面合成，从而营造出无限空间感的技术。XR是虚拟现实（VR），增强现实（AR）和混合现实（MR）三种视觉交互技术的融合，以此带来虚拟世界与现实世界之间无缝转换的“沉浸感”数字体验。

想要了解xR原理，我们需要先理解透视。因为xR技术贯通虚拟与现实的桥梁，正是建立在透视的基础之上。那些把人物P在一个个旅游景点前的合成照片，有的能“以假乱真”，有的却能一眼看出“作假”。为什么？虚假的原因千奇百怪，真实的条件千篇一律。条件之一是它们必须具备正确的透视关系。透视学，在平面上再现空间感、立体感的方法及相关的科学。为了满足透视这一自然科学原理，如果想要制作一张以假乱真的合成照片，照片上的所有物体都必须在空间中拥有统一的透视点。简单讲，如果照片中的背景是采用俯视的角度拍摄的，那么需要合成的那个人，绝不能采用Ta仰视下的形象。这是在二维平面上，混淆虚拟与现实的做法。那么在三维空间中呢？如果要合成一段视频，我希望演员身处室内，然而在镜头下其身后却是一整片森林，除了利用绿幕，还有什么方法？如果摄像机镜头固定且位置合适，甚至可以在演员身后直接挂一面巨幅的森林图案画布，只要演员和背景平面都在镜头下呈现出正确的透视关系，就能满足一些最初级的需求。与那些合成照片一样。但镜头一旦移动，背景森林实为平面画布的事实便无论如何也无法遮掩。实际上，场景背景的真实感，正是在镜头移动的过程中得到塑造并增强的。在镜头推拉摇移的每一帧，如俯瞰时的大全景、跟拍时的中景——演员的身后都应当呈现出一个在这个位置、这个角度，满足真实透视关系的背景场景。如果当摄像机旋转或改变角度时，演员身后的背景也能契合摄像机镜头同步完成角度的改变，就好了。这个技术，就是xR技术。

我们以一款国内自主研发的媒体服务器——hecoos虚拟制作服务器为例，其完成一场xR项目需要的基本配置有：一套hecoos虚拟制作系统、一套摄像机追踪系统、一套实时渲染引擎、LED屏/投影碗幕。
实现xR技术的流程可分为5个环节：
1、摄像机追踪系统将真实摄像机的实时运动位置、姿态及镜头参数（x、y、z、pan、tilt、roll、FOV......）传输到hecoos虚拟制作服务器。
2、hecoos虚拟制作服务器对摄像机信息进行实时解析与处理，驱动实时渲染引擎渲染该视点所需的虚拟画面。
3、hecoos虚拟制作服务器接收虚拟画面并通过透视投射将渲染的虚拟画面输出至背景LED屏/投影碗幕，由摄像机完成最终采集。
4、将LED屏/投影碗幕外拓展空间中的虚拟内容叠加在镜头前，采用自动校色功能对所有虚拟画面分别进行颜色校正，达到背景画面颜色统一。
5、镜头合成后，即为观众在镜头前看到的最终影像——无论镜头如何移动，演员始终身处在符合正确透视关系的一整片广袤森林前。

xR能否取代绿幕一直是个热点话题。
相较绿幕，XR有一些明显优势：
1、XR实时呈现的背景为演员提供临场感，能够让缺乏无实物表演经验的人们直观了解当下处境，掌握自身走位。
2、XR使演员表演与表演环境相结合的效果及时呈现，并且更方便创作团队及时修改创作想法。
3、XR能够节省掉影视制作过程中许多花费在光线修复上的时间和金钱。
但是xR技术本身同样具有局限，如果是基于LED屏幕方案实现的xR技术，那么站在LED屏上的演员脚下将没有影子，这是xR技术的一个较大遗憾。

快速导航