近20年探索，推出12个项目，故宫博物院的VR数字化历程

整理 | 锅灶

5月11日，Unite Shanghai 2019正式开幕，在会上，故宫博物院数字化研究所工程师张雨辰以“技术与文化的融合”为主题发表了演讲，其讲述了故宫博物院在数十年内的发展过程，以及故宫博物院数字化各类项目与Unity技术融合的细节。

以下为演讲内容整理：

大家下午好，我是来自故宫博物院的张雨辰。很荣幸受到Unity官方的邀请，来到上海给大家做案例分享。非常感谢有Unite大会这么一个渠道能够让我们博物馆人从中汲取技术和创意的养分。很抱歉故宫本身的开发实力不足以在这里从技术的角度给大家做分享，所以我想从数字故宫的相关展示案例出发，来介绍Unity引擎如何助力故宫产出数字化成果。

我相信每一位观众都会有对故宫独到的理解。其实，在我们看来故宫是座博物馆，故宫是我们今人去了解故宫文化、了解中华文明的一个非常重要的窗口。

百年前故宫就开始做影像采集 

故宫所做的数字化一定是要从博物馆的角度出发，让文化遗产的“本体”活起来，是为了让文化遗产的“基因”活起来，是为了让在文化遗产中的“人”活起来，致力于优秀传统文化的创作性转化和创新性发展。如果从这个角度出发去思考，我们就能够避免那些为了展示而展示、为了炫技而炫技的“空洞”的数字项目。

故宫人在博物馆数字化探索的道路上走了20多年，百年前故宫就开始做影像采集。当然，这些都是清宫影像，如今都已经成了故宫博物院珍贵的文物，代表了一段历史的记录。

现在故宫人探索出一条适合故宫博物院的三维数字化道路，数字化保护、数字化研究、数字化展示。保护、研究、展示“三位一体”，遵循“内容为王、技术为器、融合互通”，展现故宫独有特性，才能有效的避免博物馆数字化过程中的同质化问题。

2002年起，故宫建立了数字化资产应用研究所，开始了三维数字化的应用建设。到现在，我们已经采集了紫禁城（112公顷）的全景三维简模数据，采集了包括太和殿、养心殿、乾隆花园和角楼在内的重要殿宇室内外高清数据。并通过照片建模、三维扫描等技术采集室外陈设三维数据和可移动文物三维数据。随着，采集技术的发展我相信我们的三维数据资源会越来越充实。有了这些基础数据，我们能够开展数字化项目建设。

在来到这里之前我整理了一下近三年的开发项目，据不完全统计总共有12个项目是基于Unity引擎开发的。为什么故宫博物院能够做到在博物馆数字化领域如此高产？为什么Unity引擎能够助力数字故宫实现高产？

请大家跟我一起走进数字故宫，来探究答案。

我们 第一期制作的数字展主题是“故宫是座博物馆”，2016年养心殿正式开始进行为期五年的大修工作，作为最受观众欢迎的原状陈列，不能一睹养心殿，自然成为很多观众的遗憾，因此我们一方面让养心殿的真文物出门巡展，让不再北京的观众也能‘走进’养心殿，另一方面用数字技术，让养心殿‘活起来’，让年轻人更多地走进数字养心殿，走进传统文化。所以，第二期我们以“发现养心殿”为主题，利用原有的设备将数字内容进行了更换，开放了新的一期数字展览。

AR穿搭服饰互动项目：服饰文化是民族文化的重要组成部分，通过Unity引擎 + Kinect体感设备开发的试衣互动可以将成套的宫廷服饰“穿上身”，喜欢的话还可以拍照并将自己的照片下载到手机里。这样一来，非常像当下流行的AR试装项目，大家都在思考如何将虚拟试衣项目融合到商场和线上商城的时候，很多人都没有想到在故宫里面也能够Idea出这样项目，Unity引擎所搭载的布料系统就已经能够满足我们的互动需求，而且我们为了照顾小朋友，还适配了孩童的身高。通过衣服搭配和选择佩饰，观众可以了解清代宫廷服饰搭配的相关小知识。

御膳项目：故宫内的御膳房有两处，“养心殿御膳房”为其中之一，无数美味佳肴都出自这里。在这个项目中我们选取了众多宫廷美食中最有特色的四道菜肴，还原了制作方法，观众在随着提示一步一步“制作”好菜肴后还要选择正确的餐具盛放摆盘。

从选材到上桌，所有关键步骤都用数字技术呈现出来。这个项目作为一个2D互动应用，Unity引擎提供丰富的2D功能：包括动画、粒子系统创作和音频混合的工具，使我们这款2D手绘风的应用开发效率大大提高。特别是当我们产生新的灵感之后，合作方能够很快的拿出一版完全可玩的版本去印证我们的想法，经过这样一次次的迭代，项目很快能够走入正轨。

所以说，Unity引擎在技术上的快速更新和稳定迭代也是我们所看重的一点，特别是在这个数字多宝阁展项。在第一期的端门数字展览上我们就使用Unity开发了这个项目，当时的版本还是4.x。这个项目的亮点一是有趣的热点互动，二是文物材质的模拟，在当时的技术环境下材质的模拟效果不太理想。之后Unity引擎发布了5.x版本，支持了基于物理材质的图形渲染，这样我们就能够借助法线贴图、金属贴图、反射贴图轻松的模拟文物的材质效果，在后面的讲述中我会用一个视频来给大家做详细展示。

在第二期鉴藏珍玩的改版过程中，我们还借助Unity引擎的Asset store应用商店中的UBER - Standard Shader Ultra插件，制作玉器和玻璃器类文物的材质效果，这一过程大大减轻了开发难度，使程序人员不必自己编写Shader就可以得到我们想要的效果。

这个项目的核心还是以养心殿内真实陈列为蓝本制作的，我们为精选故宫院藏文物中精品制作出数字模型，并且结合展品中最主要的亮点，如制作工艺，纹饰特点，使用方式等，用交互的手段将这些知识呈现出来。

故宫对VR技术的探索早在2000年已经开始，我们与日本凸版印刷公司进行合作，借助他们自主开发的引擎平台，以VR技术再现金碧辉煌的紫禁城。可能大家很难想象在故宫里有一个数字化团队，自己开发了7部《紫禁城·天子的宫殿》虚拟现实系列作品。不过受限于凸版开发的引擎，我们展示技术的竞争力已经跟不上这个时代的步伐，凸版的引擎已经有多年没有进行更新迭代，渲染、光影效果还停留在Unity4.x系列的标准上，我去东京学习的时候凸版的工作人员也曾经向我透露自主引擎的开发难度非常的大。

所以凸版和我们都在尽全力的寻找另外一条技术解决方案，我们不约而同的把目光都聚焦在Unity引擎身上，目前凸版公司已经开始将自研引擎转移到Unity引擎并独立开发多通道系统实现互动功能与效果的双提升。

而故宫选择了相对保守的方案，基于Unity引擎开发了平板设备与自研引擎进行通信交互，实现大小屏幕联动以及观众的互动。这个思路在我们第七部虚拟现实作品《紫禁城天子的宫殿·御花园》节目中有所体现，利用Unity引擎在安卓平板设备上进行开发工作，通过交互设备改变了传统的只能观看没有互动的观影流程，现在我们可以一边看大屏幕一边通过交互设备了解屏幕展示点的现实所在位置，以及当前区域的热点信息。这些信息可以是文字图片，也可以是三维模型，可以进行补充说明，也可以进行深度互动，比如说我们讲解到万春亭的时候，交互设备上立马出现万春亭的大木结构模型，观众可以在平板设备上进行拆解、交互，可以在御花园的喂一喂鹿，在古代御花园里面是养鹿的。借助Unity引擎与大屏幕之间的互动，以独特视角向观众完整、准确、生动地传递着故宫文化遗产所蕴含的历史信息和文化情怀。

我们还举办了《御花园》节目观影周，一周时间内容纳50人的演播厅一共接待了1200多名预约前来的观众，获得了不错的反响。未来，我们依然可以借助Unity引擎多平台发布的特性，将我们交互内容进行重新编排和解读，可以作为单独的互动展项发布，我想这就是Unity能给我们带来的最大的便捷。

以上我所分享的，都是在“发现养心殿”主题数字展里面所展示的内容。故宫出品，必属精品，我们带着我们数字展示成果走出故宫，走出国门。2017年我们带着数字多宝阁项目走出了故宫，参加了“砥砺奋进的五年”大型成就展，深受国家领导人的好评。

之后，数字多宝阁与《紫禁城天子的宫殿》VR节目走出了国门，随李克强总理一起出访日本。当然我们还积极的与地方政府、博物馆和企业合作，将我们数字故宫的成果推向更多的地方，将故宫的数字化成果转化成为专题展览的形式，让更多的人感受到数字故宫的魅力。

在展示项目里还有一个故宫导览应用项目，它也是利用Unity引擎开发。我们把终端放置在故宫观众服务中心，部分观众在进入故宫前使用导览终端可以初步了解故宫的概，也可以订制最适合自己的游览路线并生成二维码，观众可以将自己的路线“扫”进手机里，更为方便和快捷，Unity引擎不仅让国宝藏“活”起来，也让故宫的服务更有“温度”。

十余年耕耘，观众有6.5万，VR技术带来突破口 

故宫博物院在虚拟现实领域已经默默耕耘了十多年，但是在这段时间内仅有65000名观众能够来到故宫数字剧场观看我们的VR节目。于是我们在思考，能不能将我们优质的三维数据、三维节目放到互联网上，让更多的人体验到虚拟故宫的魅力？出于这种想法，一个线上的三维展示平台“V故宫”就此诞生。

2014年，我们开始着手利用Unity引擎，在现有的故宫三维数据库中，选择了灵沼轩进行移动端移植的测试。移植完成后，由于数据量太大，虽然可以承载VR程序内容，但是体量庞大，以当时的移动端设备仍然面临着运行效果不理想的问题。在这种情况下，我们不得不选择了折中方案——网页端全景图展示。

第一个项目是养心殿，我们将虚拟现实节目里的三维模型加工渲染成全景图，并加以轻互动，移植到互联网上，突出简单便捷易上手的特性，吸引观众的目光。观众反馈不错，于是我们又制作了第二期线上展示内容《灵沼轩》，但是我们并不满足于相对简单的全景展示，随着技术的进步，特别是Unity引擎对H5平台和WebGL渲染框架更好的支持，以及越来越多的浏览器支持WebGL渲染，于是我们准备部署更具交互感的游戏体验方式。经过测试，发现手机等移动设备上的三维模型运载能力依然有限，而电脑PC端却可以流畅的实现三维交互。于是我们以《倦勤斋》为主题，设计了基于PC和手机端两种不同侧重点的Web程序。

在移动端，能够承载的三维模型精度不高，在保证精细程度和三维模型上，我们做了多次取舍。在需要呈现画面精细效果时采用二维影像，而在重点呈现空间感与真实感时采用三维模型。而在PC端的我们全部使用三维模型数据的进行开发，以第一人称视角探索倦勤斋，并可以与NPC人物进行互动，古风十足，使整个体验更接近于线上游戏；这一次，借助Unity引擎帮助我们验证了故宫三维数据展示的另一种可能性。

未来，V故宫展示平台将迎来一位新成员。线上的数字多宝阁展示项目，通过WebGL技术实现4K级精度的文物展示，联通线上与线下的展示内容，打破常规提升用户粘性，做到真正的“把故宫文物‘带’回家”。

时间来到2015年初，当时北京在隆宗门西区域和慈宁宫花园区域发现了明代大型宫殿建筑遗迹。这一发现对于研究元代北京皇城具有非常重要的价值，以往都是考古绘图与二维影像共同来进行考古数据的记录与保存，而在隆宗门西区域发现的考古遗址坑，我们的数字化团队第一次利用摄影测量技术采集加工生成考古遗址三维模型，实现了对考古遗址的三维化保护工作。

这时，我们需要思考如何让这个考古遗址为专业人员所用。当时VR头显刚开始发力，我们便购入了一台VIVE头显进行测试开发工作。我们借助Unity引擎将考古遗址VR化，当时并没有交互内容设置。但对于考古专家们来说，这近乎真实的三维展示方式已经完全超出了他们的想象。随着考古工地的回填，我们掌握了唯一一份考古三维基础数据。

考古专家对VR的展示方式给予了充分的认可，直接促成了与数字化团队的又一次合作——景德镇御窑遗址的三维数据应用研究。

之后我们走出了故宫的大门，为全国的考古项目进行采集加工工作。利用Unity引擎实现了5000万三角面的考古遗址运行，帧率符合VR展示的要求。为了进行场景真实度还原，我们采用了全局环境光和环境光预计算技术（GI），以及VRTK - Virtual Reality Toolkit插件，实现VR的交互内容开发。

为了能够在虚拟世界中，给体验者对整个御窑遗址提供概览性的介绍，同时避免观众产生眩晕感，所以我们在虚拟场景中构建一个虚拟电影院。以电影放映的形式来对遗址进行概括描述，这样一来，不光减轻了体验者的眩晕感，而且还有一种仿佛置身于巨幕当中欣赏遗址的奇特感觉。

在此之后，我们主持开展了国家科技部支撑项目——利用激光扫描和摄影测量相结合的方式采集加工了23件青铜器模型。而这些模型要达到贴图精度为8K的级别，成为数字所截至目前制作的最为精细的一批文物。当时领导希望能够在最终的评审会上以可视化的形式展示成果，于是我们再一次想到了Unity引擎。

值得注意的是，我们从构想到开发结束不到一周的时间，便实现了对三维文物模型纹理细节的极致展示。特别是在2017年的“故宫腾讯数字文化节”上，这批文物在4K屏幕上向观众展示，引起了文博行业与科技界专家的关注。也正是由此，故宫树立起可移动文物三维数据可视化领域的一面旗帜，业务范围逐渐的扩大。

结语 

故宫希望在文博数字化应用领域始终保持领先态势，我们对先进技术的探索从未停止，像最初的谷歌Project Tango项目出现时，我们购买了Tango手机，基于Unity引擎将延禧宫“搬”到了我们的院落，实际上Tango项目就是升级版的AR增强现实，通过技术测试评估我们觉得AR技术在博物馆专业领域上应用前景的春天还没有到来，不盲目追风，等待技术上的突破这是我们现阶段的想法。

我想大家很难想象，在大会上介绍的12种应用程序中，有6个完全由故宫人自己开发的，故宫在数字化领域有自己的团队。正是有Unity引擎这样优秀的开发工具，才能够使想法成为可能，使可能成为现实。未来，故宫博物院将会加大在机器学习、人机互动、混合现实等领域的探索，研究其应用于数字故宫的可能性。故宫虽然很古老，但是故宫博物院却很时尚。感谢大家的聆听，谢谢。

第一时间了解XR资讯 

关注VR陀螺官网（vrtuoluo.cn）