​​说文保||文化遗产数字化保护与应用研究综述

中国拥有丰富的物质与非物质文化遗产，这些文化遗产是中国各个历史时期和中华文明的重要象征与传承载体。如今，数字化技术在文化遗产的建模、保护与展示中的应用已成为文化遗产保护及计算机图形学、计算机视觉等领域的研究焦点。然而，由于物质文化遗产与非物质文化遗产在本质上的差异，导致它们在建模方法、修复保护技术以及展示方式上存在显著不同。目前，亟需解决的关键问题主要包括：①文物的数字化建模与表示，虽然现有设备能够获取大多数文物的表面信息，但扫描过程中存在采集效率低、人工干预需求高等问题。因此，需研发能够实现文物位置无移动下的全自动扫描的设备。②由于文物种类繁多、特征多样、形状各异且语义丰富，在构建智慧博物馆的过程中，难免面临文物异构表示与高效组织的挑战。因此，需要开发适用于中国文物的知识抽取与知识图谱构建方法，实现高效的文物组织与展示。③破损文物的虚拟修复与复原是数字文化遗产保护的核心任务之一，但破损文物碎片的自动重组一直是计算机图形学的难题之一。因此，需要设计有效的形状表示与描述方法，以支持文物碎片的自动匹配与拼接。④古人面貌的虚拟复原及性别、种族的判别对于研究人类进化与变迁至关重要，但由于颅骨表面组织厚度缺失，许多重要信息难以直接提供证据。因此，需要设计针对颅骨的处理方法，以挖掘更多有效信息，为人类学、考古学与法医学提供数据支持。⑤戏曲作为非物质文化遗产的重要组成部分，其中发源于陕西和甘肃一带的秦腔以其独特的艺术魅力和地方特色成为研究重点。因此，结合计算机视觉与虚拟现实技术，开发智能媒体融合的全息展演技术，也成为数字文化遗产保护领域的热点问题。

针对上述需求与技术挑战，西北大学文化遗产数字化国家地方联合工程研究中心经过多年的研究，取得了一系列成果，包括三代文物采集与建模设备、智慧博物馆建设、陶瓷文物的虚拟复原、古人面貌复原以及秦腔的智能媒体融合全息展演技术等。本文从以上5个方面对近些年的相关文献进行综述，然后总结西北大学文化遗产数字化国家地方联合工程研究中心的系列成果，最后，对文化遗产数字化保护领域的研究进行展望。

1 基于三维扫描的文物数字化建模方法

1.1 三维扫描方法研究现状

三维扫描是利用光学成像对文物几何形状建模的一种重要手段。由于不同文物材质对光的反射、折射、散射作用不同，文物表现出不透明、半透明、透明、高光等情况，文物材质属性类别与三维扫描数据质量密切相关。Lutzke等人研究了如何对半透明物体的三维扫描数据进行误差补偿，并通过实验验证了所提方法的有效性[1]；O’Toole等人提出了抑制间接光照的极线成像原理，从而实现互反射表面和半透明物体的三维扫描[2]；Kobayashi等人使用虚线投影和互补格雷码分别用于提高半透明物体表面的对比度和解码准确性，实现半透明物体的精确三维测量[3]；Chiba等人提出一种基于多尺度分析的光传输矩阵估计方法，测量复杂反射物体的形状[4]；Zhao等人利用极线成像和区域条纹投影对互反射表面进行三维扫描[5]；Xu等人通过投射多频条纹对半透明物体三维扫描的几何误差进行补偿[6]；Qi等人提出一种基于微频率偏移的投影技术，消除三维扫描中互反射影响[7]；Jiang等人利用傅里叶单像素成像对半透明和存在互反射的物体进行高精度重建，但需要投射的图案数量很多，耗时很长[8-9]；Jiang等人提出并行单像素成像[10]；Li等人进一步提出了投影并行单像素成像，可以在互反射、次表面散射等全局光照干扰下直接进行三维扫描，但对半透明物体的测量准确性依然较低[11]；Dizeu等人提出一种基于频移的互反射下三维扫描方法，但需要使用高频调制光源，从而限制了它的应用范围和灵活性[12]；Ding等人提出一种基于周期线条纹和互补格雷码的半透明物体高精度三维扫描方法[13]。以上研究为解决不同文物材质在三维扫描中的挑战提供了多种有效的技术方案，包括误差补偿、光照抑制、投影技术优化等。然而针对半透明物体和复杂反射表面的高精度三维扫描仍面临一些技术挑战，如计算效率、准确性提升和应用范围的扩展等。因此，如何进一步提升扫描效率和精度，仍然是未来研究的重要方向。

1.2 面向文化遗产数字化采集的第三代扫描设备

在国家重点研发计划“多样性文物智能采集关键技术研发”课题的支持下，项目团队成功研制了自动化文物扫描仪（见图1）。该扫描仪主要由结构光三维扫描仪、高分辨率彩色相机、多自由度机械臂以及大直径旋转平台组成。针对传统扫描设备在文物外观采集过程中效率低、需大量人工操作等瓶颈问题，项目团队突破了多项关键技术，实现了文物外观几何形态与彩色纹理的全自动数字化采集。文物放置在旋转平台中央的固定区域，整个采集过程中保持静止，降低了对文物可能造成的损伤风险。机械臂配备结构光三维扫描仪和高分辨率彩色相机，可同步采集文物表面的几何形状与彩色纹理，大尺寸文物的外观采集可在数分钟内完成，精度达0.05mm。这一成果已被新华社、陕西都市快报、西安晚报等多家媒体广泛报道，并在中国国家博物馆的文物数字化工作中得到了实际应用。

2 面向智慧博物馆的文物知识图谱构建

博物馆是文化遗产保护和传承的重要场所之一，通过收藏、保护和展示物质与非物质遗产，展现人类发展过程中在文化教育、社会进步、科学技术等领域的成就。随着物联网和人工智能技术的迅猛发展，智慧博物馆的建设和推广已成为一种趋势，以克服数字博物馆和虚拟博物馆展陈手段单一、交互形式受限、文物信息挖掘不足等问题[14-16]。然而，由于我国文物资源种类繁多、数量庞大，导致文物数据呈现多源异构性，缺乏统一高效的组织形式和明确的相关性。通过知识图谱技术，可以利用文物之间的关系形成三元组，构建文物知识库[17-19]，实现文物信息的高效组织与管理[20]。

2.1 文化遗产领域知识图谱研究现状

随着互联网资源的迅猛增长，知识图谱自2012年由Google提出以来，在搜索问答及人工智能等领域得到了广泛应用。知识图谱可分为通用知识图谱（如OpenCyc[21]、WordNet[22]、DBpe-dia[23]、YAGO[24]、Freebase[25]、Zhishi.me、Wikida-ta3、XLore4和CN-DBPedia[26]等）和领域知识图谱（如Palantir5、PlantData6、AceKG7和Euler8等），已在金融、学术研究、公安等多个行业实现应用，为后续研究提供了重要的理论和技术支持。

多位研究者对知识图谱进行了定义。Xu等人认为，知识图谱是将信息整合到本体中，并通过推理机推导新知识的组织结构[27]；Wang等人则定义其为由实体和关系组成的多关系图，其中实体为节点，关系为边[28]；Ji等人则将知识图谱视为由实体、关系和事实组成的集合，事实通过三元组表示，即头实体、关系和尾实体[29]；Hoffart通过为实体和事实添加时间戳，提升了时空信息的表达能力[30]；Dong等人将知识表示为概率形式，通过校准后的事实正确性概率构建更精确的大规模知识图谱[31]；Wu等人提出了一种从语料库自动构建的概率分类法，重点整合精确和模糊知识，尤其是isA关系[32]；Probase+改进了自动分类法的质量，解决了数据稀疏问题，但分类质量仍需关注[33]；OpenKS知识计算引擎集成了多种算法与解决方案，提供标准接口支持知识学习与计算领域知识图谱，尤其在地理信息、医学和电子商务等领域，注重专业知识的深度[34]；Dworschak等人提出了工程设计语义集成方法，促进了机械零件设计和制造中的知识自动化[35]。

随着博物馆向智慧化发展，文物领域的知识组织和共享面临新挑战，国内外学者积极研究文物知识图谱以支持文物保护与传承。国外如大英博物馆、荷兰国立博物馆和俄罗斯文化遗迹云平台等已在文物领域构建知识图谱，推动了资源共享与多语言访问，提升了博物馆的访问量[36-38]。国内如山西博物院、天津大学等也在文物领域进行知识图谱研究，致力于文物知识的挖掘、组织和服务，推动了博物馆智慧化发展[39-40]。

2.2 面向智慧博物馆构建的文物数字化表示方法

当前，构建文物知识图谱面临诸多挑战，主要包括：①有监督的文物实体抽取方法[41-44]依赖大量标注数据，而中文构词具有特殊性，增加了抽取的难度；②文物关键词相对稀少，但文物间关系复杂多样，关系表征成为关键问题；③文物数据的多源异构性使实体对齐方法的精确度降低，增加了构建知识图谱的难度。为应对上述挑战，项目组针对文物领域的知识图谱构建技术开展了深入研究，围绕文物实体抽取、关系抽取、实体对齐以及知识图谱补全等关键问题，提出了一系列创新方法[45]。

2.2.1 文物实体、关系抽取方法

1）提出一种基于自训练的半监督文物实体抽取方法[46]。首先，为解决中文文物实体构词的特殊性，采用ELMo语言模型[47]生成词表示，动态提取实体的上下文特征；接着，利用BiLSTM[48]和CRF模型[49]进行特征提取和实体标注，预测全局最优的标签序列；最后，提出了一种基于双重标注样本选择策略的自训练算法，通过双重标注选取高置信度样本，从而实现文物实体的抽取。

2）提出一种基于词注意力机制的胶囊网络文物关系抽取方法[50]。首先，融合字和词的嵌入特征以及词性位置信息，同时将语义和语序信息作为网络的输入；然后，针对文物文本关键词的稀疏性问题，提出了一种基于词注意力机制的动态路由算法，通过赋予信息词较高权重，迭代修正连接强度，解决关键词稀疏问题，句子中词语相对实体的位置信息如图2所示；最后，针对实体间的多重关系建模，利用转换矩阵对胶囊实例化参数进行预测。

2.2.2 文物知识图谱构建方法

１）提出一种基于多特征相似度的文物实体对齐方法[45]，流程如图3所示。首先，提取百科网站文物数据的实体属性、实体摘要和实体全文特征，通过相似性度量，从字符、词语和句子3个不同尺度获取实体特征；然后，融合实体属性、实体摘要和实体全文特征，构建文物实体对齐模型。通过从3个尺度分别获取实体特征，可以有效提高实体对齐的精确率。

2）提出一种融合实体类型的BERT文物知识图谱补全方法[45]，网络结构如图4所示。为实现文本语义的增强表示：首先，在实体语义信息中融合实体类型，消除违反类型约束的反例影响，从而增强文本语义；接着，针对稀疏性问题，使用多头注意力机制获取文本特征有效识别隐含关系；最后，采用两阶段学习模式，先利用大量无标注数据预训练BERT模型[51]，再利用少量标注文物三元组对模型进行微调，从而有效解决标注文物数据缺乏的问题。

3）提出一种多层级视点描述子驱动语义抽取规则到语义的转化[45]。设计一种多层级视点描述子，具体过程如下。基于均匀球状观察视点模型，根据模型投影边缘的倒角距离进行分区域比较，获取最优观察视点，并将该视点作为下一层的种子点，逐层细分以获取不同层级的轮廓视图，为三维模型提供一组基于轮廓信息的二维视图。接着，通过计算这些视图的圆度、矩形度、视觉主轴和对称性等特征，构建描述子，并建立语义抽取规则，实现从特征到语义的转化。

4）提出基于词袋机制的阈值视觉词直方图抽象描述方法[52]，阈值直方图抽取过程如图5所示。为了提取三维模型的少量观察视图及抽象描述语料：首先，利用三维模型的正交投影深度图，分析深度变化熵和分布熵2种信息熵，根据信息量筛选出最优的视图；接着，采用分散视点选择算法自动选择全局代表性视图；最后，提出基于词袋机制的阈值视觉词直方图抽象描述方法，用以解决三维模型的抽象描述问题。

2.2.3 文物实体数字化重建方法

1）提出一种二维几何图像表示三维网格的方法[53]，从图像上分割出原三维模型的显著区域以支持高级语义标注。首先，利用欧拉回路计算平滑切割路径，将三维网格切割为单连通曲面，并将其参数化到平面单位矩形上；接着，采用容量约束Delaunay三角剖分法[54]计算接近蓝噪声谱特征的点分布信息，利用网格松弛算法保持顶点的拓扑关系，同时将面片移动到整数坐标点位置进行翻折；最后，通过局部仿射变换对应三角面来填充图像中的空白部分。这种方法有效实现了三维曲面网格和二维图像中顶点之间的一一映射，生成了顶点曲率、法向、形状指数等属性的对应图像，从而实现了对三维模型显著区域的抽取和高级语义标注。

2）提出一种可扩展、推理和共享的层次结构，用于表示三维模型视觉知识本体[55]，利用该方法对不同地形草图进行重建，结果如图6所示。针对三维模型视觉知识本体的表示：首先，将宏观领域分类的顶层作为三维模型视觉知识本体的基本类别，并基于这些类别建立实体和关系字典，通过构建带权有向图来表示相关知识；接下来，将上层分类的实体、具体实例及其属性值设为顶点，将关系词汇及属性名设为边，自上而下建立三维模型视觉知识的基础本体，同时自下而上添加具体的三维模型实例、关系及属性值；最后，融合Con-ceptNet等常识库的相关知识，以进一步丰富知识库，实现三维模型的语义检索与第一人称草图地形的三维重建。

3 破损文物虚拟修复

计算机辅助的文物碎块自动拼接技术能够减少人工修复过程中对文物可能造成的二次损害，并加速文物的复原过程[56]。然而，文物的虚拟复原仍然面临一些挑战：①针对数量庞大的未经精细分类的文物碎块，现有的自动拼接方法[57-59]面临碎块邻接关系复杂、直接拼接时间复杂度高等问题；②文物碎块的断裂面可能因受损而缺失几何特征，从而导致碎块无法正确拼接或出现拼接错误[60]。

3.1 文物碎片分类与拼接现状

Huang等人提出了一种激光雷达点云分类工作流程，该流程将多尺度特征提取与基于流形学习的降维相结合[61]；Liu等人基于注意力机制提出AMS-Net算法，在三维点云分类任务中展现了较好的鲁棒性和有效性，适用于兵马俑碎片的分类[62]；Wang等人根据不同物体形状的不规则性，提出一种端到端姿态鲁棒图卷积网络[63]；Yang等人针对小样本问题提出了一种跨模态特征融合网络，该网络通过训练基于投影与基于点的2种模型以学习和融合深度图像和点云数据特征，用于3D点云分类[64]。

西北大学可视化技术研究所团队提出一种结构与纹理融合的三维文物孔洞修复方法[65]；魏明强等人针对中国出土青铜器碎片提出了多元数字化补配框架，对不同缺块类型提出不同的补配方法，提高了文物补配的效率[66]；王乐乐针对黄骅市博物馆馆藏残损石造像文物提出了轴对称虚拟修复方法，用石像对称部位中完好的区域来镜像修复破损区域，局限性较大[67]。除了对青铜器、瓷器等文物进行碎片拼接外，也有学者对壁画图像、破损雕像等无法拼接的文物的缺损部位进行数字虚拟修复研究。张豪远等人通过在多尺度空间中提取破损壁画的纹理特征，充分挖掘图像已知的可用信息对壁画缺失内容进行填补[68]；Hou等人提出一种基于回归模型的文物几何修复方法对重庆大足千手观音像的手指部位进行修复[69]。

针对上述问题，项目组面向兵马俑虚拟复原问题，围绕文物碎片的精细分类和拼接展开了以下研究。