敦煌壁画素有“墙上博物馆”的美誉，具有极高的历史和文化价值。但是，敦煌壁画历经千年，正承受着脱落、起甲、变色等多种病害的威胁，图 1(a)所示即为一幅破损壁画。传统的人力手工修复都是不可逆的操作，具有一定风险。而数字化的壁画修复由于不需要对原始作品进行直接处理，并且能按艺术需求对修复结果进行调整，让无损修复成为可能，也提高了修复的灵活度，已广泛应用于现代文物修复工作中。

图  1  破损壁画图像和线描图

Figure  1.  Damaged Mural Painting and Corresponding Line Drawing

下载: 全尺寸图片 幻灯片

图像修复作为计算机视觉和图像处理领域中重要的主题之一，其概念由Bertalmio等^[1]提出。目前图像修复主要分为基于几何学和图像块的修复方法两大类。几何学的修复^[1-4]包括变分或偏微分方程^[1]的各向异性扩散^[2]、曲率^[3]、全变分最小化^[4]等，适合完成线和小区域的修复，但在重建大面积区域时，会出现边缘模糊。而基于图像块的修复源于纹理合成^[4]思想，包括样例法、混合法，能量方程法以及稀疏表示法等；文献[5-6]提出了经典样例法的理论基础，之后，更多样例改进算法被提出^[7-13]，而改进主要集中于置信因子项^[7-10]、数据项^[11]、优先权函数^[12]以及搜索空间^[13]等。文献[14]则将BV-G模型运用到图像修复，给出了混合法的思路；文献[15]提出结构指导下的多尺度全局优化修复算法。能量方程法^[16]则通过最小化全局能量方程来重构图像缺失部位。Aharon等^[17]提出稀疏表示能自适应地选择最优基，从而估计出目标图像。根据上述理论，相当一部分基于稀疏表示的图像修复算法^[18-20]被提出；文献[18]提出稀疏表示框架下领域嵌入式修复算法；文献[19]提出秩最小化修复算法；文献[20]将在线字典学习应用于彩色图像复原中，对大片纹理和边缘缺失的图像具有较好的修复效果。但该类方法存在一个普遍问题，如果缺失区域所需的信息不能在图像已知区域中找到，则通常无法得到令人满意的修复结果。

近年来，很多专家学者致力于数字化的敦煌壁画修复^[21-24]，通过改进上述方法取得了一些有意义的成果，但修复效果一般。原因在于：①没有将线描图作为结构区域的修复指引；②依赖于传统方法中先结构后纹理的修复策略。为了更好地解决上述问题，本文针对破损的敦煌壁画，根据对应的线描图(图 1(b))，利用人机交互的方式^[21]将破损图像中破损区域缺失的结构信息补全；并采用一种先纹理后结构的修复策略，通过全局随机抽取和结构复杂度排序选出破损边界上的待修复块。在修复阶段，通过局部纹理和结构上的连续性约束，建立稀疏表示模型，由待候选块的稀疏线性组合估计待修复块，实现破损壁画的修复。

1 壁画修复算法介绍

本文算法步骤如下：①给出预处理后带结构信息的壁画图像I待修复区域；②将待修复边界$\partial \mathit{\Omega} $以p点为中心的待填充块分为结构块集合S和纹理块集合T；③如果$T \ne \emptyset $，随机在T中选取一待修复纹理块Ψ_T，利用全局搜索找到K个SSD(sum of squared difference)准则下的待候选块; ④建立约束方程，求解得到稀疏表示模型中K个待候选块的线性组合去填充Ψ_T，之后更新置信因子项C(s)、$\partial \mathit{\Omega} $、S和T，重复步骤②至④，直到$T= \emptyset $; ⑤如果$T= \emptyset $, $S \ne \emptyset $，计算S中每一个Ψ_s的优先权; ⑥选择优先权最大的块Ψ_m作为当前待修复块，之后再进行步骤③至④，直到$S = \emptyset $，结束整个修复过程。

1.1   待修复敦煌壁画图像预处理

在进行破损敦煌壁画修复之前，需要对原图预处理。首先，在资深敦煌壁画修复工作人员的指导下，在破损区域处填充绿色掩模，这样能准确地识别出待修复区；之后根据对应的手工线描图，利用人机交互法在绿色掩模处添加破损区域里缺失的结构信息，则可得到带有辅助结构信息的待修复敦煌壁画I。

为了更好地解释本文算法，将上述预处理后带有辅助结构信息的壁画I替换为另一张完好的壁画来做示意图，该示意图选自文献[9]敦煌660数据集。本文对该示意图做相同的预处理，记为I_d。如图 2所示，第一排左图为原图，第二排Ω^c为I_d中已知区域，绿色掩模共有3处，记为Ω₁、Ω₂和Ω₃，其中在Ω₃区域里添加了黑色线条作为结构辅助信息，红色为待修复区域的边界，分别记为Ω₁、Ω₂和Ω₃；第一排右图中白色边界为通过数学形态学提取的破损边界。

图  2  预处理示意图

Figure  2.  Image Preprocessing for the Inpainting Task

下载: 全尺寸图片 幻灯片

1.2   待修复块的选择策略

本文提出一种新的待修复块的选择策略，首先将所有以p点为中心的待填充块Ψ_p分为纹理块和结构块。对于纹理块，采取全局随机抽取的方式选出Ψ_T，而对于结构块，本文定义了一种块结构复杂度(patch structure complexity，PSC)，将结构复杂度较低的Ψ_s作为优先修复对象。

1) 分类及修复顺序

通过分析预处理后的敦煌图像I_d，选出Ψ_p，并判断Ψ_p中有无辅助结构信息，若有，则归入结构块集合S={Ψ_s}_s=1^M，如图 3中Ψ₂所示；若没有，则放入纹理块集合T={Ψ_t}_t=1^N，如图 3中Ψ₁所示。根据辅助结构信息将待修复图像块分为两类，先修复较为简单的纹理块，提高纹理区域修复成功率的同时也减少了结构块的数目，降低结构区域的修复难度。

图  3  边界块分类

Figure  3.  Classification of Images Patches on the Boundary

下载: 全尺寸图片 幻灯片

2) 纹理块的全局随机抽取

通过上述对待修复块的分类，决定了破损区域的修复顺序，即先纹理，再结构。纹理修复时，传统的样例法需要计算边界上所有待修复块的优先权，从而决定修复顺序，而本文算法中，充分利用Ψ_t不含辅助结构信息的特点，在不计算每个Ψ_t优先权值的情况下，采取一种全局随机抽取的方式选出待修复的Ψ_t，在不影响修复结果的情况下，提高了算法的实时性，详细的实验结果在§2给出。

3) 结构复杂度的块优先权

在修复结构区域时，需要从结构集合S={Ψ_s}_s=1^M中找出最容易修复的Ψ_s，这样的Ψ_s需满足最少辅助结构信息和最多已知信息的特点。块结构复杂度PSC(s)定义为：

式中，$\sum\limits_{s \in {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s} \cap {\mathit{\Omega} ^c}} {} A(s)$和|Ψ_s|分别为Ψ_s中含有的辅助结构像素个数和总的像素个数。之后，将得到的上述块结构复杂度PSC(s)和置信因子项C(s)相乘，得到最终的结构块优先权函数P(s)：

式(2)中置信项由Criminisi等^[6]算法中定义，为避免C(s)出现“下降效应”^[8]，对其做正则化处理：

式中，正则项ω=0.2。

1.3   建立基于稀疏表示的修复模型

如图 4(a)所示，待修复块为Ψ_p，$ {\mathit{\boldsymbol{\bar E}}}$和E分别为提取Ψ_p中已知和破损区域的逻辑矩阵，{Ψ_ci}_i=1^H为SSD准则下利用全局搜索出的前H(10~50)个与EΨ_p最相似的待候选块集合，Ψ_p则通过H个Ψ_ci的线性组合去估计：

图  4  块修复算法的原理示意图

Figure  4.  Illustration of the Patch-Based Inpainting Method

下载: 全尺寸图片 幻灯片

式中，${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $为Ψ_p的线性表示；Ψ_p中的破损信息通过估计出的${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $去填充：

假设Ψ_p可以由向量${\mathit{\boldsymbol{\alpha }}_c} = ({\alpha _{{c_1}}}\;\;{\alpha _{{c_2}}} \ldots {\rm{ }}{\alpha _{{c_i}}}) $稀疏表示，即稀疏解α_c可通过稀疏表示模型下L₀范数最小化约束求得。${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $的两个重要约束条件为：

1) 系数向量α_c之和为1，即：

当α_c中只有一个非零元素时，模型才会退化成传统样例法^[5]。

2) ${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $局部连续性约束，一方面，Ψ_p和${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $需在已知信息上相似：

式中，ε为容忍度。另一方面，如图 4(b)所示，待修复块为Ψ_p，W(q)为以p点为中心、比Ψ_p尺寸大很多的邻域窗口，q_j属于集合：

Ψ_p和${\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_{_j}}}} $的相似性度量定义为：

式中，d(·, ·)为SSD准则；σ在本算法中设为5；Z(p)为归一化系数，使得：

Ψ_p和${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $除了要与已知信息相似外，填充进Ψ_p中的新像素$ \mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p}$应和邻域保持连续：

式中，ε为容忍度；β为平衡系数，设为0.8。

将式(7)和式(11)变为如下形式：

式中，

建立稀疏表示模型：

上述稀疏表示模型的目的是为了求得L₀范数最小化约束下的稀疏解α_c，即为了选择一些非零候选块去稀疏表示Ψ_p，具体α_c的求解过程见文献[11]。

2 实验结果和分析

为了验证本文算法的有效性，本文以Xu等^[7]算法为对比算法，将其结果与本文算法进行分析比较。算法中所涉及的壁画数据图 1由敦煌研究院提供，图 5(a)来自文献[25]敦煌660数据集。本算法中的重要参数取值为：待修复块大小取5×5，待候选块个数和平衡参数β分别为25和0.8。

图  5  不同算法下敦煌壁画修复结果

Figure  5.  Comparisons of Inpainting Results of Different Algorithms on Dunhuang Mural Images

下载: 全尺寸图片 幻灯片

2.1   破损壁画修复结果比较

图 5(a)至5(d)分别为5张壁画原始图像^[25]、对应的辅助结构信息版本、Xu等^[7]算法修复结果和本文算法的修复结果。表 1给出了两种算法中的峰值信噪比(peak signal to noise ratio，PSNR)值和算法运行时间。

表  1  破损壁画修复图的PSNR值和修复时间

Table  1.  Comparisons of PSNR and Inpainting Time on Inpainting Mural Images

图像	Xu等[7]算法			本文算法
	PSNR	t/s		PSNR	t/s
北凉-272-1s	25.94	3 727.39		28.14	594.65
北魏-435-1b	29.34	13 114.62		30.63	1 090.86
北周-290-1c	26.17	5 421.43		27.91	645.23
北周-299-a	26.37	3 718.14		27.52	706.24
西魏-249-r	30.77	3 735.54		32.02	206.46
均值	27.72	5 943.42		29.24	648.69

下载: 导出CSV 

| 显示表格

从修复结果上看, Xu等^[7]算法没有出现结构不连续性的现象，但会出现纹理不连续，原因在于定义的块结构稀疏度不能很好地衡量纹理块的置信度，即不能很好地决定块填充顺序。本文提出的算法能很好地解决Xu等^[7]算法在修复时出现的问题，最终得到较好的修复结果，主要原因有以下几点:①提出了先纹理后结构的由易而难的修复策略，降低了各个阶段修复的错误率；②定义了一种全新的块结构复杂度和块优先权函数，提高了结构区域的修复准确率；③稀疏表示模型下求解的待候选块的线性组合较好地估计出待修复块。从表 1可看出，本文修复算法具有最大的PSNR值，且平均PSNR值也达到了29.24，远高于Xu算法的27.72。表 1中同样记录了Xu等^[7]和本文算法在修复图 5(b)中5幅壁画所花费的时间，不难看出，Xu等^[7]算法由于计算了所有待候选块的优先权函数值，所以用时较长。结果证明, 本文算法无论在修复结果上还是时间上都有优势。

2.2   破损壁画修复结果比较

图 6(a)、6(e)为两张壁画原始图像，图 6(b)、6(f)分别为其对应的辅助结构信息版本，图 6(c)、6(g)和6(d)、6(h)分别为Xu等^[7]算法和本文算法修复结果。

图  6  不同算法下破损敦煌壁画修复结果

Figure  6.  Comparisons of Inpainting Results of Different Algorithms on Damaged Dunhuang Mural Images

下载: 全尺寸图片 幻灯片

Xu等^[7]算法在修复图 6(f)时，出现了较为严重的纹理不连续、结构错误延伸等现象，原因和§2.1提到的相同。而本文算法能基本解决Xu等^[7]算法修复时的问题，并且得到较好的修复结果。唯一不足的是在修复图 6(f)时，左上角出现了纹理的不连续现象，这是今后需要改进的地方。

3 结语

本文提出了一种线描图指引下基于稀疏表示模型的壁画修复算法。利用稀疏表示模型求解候选块的线性组合，运用结构复杂度排序和全局随机抽取策略分别提高修复的准确性和效率。实验结果表明，本文算法对敦煌壁画破损图像修复具有较好效果。在未来的工作中，将致力于完成对破损区域和与之相对应的线描图的自动配准，从而代替人机交互式的手工配准工作。另外，还需要设计一种图像修复的评价标准，更好地描述修复结果的好坏。