留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种基于稀疏表示模型的壁画修复算法

李清泉 王欢 邹勤

李清泉, 王欢, 邹勤. 一种基于稀疏表示模型的壁画修复算法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
引用本文: 李清泉, 王欢, 邹勤. 一种基于稀疏表示模型的壁画修复算法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
LI Qingquan, WANG Huan, ZOU Qin. A Murals Inpainting Algorithm Based on Sparse Representation Model[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
Citation: LI Qingquan, WANG Huan, ZOU Qin. A Murals Inpainting Algorithm Based on Sparse Representation Model[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217

一种基于稀疏表示模型的壁画修复算法

doi: 10.13203/j.whugis20180217
基金项目: 

国家自然科学基金 91546106

国家自然科学基金 41371377

国家重点基础研究发展计划 2012CB725303

教育部人文社会科学重点研究基地重大项目 16JJD870002

详细信息
    作者简介:

    李清泉, 博士, 教授, 国际欧亚科学院院士, 主要研究方向为精密工程测量、时空数据建模与分析。liqq@szu.edu.cn

    通讯作者: 王欢, 博士生。wanghuan6@email.szu.edu.cn
  • 中图分类号: P237;TP751

A Murals Inpainting Algorithm Based on Sparse Representation Model

Funds: 

The National Natural Science Foundation of China 91546106

The National Natural Science Foundation of China 41371377

the National Basic Research and Development Program of China 2012CB725303

the General Project of the Humanities and Social Sciences Research in the Ministry of Education 16JJD870002

More Information
    Author Bio:

    LI Qingquan, PhD, professor, Academician of International Eurasian Academy of Sciences, specializes in precision engineering survey, space-time data modeling and analysis. E-mail:liqq@szu.edu.cn

    Corresponding author: WANG Huan, PhD candidate. E-mail:wanghuan6@email.szu.edu.cn
图(6) / 表(1)
计量
  • 文章访问数:  1159
  • HTML全文浏览量:  67
  • PDF下载量:  216
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-08-30
  • 刊出日期:  2018-12-05

一种基于稀疏表示模型的壁画修复算法

doi: 10.13203/j.whugis20180217
    基金项目:

    国家自然科学基金 91546106

    国家自然科学基金 41371377

    国家重点基础研究发展计划 2012CB725303

    教育部人文社会科学重点研究基地重大项目 16JJD870002

    作者简介:

    李清泉, 博士, 教授, 国际欧亚科学院院士, 主要研究方向为精密工程测量、时空数据建模与分析。liqq@szu.edu.cn

    通讯作者: 王欢, 博士生。wanghuan6@email.szu.edu.cn
  • 中图分类号: P237;TP751

摘要: 古代壁画受保存时间、保存环境、保护技术等限制,无法避免地承受着如褪色、脱落甚至大面积起甲等损害。传统人力手工修复技术存在操作不可逆的问题,因此数字图像修复技术被广泛用于虚拟修复中。提出了一种线描图指引下基于稀疏表示模型的壁画修复算法。首先,利用人机交互的方式将破损壁画中缺失的结构信息根据对应的线描图补全;之后,通过对待修复块的分类,定义了一种先纹理后结构的全新修复策略;接着,运用结构复杂度排序和全局随机抽取策略分别提高修复的准确性和效率;最后,利用稀疏表示模型求解候选块的线性组合去填充待修复区域。实验结果表明,所提算法对敦煌壁画破损图像修复具有较好效果。

English Abstract

李清泉, 王欢, 邹勤. 一种基于稀疏表示模型的壁画修复算法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
引用本文: 李清泉, 王欢, 邹勤. 一种基于稀疏表示模型的壁画修复算法[J]. 武汉大学学报 ● 信息科学版, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
LI Qingquan, WANG Huan, ZOU Qin. A Murals Inpainting Algorithm Based on Sparse Representation Model[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
Citation: LI Qingquan, WANG Huan, ZOU Qin. A Murals Inpainting Algorithm Based on Sparse Representation Model[J]. Geomatics and Information Science of Wuhan University, 2018, 43(12): 1847-1853. doi: 10.13203/j.whugis20180217
  • 敦煌壁画素有“墙上博物馆”的美誉,具有极高的历史和文化价值。但是,敦煌壁画历经千年,正承受着脱落、起甲、变色等多种病害的威胁,图 1(a)所示即为一幅破损壁画。传统的人力手工修复都是不可逆的操作,具有一定风险。而数字化的壁画修复由于不需要对原始作品进行直接处理,并且能按艺术需求对修复结果进行调整,让无损修复成为可能,也提高了修复的灵活度,已广泛应用于现代文物修复工作中。

    图  1  破损壁画图像和线描图

    Figure 1.  Damaged Mural Painting and Corresponding Line Drawing

    图像修复作为计算机视觉和图像处理领域中重要的主题之一,其概念由Bertalmio等[1]提出。目前图像修复主要分为基于几何学和图像块的修复方法两大类。几何学的修复[1-4]包括变分或偏微分方程[1]的各向异性扩散[2]、曲率[3]、全变分最小化[4]等,适合完成线和小区域的修复,但在重建大面积区域时,会出现边缘模糊。而基于图像块的修复源于纹理合成[4]思想,包括样例法、混合法,能量方程法以及稀疏表示法等;文献[5-6]提出了经典样例法的理论基础,之后,更多样例改进算法被提出[7-13],而改进主要集中于置信因子项[7-10]、数据项[11]、优先权函数[12]以及搜索空间[13]等。文献[14]则将BV-G模型运用到图像修复,给出了混合法的思路;文献[15]提出结构指导下的多尺度全局优化修复算法。能量方程法[16]则通过最小化全局能量方程来重构图像缺失部位。Aharon等[17]提出稀疏表示能自适应地选择最优基,从而估计出目标图像。根据上述理论,相当一部分基于稀疏表示的图像修复算法[18-20]被提出;文献[18]提出稀疏表示框架下领域嵌入式修复算法;文献[19]提出秩最小化修复算法;文献[20]将在线字典学习应用于彩色图像复原中,对大片纹理和边缘缺失的图像具有较好的修复效果。但该类方法存在一个普遍问题,如果缺失区域所需的信息不能在图像已知区域中找到,则通常无法得到令人满意的修复结果。

    近年来,很多专家学者致力于数字化的敦煌壁画修复[21-24],通过改进上述方法取得了一些有意义的成果,但修复效果一般。原因在于:①没有将线描图作为结构区域的修复指引;②依赖于传统方法中先结构后纹理的修复策略。为了更好地解决上述问题,本文针对破损的敦煌壁画,根据对应的线描图(图 1(b)),利用人机交互的方式[21]将破损图像中破损区域缺失的结构信息补全;并采用一种先纹理后结构的修复策略,通过全局随机抽取和结构复杂度排序选出破损边界上的待修复块。在修复阶段,通过局部纹理和结构上的连续性约束,建立稀疏表示模型,由待候选块的稀疏线性组合估计待修复块,实现破损壁画的修复。

    • 本文算法步骤如下:①给出预处理后带结构信息的壁画图像I待修复区域;②将待修复边界$\partial \mathit{\Omega} $以p点为中心的待填充块分为结构块集合S和纹理块集合T;③如果$T \ne \emptyset $,随机在T中选取一待修复纹理块ΨT,利用全局搜索找到K个SSD(sum of squared difference)准则下的待候选块; ④建立约束方程,求解得到稀疏表示模型中K个待候选块的线性组合去填充ΨT,之后更新置信因子项C(s)、$\partial \mathit{\Omega} $、ST,重复步骤②至④,直到$T= \emptyset $; ⑤如果$T= \emptyset $, $S \ne \emptyset $,计算S中每一个Ψs的优先权; ⑥选择优先权最大的块Ψm作为当前待修复块,之后再进行步骤③至④,直到$S = \emptyset $,结束整个修复过程。

    • 在进行破损敦煌壁画修复之前,需要对原图预处理。首先,在资深敦煌壁画修复工作人员的指导下,在破损区域处填充绿色掩模,这样能准确地识别出待修复区;之后根据对应的手工线描图,利用人机交互法在绿色掩模处添加破损区域里缺失的结构信息,则可得到带有辅助结构信息的待修复敦煌壁画I

      为了更好地解释本文算法,将上述预处理后带有辅助结构信息的壁画I替换为另一张完好的壁画来做示意图,该示意图选自文献[9]敦煌660数据集。本文对该示意图做相同的预处理,记为Id。如图 2所示,第一排左图为原图,第二排ΩcId中已知区域,绿色掩模共有3处,记为Ω1Ω2Ω3,其中在Ω3区域里添加了黑色线条作为结构辅助信息,红色为待修复区域的边界,分别记为Ω1Ω2Ω3;第一排右图中白色边界为通过数学形态学提取的破损边界。

      图  2  预处理示意图

      Figure 2.  Image Preprocessing for the Inpainting Task

    • 本文提出一种新的待修复块的选择策略,首先将所有以p点为中心的待填充块Ψp分为纹理块和结构块。对于纹理块,采取全局随机抽取的方式选出ΨT,而对于结构块,本文定义了一种块结构复杂度(patch structure complexity,PSC),将结构复杂度较低的Ψs作为优先修复对象。

      1) 分类及修复顺序

      通过分析预处理后的敦煌图像Id,选出Ψp,并判断Ψp中有无辅助结构信息,若有,则归入结构块集合S={Ψs}s=1M,如图 3Ψ2所示;若没有,则放入纹理块集合T={Ψt}t=1N,如图 3Ψ1所示。根据辅助结构信息将待修复图像块分为两类,先修复较为简单的纹理块,提高纹理区域修复成功率的同时也减少了结构块的数目,降低结构区域的修复难度。

      图  3  边界块分类

      Figure 3.  Classification of Images Patches on the Boundary

      2) 纹理块的全局随机抽取

      通过上述对待修复块的分类,决定了破损区域的修复顺序,即先纹理,再结构。纹理修复时,传统的样例法需要计算边界上所有待修复块的优先权,从而决定修复顺序,而本文算法中,充分利用Ψt不含辅助结构信息的特点,在不计算每个Ψt优先权值的情况下,采取一种全局随机抽取的方式选出待修复的Ψt,在不影响修复结果的情况下,提高了算法的实时性,详细的实验结果在§2给出。

      3) 结构复杂度的块优先权

      在修复结构区域时,需要从结构集合S={Ψs}s=1M中找出最容易修复的Ψs,这样的Ψs需满足最少辅助结构信息和最多已知信息的特点。块结构复杂度PSC(s)定义为:

      $$ {\rm{PSC}}\left( s \right) = \frac{1}{2}\exp \left( { - \frac{{\sum\limits_{s \in {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s} \cap {\mathit{\Omega }^c}} {A\left( s \right)} }}{{\left| {{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s}} \right|}}} \right) $$ (1)

      式中,$\sum\limits_{s \in {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_s} \cap {\mathit{\Omega} ^c}} {} A(s)$和|Ψs|分别为Ψs中含有的辅助结构像素个数和总的像素个数。之后,将得到的上述块结构复杂度PSC(s)和置信因子项C(s)相乘,得到最终的结构块优先权函数P(s):

      $$ P\left( s \right) = {\rm{PSC}}\left( s \right) \cdot C\left( s \right) $$ (2)

      式(2)中置信项由Criminisi等[6]算法中定义,为避免C(s)出现“下降效应”[8],对其做正则化处理:

      $$ C\left( s \right) = \left( {1 - \omega } \right)C\left( s \right) + \omega $$ (3)

      式中,正则项ω=0.2。

    • 图 4(a)所示,待修复块为Ψp,$ {\mathit{\boldsymbol{\bar E}}}$和E分别为提取Ψp中已知和破损区域的逻辑矩阵,{Ψci}i=1H为SSD准则下利用全局搜索出的前H(10~50)个与p最相似的待候选块集合,Ψp则通过HΨci的线性组合去估计:

      图  4  块修复算法的原理示意图

      Figure 4.  Illustration of the Patch-Based Inpainting Method

      $$ {{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} = \sum\limits_{i = 1}^H {{\alpha _{{c_i}}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{c_i}}}} $$ (4)

      式中,${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $为Ψp的线性表示;Ψp中的破损信息通过估计出的${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $去填充:

      $$ \mathit{\boldsymbol{E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_p} = \mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $$ (5)

      假设Ψp可以由向量${\mathit{\boldsymbol{\alpha }}_c} = ({\alpha _{{c_1}}}\;\;{\alpha _{{c_2}}} \ldots {\rm{ }}{\alpha _{{c_i}}}) $稀疏表示,即稀疏解αc可通过稀疏表示模型下L0范数最小化约束求得。${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $的两个重要约束条件为:

      1) 系数向量αc之和为1,即:

      $$ \sum\limits_{i = 1}^H {{\alpha _{{c_i}}}} = 1 $$ (6)

      αc中只有一个非零元素时,模型才会退化成传统样例法[5]

      2) ${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $局部连续性约束,一方面,Ψp和${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $需在已知信息上相似:

      $$ \left\| {\mathit{\boldsymbol{\bar E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} = \mathit{\boldsymbol{\bar E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_p}} \right\|_2^2 < \varepsilon $$ (7)

      式中,ε为容忍度。另一方面,如图 4(b)所示,待修复块为ΨpW(q)为以p点为中心、比Ψp尺寸大很多的邻域窗口,qj属于集合:

      $$ {\mathit{\boldsymbol{W}}_s}\left( q \right) = \left\{ {{q_j}:{q_j} \in \mathit{\boldsymbol{W}}\left( q \right)\;且\;{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}} \subset {\mathit{\Omega }^c}} \right\} $$ (8)

      Ψp和${\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_{_j}}}} $的相似性度量定义为:

      $$ {\omega _{p,{q_j}}} = \frac{1}{{Z\left( p \right)}}\exp \left( { - \frac{{d\left( {\mathit{\boldsymbol{\bar E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_p},\mathit{\boldsymbol{\bar E}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}}} \right)}}{{{\sigma ^2}}}} \right) $$ (9)

      式中,d(·, ·)为SSD准则;σ在本算法中设为5;Z(p)为归一化系数,使得:

      $$ \sum\limits_{{q_j} \in {\mathit{\boldsymbol{W}}_s}\left( q \right)} {{\omega _{p,{q_j}}}} = 1 $$ (10)

      Ψp和${{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} $除了要与已知信息相似外,填充进Ψp中的新像素$ \mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p}$应和邻域保持连续:

      $$ \beta \left\| {\mathit{\boldsymbol{E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} - \mathit{\boldsymbol{E}}\sum\limits_{{q_j} \in {\mathit{\boldsymbol{W}}_s}\left( q \right)} {{\omega _{p,{q_j}}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}}} } \right\|_2^2 < \varepsilon $$ (11)

      式中,ε为容忍度;β为平衡系数,设为0.8。

      将式(7)和式(11)变为如下形式:

      $$ \varphi = \left\| {\mathit{\boldsymbol{D}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} - {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_T}} \right\|_2^2 < \varepsilon $$ (12)

      式中,

      $$ \mathit{\boldsymbol{D}} = \left[ \begin{array}{l} {\mathit{\boldsymbol{\bar E}}}\\ \sqrt \beta \mathit{\boldsymbol{E}} \end{array} \right],{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_T} = \left[ {\begin{array}{*{20}{c}} {\mathit{\boldsymbol{\bar E}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p}}\\ {\sqrt \beta \mathit{\boldsymbol{E}}\sum\limits_{{q_j} \in {\mathit{\boldsymbol{W}}_s}\left( q \right)} {{\omega _{p,{q_j}}}{\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_{{q_j}}}} } \end{array}} \right] $$ (13)

      建立稀疏表示模型:

      $$ \begin{array}{*{20}{c}} {\min \left\{ {{{\left\| {{\mathit{\boldsymbol{\alpha }}_c}} \right\|}_0}} \right\},使得\left\| {\mathit{\boldsymbol{D}}{{\mathit{\boldsymbol{ \boldsymbol{\hat \varPsi} }}}_p} - {\mathit{\boldsymbol{ \boldsymbol{\varPsi} }}_T}} \right\|_2^2 < \varepsilon ,}\\ {\sum\limits_{i = 1}^H {{\alpha _{{c_i}}}} = 1} \end{array} $$ (14)

      上述稀疏表示模型的目的是为了求得L0范数最小化约束下的稀疏解αc,即为了选择一些非零候选块去稀疏表示Ψp,具体αc的求解过程见文献[11]。

    • 为了验证本文算法的有效性,本文以Xu等[7]算法为对比算法,将其结果与本文算法进行分析比较。算法中所涉及的壁画数据图 1由敦煌研究院提供,图 5(a)来自文献[25]敦煌660数据集。本算法中的重要参数取值为:待修复块大小取5×5,待候选块个数和平衡参数β分别为25和0.8。

      图  5  不同算法下敦煌壁画修复结果

      Figure 5.  Comparisons of Inpainting Results of Different Algorithms on Dunhuang Mural Images

    • 图 5(a)5(d)分别为5张壁画原始图像[25]、对应的辅助结构信息版本、Xu等[7]算法修复结果和本文算法的修复结果。表 1给出了两种算法中的峰值信噪比(peak signal to noise ratio,PSNR)值和算法运行时间。

      表 1  破损壁画修复图的PSNR值和修复时间

      Table 1.  Comparisons of PSNR and Inpainting Time on Inpainting Mural Images

      图像 Xu等[7]算法 本文算法
      PSNR t/s PSNR t/s
      北凉-272-1s 25.94 3 727.39 28.14 594.65
      北魏-435-1b 29.34 13 114.62 30.63 1 090.86
      北周-290-1c 26.17 5 421.43 27.91 645.23
      北周-299-a 26.37 3 718.14 27.52 706.24
      西魏-249-r 30.77 3 735.54 32.02 206.46
      均值 27.72 5 943.42 29.24 648.69

      从修复结果上看, Xu等[7]算法没有出现结构不连续性的现象,但会出现纹理不连续,原因在于定义的块结构稀疏度不能很好地衡量纹理块的置信度,即不能很好地决定块填充顺序。本文提出的算法能很好地解决Xu等[7]算法在修复时出现的问题,最终得到较好的修复结果,主要原因有以下几点:①提出了先纹理后结构的由易而难的修复策略,降低了各个阶段修复的错误率;②定义了一种全新的块结构复杂度和块优先权函数,提高了结构区域的修复准确率;③稀疏表示模型下求解的待候选块的线性组合较好地估计出待修复块。从表 1可看出,本文修复算法具有最大的PSNR值,且平均PSNR值也达到了29.24,远高于Xu算法的27.72。表 1中同样记录了Xu等[7]和本文算法在修复图 5(b)中5幅壁画所花费的时间,不难看出,Xu等[7]算法由于计算了所有待候选块的优先权函数值,所以用时较长。结果证明, 本文算法无论在修复结果上还是时间上都有优势。

    • 图 6(a)6(e)为两张壁画原始图像,图 6(b)6(f)分别为其对应的辅助结构信息版本,图 6(c)6(g)6(d)6(h)分别为Xu等[7]算法和本文算法修复结果。

      图  6  不同算法下破损敦煌壁画修复结果

      Figure 6.  Comparisons of Inpainting Results of Different Algorithms on Damaged Dunhuang Mural Images

      Xu等[7]算法在修复图 6(f)时,出现了较为严重的纹理不连续、结构错误延伸等现象,原因和§2.1提到的相同。而本文算法能基本解决Xu等[7]算法修复时的问题,并且得到较好的修复结果。唯一不足的是在修复图 6(f)时,左上角出现了纹理的不连续现象,这是今后需要改进的地方。

    • 本文提出了一种线描图指引下基于稀疏表示模型的壁画修复算法。利用稀疏表示模型求解候选块的线性组合,运用结构复杂度排序和全局随机抽取策略分别提高修复的准确性和效率。实验结果表明,本文算法对敦煌壁画破损图像修复具有较好效果。在未来的工作中,将致力于完成对破损区域和与之相对应的线描图的自动配准,从而代替人机交互式的手工配准工作。另外,还需要设计一种图像修复的评价标准,更好地描述修复结果的好坏。

参考文献 (25)

目录

    /

    返回文章
    返回