留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

顾及模糊核连通性的无人机图像半盲复原方法

李佳田 吴华静 林艳 高鹏 王雯涛 阿晓荟 晏玲

李佳田, 吴华静, 林艳, 高鹏, 王雯涛, 阿晓荟, 晏玲. 顾及模糊核连通性的无人机图像半盲复原方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
引用本文: 李佳田, 吴华静, 林艳, 高鹏, 王雯涛, 阿晓荟, 晏玲. 顾及模糊核连通性的无人机图像半盲复原方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
LI Jiatian, WU Huajing, LIN Yan, GAO Peng, WANG Wentao, A Xiaohui, YAN Ling. A Semi-blind Restoration Method of UAV Image Considering the Blurred Kernel Connectivity[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
Citation: LI Jiatian, WU Huajing, LIN Yan, GAO Peng, WANG Wentao, A Xiaohui, YAN Ling. A Semi-blind Restoration Method of UAV Image Considering the Blurred Kernel Connectivity[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160

顾及模糊核连通性的无人机图像半盲复原方法

doi: 10.13203/j.whugis20190160
基金项目: 

国家自然科学基金 41561082

详细信息
    作者简介:

    李佳田, 博士, 教授, 主要研究数值最优化方法和机器场景理解。ljtwcx@163.com

    通讯作者: 吴华静, 硕士。979750752@qq.com
  • 中图分类号: P231.1

A Semi-blind Restoration Method of UAV Image Considering the Blurred Kernel Connectivity

Funds: 

The National Natural Science Foundation of China 41561082

More Information
    Author Bio:

    LI Jiatian, PhD, professor, specializes in numerical optimization method and machine scene understanding. E-mail: ljtwcx@163.com

    Corresponding author: WU Huajing, master.E-mail: 979750752@qq.com
  • 摘要: 模糊航空图像复原不仅能够改善图像的细节与特征, 而且可以提高目标的识别能力以及定位精度。在无参数条件下利用已有航空图像建立模糊核估计模型, 提出了顾及模糊核连通性的无人机图像半盲复原方法。首先建立梯度筛选, 筛选出模糊图像与已有清晰图像梯度域的公共地物, 构建保真项; 然后利用模糊核梯度八邻域描述模糊核的连通性度量, 并将其作为正则项缩小解空间与构建模型; 最后重建图像, 根据图像金字塔结构对模糊核进行分层估计, 并通过分裂Bregman算法解卷积重建图像。对比实验从模糊类型、公共地物、方法对比、方法适用性4个方面进行分析, 结果表明, 在公共地物达到35%以上时, 模糊航片具有良好的复原效果, 所提方法具有较强实际应用价值。
  • 图  1  半盲复原方法流程图

    Figure  1.  Flowchart of Semi-blind Restoration Method

    图  2  图像梯度筛选

    Figure  2.  Gradient Screening of Image

    图  3  梯度图像筛选实例

    Figure  3.  Examples of Gradient Image Screening

    图  4  模糊核连通矩阵构造

    Figure  4.  Construction of Blurred Kernel Connected Matrix

    图  5  不同模糊类型的图像复原

    Figure  5.  Image Restoration in Different Blurred Types

    图  6  公共地物与半盲复原方法效果关系

    Figure  6.  Relation Between Public Ground Objects and Effect of Semi-blind Restoration Method

    图  7  不同图像复原方法复原图像结果对比

    Figure  7.  Comparison of Results of Different Image Restoration Methods

    图  8  图像复原方法收敛速度对比

    Figure  8.  Comparison of Convergence Speed of Image Restoration Methods

    图  9  不同抖动程度的复原图像对比

    Figure  9.  Comparison of Restored Images with Different Jitter Degrees

    表  1  模糊核连通度R度量测试

    Table  1.   R Measurement Test of Blur Kernel Connectivity

    下载: 导出CSV

    表  2  不同复原图像质量分析

    Table  2.   Quality Analysis of Different Restored Images

    评价参数 文献[6]方法 文献[11]方法 文献[12]方法 本文方法
    PSNR/dB 26.147 2 28.569 1 31.437 6 32.673 0
    RM 0.386 2 0.304 1 0.239 7 0.213 4
    下载: 导出CSV

    表  3  航高与抖动对复原图像的影响

    Table  3.   Effect of Height and Jitter on Restored Image

    航高/m 抖动/(°) 峰值信噪比/dB
    250 3 32.469 3
    3.5 31.563 7
    4 25.784 3
    300 2.5 31.658 9
    3 30.863 2
    3.5 23.821 7
    350 2 30.438 5
    2.5 29.623 7
    3 19.587 4
    下载: 导出CSV

    表  4  像素与抖动对复原图像的影响

    Table  4.   Effect of Pixel and Jitter on Restored Image

    像素 抖动/(°) 峰值信噪比/dB
    1 500万 2 31.637 8
    2.5 30.564 2
    3 21.375 9
    1 800万 2.5 33.465 2
    3 31.253 7
    3.5 22.562 9
    2 100万 3 34.635 4
    3.5 32.259 7
    4 22.548 6
    下载: 导出CSV
  • [1] 李德仁, 刘立坤, 邵振峰. 集成倾斜航空摄影测量和地面移动测量技术的城市环境监测[J]. 武汉大学学报·信息科学版, 2015, 40(4): 427-435 doi:  10.13203/j.whugis20140982

    Li Deren, Liu Likun, Shao Zhenfeng. An Integration of Aerial Oblique Photogrammetry and Mobile Mapping System for Urban Geographical Conditions Monitoring[J]. Geomatics and Information Science of Wuhan University, 2015, 40(4): 427-435 doi:  10.13203/j.whugis20140982
    [2] 李永昌, 金龙旭, 李国宁, 等. 宽视场遥感相机像移速度模型及补偿策略[J]. 武汉大学学报·信息科学版, 2018, 43(8): 1 278-1 286 doi:  10.13203/j.whugis20150206

    Li Yongchang, Jin Longxu, Li Guoning, et al. Image Motion Velocity Model and Compensation Strategy of Wide-Field Remote Sensing Camera[J]. Geomatics and Information Science of Wuhan University, 2018, 43(8): 1 278-1 286 doi:  10.13203/j.whugis20150206
    [3] Cho S. Registration Based Non-uniform Motion Debluring[J]. Computer Graphics Forum, 2012, 31(7): 2 183-2 192 doi:  10.1111/j.1467-8659.2012.03211.x
    [4] 闫敬文, 彭鸿, 刘蕾, 等. 基于L0正则化模糊核估计的遥感图像复原[J]. 光学精密工程, 2014, 22(9): 2 572-2 579 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201409037.htm

    Yan Jingwen, Peng Hong, Liu Lei, et al. Remote Sensing Image Restoration Based on Zero-Norm Regularized Kernel Estimation[J]. Optics and Precision Engineering, 2014, 22(9): 2 572-2 579 https://www.cnki.com.cn/Article/CJFDTOTAL-GXJM201409037.htm
    [5] Hojjatoleslami S A, Avanaki M R N, Podoleanu A G. Image Quality Improvement in Optical Coherence Tomography Using Lucy-Richardson Deconvolution Algorithm[J]. Applied Optics, 2013, 52(23): 5 663-5 670 doi:  10.1364/AO.52.005663
    [6] Jin W. Image Restoration in Neutron Radiography Using Complex-Wavelet Denoising and lucy-Richardson Deconvolution[J]. Signal Processing, 2006, 2(9): 16-20 http://ieeexplore.ieee.org/document/4129052/
    [7] Laasmaa M, Vendelin M, Peterson P. Application of Regularized Richardson–Lucy Algorithm for Deconvolution of Confocal Microscopy Images[J]. Journal of microscopy, 2011, 243(2): 124-140 doi:  10.1111/j.1365-2818.2011.03486.x
    [8] 梁天全, 赵强, 孙晓兵, 等. 雾霾天气条件下偏振遥感图像复原研究[J]. 武汉大学学报·信息科学版, 2014, 39(2): 244-247 doi:  10.13203/j.whugis20120206

    Liang Tianquan, Zhao Qiang, Sun Xiaobing, et al. Research on Restoration by Polarized Remote Sensing Through Haze[J]. Geomatics and Information Science of Wuhan University, 2014, 39(2): 244-247 doi:  10.13203/j.whugis20120206
    [9] 苏慧, 冯华君, 徐之海, 等. 基于数值保真项优化的TDI遥感图像复原方法[J]. 浙江大学学报(工学版), 2018, 52(4): 674-679 https://www.cnki.com.cn/Article/CJFDTOTAL-ZDZC201804009.htm

    Su Hui, Feng Huajun, Xu Zhihai, et al. Restoration Method of TDI Remote Sensing Image Based on Optimization of Numerical Fidelity Term[J]. Journal of Zhejiang University (Engineering Science), 2018, 52(4): 674-679 https://www.cnki.com.cn/Article/CJFDTOTAL-ZDZC201804009.htm
    [10] 贺小军, 金光, 杨秀彬, 等. 星载相机轨道末期成像模型及图像复原算法[J]. 测绘学报, 2010, 39(6): 579-584 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201006006.htm

    He Xiaojun, Jin Guang, Yang Xiubin, et al. Imaging Model and Image Recovering Algorithms of Spaceborne Camera in the End of Oribit Life[J]. Acta Geodaetica et Cartographica Sinica, 2010, 39(6): 579-584 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201006006.htm
    [11] Krishnan D, Tay T, Fergus R. Blind Deconvolution Using a Normalized Sparsity Measure[C]// IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2011
    [12] 徐焕宇, 孙权森, 夏德深. 基于非局部总变差的消除不规则采样遥感图像复原方法[J]. 测绘学报, 2012, 41(2): 232-238 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201202015.htm

    Xu Huanyu, Sun Quansen, Xia Deshen. Restoration of Irregular Sampled Remote Sensing Image Based on NLTV[J]. Acta Geodaetica et Cartographica Sinica, 2012, 41(2): 232-238 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201202015.htm
    [13] Sun Shaojie, Wu Qiong, Li Guohui. Blind Image Deconvolution for Single Motion-Blurred Image[J]. The Journal of China Universities of Posts and Telecommunications, 2010, 17(3): 104-109 doi:  10.1016/S1005-8885(09)60470-2
    [14] 高伟哲, 邹建华, 张荣之, 等. 基于指数分布的图像快速盲复原算法[J]. 光子学报, 2016, 45(12): 134-141 https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201612024.htm

    Gao Weizhe, Zou Jianhua, Zhang Rongzhi, et al. Fast Blind Image Restoration Algorithm Based on Power Law[J]. Acta Electronica Sinica, 2016, 45(12): 134-141 https://www.cnki.com.cn/Article/CJFDTOTAL-GZXB201612024.htm
    [15] Xu L, Jia J. Two-Phase Kernel Estimation for Robust Motion Deblurring[C]// European Conference on Computer Vision, Crete, Greece, 2010
    [16] 赵治涛, 吴从炘. 模糊数空间在一类Lp度量下的性质[J]. 黑龙江大学自然科学学报, 2009, 26(1): 109-112 doi:  10.3969/j.issn.1001-7011.2009.01.020

    Zhao Zhitao, Wu Congxin. Some Properties of Fuzzy Numbers with a Kind of Lp Metric[J]. Journal of Natural Science of Heilongjiang University, 2009, 26(1): 109-112 doi:  10.3969/j.issn.1001-7011.2009.01.020
    [17] 孙兴华, 郭丽, 郭跃飞, 等. 基于目标区域的彩色图像检索研究[J]. 计算机研究与发展, 2001, 38(9): 1 112-1 119 https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ200109013.htm

    Sun Xinghua, Guo Li, Guo Yuefei, et al. Color Image Retrieval Based on Object Regions[J]. Journal of Computer Research & Development, 2001, 38(9): 1 112-1 119 https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ200109013.htm
    [18] Elhamifar E, Vidal R. Sparse Subspace Clustering[C]// IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2009
    [19] Zibulevsky M, Elad M. L1-L2 Optimization in Signal and Image Processing[J]. IEEE Signal Processing Magazine, 2010, 27(3): 76-88 doi:  10.1109/MSP.2010.936023
    [20] Dong W, Li X, Zhang L, et al. Sparsity-Based Image Denoising via Dictionary Learning and Structural Clustering[C]// IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2011
    [21] Mairal J, Elad M, Sapiro G. Sparse Representation for Color Image Restoration[J]. IEEE Transactions on Image Processing, 2008, 17(1): 53-69 doi:  10.1109/TIP.2007.911828
    [22] 刘坤, 毕笃彦, 王世平, 等. 基于稀疏特征提取的单幅图像去雾[J]. 光学学报, 2018, 38(3): 291-299 https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201803031.htm

    Liu Kun, Bi Duyan, Wang Shiping, et al. Single Image Dehazing Based on Sparse Feature Extraction[J]. Acta Optica Sinica, 2018, 38(3): 291-299 https://www.cnki.com.cn/Article/CJFDTOTAL-GXXB201803031.htm
    [23] Xu L, Zheng S, Jia J. Unnatural L0 Sparse Representation for Natural Image Deblurring[C]// IEEE Conference on Computer Vision and Pattern Recognition, New York, USA, 2013
    [24] 王静, 吕科, 何宁, 等. 基于分裂Bregman方法的全变差图像去模糊[J]. 电子学报, 2012, 40(8): 1 503-1 508 https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU201208003.htm

    Wang Jing, Lü Ke, He Ning, et al. Total Variant Image Deblurring Based on Split Bregman Method[J]. Acta Electronica Sinica, 2012, 40(8): 1 503-1 508 https://www.cnki.com.cn/Article/CJFDTOTAL-DZXU201208003.htm
    [25] 康慧, 高红霞, 胡跃明, 等. 基于Bregman迭代的CT图像重建算法[J]. 自动化学报, 2013, 39(9): 1 570-1 575 https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201309021.htm

    Kang Hui, Gao Hongxia, Hu Yueming, et al. Reconstruction Algorithm Based on Bregman Iteration[J]. Acta Automatica Sinica, 2013, 39(9): 1 570-1 575 https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201309021.htm
    [26] Cai J F, Osher S, Shen Z. Split Bregman Methods and Frame Based Image Restoration[J]. Multiscale Modeling & Simulation, 2009, 8(2): 337-369
    [27] Nishi K, Ogino R. 3D Camera-Shake Measurement and Analysis[C]//IEEE International Conference on Multimedia and Expo, New York, USA, 2007
  • [1] 赵建虎, 张红梅, 吴猛.  一种基于常梯度模板插值的声线跟踪算法 . 武汉大学学报 ● 信息科学版, 2021, 46(1): 71-78. doi: 10.13203/j.whugis20180405
    [2] 伍丰丰, 黄海军, 任青阳, 樊文有, 陈洁, 潘雄.  综合半参数核估计与正则化方法的航空重力向下延拓模型分析 . 武汉大学学报 ● 信息科学版, 2020, 45(10): 1563-1569. doi: 10.13203/j.whugis20180491
    [3] 谢雪梅, 宋迎春, 夏玉国.  区间约束平差模型的共轭梯度积极集算法 . 武汉大学学报 ● 信息科学版, 2019, 44(9): 1274-1281. doi: 10.13203/j.whugis20170325
    [4] 黄伟明, 杨建宇, 陈彦清, 张毅, 张睿.  基于扇形筛选法的矢量数据压缩方法 . 武汉大学学报 ● 信息科学版, 2016, 41(4): 487-491. doi: 10.13203/j.whugis20140225
    [5] 李佳田, 罗富丽, 余莉, 张蓝, 康顺, 林艳.  梯度Voronoi图及其构建算法 . 武汉大学学报 ● 信息科学版, 2016, 41(2): 163-170. doi: 10.13203/j.whugis20140025
    [6] 李建成, 徐新禹, 赵永奇, 万晓云.  由GOCE引力梯度张量不变量确定卫星重力模型的半解析法 . 武汉大学学报 ● 信息科学版, 2016, 41(1): 21-26. doi: 10.13203/j.whugis20150554
    [7] 张黎明, 闫浩文, 齐建勋, 张永忠.  基于DFT的可控误差矢量空间数据盲水印算法 . 武汉大学学报 ● 信息科学版, 2015, 40(7): 990-994. doi: 10.13203/j.whugis20130686
    [8] 陈善学, 尹修玄, 杨亚娟.  基于码字匹配和引力筛选的半监督协同训练算法 . 武汉大学学报 ● 信息科学版, 2015, 40(10): 1386-1391,1408. doi: 10.13203/j.whugis20130840
    [9] 黄雄华, 王宏霞, 蒋伟贞, 崔更申.  利用抖动量化和信噪比的自适应鲁棒音频盲水印算法 . 武汉大学学报 ● 信息科学版, 2013, 38(1): 121-125.
    [10] 易尧华, 苏海.  最优迟滞系数的自适应绿噪声半色调算法 . 武汉大学学报 ● 信息科学版, 2012, 37(9): 1104-1107.
    [11] 陆秀平, 边少锋, 黄谟涛, 翟国君.  常梯度声线跟踪中平均声速的改进算法 . 武汉大学学报 ● 信息科学版, 2012, 37(5): 590-593.
    [12] 韩松辉, 归庆明, 李建文, 杜院录.  混合星座星间链路的建立以及连通性和稳健性分析 . 武汉大学学报 ● 信息科学版, 2012, 37(9): 1014-1019.
    [13] 任娜, 朱长青, 王志伟.  抗几何攻击的高分辨率遥感影像半盲水印算法 . 武汉大学学报 ● 信息科学版, 2011, 36(3): 329-332.
    [14] 王超, 王伟, 王泉, 秦前清.  一种空间域矢量地图数据盲水印算法 . 武汉大学学报 ● 信息科学版, 2009, 34(2): 163-165.
    [15] 费浦生, 王文波.  基于小波增强的改进多尺度形态梯度边缘检测算法 . 武汉大学学报 ● 信息科学版, 2007, 32(2): 120-123.
    [16] 郭建星, 肖亚峰, 张海堂, 马淑宇.  一种基于小波包变换的盲数字水印算法 . 武汉大学学报 ● 信息科学版, 2006, 31(2): 140-143.
    [17] 姜涌, 曹杰, 谢求成, 李勃.  一种基于形态学梯度矢量和自适应模糊的目标边缘提取算法 . 武汉大学学报 ● 信息科学版, 2006, 31(6): 484-488.
    [18] 邢喆, 王泽民, 伍岳.  利用模糊聚类方法筛选GPS载波相位组合观测值 . 武汉大学学报 ● 信息科学版, 2006, 31(1): 23-26.
    [19] 梁杰, 李吉星.  一种基于DCT变换的盲水印检测算法 . 武汉大学学报 ● 信息科学版, 2004, 29(7): 632-634.
    [20] 关泽群, 王贤敏, 孙家抦.  一种实用的遥感影像二维信息隐藏盲算法 . 武汉大学学报 ● 信息科学版, 2004, 29(4): 296-301.
  • 加载中
图(9) / 表(4)
计量
  • 文章访问数:  257
  • HTML全文浏览量:  72
  • PDF下载量:  15
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-11-23
  • 刊出日期:  2021-06-05

顾及模糊核连通性的无人机图像半盲复原方法

doi: 10.13203/j.whugis20190160
    基金项目:

    国家自然科学基金 41561082

    作者简介:

    李佳田, 博士, 教授, 主要研究数值最优化方法和机器场景理解。ljtwcx@163.com

    通讯作者: 吴华静, 硕士。979750752@qq.com
  • 中图分类号: P231.1

摘要: 模糊航空图像复原不仅能够改善图像的细节与特征, 而且可以提高目标的识别能力以及定位精度。在无参数条件下利用已有航空图像建立模糊核估计模型, 提出了顾及模糊核连通性的无人机图像半盲复原方法。首先建立梯度筛选, 筛选出模糊图像与已有清晰图像梯度域的公共地物, 构建保真项; 然后利用模糊核梯度八邻域描述模糊核的连通性度量, 并将其作为正则项缩小解空间与构建模型; 最后重建图像, 根据图像金字塔结构对模糊核进行分层估计, 并通过分裂Bregman算法解卷积重建图像。对比实验从模糊类型、公共地物、方法对比、方法适用性4个方面进行分析, 结果表明, 在公共地物达到35%以上时, 模糊航片具有良好的复原效果, 所提方法具有较强实际应用价值。

English Abstract

李佳田, 吴华静, 林艳, 高鹏, 王雯涛, 阿晓荟, 晏玲. 顾及模糊核连通性的无人机图像半盲复原方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
引用本文: 李佳田, 吴华静, 林艳, 高鹏, 王雯涛, 阿晓荟, 晏玲. 顾及模糊核连通性的无人机图像半盲复原方法[J]. 武汉大学学报 ● 信息科学版, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
LI Jiatian, WU Huajing, LIN Yan, GAO Peng, WANG Wentao, A Xiaohui, YAN Ling. A Semi-blind Restoration Method of UAV Image Considering the Blurred Kernel Connectivity[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
Citation: LI Jiatian, WU Huajing, LIN Yan, GAO Peng, WANG Wentao, A Xiaohui, YAN Ling. A Semi-blind Restoration Method of UAV Image Considering the Blurred Kernel Connectivity[J]. Geomatics and Information Science of Wuhan University, 2021, 46(6): 816-824. doi: 10.13203/j.whugis20190160
  • 航空摄影测量是对地观测的重要手段[1]。受到成像设备与拍摄场景的相对复合运动、光学噪声等因素影响,航空图像存在不同程度的模糊,难以满足地理信息的精度需求,其应用存在一定局限性。为此,研究复原技术、提高航空图像质量具有重要的实际意义[2]

    图像复原是图像模糊的逆过程,按照模糊参数已知与未知可分为非盲复原和盲复原[3-4]。非盲复原是已知模糊核参数对模糊图像进行解卷积,文献[5-7]利用Richardson-Lucy算法对遥感图像去模糊;文献[8]通过获取雾霾天气条件下不同偏振旋转方位角度图像,提出了复原算法以提高图像对比度,抑制雾霾介质造成的图像退化影响。非盲复原是根据模糊核的先验知识或假设进行去模糊,对模糊核估计存在局限性,通常因引入振铃效应,会降低复原图像的纹理。盲复原是在模糊核未知情况下,利用图像特征进行约束,进而重建图像,文献[9]在全变分基础上将数值保真项扩展至2阶,根据成像平台颤振信息逐行构建模糊核,进行遥感图像去模糊;文献[10]提出基于时间延迟积分电荷耦合元件振动模糊核,用于恢复像移失配下的遥感图像;文献[11]提出以图像梯度1范数与2范数比值为正则项的方法,抑制细小边缘对模糊核估计的影响;文献[12]提出消除不规则采样的遥感图像复原算法,结合非局部均值算子,可以有效减少复原图像的阶梯效应,提高复原图像的纹理细节。相对于非盲复原,盲复原的实际应用性更强,然而,由于模糊核估计的不适定性,使模糊核估计结果存在偏差,复原图像质量受到较大影响[13]

    针对模糊核估计的不适定问题,本文提出了顾及模糊核连通性的无人机图像半盲复原方法,利用具有公共地物的已有航空图像代替未知清晰图像,防止未知清晰图像与模糊核交替估计出现的偏差,从而提高复原图像质量。

    • 半盲复原方法主要分为以下五部分:(1)分析模糊图像。抽象图像退化模型,解析图像梯度域对模糊核估计的作用。(2)建立梯度筛选。通过二值模板筛选出已有清晰图像与模糊图像的公共地物,利用公共地物梯度域构建模糊核估计的保真项。(3)建立模糊核连通性度量。依据模糊核梯度域构建二值连通矩阵,度量二值连通矩阵的稀疏性,并以该矩阵的稀疏性来描述模糊核的连通性,将其作为正则项约束模糊核的解。(4)估计模糊核。建立模糊图像与已有清晰图像的金字塔结构,设置剔除因子,并分层对模糊核进行估计。(5)重建清晰图像。采用分裂Bregman算法,由模糊图像和模糊核重建清晰图像。

      半盲复原方法流程如图 1所示,将模糊图像与已有清晰图像进行双线性插值,建立金字塔;为求取模糊核金字塔,将上一层得到的模糊核进行双线性插值,作为下一层模糊核的初值,从顶层开始计算模糊核;每一层根据模糊核的大小设置剔除因子,及时对模糊核进行更新,以底层估计的模糊核作为最终估计的模糊核。

      图  1  半盲复原方法流程图

      Figure 1.  Flowchart of Semi-blind Restoration Method

    • 在图像获取与传输过程中,由于多种物理因素造成的图像畸变、失真与质量下降称为图像退化[14-15]。图像退化过程可以描述为清晰图像与模糊核进行卷积,再与随机高斯噪声叠加,具体模型如下:

      $$ \boldsymbol{g}=\boldsymbol{f}\bf{*}\boldsymbol{k}+\boldsymbol{n} $$ (1)

      式中,gfk分别为模糊图像、清晰图像和模糊核;$ \mathrm{*} $表示卷积运算;n为随机高斯噪声。

      图像非盲复原是在已知模糊核k与模糊图像g的情况下,利用图像解卷积算法重建清晰图像f。图像盲复原是在已知模糊图像g的情况下,通过对模糊核k与清晰图像g进行约束,估计模糊核k,重建清晰图像f

      文献[14]提出以图像梯度域作为估计模糊核k的保真项,计算如下:

      $$ \boldsymbol{g}={‖\nabla \boldsymbol{f}\bf{*}\boldsymbol{k}-\nabla \boldsymbol{g}‖}_{2}^{2} $$ (2)

      式中,‖$\nabla$f*k-$\nabla$g2表示对$\nabla$f*k-$\nabla$g求2范数。由于清晰图像未知,因此需要交互地估计清晰图像f与模糊核k。对清晰图像f的误估计,使得模糊核k易陷入局部最优解。因此,本文提出半盲复原方法,利用已有清晰航空图像代替未知清晰图像f,避免由于清晰图像f的误估计造成模糊核k的估计偏差。

    • 为了有效利用已有清晰图像估计当前模糊图像的模糊核,需筛选出两幅图像的公共地物。本文首先通过建立二值模板剔除两幅图像的非公共地物,再利用已有清晰图像与模糊图像的公共地物梯度域构造用于模糊核估计的保真项。设模糊图像为g,与模糊图像具有公共地物的清晰图像为$ {\boldsymbol{f}}^{\mathrm{{'}}} $。分别计算$ {\boldsymbol{f}}^{\mathrm{{'}}} $、g的梯度,选用8个方向求取梯度,分别表示为$\nabla$1、$\nabla$2、$\nabla$3、$\nabla$4、$\nabla$5、$\nabla$6、$\nabla$7、$\nabla$8,如图 2(a)所示。在梯度域上做与运算,构建二值模板$ \boldsymbol{M} $作为梯度筛选,$ \boldsymbol{M} $的计算如下:

      图  2  图像梯度筛选

      Figure 2.  Gradient Screening of Image

      $$ \boldsymbol{M}=\left(\nabla {\boldsymbol{f}}^{\mathrm{{'}}}\&\nabla {\boldsymbol{f}}^{\mathrm{{'}}}\right)\&\left(\nabla \boldsymbol{g}\&\nabla \boldsymbol{g}\right) $$ (3)

      式中,&为与运算;M=(M1M2M3M4M5M6M7M8)。图 2(b)2(c)分别为$ {\boldsymbol{f}}^{\mathrm{{'}}} $、g在方向3上的梯度域$\nabla$$ {\boldsymbol{f}}^{\mathrm{{'}}} $、$\nabla$g图 2(d)图 2(e)分别为经过方向3的二值模板M3作用后的$ {\boldsymbol{f}}^{\mathrm{{'}}} $与g梯度域。

      将二值模板M作用于$ {\boldsymbol{f}}^{\mathrm{{'}}} $与g的梯度域上,筛选出公共地物,如图 3所示。图 3(a)3(b)分别为$ {\boldsymbol{f}}^{\mathrm{{'}}} $与g梯度域,图 3(c)3(d)分别为经过二值模板M作用后的$ {\boldsymbol{f}}^{\mathrm{{'}}} $与g的梯度域。由于g相较于$ {\boldsymbol{f}}^{\mathrm{{'}}} $新增了部分地物,因此,经过筛选后,图 3(c)图 3(a)相似。而g则剔除非公共地物,因此图 3(d)相较于图 3(b)减少了部分地物。

      图  3  梯度图像筛选实例

      Figure 3.  Examples of Gradient Image Screening

      利用筛选后的两幅图像梯度域构造保真项,计算如下:

      $$ {E}_{1}={‖\boldsymbol{M}\odot \nabla {\boldsymbol{f}}^{\mathrm{{'}}}\mathrm{*}\boldsymbol{k}-\boldsymbol{M}\odot \nabla \boldsymbol{g}‖}_{2}^{2} $$ (4)

      式中,⊙为对应元素相乘运算,作用于图像梯度域,进行公共地物筛选。在g与$ {\boldsymbol{f}}^{\mathrm{{'}}} $具有公共地物的情况下,依据公共地物8个方向梯度域构造保真项。

    • 图像的模糊核具有连通性[16-17],通常在梯度域建立连通性度量。模糊核估计是不适定问题,存在无穷多解。本文将模糊核的连通性度量作为求解模糊核的正则项以约束模糊核的解空间。

      在梯度域上估计模糊核连通性,求8个方向梯度,并判断每个方向的连通性,以判别模糊核中某元素的连通性。构建连通矩阵,计算如下:

      $$ \boldsymbol{P}=\sim \left({\nabla }_{1}\boldsymbol{k}\&{\nabla }_{2}\boldsymbol{k}\&{\nabla }_{3}\boldsymbol{k}\&{\nabla }_{4}\boldsymbol{k}\&{\nabla }_{5}\boldsymbol{k}\&{\nabla }_{6}\boldsymbol{k}\&{\nabla }_{7}\boldsymbol{k}\&{\nabla }_{8}\boldsymbol{k}\right) $$ (5)

      式中,~为取反运算;P为描述模糊核连通性的二值矩阵。

      首先对模糊核中元素取八邻域,分别求8个方向的梯度,然后进行位运算,判断该元素的连通性,如图 4所示。图 4(a)为模糊核中某一孤立点,其八邻域像素值均为0,8个方向的梯度均为1(见图 4(b)),梯度经过与运算后得到1(见图 4(c)),最后取反为0(见图 4(d));图 4(e)为连通点,分别进行梯度运算(见图 4(f))、与运算(见图 4(g))、取反运算(见图 4(h)),得到对应连通矩阵元素为1。

      图  4  模糊核连通矩阵构造

      Figure 4.  Construction of Blurred Kernel Connected Matrix

      本文用稀疏性度量连通矩阵,以1范数与2范数的比值表示该矩阵的稀疏度[18],计算如下:

      $$ R=\frac{{‖\boldsymbol{P}‖}_{1}}{{‖\boldsymbol{P}‖}_{2}} $$ (6)

      式中,R表示模糊核连通性的强弱。

      本文引入峰值信噪比(peak signal to noise ratio,PSNR)作为图像质量评价标准,计算如下:

      $$ \mathrm{P}\mathrm{S}\mathrm{N}\mathrm{R}=10\mathrm{l}\mathrm{g}\left(\frac{255}{\frac{1}{m}\frac{1}{n}\sum\limits_{1}^{m}\sum\limits_{1}^{n}\left|f\left(x, y\right)-\widehat{f}\left(x, y\right)\right|}\right) $$ (7)

      式中,$ \widehat{f}(x, y) $为图像均值;$ f(x, y) $为图像像素。

      对同一幅图像分别采用文献[3]、文献[4]、文献[7]、文献[13]、文献[11]、文献[15]、文献[19]方法估计模糊核,结果见表 1

      表 1  模糊核连通度R度量测试

      Table 1.  R Measurement Test of Blur Kernel Connectivity

      表 1可知,随着模糊核越来越准确,复原图像的峰值信噪比随之增大,模糊核连通性度量R也随之增大。度量R可以反映模糊核的准确性,通常将模糊核的稀疏性作为模糊核估计的正则项[20-23]

    • 半盲复原方法顾及模糊核的连通性,添加正则项R,进而构造模糊核估计模型,表示为:

      $$ k=\mathrm{m}\mathrm{i}\mathrm{n}\left\{{‖\boldsymbol{M}\odot \nabla {\boldsymbol{f}}^{{'}}\mathrm{*}\boldsymbol{k}-\boldsymbol{M}\odot \nabla \boldsymbol{g}‖}_{2}^{2} \\ \;\;\;\;\;\;\;\;\; +\beta R+\lambda {‖\nabla \boldsymbol{k}‖}_{2}^{2}\right\} $$ (8)

      式中,R、$ {‖\nabla \boldsymbol{k}‖}_{2}^{2} $分别表示模糊核连通性、稀疏性度量;βλ为影响参数;M为梯度筛选。

      建立模糊图像与已有图像的金字塔结构,分层估计模糊核。将式(8)作为求解每层模糊核的代价函数,得到:

      $$ k=\mathrm{m}\mathrm{i}\mathrm{n}\left\{{‖\boldsymbol{M}\odot \nabla {\boldsymbol{f}}^{\mathrm{{'}}}\mathrm{*}\boldsymbol{k}-\boldsymbol{M}\odot \nabla \boldsymbol{g}‖}_{2}^{2}+\\ \;\;\;\;\;\;\;\;\; \beta \frac{{‖\boldsymbol{P}‖}_{1}}{{‖\boldsymbol{P}‖}_{2}}+\lambda {‖\nabla \boldsymbol{k}‖}_{2}^{2}\right\} $$ (9)

      式中,由于矩阵1范数的不可导性[18],将模糊核连通矩阵P的1范数视为常数,令:

      $$ a=\frac{1}{2}\beta {‖\boldsymbol{P}‖}_{1} $$ (10)

      对式(9)求导得:

      $$ k={F}^{-1}\left(\frac{\sum\limits_{i=1}^{8}\stackrel{-}{F}\left({\boldsymbol{M}}_{i}\odot {\nabla }_{i}\mathrm{*}{\boldsymbol{f}}^{\mathrm{{'}}}\right)F\left({\boldsymbol{M}}_{i}\odot {\nabla }_{i}\mathrm{*}\boldsymbol{g}\right)-a\left(\frac{\boldsymbol{P}}{{‖\boldsymbol{P}‖}_{2}^{2}}\right)F\left({\nabla }_{i}\right)}{\sum\limits_{i=1}^{8}\stackrel{-}{F}\left({\boldsymbol{M}}_{i}\odot {\nabla }_{i}\mathrm{*}{\boldsymbol{f}}^{\mathrm{{'}}}\right)F\left({\boldsymbol{M}}_{i}\odot {\nabla }_{i}\mathrm{*}{\boldsymbol{f}}^{\mathrm{{'}}}\right)+\lambda \stackrel{-}{F}\left({\nabla }_{i}\right)F\left({\nabla }_{i}\right)}\right) $$ (11)

      式中,FF-1分别是傅里叶变换与傅里叶反变换;$ \stackrel{-}{F} $是F的共轭。对式(11)进行迭代求解,并在每次迭代中利用上次迭代的模糊核求P的1范数,进而得到变量a,作为该次迭代已知常量。

      根据模糊核的大小对每层金字塔设置剔除因子,计算如下:

      $$ k\left(x, y\right)=\left\{\begin{array}{l}0, k\left(x, y\right)<\frac{1}{mn}\\ k\left(x, y\right), k\left(x, y\right)\ge \frac{1}{mn}\end{array}\right. $$ (12)

      式中,mn分别为该层模糊核的行、列数。将模糊核中较小的元素值看作是误估计,为避免误差传递,通过剔除因子将其剔除。估计出的模糊核作为下一层模糊核求解的初值。经过金字塔结构中多层图像的迭代求解,得到模糊核的估计。

    • 在已知模糊核情况下,清晰图像的重建即为图像非盲复原。模糊核估计的不准确会导致图像重建过程中产生振铃现象,因此,非盲复原方法需要具有抗模糊核误差干扰的能力。与模糊核估计相似,建立代价函数:

      $$ f=\mathrm{m}\mathrm{i}\mathrm{n}\left\{{‖\boldsymbol{k}\mathrm{*}\nabla \boldsymbol{f}-\nabla \boldsymbol{g}‖}_{2}^{2}+\beta {‖\nabla \boldsymbol{f}‖}_{2}^{2}\right\} $$ (13)

      采用辅助变量w替换$\nabla$f。利用分裂Bregman算法[24-26]将最小化求解转化为如下形式:

      $$ f=\mathrm{m}\mathrm{i}\mathrm{n}\left\{{‖\boldsymbol{k}*\nabla \boldsymbol{f}-\nabla \boldsymbol{g}‖}_{2}^{2}+\beta {‖\boldsymbol{w}‖}_{2}^{2}+\\ \;\;\;\;\;\;\;\;\; \frac{\gamma }{2}{‖\nabla \boldsymbol{f}-\boldsymbol{w}-\boldsymbol{t}‖}_{2}^{2}\right\} $$ (14)

      式中,辅助变量$ \boldsymbol{t}=\boldsymbol{t}-\nabla \boldsymbol{f}-\boldsymbol{w} $,求解得到:

      $$ \left\{\begin{array}{l}\begin{array}{l}{f}^{i}=\mathrm{m}\mathrm{i}\mathrm{n}\left\{{‖\boldsymbol{k}\mathrm{*}\nabla \boldsymbol{f}-\nabla \boldsymbol{g}‖}_{2}^{2}+\right.\\\;\;\;\;\; \left.\frac{\gamma }{2}{‖\nabla \boldsymbol{f}-{\boldsymbol{w}}^{i-1}-{\boldsymbol{t}}^{i-1}‖}_{2}^{2}\right\}\end{array}\\ {\boldsymbol{w}}^{i}=\mathrm{m}\mathrm{i}\mathrm{n}\left\{\frac{\gamma }{2}{‖\nabla {\boldsymbol{f}}^{i}-\boldsymbol{w}-{\boldsymbol{t}}^{i-1}‖}_{2}^{2}+\beta {‖\boldsymbol{w}‖}_{2}^{2}\right\}\\ {\boldsymbol{t}}^{i}={\boldsymbol{t}}^{i-1}-\nabla {\boldsymbol{f}}^{i}-{\boldsymbol{w}}^{i}\end{array}\mathrm{ }\right. $$ (15)

      根据式(15)迭代求解清晰图像f与辅助变量wt,有效抑制振铃现象,对模糊图像进行解卷积,重建清晰图像。

    • 本文实验数据获取平台为大疆Inspire-1型多旋翼无人机,该机型集成Zenmuse-X3型普通数码相机与云台,配有主、副遥控器。图像采集地点为云南省昆明市。利用Shift特征点进行图像配准,筛选出具有公共区域的清晰图像,将其进行图像仿射变换,作为已有清晰图像。从模糊类型、公共地物、方法对比、方法适用性4个方面分析与评价本文方法,图像质量评价参数的选择参见文献[13]。

    • 用本文方法复原离焦模糊、运动模糊类型的模糊图像。如图 5所示,图 5(a)为已有清晰图像,图 5(b)是由摄像机的聚焦原因导致的离焦模糊,图 5(c)是由航拍过程中的抖动造成的运动模糊,图 5(d)5(e)是利用本文方法分别重建图 5(b)5(c)得到的清晰图像,可以看到房屋轮廓清晰,具有明显的细节纹理。由图 5可知,本文方法具有较好的复原效果。

      图  5  不同模糊类型的图像复原

      Figure 5.  Image Restoration in Different Blurred Types

    • 为了比较公共地物对本文方法的影响,本文选取已有航空图像并使其与模糊图像的公共地物逐渐减少,对模糊图像进行半盲复原,结果如图 6所示。

      图  6  公共地物与半盲复原方法效果关系

      Figure 6.  Relation Between Public Ground Objects and Effect of Semi-blind Restoration Method

      图 6(a)为待复原模糊图像,其峰值信噪比为22.607 1 dB。由图 6(c)可知,在公共地物占图像面积小于10%时,难以从极少的公共地物中重建图像;当公共地物占图像面积大于10%时,复原图像的峰值信噪比随着公共地物占图像面积的增加而上升,复原图像质量逐渐提高;当公共地物占图像面积达到35%时,复原图像质量趋于稳定状态,复原图像如图 6(b)所示。可见,当公共地物达到35%时,本文方法能够重建较为清晰的图像,然而对于地物变化较大以及地物较少或不明显的模糊图像,由于不能有效获取公共地物,因此利用本文方法难以复原图像。

    • 利用本文方法、文献[6]方法(非盲复原)、文献[11-12]方法(盲复原)复原运动模糊图像,结果如图 7所示。

      图  7  不同图像复原方法复原图像结果对比

      Figure 7.  Comparison of Results of Different Image Restoration Methods

      图 7可知,文献[6]与文献[11]方法复原图像的边缘存在严重振铃现象,文献[6]方法估计出的模糊核存在发散性,文献[11]方法估计出的模糊核存在大量孤立区域,模糊核估计不准确,文献[12]方法与本文方法的复原图像具有良好的视觉效果,估计出的模糊核孤立区域较少,模糊核估计较为准确。

      表 2图 7(b)~7(e)的图像质量分析结果。由表 2可知,本文方法相较于文献[6]、文献[11]方法复原出的图像在峰值信噪比上有明显提高,复原图像具有较为丰富的信息,与此同时,在振铃度量(ringing metric,RM)方面表现较好,复原图像具有更加明显的边缘信息。在信息量和边缘信息的恢复方面,本文方法优于文献[12]方法,复原图像细节更清晰、信息量更大。

      表 2  不同复原图像质量分析

      Table 2.  Quality Analysis of Different Restored Images

      评价参数 文献[6]方法 文献[11]方法 文献[12]方法 本文方法
      PSNR/dB 26.147 2 28.569 1 31.437 6 32.673 0
      RM 0.386 2 0.304 1 0.239 7 0.213 4

      图 7中的图像复原方法收敛速度对比分析如图 8所示。图 8(a)8(b)分别为峰值信噪比、振铃度量与迭代次数的关系曲线图。

      图  8  图像复原方法收敛速度对比

      Figure 8.  Comparison of Convergence Speed of Image Restoration Methods

      图 8可知,本文方法与文献[12]方法在80次迭代后达到收敛,复原图像的速度较快;文献[11]方法在150次迭代后达到收敛,复原图像的速度较慢;文献[6]方法收敛速度慢,在280次迭代内无法收敛,复原图像的速度缓慢;本文方法具有较高的收敛性,能快速复原出清晰图像。

    • 在实际应用中,航空图像模糊大多是由于相机抖动导致的运动模糊。因此,本文利用模糊图像的像移与焦距比值的反正切作为相机抖动角度,衡量抖动程度[27],以此分析本文方法在去运动模糊中的适用性。设置云台的比例参数P、积分参数I、微分参数D,控制无人机悬停,获取不同程度运动模糊图像。

      本文在航高300 m、相机像素1 800万的情况下,获取水平方向不同程度的运动模糊图像,进行半盲复原。不同抖动程度的复原图像对比如图 9所示,图 9(a)9(b)9(c)9(d)分别为相机抖动角度为1°、2°、3°、4°的模糊图像,图 9(e)9(f)9(g)9(h)为对应的复原图像。

      图  9  不同抖动程度的复原图像对比

      Figure 9.  Comparison of Restored Images with Different Jitter Degrees

      图 9可知,在抖动3°以内,图像仍保留大部分边缘信息,复原效果良好,纹理较为清晰;当抖动大于3°时,图像的大部分边缘信息已被模糊,复原图像的清晰度明显降低,纹理细节难以恢复,如图 9(h)中汽车和房屋,复原图像细节纹理信息骤降。可见,在航高300 m、相机像素1 800万的情况下,抖动角度在3°以内,本文方法具有良好的适用性。

      为了探讨在不同航高、图像像素情况下,本文方法在去运动模糊中的适用性,在像素为1 800万的情况下,调整航高,复原不同航高、不同程度抖动的模糊图像,结果见表 3。由表 3可知,在航高分别为250 m、300 m、350 m,抖动分别在3.5°、3°、2.5°以内时,复原图像质量良好。且随着航高的增加,本文方法能够复原的模糊图像抖动角度减小。

      表 3  航高与抖动对复原图像的影响

      Table 3.  Effect of Height and Jitter on Restored Image

      航高/m 抖动/(°) 峰值信噪比/dB
      250 3 32.469 3
      3.5 31.563 7
      4 25.784 3
      300 2.5 31.658 9
      3 30.863 2
      3.5 23.821 7
      350 2 30.438 5
      2.5 29.623 7
      3 19.587 4

      在航高300 m的情况下,调整相机像素,复原不同像素、不同抖动程度的模糊图像,结果见表 4。由表 4可知,在像素分别为1 500万、1 800万、2 100万,抖动分别在2.5°、3°、3.5°以内时,复原图像质量良好。且随着像素的增加,本文方法能复原的模糊图像抖动角度增大。

      表 4  像素与抖动对复原图像的影响

      Table 4.  Effect of Pixel and Jitter on Restored Image

      像素 抖动/(°) 峰值信噪比/dB
      1 500万 2 31.637 8
      2.5 30.564 2
      3 21.375 9
      1 800万 2.5 33.465 2
      3 31.253 7
      3.5 22.562 9
      2 100万 3 34.635 4
      3.5 32.259 7
      4 22.548 6

      综上所述,在航高300 m、像素1 800万、抖动3°以内时,本文方法具有良好的适用性。随着航高的增加,图像对地物边缘轮廓信息的载入量减少,所能复原的模糊图像抖动角度减小;随着图像像素的增加,图像对地物边缘轮廓信息的载入量增加,所能复原的模糊图像抖动角度增大。

    • 本文利用已有航空图像建立梯度筛选并构建模糊核连通性度量,通过公共地物梯度域估计模糊核,重建清晰图像。实验从模糊类型、公共地物、方法对比、方法适用性4个方面的分析说明本文提出的半盲复原方法能够有效复原模糊图像。在公共地物达到35%以上时,本文方法能重建清晰图像。相比已有图像复原方法,本文方法收敛速度更快,对模糊核的估计精度更高,复原图像细节更清晰,图像信息更丰富。但是本文方法依赖于已有航空图像的公共地物,对于单幅航空模糊图像难以进行复原,特别在地物不明显或较少的地区,难以适用。后续将进一步在确保复原图像质量的前提下,降低该方法对公共地物的依赖性,以提高其应用价值。

参考文献 (27)

目录

    /

    返回文章
    返回