留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

一种从SAR影像到光学影像的翻译方法

张文元 谈国新 孙传明

张文元, 谈国新, 孙传明. 一种从SAR影像到光学影像的翻译方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
引用本文: 张文元, 谈国新, 孙传明. 一种从SAR影像到光学影像的翻译方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
ZHANG Wenyuan, TAN Guoxin, SUN Chuanming. An Approach to Translate SAR Image into Optical Image[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
Citation: ZHANG Wenyuan, TAN Guoxin, SUN Chuanming. An Approach to Translate SAR Image into Optical Image[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022

一种从SAR影像到光学影像的翻译方法

doi: 10.13203/j.whugis20150022
基金项目: 

国家十二五科技支撑计划 No. 2012BAH83F00

湖北省自然科学基金 No. 2014CFB658

详细信息
    作者简介:

    张文元,博士,讲师,主要从事遥感图像处理与应用研究。zhangwy@mail.ccnu.edu.cn

  • 中图分类号: TP751;P237

An Approach to Translate SAR Image into Optical Image

Funds: 

The National Key Technologies R&D Program of China for the 12th Five-year Plan No. 2012BAH83F00

the Natural Science Foundation of Hubei Province of China No. 2014CFB658

More Information
    Author Bio:

    ZHANG Wenyuan,PhD, lecturer, specializes in the image processing and application of remote sensing. E-mail: zhangwy@mail.ccnu.edu.cn

  • 摘要: 光学传感器在夜晚和云雨天气难以成像,合成孔径雷达(synthetic aperture radar,SAR)虽然能够全天时、全天候工作,但其成像难以理解,对此提出利用SAR影像翻译为光学影像的新思路来弥补二者的缺陷。给出了遥感影像翻译定义,提出一套包含图像理解、目标转换等环节的影像翻译技术流程。通过支持向量机分类、种子填充和基于样本的纹理合成算法等手段实现SAR影像典型目标向光学影像的转换与表达。最后,利用该方法实现了ENVISAT-ASAR转换为Landsat TM,ALOS PALSAR转换为GeoEye的两类影像翻译,并利用SAR影像翻译结果修补光学影像空缺。影像翻译和补缺实验证明了SAR影像翻译为光学影像的可行性和有效性。
  • 图  1  SAR影像翻译流程

    Figure  1.  Flowchart of Image Translation from SAR to Optical Image

    图  2  影像翻译知识库构建流程

    Figure  2.  Image Translation Knowledge Base Construction

    图  3  Mincut图像块拼接示意图

    Figure  3.  Minimum Error Boundary Cut

    图  4  基于样本的纹理合成示例

    Figure  4.  Demonstration of Sample-based Texture Synthesis

    图  5  ENVISAT-ASAR影像及分类结果

    Figure  5.  ENVISAT-ASAR and Classification Result

    图  6  缺失部分区域的TM影像

    Figure  6.  Incomplete Landsat TM Image

    图  7  SAR影像翻译示例

    Figure  7.  Translation Example of SAR Image

    图  8  SAR影像翻译结果补缺及对比

    Figure  8.  Filling Incomplete TM Image with SAR Translation Result

    图  9  ALOS PALSAR翻译及补缺

    Figure  9.  Filling Optical Image Using Translated ALOS PALSAR Image

    表  1  SAR影像SVM分类混淆矩阵

    Table  1.   Confusion Matrix of SAR Classification Based On SVM

    类别地面真实数据/%生产精度/%用户精度/%
    河流耕地人工目标其它
    河流86.140.570.200.0086.1495.61
    耕地6.6198.6511.1977.3398.6585.59
    人工目标7.250.7888.6122.6788.6197.46
    总体分类精度:91.68%Kappa系数:0.86
    下载: 导出CSV
  • [1] 李德仁. 地球空间信息学的机遇[J]. 武汉大学学报·信息科学版, 2004, 29(9):753-756 http://ch.whu.edu.cn/CN/abstract/abstract4439.shtml

    Li Deren. Opportunities for Geomatics[J]. Geomatics and Information Science of Wuhan University, 2004, 29(9):753-756 http://ch.whu.edu.cn/CN/abstract/abstract4439.shtml
    [2] Amarsaikhan D, Ganzorig M, Ache P, et al. The Integrated Use of Optical and InSAR Data for Urban Land-cover Mapping[J].International Journal of Remote Sensing, 2007, 28(6):1161-1171 doi:  10.1080/01431160600784267
    [3] Amarsaikhan D, Blotevogel H H, Van Genderen J L, et al. Fusing High-resolution SAR and Optical Imagery for Improved Urban Land Cover Study and Classification[J].International Journal of Image and Data Fusion, 2010, 1(1):83-97 doi:  10.1080/19479830903562041
    [4] Ehlers M, Klonus S, Johan S P, et al. Multi-sensor Image Fusion for Pansharpening in Remote Sensing[J].International Journal of Image and Data Fusion, 2010, 1(1):25-45 doi:  10.1080/19479830903561985
    [5] Zhu Z, Woodcock C E, Rogan J, et al. Assessment of Spectral, Polarimetric, Temporal, and Spatial Dimensions for Urban and Peri-urban Land Cover Classification Using Landsat and SAR Data[J].Remote Sensing of Environment, 2012, 117(0):72-82 http://cn.bing.com/academic/profile?id=82ae105a7ff3acba1e67044779325850&encoded=0&v=paper_preview&mkt=zh-cn
    [6] Maghsoudi Y, Collins M J, Leckie D G. Radarsat-2 Polarimetric SAR Data for Boreal Forest Classification Using SVM and a Wrapper Feature Selector[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(3):1531-1538 doi:  10.1109/JSTARS.2013.2259219
    [7] 徐川, 华凤, 眭海刚, 等. 多尺度水平集SAR影像水体自动分割方法[J]. 武汉大学学报·信息科学版, 2014, 39(1):27-31

    Xu Chuan, Hua Feng, Sui Haigang, et al.Automatic Water Segmentation Method in SAR Images Using Multi-scale Level Set[J]. Geomatics and Information Science of Wuhan University, 2014, 39(1):27-31
    [8] Chaabouni-Chouayakh H, Datcu M. Backscattering and Statistical Information Fusion for Urban Area Mapping Using TerraSAR-X Data[J].IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2010, 3(4):718-730 doi:  10.1109/JSTARS.2010.2059695
    [9] Catford J C. A Linguistic Theory of Translation[M]. Oxford:Oxford University Press, 1965
    [10] Lee J S. Refined Filtering of Image Noise Using Local Statistics[J]. Computer Graphics and Image Processing, 1981, 15(4):380-389 doi:  10.1016/S0146-664X(81)80018-4
    [11] Frost V S, Stiles J A, Shanmugan K, et al. A Model for Radar Images and Its Application to Adaptive Digital Filtering of Multiplicative Noise[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1982, 2:157-166 http://cn.bing.com/academic/profile?id=68948edb362054751a8fcd6b4d7878a0&encoded=0&v=paper_preview&mkt=zh-cn
    [12] 孙家广, 杨长贵. 计算机图形学[M]. 北京:清华大学出版社, 1998

    Sun Jiaguang, Yang Changgui. Computer Graphics[M]. Beijing:Tsinghua University Press,1998
    [13] Efros A A, Leung T K. Texture Synthesis by Non-parametric Sampling[C]. Proceedings of the IEEE International Conference on Computer Vision, Corfu, Greece, 1999
    [14] Criminisi A, Perez P, Toyama K.Region Filling and Object Removal by Exemplar-based Image Inpainting[J]. IEEE Transactions on Image Processing, 2004, 13(9):1200-1212 doi:  10.1109/TIP.2004.833105
    [15] Ashikhmin M. Synthesizing Natural Textures[C]. Proceedings of the 2001 Symposium on Interactive 3D Graphics, Chapel Hill, USA, 2001
    [16] Efros A A, Freeman W T. Image Quilting for Texture Synthesis and Transfer[C]. Proceedings of the SIGGRAPH 2001, Los Angeles, USA, 2001
    [17] Liang L, Liu C, Xu Y Q, et al. Real-timeTexture Synthesis by Patch-based Sampling[J]. ACM Transactions on Graphics (ToG), 2001, 20(3):127-150 doi:  10.1145/501786.501787
    [18] 付仲良, 张文元, 孟庆祥. 灰度和纹理特征组合的SAR影像SVM分类[J]. 应用科学学报, 2012, 30(5):498-504 http://www.cnki.com.cn/Article/CJFDTOTAL-YYKX201205012.htm

    Fu Zhongliang, Zhang Wenyuan, Meng Qingxiang. SAR Image Classification Based on SVM With Fusion of Gray Scale and Texture Features[J].Journal of Applied Sciences, 2012, 30(5):498-504 http://www.cnki.com.cn/Article/CJFDTOTAL-YYKX201205012.htm
    [19] Google Inc. Google Map[EB/OL]:http://www.google.cn/maps?hl=zh-CN&tab=wl, 2014-12-18
  • [1] 王蒙蒙, 叶沅鑫, 朱柏, 张过.  基于空间约束和结构特征的光学与SAR影像配准 . 武汉大学学报 ● 信息科学版, 2022, 47(1): 141-148. doi: 10.13203/j.whugis20190354
    [2] 李佳楠, 李玉, 赵泉华, 姜昊男, 洪勇.  基于通讯信号塔RCS建模的SAR影像绝对辐射定标 . 武汉大学学报 ● 信息科学版, 2021, 46(11): 1746-1755. doi: 10.13203/j.whugis20210052
    [3] 吴星辉, 马海涛, 张杰.  地基合成孔径雷达的发展现状及应用 . 武汉大学学报 ● 信息科学版, 2019, 44(7): 1073-1081. doi: 10.13203/j.whugis20190058
    [4] 邱春平, 秦志远, 熊新, 张红敏, 靳国旺, 李贺.  机载SAR影像定向中像点粗差的拟准检定方法 . 武汉大学学报 ● 信息科学版, 2019, 44(2): 283-288, 295. doi: 10.13203/j.whugis20150338
    [5] 庄会富, 邓喀中, 余美, 范洪冬.  结合KI准则和逆高斯模型的SAR影像非监督变化检测 . 武汉大学学报 ● 信息科学版, 2018, 43(2): 282-288. doi: 10.13203/j.whugis20160079
    [6] 吴文豪, 王明洲, 李沙, 侯爱羚.  滑动聚束模式SAR影像干涉处理方法 . 武汉大学学报 ● 信息科学版, 2015, 40(12): 1588-1593. doi: 10.13203/j.whugis20140012
    [7] 徐川, 华凤, 眭海刚, 陈光.  多尺度水平集SAR影像水体自动分割方法 . 武汉大学学报 ● 信息科学版, 2014, 39(1): 27-31.
    [8] 刘康, TimoBalz, 廖明生.  利用后向散射特性从高分辨率SAR影像中提取建筑物高度 . 武汉大学学报 ● 信息科学版, 2012, 37(7): 806-809.
    [9] 李平湘, 邓少平, 张继贤, 杨杰.  利用自适应最优极化对比增强检测SAR影像边缘 . 武汉大学学报 ● 信息科学版, 2012, 37(7): 789-793.
    [10] 陈尔学, 李增元, 田昕, 凌飞龙.  星载SAR地形辐射校正模型及其效果评价 . 武汉大学学报 ● 信息科学版, 2010, 35(3): 322-327.
    [11] 余凡, 赵英时.  合成孔径雷达反演裸露地表土壤水分的新方法 . 武汉大学学报 ● 信息科学版, 2010, 35(3): 318-321.
    [12] 刘艳, 刘经南, 李陶, 夏耶.  利用高分辨率SAR卫星监测灾害条件下电网铁塔形变 . 武汉大学学报 ● 信息科学版, 2009, 34(11): 1354-1358.
    [13] 汪长城, 廖明生.  一种多孔径SAR图像目标检测方法 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 32-35.
    [14] 徐新, 王雁, 陈嘉宇, 孙洪.  基于小波系数统计特征的SAR图像恢复 . 武汉大学学报 ● 信息科学版, 2006, 31(10): 855-857.
    [15] 杨杰, 潘斌, 李德仁, 钟永正.  无地面控制点的星载SAR影像直接对地定位研究 . 武汉大学学报 ● 信息科学版, 2006, 31(2): 144-147.
    [16] 李陶, 刘经南, 廖明生.  重复轨道差分干涉测量参数模型的建立 . 武汉大学学报 ● 信息科学版, 2005, 30(8): 744-747.
    [17] 王青, 徐新, 管鲍, 孙洪.  一种基于Bayesian准则和MRF模型的SAR图像滤波方法 . 武汉大学学报 ● 信息科学版, 2005, 30(5): 464-467.
    [18] 杨文, 孙洪, 徐新, 徐戈.  星载SAR图像船舶及航迹检测 . 武汉大学学报 ● 信息科学版, 2004, 29(8): 682-685.
    [19] 徐新, 廖明生, 朱攀, 卜方玲.  单视数SAR图像Speckle滤波方法的研究 . 武汉大学学报 ● 信息科学版, 1999, 24(4): 312-316.
    [20] 顾天襄.  合成孔径侧视雷达影象平面加密精度 . 武汉大学学报 ● 信息科学版, 1983, 8(2): 71-81.
  • 加载中
图(9) / 表(1)
计量
  • 文章访问数:  2076
  • HTML全文浏览量:  114
  • PDF下载量:  749
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-09-02
  • 刊出日期:  2017-02-05

一种从SAR影像到光学影像的翻译方法

doi: 10.13203/j.whugis20150022
    基金项目:

    国家十二五科技支撑计划 No. 2012BAH83F00

    湖北省自然科学基金 No. 2014CFB658

    作者简介:

    张文元,博士,讲师,主要从事遥感图像处理与应用研究。zhangwy@mail.ccnu.edu.cn

  • 中图分类号: TP751;P237

摘要: 光学传感器在夜晚和云雨天气难以成像,合成孔径雷达(synthetic aperture radar,SAR)虽然能够全天时、全天候工作,但其成像难以理解,对此提出利用SAR影像翻译为光学影像的新思路来弥补二者的缺陷。给出了遥感影像翻译定义,提出一套包含图像理解、目标转换等环节的影像翻译技术流程。通过支持向量机分类、种子填充和基于样本的纹理合成算法等手段实现SAR影像典型目标向光学影像的转换与表达。最后,利用该方法实现了ENVISAT-ASAR转换为Landsat TM,ALOS PALSAR转换为GeoEye的两类影像翻译,并利用SAR影像翻译结果修补光学影像空缺。影像翻译和补缺实验证明了SAR影像翻译为光学影像的可行性和有效性。

English Abstract

张文元, 谈国新, 孙传明. 一种从SAR影像到光学影像的翻译方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
引用本文: 张文元, 谈国新, 孙传明. 一种从SAR影像到光学影像的翻译方法[J]. 武汉大学学报 ● 信息科学版, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
ZHANG Wenyuan, TAN Guoxin, SUN Chuanming. An Approach to Translate SAR Image into Optical Image[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
Citation: ZHANG Wenyuan, TAN Guoxin, SUN Chuanming. An Approach to Translate SAR Image into Optical Image[J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 178-184,192. doi: 10.13203/j.whugis20150022
  • 光学传感器可以获取分辨率高、视觉特征明显的影像,但其成像容易受时间和云层遮挡等影响。合成孔径雷达(synthetic aperture radar,SAR)虽然具有全天时、全天候成像能力,但是SAR影像与光学影像有较大差异,视觉特征不明显,解译困难。多源遥感数据的不同成像特性阻碍了人们从中获取信息和进行相关应用,遥感应用的水平严重滞后于空间遥感技术的发展[1]。翻译作为一种特殊形式的信息转换和传播活动,可以跨越语言文化障碍,促进人类思想文化的交流。借鉴语言翻译的思路,研究SAR影像到光学影像的翻译技术,不仅可以弥补光学传感器成像的不足,而且可以使得SAR影像易于理解,提高SAR数据的利用率。这种多源遥感影像之间的翻译,既能在地震、滑坡等灾害应急处理中应用,又能为测绘数据的生产和光学遥感图像去云层处理提供一种新的技术手段。

    各类遥感图像的解译都有一定的研究,但是从翻译的角度来研究多源遥感图像的转换和相关应用在国内外鲜见。SAR影像与光学图像有很多互补性,现有SAR数据和光学遥感影像的结合应用以图像融合为主,目的是提高分类和解译精度[2, 3],如TerraSAR-X雷达图像与SPOT多光谱影像融合[4],ALOS PALSAR与Landsat影像的融合[5]

    SAR影像翻译建立在SAR影像解译的基础上。国内外学者针对Radarsat、TerraSAR-X等SAR影像上的植被、水体、建筑、耕地等多种地物的分类和目标识别进行了大量研究[6-8]。这些针对不同分辨率、不同极化方式的SAR影像解译方法实现了源图像信息的理解和提取,可以为SAR影像翻译提供部分技术和方法指导。

    遥感影像翻译,到目前为止国内外相关研究成果非常少。本文借鉴语言翻译、SAR影像解译和图像处理的相关理论与方法,探索SAR影像与光学影像翻译的相关理论和技术方法,采用不同的影像数据进行翻译实验。

    • 参考语言翻译[9]的概念,将遥感影像翻译定义为:“为了特定应用目的,将一种特性(表现形式)的遥感影像所表达的信息转换成另一种特性(表现形式)的遥感影像的过程”。

      (1) 从遥感成像机理来看,多源遥感影像具有一定的共性。遥感影像的获取都是地表环境下各种地物对电磁波的反射或散射特性的反映,尽管覆盖同一地区的多源遥感影像可能光谱、颜色不同,但是它们描述的地物基本相同,如地物的空间位置、形状、种类等都不会变化,这些固有的共同特性是遥感影像翻译的基础。

      (2) 遥感影像翻译应针对两种特性或表现形式不同的遥感影像。可见光、热红外、微波等不同类型的传感器由于所使用的电磁波波长不同,加上成像机理的特殊性,往往导致其成像具有不同特性或表现形式,而且有些影像只有少量专业人员才能正确解译。客观存在的图像差异阻碍了遥感信息的获取和传播,才使得多源遥感影像之间有翻译的必要性。

      (3) 影像翻译有一定的目的性,尤其是满足特定场合下特定需要。例如,地震、山体滑坡等灾害应急处理过程中,由于天气原因无法通过光学影像获取最新灾情信息,这时可以发挥SAR全天候成像的优点,将最新获取的SAR影像翻译为直观易懂的可见光影像,尤其是将人们最关心的空间信息正确传递出来,供那些不熟悉SAR影像的灾害应急处理人员或指挥决策者使用。光学图像经常有部分区域被云层遮挡,通过SAR影像翻译也能实现光学图像的去云层处理。

      (4) 图像翻译必须有图像表现形式转变的过程。图像翻译既不是图像格式的转换,也不是简单的图像分类、地物提取等常规解译,它不仅需要理解源图像所表达的信息,而且还要采用与目标图像相近的表现形式合理表达出这些信息,并且转换前后的图像在图像特性或视觉特征方面一般有较大差别。

    • SAR影像翻译为光学影像的过程可以划分为理解和转换两个环节。理解是指分析和解释SAR影像所表达的信息;转换则是将SAR图像所包含的空间信息按照光学影像的光谱和纹理特征来重新表达。

      SAR影像信息丰富,在影像理解和转换过程中,都会不同程度的损失一些信息。应该始终围绕应用目标,对SAR影像中描述建筑物、道路、河流等各类地物的形状和边界等显著的几何结构特征,采用各类特征提取算法进行有效提取,然后对特征信息进行几何变换,再利用光学影像的光谱特性来合理表达,从而保证翻译前后影像所包含的内容基本一致。对于SAR影像上那些特征不明显或难以区分的地物,例如植被中的草地、林地、灌木、农田等类别,建筑区中的单栋小房屋、小路等,难以将其完全翻译,但可以利用分类技术将这些地物分别统计到所属大类,再根据类别寻求与光学影像大体一致的表达。

      SAR影像翻译为光学影像流程图(图 1)。

      图  1  SAR影像翻译流程

      Figure 1.  Flowchart of Image Translation from SAR to Optical Image

      (1) 影像预处理。SAR影像的斑点噪声,严重影响了SAR图像的特征提取和目标识别,翻译前需要先采用Lee滤波[10]或Frost滤波[11]等算法进行去噪处理。

      (2) 依据SAR影像上不同地物的灰度、纹理等特征,采用支持向量机(support vector machine,SVM)、人工神经网络(artificial neural network,ANN)或决策树等机器学习算法进行分类。在难以直接通过量化特征建立两种影像地物目标映射关系时,分类是建立关系的一种有效方式。

      (3) 从翻译知识库的样本库中搜索或从参考光学影像上人工采集所需类别的光学样本,根据目标转换的复杂程度对SAR影像中提取的不同地物目标区域分别进行填充表达。例如,湖泊、河流等水体目标在光学影像上的灰度分布比较均匀,可以采用种子填充算法[12]直接填充,而草地、森林等纹理丰富的地物,可以采用纹理合成方法来动态生成纹理信息。

      (4) 将SAR影像上分别翻译的各类目标根据像素空间位置合成一幅完整的翻译结果图像。

      (5) 为了衡量翻译效果,可以与真实的光学影像进行对比来定性或定量评价。

    • 字典或词典是语言翻译的重要工具。在影像翻译的特征提取、地物分类、目标转换、特征表达和质量评价等各个环节中,需要用到图像特征、目标解译模型、翻译规则、典型地物样本和翻译示例等各种先验知识,有必要构建一套适合影像翻译的知识库。图 2所示为翻译知识库的构建流程,可以从不同类别、不同分辨率和不同波段的SAR影像和可见光影像上人工采集大量典型地物样本,利用特征提取算法提取样本的灰度均值、方差等光谱统计特征;灰度共生矩阵、Gabor纹理、小波变换纹理等纹理特征;Hu不变矩、面积、边界长度、长宽比、形状因子和对称性等形状统计特征。将这些特征作为样本数据,利用SVM、ANN等机器学习算法对其进行学习和训练,形成不同地物的分类模型。根据同一地物在SAR影像和光学影像上的特征对比,确定不同地物的映射关系和特征转换规则。为了便于翻译结果的定性或定量评价,可将专家人工翻译的示例存入知识库。知识库中的各类知识可以通过关系数据库存储,后续利用知识表达、推理和搜索等方式来辅助翻译。

      图  2  影像翻译知识库构建流程

      Figure 2.  Image Translation Knowledge Base Construction

    • 按照§1.2给出的翻译流程,采用SVM等分类算法确定SAR影像地物类别之后,本文采用基于样本的纹理合成算法来实现这些地物目标向光学影像的转换。基于样本的纹理合成能够利用给定的一个小区域纹理样图,通过分析图像特征,建立数学模型,然后依据样图和数学模型来生成纹理[13]。这种合成技术可以生成视觉上相似而连续的纹理,在数码相片修复、目标移除和纹理传输等数字图像处理领域有一些应用[14, 15]

      基于样本的纹理合成算法主要有“点匹配”[13]和“块拼接”[16, 17]两种合成方式。“块拼接”纹理合成算法每次合成一块纹理,而不是合成一个像素点,样本块中同时蕴含纹理和结构信息,合成速度和质量都较“点匹配”方法有很大提高。本文将Efros和Freeman提出的一种基于块拼接的纹理合成算法[16] 引入SAR影像翻译的目标转换环节,尝试合成植被、建筑区等纹理丰富的地物目标。

      Image Quilting 纹理合成算法基于马尔科夫随机场原理,每次从样图中搜索一个匹配块,使得它们之间重叠部分的像素具有最小的误差平方和,然后将整个匹配块拼接到已合成图像中。算法的步骤为:① 按照扫描线顺序逐块合成输出纹理;② 在输入图像中搜索符合条件的匹配块,从中随机选择一块;③ 计算新选取的纹理块和已合成块重叠区域的误差,找到最佳分割路径作为新纹理块的边界,将新纹理块贴入到合成图中;④ 重复以上过程,直至合成结束。

      为了使得两个图像块之间达到最好的拼接视觉效果,Efros等人采用基于动态规划原理的Mincut算法在重叠区域找出一条最佳切分路线,然后将两块进行镶嵌拼接,如图 3所示。

      图  3  Mincut图像块拼接示意图

      Figure 3.  Minimum Error Boundary Cut

      块拼接具体过程为:在输入样图中任取一块B1放在输出图中,然后在输入样图中查找B2,使B2放入输出图后与B1有一定的重叠区域,且边界匹配误差控制在一定的范围内;接着从B1B2的重叠区域找出一条误差最小的路径作为B2的边缘,再把B2贴入合成图像中。

      误差最小的路径根据以下方法进行计算:设B1B2具有垂直的重叠边,重叠区域为B1ovB2ov,将重叠区域中对应点的像素值对应空间场上的高度值。重叠区域的误差曲面可以定义为:

      $$e = {({B_1}^{ov} - {B_2}^{ov})^2}$$ (1)

      为了获取通过该曲面的最小垂直切割路线,遍历所有在重叠区域的误差曲面e (i=2,3,…,N),并计算所有路径的累积误差E

      $${E_{i,j}} = {e_{ij}} + {\rm{min}}({E_{i - 1,j}},{E_{i - 1,j - 1}},{E_{i - 1,j + 1}})$$ (2)

      根据最后一行的最小误差值E就可以找出穿过曲面的最小垂直路径的终点,再通过反向跟踪便可获得垂直方向上的最优切割路径。水平方向的重叠区域也采用相同的方法来获取最优分割边界。当水平与垂直方向都有重叠时,两条路径会有交集,此时分割边界由两条路径共同决定。

    • 基于样本的纹理合成算法中,纹理块的大小对合成结果有较大影响。纹理块应该能够反映整个纹理的结构信息,如果块太小,原样图的特征没有很好的传递到合成结果中,有可能引起纹理特征变形。如果块过大,块与块之间的接缝会比较明显。迭代次数、水平或垂直方向的重叠度等因素对纹理合成效果也有影响。为了能够适应不同纹理目标的合成,并有效调节纹理合成效果,本文编程实现并改进了Image Quilting 纹理合成算法,给出了迭代次数、纹理块大小、水平或垂直方向的重叠度、每次迭代过程中纹理块缩减因子等可动态调节的参数。

      采用有波纹水面、Landsat TM影像植被和人工建筑区三类纹理样本图像进行基于纹理合成实验,样本如图 4(a)所示。其中,样本大小为64×64像素,设置迭代次数为3,纹理块大小为27×27像素,X、Y轴方向重叠度为28%,每次迭代块尺寸减少量33%,匹配块候选搜索范围为21%,合成图像大小为128×128像素。基于块拼接纹理合成算法的结果如图 4(b)所示。

      图  4  基于样本的纹理合成示例

      Figure 4.  Demonstration of Sample-based Texture Synthesis

      为了验证基于块拼接的纹理合成算法的优越性,同时采用文献[13]提出的基于像素匹配的纹理合成算法对三类样本进行纹理合成,其结果如图 4 (c)所示。从三组实验结果的比较可以看出,基于块拼接的纹理合成算法效果较好,能够有效保留样本的全局纹理结构信息,且合成图像没有视觉上的不连续感,也没有出现图像模糊、纹理基元错位或纹理块重复效应等问题。基于像素匹配的合成算法虽然能捕捉细微纹理,但不能很好地反映出样本纹理的整体结构。在运行效率方面,块拼接算法合成一幅图像平均时间不到2 s,而基于像素匹配的合成算法需要18 s才能完成。

    • 为了验证本文方法的有效性,分别采用两种不同的SAR影像和光学影像进行翻译实验。

    • 实验1的翻译源影像为武汉市东湖地区的一幅单波段、单极化(HH,水平发射、水平接收)ENVISAT-ASAR影像,成像时间2005年8月17日,空间分辨率为30m,图像大小为382×364像素。该影像主要包含湖泊、植被和人工建筑区三大类典型地物。对原始SAR强度图像进行8bit量化,形成256级灰度图像,并采用增强Frost滤波算法[14]对其进行噪声抑制处理,如图 5(a)所示。采用灰度与纹理等多特征组合的SVM算法[18]将SAR影像分为水体、植被和人工建筑三大类地物,如图 5(b)所示。其总体分类精度为93.13%,Kappa系数为0.89。

      图  5  ENVISAT-ASAR影像及分类结果

      Figure 5.  ENVISAT-ASAR and Classification Result

      参考目标图像为包含东湖地区的28.5 m分辨率的Landsat TM影像,成像时间为2002年7月9日。从TM影像7个波段中选用3(红)、2(绿)、1(蓝)这3个波段进行组合,形成一幅真彩色合成光学影像。假定由于云层遮挡或其他因素,TM影像东湖区域缺失,如图 6所示,现要将SAR影像翻译为TM影像来填补缺失区域。

      图  6  缺失部分区域的TM影像

      Figure 6.  Incomplete Landsat TM Image

      从TM影像缺失区域的周边分别采集能代表湖泊、植被和人工建筑区三类地物颜色和纹理结构的典型样本(图 6中方框标记区域)。首先,利用湖泊样本统计的颜色均值(RGB = (91,121,126))作为填充色,采用种子填充算法对湖泊区域进行填充,得到图 7(a) 所示的填充结果;其次,对SAR分类图中的植被和人工建筑区,分别利用选取的典型样本,采用块拼接方式的基于的纹理合成算法进行填充表达,所得结果如图 7(b)图 7(c)所示;最后,对三类地物的转换和表达结果进行合并,即可形成一幅翻译后的TM影像,见图 7(d)

      图  7  SAR影像翻译示例

      Figure 7.  Translation Example of SAR Image

      使用ENVI软件提供的多项式纠正方法将SAR影像与TM影像进行精确配准,再将SAR影像翻译结果填补TM影像缺失区域,可获得图 8(a)所示的补缺效果。为了定性评价翻译结果,将其与真实的TM影像进行对比(图 8(b))。从两幅影像的比较来看,翻译图像与原始TM影像上的三类地物非常相似,全局色调也基本一致。湖泊区域由于是采用种子填充算法实现单一颜色填充,而真实TM图像的湖泊区域颜色有深浅变化,故二者在局部有少量差异;翻译后的植被与原始TM影像植被在边缘衔接处存在一些色调差别,这主要是由于TM影像上不同地区的植被其颜色和纹理有所差别,而单波段SAR影像中很难将植被细分为更多类别,在纹理合成时只利用TM影像中某一小块植被样本来合成整幅图像的植被区域,因而造成翻译图像与原始TM影像部分植被区域有少许差异。由于SAR影像分辨率不高,本实验仅将其分为三大类,因此道路、草地、农田等细小地物的纹理难以通过知识库或样本选择做到完全匹配,翻译过程中部分信息的损失和某些地物翻译结果的失真难以避免。

      图  8  SAR影像翻译结果补缺及对比

      Figure 8.  Filling Incomplete TM Image with SAR Translation Result

    • 实验2采用12.5 m分辨率的单波段、HH极化ALOS PALSAR影像进行翻译,大小为526像素×442像素,主要包含河流、人工建筑区、耕地和道路等几种地物类型,去噪处理后的SAR影像如图 9(a)所示。参考光学图像是从Google地图网站[19]下载的高分辨率卫星影像,由0.4 m分辨率的GeoEye影像和0.5 m分辨率的WorldView-2影像拼接而成,由于拍摄日期不同,两幅影像的色调存在一些差别。以ALOS PALSAR影像为基准,采用二次多项式纠正模型将光学影像与SAR数据进行配准和分辨率重采样处理,结果如图 9(c)所示。假定矩形框标记的区域为缺失部分,拟通过ALOS PALSAR影像的翻译结果来补缺。

      图  9  ALOS PALSAR翻译及补缺

      Figure 9.  Filling Optical Image Using Translated ALOS PALSAR Image

      仍然采用相同的分类算法将SAR影像分成河流、耕地和人工目标三种地物类别,其中建筑区和道路都归为人工目标,少量绿色植被归为耕地一类,分类结果如图 9(b)所示。采用精确选取的真实感兴趣区域(占全图像元的31%)计算分类精度,结果见表 1。从分类结果图和精度统计表来看,SAR影像三类典型地物的大部分信息都能有效提取出来,只有少量面积较小且特征不明显的道路和植被未能正确分类。

      表 1  SAR影像SVM分类混淆矩阵

      Table 1.  Confusion Matrix of SAR Classification Based On SVM

      类别地面真实数据/%生产精度/%用户精度/%
      河流耕地人工目标其它
      河流86.140.570.200.0086.1495.61
      耕地6.6198.6511.1977.3398.6585.59
      人工目标7.250.7888.6122.6788.6197.46
      总体分类精度:91.68%Kappa系数:0.86

      从翻译知识库搜索分别代表河流、耕地和人工建筑三类地物的光学纹理样本,并采用块拼接纹理合成算法分别合成这三类地物的纹理图像,最后将翻译结果填补到光学影像的空缺区域,形成图 9(d)所示的光学影像补缺结果。从整体效果来看,翻译图像与周围区域光学影像的各类地物在色调和纹理上基本保持一致。由于SAR影像上的部分道路难以提取,故翻译后的图像上耕地之间的小路未能正确反映。此外,光学影像是由两个不同时期的影像拼接而成,上下部分的耕地存在一些颜色和纹理差别,而翻译出来的耕地只利用了上面一部分区域的耕地纹理样本合成,整体呈一致色调,故补缺结果与上半部分图像的耕地区域非常相似,而与下半部分的耕地在颜色和纹理上有少量差别。由于SAR影像与参考光学影像获取时间不同,有些地物发生变化,而且分辨率也相差较大,所以翻译后的图像与补缺周围地物会存在少量差别。

    • SAR影像翻译过程中,准确提取源影像各类目标的结构信息是基础,针对不同地物目标,能够按照光学样本有效实现颜色和纹理等光谱信息的转换和表达是关键。本文分别以单波段、单极化ENVISAT-ASAR和ALOS PALSAR影像为翻译对象,通过灰度与纹理多特征组合的SVM分类算法对SAR进行分类,分别采用种子填充算法和基于样本的纹理合成算法将SAR分类图中的典型目标进行转换和重新表达,形成一幅与Landsat TM或GeoEye影像相似的可见光影像。将SAR影像翻译结果填补光学影像由于云层遮挡等原因形成的空缺区域,可以达到“以假乱真”的效果,翻译图像与真实光学影像周边区域的同类地物在颜色和纹理等特征方面都比较相似。

      本文实验采用平原地区的SAR影像,对于地形起伏较大的区域或包含大量建筑的城区SAR影像,由于角反射等因素其成像形状有时并不能如实反映地物目标的真实轮廓,例如,遇到陡坡和高墙会产生影像“颠倒”。对此需要采取一些特殊的几何和辐射校正处理,才能进行后续的翻译和补缺应用。

      对于那些难以通过直接转换的方式实现翻译的多源遥感影像,也可以采用间接翻译来实现。

      影像翻译不仅可以应用到光学影像补缺和地质灾害应急处理,还可以广泛用于光学影像的去云层处理和光学遥感制图等领域。实现不同传感器、不同分辨率、不同极化方式和更多精细地物类别的SAR影像翻译,并对翻译质量进行科学量化评价,完善遥感影像翻译基本理论,值得进一步研究和探索。

参考文献 (19)

目录

    /

    返回文章
    返回