留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

联合云检测与高通滤波的含云影像融合方法

余磊 张永军 孙明伟 朱昕宇

余磊, 张永军, 孙明伟, 朱昕宇. 联合云检测与高通滤波的含云影像融合方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
引用本文: 余磊, 张永军, 孙明伟, 朱昕宇. 联合云检测与高通滤波的含云影像融合方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
YU Lei, ZHANG Yongjun, SUN Mingwei, ZHU Xinyu. Fusion of Cloudy Opical Satellite Imagery by Cloud Detection and HPF Pass Filtering[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
Citation: YU Lei, ZHANG Yongjun, SUN Mingwei, ZHU Xinyu. Fusion of Cloudy Opical Satellite Imagery by Cloud Detection and HPF Pass Filtering[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505

联合云检测与高通滤波的含云影像融合方法

doi: 10.13203/j.whugis20140505
基金项目: 

国家自然科学基金 41322010

国家自然科学基金 41301519

国家863计划 2013AA12A401

详细信息
    作者简介:

    余磊, 博士生, 主要从事遥感影像融合、辐射校正研究。leiy@whu.edu.cn

    通讯作者: 张永军, 博士, 教授。E-mail:zhangyj@whu.edn.cn
  • 中图分类号: P237.3;TP751

Fusion of Cloudy Opical Satellite Imagery by Cloud Detection and HPF Pass Filtering

Funds: 

The National Natural Science Foundation of China 41322010

The National Natural Science Foundation of China 41301519

the National 863 Program of China 2013AA12A401

More Information
    Author Bio:

    YU Lei, PhD candidate, specializes in the theories and methods of fusion and radiometric normalization of remote sensing images. E-mail: leiy@whu.edu.cn

    Corresponding author: ZHANG Yongjun, PhD, professor. E-mail:zhangyj@whu.edn.cn
图(10) / 表(1)
计量
  • 文章访问数:  962
  • HTML全文浏览量:  37
  • PDF下载量:  281
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-11-28
  • 刊出日期:  2016-09-05

联合云检测与高通滤波的含云影像融合方法

doi: 10.13203/j.whugis20140505
    基金项目:

    国家自然科学基金 41322010

    国家自然科学基金 41301519

    国家863计划 2013AA12A401

    作者简介:

    余磊, 博士生, 主要从事遥感影像融合、辐射校正研究。leiy@whu.edu.cn

    通讯作者: 张永军, 博士, 教授。E-mail:zhangyj@whu.edn.cn
  • 中图分类号: P237.3;TP751

摘要: 云噪声是光学卫星影像的常见问题,为了衡量云噪声对影像融合带来的影响,本文以高通滤波融合算法为例进行分析,指出云与地物的均值相差越大,云对影像融合的影响越大,并提出了一种针对含云影像的融合方法,即联合云检测与高通滤波的含云影像融合方法。该方法首先利用NIR/R-OTSU云检测算法实时进行云检测,判别出影像中的云覆盖区域;其次采用局部优化策略利用高通滤波融合方法分块对非云区域进行处理,得到融合影像。利用资源三号多光谱和正视全色影像进行融合实验,结果表明,本文算法比高通滤波融合方法、亮度色度饱和度(intensity hue saturation,IHS)变换融合方法、Pansharp融合方法更适用于含云影像的融合处理。

English Abstract

余磊, 张永军, 孙明伟, 朱昕宇. 联合云检测与高通滤波的含云影像融合方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
引用本文: 余磊, 张永军, 孙明伟, 朱昕宇. 联合云检测与高通滤波的含云影像融合方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
YU Lei, ZHANG Yongjun, SUN Mingwei, ZHU Xinyu. Fusion of Cloudy Opical Satellite Imagery by Cloud Detection and HPF Pass Filtering[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
Citation: YU Lei, ZHANG Yongjun, SUN Mingwei, ZHU Xinyu. Fusion of Cloudy Opical Satellite Imagery by Cloud Detection and HPF Pass Filtering[J]. Geomatics and Information Science of Wuhan University, 2016, 41(9): 1160-1167. doi: 10.13203/j.whugis20140505
  • 地球表面1/3到1/2覆盖有云层,使得光学遥感相机拍摄到大量被云覆盖的影像[1]。目前常见的影像去云方法大多基于同一地区时相相近的两幅影像替换得到[2-3],但满足条件的影像较难获取,因此在实际应用过程中,大部分卫星影像上仍存在云区域。影像中云具有较高灰度值且较贫乏的纹理,它的存在不仅不利于影像的判读与解译,并且会影响影像的处理。

    作为遥感影像处理的一个重要步骤——影像融合,在多源数据的信息整合方面发挥着重要作用。现有的遥感影像融合方法大体分为投影-替换法、相对光谱贡献法、结构注入空间分辨率增强方法(Amélioration de laRésolution Spatiale par Injection de Structures,ARSIS)及混合模型法4类[4-6]。投影-替换法的代表方法有亮度色度饱和度(intensity hue saturation,IHS)方法、主成分分析(principal component analysis,PCA)方法等。相对光谱贡献法的代表方法有Brovey、合成变量比和P+XS等。ARSIS方法的代表方法有高通滤波(high pass filter,HPF)、小波和马尔科夫随机场(Markov random field,MRF)等。混合模型算法则试图吸收前三类算法的优势,算法较为复杂,离实用化还有距离。总的来说,现有方法大多是根据不同的问题,在这4类算法基础上进行的改进。虽然每种方法的原理和实现过程各有不同,但是在融合层次上,它们都属于像素级融合。文献[7]针对像素级融合构建了一种遥感数据像素级融合的统一数学模型,将融合方法以相同的数学形式进行表达,从而将融合问题分解为空间细节调制参数的构建与空间细节信息提取方式的研究。该统一模型的提出为融合方法的等价性研究提供了理论基础。

    为了研究云对影像融合带来的影响,本文以HPF融合算法为例进行分析。HPF算法具有良好的光谱保持能力,它的出现被认为是图像融合领域发展的一个重要转变[8-9]。本文从HPF融合的原理出发,分析云对影像融合的影响,并提出了联合云检测和高通滤波的含云影像融合方法。该方法首先利用NIR/R-OTSU的云检测算法实时进行云检测,判别出影像中的云覆盖区域, 然后基于局部优化策略,利用高通滤波融合方法分块对非云区域进行处理,得到融合影像。

    • HPF融合算法的基本思想为:利用高通滤波算子通过卷积方法提取高分辨率全色影像的高频空间细节信息,并将其按照一定的比例关系融入到较低分辨率的多光谱影像中,从而得到一幅高空间分辨率、高光谱分辨率的融合影像[10-11]

      (1)
      (2)

      式中,Po为某波段融合后结果;Pi为某波段融合前灰度值;H为高频空间细节信息分量; W为高频信息在对应多光谱波段的权值;SM为多光谱某波段的标准偏差;SH为高频空间细节信息分量的标准偏差;M为经验值,本文中M取0.3。

    • 根据文献[7]提出的统一数学模型以及HPF融合算法原理,下文将从多光谱影像标准差以及高频信息分量标准差的角度出发,分析云对影像融合的影响。

      本文利用不含云的真实卫星影像作为实验数据,通过模拟不同的云覆盖量分析云对融合结果的影响。选取一张3 000×3 000像素的资源三号多光谱影像作为实验数据,空间分辨率为6 m,利用红、绿、蓝波段组成真彩色影像,并将原16 bit影像转为8 bit,如图 1(a)所示。为了定量分析云对融合的影响,人工在影像中模拟不同的含云量,共做5组实验,含云量分别为10%、30%、50%、70%、90%,如图 1(b)~1(f)所示,图中灰色部分即为人工加入的云,同时为了分析云的灰度均值变化对融合带来的影响,假设云灰度均值存在三种情况,分别是200、100、50。对各影像进行均值、标准差统计,并计算相关的融合权值,结果如图 2所示。

      图  1  不同含云量影像示意图

      Figure 1.  Images with Different Amount of Cloud

      图  2  各影像均值、标准差及融合权值对比

      Figure 2.  Comparison of Mean, STDEV and Fusion Weight Between Images

      图 2可以得出如下结论:

      图  3  云判结果图

      Figure 3.  Results of Cloud Detection

      1)多光谱影像各波段灰度均值,随着含云量的增加逐渐增大;多光谱影像各波段的标准差,在云灰度均值为200和100时,随着含云量增加先变大后变小,在云均值为50时,各波段标准差随着含云量增大逐渐变小。此外,在相同云含量情况下,随着云均值的减小,标准差在逐渐减小。

      2)高频空间细节信息在各情况下均值都为零。高频信息的标准差均表现为先增大后减少的变化,并且随着云均值的增大,标准差逐渐变大。

      3)各波段融合权值,在云灰度均值与地物灰度均值相差较大时,随着含云量的变大,逐渐增大;当云灰度均值与地物灰度均值相差较小时,含云量对融合权值带来的影响较小。此外,云的灰度均值与地物的灰度均值相差越大,对融合权值带来的影响越大。

      上述结论是由模拟数据分析得到,下面从理论角度分析产生上述现象原因。

      1)在影像整体色调分布较为均匀的情况下,多光谱影像各波段均值mean近似满足式(3),标准差SM表达公式满足式(4)。

      (3)
      (4)

      式中,N为像素总数;m为地物像素个数;n为云像素个数;a为地物灰度均值;b为云灰度均值;xi为第i个地物像素的灰度值;yj为第j个云像素的灰度值。

      整理得:

      (5)

      由式(5)可以得到:

      (1)在相同m情况下,(ab)2的值越小,标准差越小,即在相同含云量情况下,地物均值与云均值的差值越小,标准差越小。此外,在(ab)2的值较小的情况下,由于(x12+x22+…+xm2)随着m的减小而减小,因此标准差也随之减小,即在地物均值与云均值差值较小的情况下,含云量越大,标准差越小。

      (2)在ab固定且相差较大的情况下,即地物均值与云均值固定且差值相差较大的情况下,由

      (6)

      所以,

      (7)

      因此多光谱影像标准差分布于两个抛物线之间,当m趋近0时,SM2趋近于左不等式;当m趋近N时,SM2趋近于右不等式,标准差函数具有类似抛物线的性质。

      2)高频信息是由高通滤波模板卷积得到,它们的和为零,因此各情况下均值都为零。高频空间细节信息的标准差SH表达公式为:

      (8)

      由于云具有相近的灰度值,它们的高频信息通常表现为零值,但是处于云与地物区域交界处的云像素以及地物像素,其高频信息不为零,它们的大小与滤波器的形状、云与地物区域交界的形状,以及云像素灰度值与地物的灰度值有关。为了简化问题,假设交界处各像素的高频信息在统计意义上与云均值以及地物均值有关,且均值相差越大,高频信息越大。将交界处各像素点的高频信息对标准差带来的影响设为D,则式(8)可以表示为:

      (9)

      式中,zi为非交界处的地物高频信息;L为非交界处的地物像素个数。

      m趋近于N,即含云量较小时,(z12+z22+…+zL2)与(z12+z22+…+zN2)相差不大,但因D的存在导致SH增大。而后随着m减小,(z12+z22+…+zL2)变小,而D的变化不大,因此SH减小,并且D随着云均值与地物均值差值的增大而增大,使得SH随之增大(如图 2(h))。

      3)虽然云覆盖量及云灰度均值的变化对于多光谱影像标准差以及高频信息标准差的影响不尽相同,但是在整体趋势上,随着影像含云量增大,高频信息的标准差递减,多光谱影像标准差先递增后递减,因此融合权值也呈现出先递增后递减的变化规律。

      理论分析进一步验证了上述结论的正确性与普适性。此外笔者也对§2节中的实验数据进行了类似分析,也得到了相似的结论,由于篇幅限制,不再赘述。通常来讲,云灰度均值与地物灰度均值存在较大差别,均值差异越大,融合权值越大,在进行融合处理时,融入的高频空间细节信息越多。由于高频分量体现的是全色影像的空间细节信息,它的增多会使得融合结果的空间细节信息进一步增强甚至出现突变,反而会影响到影像整体的协调性,导致影像产生光谱畸变。因此,在对含云影像进行融合处理时,需要消除云对融合的影响。

    • 国内外学者对云检测已进行了大量研究[12-15],大体分为光谱阈值法、纹理分析法以及将两者结合起来的方法。考虑到融合处理时云检测是辅助性方法,必须简单高效,因此本文选用光谱阈值法。针对本文使用的资源三号多光谱影像,选用文献[15]中适用于资源02 C影像的近红外/红光比值云检测方法(NIR/R方法),因为资源02C影像与资源三号影像具有近似相同的光谱成像特性。

      根据NIR/R方法对资源三号多光谱影像进行云检测实验,结果如图 3(b)所示,可以看出,大部分云区域被判别出来,但亦有地物被误判为云,如图 3(b)中绿色水体和浅红色裸露土地区域。为进一步优化云检测效果,本文在NIR/R方法的基础上,加入最大类间方差方法(OTSU)[16]。OTSU方法是一种自适应确定阈值的方法,它将影像分为目标与背景两个部分,是图像分割中阈值选取的最佳算法之一。NIR/R-OTSU云检测方法的流程为:首先通过NIR/R方法得出初始云区域,然后利用OTSU方法对初始云区域进行再次分割,得到更为精确的云判阈值,从而得到更为精确的云区域(如图 3(c)所示)。

      图 3中可以看出,NIR/R-OTSU方法的云检测结果仍存在未被判别出的云,如图 3(a)中右下角的薄云区域,但总体上大团厚云被判别出来,因为薄云的灰度值较低,且数量较少,它的存在对融合的影响较小。更高精度的云检测结果意味着更多的检测策略、更多的时间花费。由于本文是以降低云对融合的影响为目的,云检测是种辅助性算法,需要兼顾效率与精度,因此使用NIR/R-OTSU云检测算法。

    • 传统HPF融合算法在计算融合权值时采用的是多光谱影像以及高频信息分量的整体均值和标准差。由于地物分布的不均衡性,全局统计得到的融合权值不一定适合局部影像融合的需求,进而引发偏色等一系列问题。考虑到影像像元的空间差异性,局部处理可能会比全局处理具有更大的优势[5]。因此,本文将局部分块优化处理策略引入HPF融合算法,将影像分为若干w×w大小的正方形块,逐块计算融合权值。影像的分块大小与多光谱影像和全色影像的空间分辨率比值有关。设空间分辨率比值为r,综合考虑融合处理效果与效率,本文实验中取w=2r+1。为了避免分块优化处理带来的分块效应,各分块之间存在20%的重叠,并采用双线性内插方法来获得每个像素的融合权值。

      图  4  整体算法流程示意图

      Figure 4.  Flowchart of the Entire Process

    • 本文选用两景拍摄于广东地区、一景拍摄于山西地区的资源三号正视和多光谱影像作为实验数据。实验影像中覆盖有植被、水体、山地、房屋等地物。将实验数据分为三组,数据1影像大小为19 987×20 070像素(见图 3(a)),数据2影像大小为19 997×20 088像素(见图 5(a)),数据3影像大小为20 467×20 540像素(见图 6(a)),三组影像都经过正射纠正且空间分辨率被重采样为3 m。本文分别对三组实验数据采用4种融合方法进行实验,分别是本文方法、HPF融合算法、IHS变换融合算法、Pansharp融合算法。实验结果如图 5~10所示。

      图  5  不同融合方法结果影像细节对比图(数据1)

      Figure 5.  Detail Comparison of Fusion Results Based on Different Methods (Data 1)

      图  6  不同融合方法的处理结果(数据2)

      Figure 6.  Result Images by Different Fusing Methods(Data 2)

      下文从主观评价和客观评价[17]两个方面对实验结果进行分析。

    • 图 67可以看出,在总体范围上本文方法融合结果的光谱特征更接近于融合前多光谱影像,IHS方法结果的偏色最为严重。根据图 8~10,进一步从细节上对比这4种方法的优劣,可以看到,本文方法的融合结果影像不仅在光谱特征上与融合前多光谱影像近乎一致,而且在空间分辨率上有了很大提高。而HPF融合结果、IHS融合结果以及Pansharp融合结果虽然在空间分辨率较之前多光谱影像有所提高,但是其光谱特征在不同程度上出现偏色。图 8图 5中各融合结果与原始多光谱影像的差分,并按照相同阈值进行相同拉伸得到的结果,可以更为直观反映各方法融合影像与原始多光谱影像之间的偏色程度。因此,通过目视判读,本文方法的融合结果在空间细节信息的增强与光谱信息的保持两方面效果更优。

      图  7  不同融合方法的处理结果(数据3)

      Figure 7.  Result Images by Different Fusing Methods(Data 3)

      图  8  不同融合方法结果影像细节差分对比图(数据1)

      Figure 8.  Detail of Difference of Fusion Results Based on Different Methods (Data 1)

      图  9  不同融合方法结果影像细节对比图(数据2)

      Figure 9.  Detail Comparison of Fusion Results Based on Different Methods (Data 2)

      图  10  不同融合方法结果影像细节对比图(数据3)

      Figure 10.  Detail Comparison of Fusion Results Based on Different Methods (Data 3)

    • 在进行目视判读与分析后,再通过统计参数对实验结果进行客观分析。本文采用均值、标准偏差、信息熵、光谱扭曲程度[17-18]、通用图像质量评价指标UIQI [19]和相关系数[18]作为衡量标准。

      各融合结果的统计参数如表 1所示(在计算参数时,引入本文云检测算法,将云区域排除在外不进行统计,限于篇幅,仅展示数据1的统计结果)。数据1原始多光谱影像的均值和标准方差分别是272.950、72.370。

      表 1  不同融合方法对数据1处理得到的融合结果统计特性

      Table 1.  Statistical Properties of the Fused Images by Different Methods

      评价指标 融合方法
      本文方法 HPF方法 IHS方法 Pansharp方法
      均值 273.509 276.341 340.459 277.064
      标准方差 71.815 93.436 164.369 111.073
      信息熵 7.345 6.587 8.790 8.279
      光谱扭曲度 5.074 19.253 46.344 15.210
      UIQI 0.988 0.814 0.605 0.677
      相关系数 0.988 0.827 0.626 0.753

      表 1中可以发现:

      1)本文算法融合影像的均值和方差与原始多光谱影像最为接近,说明本文方法得到的融合结果影像其光谱特征与原始多光谱影像较为接近,这也与目视判别效果一致;HPF融合结果与Pansharp融合结果的均值和方差都略大于原始多光谱影像,说明它们两者结果均存在轻微偏色;IHS变换融合结果的均值和偏差均远大于原始多光谱影像,说明其偏色最为严重。

      2)本文算法融合影像的信息熵小于IHS变换、Pansharp算法融合影像,这是由于信息熵反映了空间信息的丰富程度,而不同融合算法的原理不同导致相应融合影像的空间信息提升能力有所不同,而本文算法在空间信息提升方面略逊于这两种算法,但明显优于HPF融合结果,说明本文方法相对于HPF方法在排除云对融合带来的影响后,可以显著提高融合影像的空间信息。

      本文方法融合结果的光谱扭曲度最小,说明本文方法融合影像的光谱特征与原始影像最为接近,远优于其他三种方法。从UIQI以及相关系数来看,本文方法融合影像融合质量最好,与原始多光谱影响相关性最高。

      综上,本文方法所得融合影像在空间细节信息增强与光谱信息保持方面的综合性能最优。

    • 本文针对含云的光学卫星影像,以HPF融合算法为例,分析了云噪声对影像融合的影响,指出对于含云影像,特别是云均值与地物均值相差较大的影像,必须排除云对融合带来的干扰,以便获得良好的融合结果,并提出了一种针对含云光学影像的融合方法,即联合云检测和高通滤波的含云影像融合方法。本文提出的针对含云影像的融合解决方案,适用于但不限于HPF方法,可为其他融合算法提供一定参考。

参考文献 (20)

目录

    /

    返回文章
    返回