一种基于域自适应泛化增强的云检测方法

戴佩玉, 李世忠, 季顺平, 任妮

戴佩玉, 李世忠, 季顺平, 任妮. 一种基于域自适应泛化增强的云检测方法[J]. 武汉大学学报 ( 信息科学版), 2025, 50(1): 110-119. DOI: 10.13203/j.whugis20220435
引用本文: 戴佩玉, 李世忠, 季顺平, 任妮. 一种基于域自适应泛化增强的云检测方法[J]. 武汉大学学报 ( 信息科学版), 2025, 50(1): 110-119. DOI: 10.13203/j.whugis20220435
DAI Peiyu, LI Shizhong, JI Shunping, REN Ni. A Cloud Detection Method with Domain Adaptation Enhanced Generalization Capability[J]. Geomatics and Information Science of Wuhan University, 2025, 50(1): 110-119. DOI: 10.13203/j.whugis20220435
Citation: DAI Peiyu, LI Shizhong, JI Shunping, REN Ni. A Cloud Detection Method with Domain Adaptation Enhanced Generalization Capability[J]. Geomatics and Information Science of Wuhan University, 2025, 50(1): 110-119. DOI: 10.13203/j.whugis20220435

一种基于域自适应泛化增强的云检测方法

基金项目: 

国家自然科学基金 42171430

详细信息
    作者简介:

    戴佩玉,博士,主要研究方向为基于深度学习的遥感影像处理、农业遥感数据分析与应用。pydai@whu.edu.cn

    通讯作者:

    季顺平,博士,教授。jishunping@whu.edu.cn

A Cloud Detection Method with Domain Adaptation Enhanced Generalization Capability

  • 摘要:

    由于遥感传感器光谱范围、成像条件、成像时间等差异,不同传感器获得的遥感影像之间普遍存在着色彩和光谱差异,导致利用开源数据集预训练的云检测模型往往难以直接应用于当前目标影像的云检测任务。提出了一种基于域自适应的云检测方法,实现目标数据集遥感影像与现有训练数据集影像之间的光谱映射,使得不同传感器、不同地理区域的目标数据集与训练数据集尽可能相似,以提高深度学习模型的泛化能力,以及预训练云检测模型在实际应用中的鲁棒性。具体地,所提的基于域自适应的云检测框架以一种基于卷积神经元网络的云检测模型作为预测算法,以循环生成对抗网络作为源域和目标域影像之间的光谱迁移算法。在全球范围内分布的高分二号、陆地卫星(land satellite,Landsat)7、Landsat 8等数据间的跨域实验,证明了所提方法的有效性和先进性。

    Abstract:
    Objectives 

    Due to the differences in spectral range, imaging conditions and imaging time of remote sensing sensors, there are usually color and spectral differences between remote sensing images obtained by different sensors. Therefore, it is difficult to directly apply the model pretrained with open-source datasets for the cloud detection task on current target images.

    Methods 

    A domain adaptive cloud detection algorithm is proposed, which realizes the spectral mapping between the target remote sensing images and the images of existing training datasets, and improves the generalization ability and robustness of the pretrained deep learning cloud detection model in practical applications. Specifically, the domain adaptation based cloud detection framework uses a convolutional neural network based cloud detection model as the prediction algorithm, and CycleGAN as the spectral domain transfer between images in the source domain and the target domain.

    Results 

    The cross-domain experiments among Gaofen‑2, land satellite (Landsat) 7, Landsat 8 have proved the effectiveness and advance of the proposed method. (1) When the test dataset and training dataset are obtained from the same sensor, deep learning-based cloud detection algorithms obtain better results than the traditional cloud detection algorithms. (2) When cloud detection models trained on images from the source dataset are directly used to detect test images of the target dataset, the accuracy decreases obviously. (3) When the test images are pre-transformed by the introduced domain transfer algorithm, the accuracy of the cloud detection results is significantly improved and much better than the traditional methods. In addition, we discovered that when the spectral range of source training images covers the spectral range of test images, the accuracy of the cloud detection results decreases only slightly, but in the opposite case, the accuracy of the cloud detection results decreases significantly.

    Conclusions 

    Domain transfer can map images between the test dataset and the training dataset at the pixel level, so that the distributions of them are similar both in spectral and spatial space. By introducing domain adaptation, the deep learning-based cloud detection method can make full use of the pre-trained models from existing datasets, which greatly reduces the demand on preparation of target labels.

  • 遥感对地观测技术以其广域性、时效性、便捷性和手段多样性等特点,在目标识别、变化检测、救灾决策、制图等领域受到广泛关注。针对不同的应用需求,各类遥感传感器的数量在不断增加。例如,陆地卫星(land satellite, Landsat)系列、中分辨率成像光谱仪(moderate-resolution ima‑ging spectroradiometer,MODIS)、哨兵(Sentinel)系列、中国的高分系列等。美国地质勘探局的一项研究中表明,全球范围内年平均云覆盖率达到66%[1]。从卫星上获取的遥感影像中存在云和云阴影所遮挡的低利用价值或无效像元。这些像元会对遥感影像信息提取、数据融合、影像解译等后续工作带来严重影响。因此,对于含云遥感影像中的无效像元进行准确识别和排除是必要的前期工作。

    传统的云检测算法[2-3]通常从云的不规则形状、高亮的纹理信息、云阴影之间的相似结构[4]、上下文信息[5]等浅层特征出发,利用人工设计的空间特征、波段计算和统计规则[6],探索不同波段之间隐含的光谱特征,结合特征阈值[7-9]和经典机器学习分类器[10-13]对这些浅层光谱特征[14]进行分类,实现云区的自动检测。但是,人工设计浅层特征需要依赖研究人员丰富的经验,并且人工寻找最优阈值费时费力。且参数的选择非常敏感,当遥感影像中的天气状况或者地物类型发生变化时,云检测精度往往呈现下降。此外,各类传统算法通常针对特定传感器的遥感影像,鲁棒性不强。例如,目前常用的Fmask系列算法中Fmask 1.0[15]和Fmask 3.0[16]适用于Landsat 4~8系列的影像,Fmask 2.0[17]和Fmask 4.0[18]中增加了对于Sentinel影像的云检测任务;多特征融合算法(multi-feature combined cloud and cloud shadow detection,MFC)[19]是一种针对4波段的高分一号(Gaofen-1,GF-1)数据的云检测算法,加拿大遥感中心的云检测算法[11]专门为MODIS卫星遥感影像设计;动态阈值云检测算法[10]则只能用于检测甚高分辨率辐射计影像中的云。

    近年来,基于深度学习的遥感影像云检测算法快速发展,其优越的性能依赖于丰富的特征表达,通过加深或者加宽级联式神经网络层,提取传统云检测算法难以涉及的高层语义特征。从方法论的角度出发,基于深度学习的云探测算法一般分为3类:(1)基于像素映射的云检测算法,例如文献[20]提出的云掩膜卷积网络。该方法将遥感影像和标签裁成33×33的小块,构建遥感影像块和对应标签块像素的一一对应模型,深度学习网络模型的最后一层采用ReLU激活函数构建图像与标签之间的对应关系。(2)基于图像分类的云检测算法,例如文献[21]提出的基于深度网络的多层云检测网络。这类算法的准确性主要依赖于前端分块操作中的分割算法,当地物块中同时包含云层和非云层像素时,分类误差较大。(3)基于语义分割的云检测算法[22-29]。这类算法是目前主流的算法,包括多尺度云检测网络[22]、基于卷积神经网络(convolutional neural networks, CNN)的云检测网络系列[23-24]、基于弱监督深度学习的云检测[26]、多尺度特征CNN云检测网络(multiscale features CNN,MF_CNN)[25]、密集连接全卷积神经网络(cloud detection neural network,CDN)[27]等。一般以通用的特征提取或语义分割网络作为主干网络,考虑特征的不同空间尺寸和感受野,结合多尺度特征融合、空洞卷积、空洞空间金字塔池化模块、注意力机制等,选取sigmoid、softmax等激活函数作为分类器,进行像素级的语义分割。

    然而,当前基于深度学习的云检测算法受数据驱动,要求训练数据集和目标数据集具有相似的光谱和空间结构分布。在处理跨区域或跨传感器数据时,往往性能急剧下降。增强训练模型的泛化能力是应对该问题的主流解决方案。近年来,针对云检测算法模型迁移能力增强的研究较少,主要从两个方面开展:(1)增加训练样本,将多个不同传感器下获得的图像一并纳入训练集。例如文献[30]在进行Landsat系列影像和Sentinel影像云检测模型的泛化能力研究时,选择两种数据一起参与模型训练,以达到在Sentinel测试影像上也能获取较好检测结果的目的。(2)在不同传感器下获得的图像/标签之间建立映射关系。例如,文献[31]考虑到影像之间的空间分辨率的差异,提出了一种针对Landsat 8和Proba-V数据云检测算法。但是这种方法的模型迁移阶段仍然需要大量的目标域影像标签数据,模型迁移问题并没有得到有效解决。

    针对以上问题,本文提出一种基于域自适应方法的云检测算法,无需目标测试集的标签,利用已有数据集(源域)上训练的模型,通过目标影像(目标域)与训练集影像之间的风格迁移,实现目标数据集上的云探测任务;引入循环生成对抗网络 (cycle-consistent generative adversarial network,CycleGAN)[32]算法实现不含标签的目标影像与已有训练集之间的光谱特征映射,将两者在深度神经元特征空间中对齐,从而提升云检测模型在实际应用中的鲁棒性。在高分二号、Landsat 7和Landsat 8等不同传感器且全球不同地理区域的影像上进行验证,结果表明,引入的域自适应模块可以实现不同数据集之间的光谱特征迁移,有效提高已训练模型的鲁棒性和可重复利用性。

    基于域自适应算法的云检测框架的流程见图1。整个框架包括3个步骤:(1)利用已有的带标签的数据集(源域A)训练云检测模型,得到Model_A;(2)构建训练集影像和目标数据集中不含标签的遥感影像(目标域B)之间的风格映射关系,将目标影像转换为具有训练数据特征的新合成影像。具体地,将目标域B与源域A同时输入图像风格迁移网络中进行训练,生成兼具源域A风格(在遥感影像中即影像的光谱信息)和目标域B内容(遥感影像中的空间信息)的合成影像。(3)在合成的目标数据集影像上执行云检测任务。将源域A上已经训练好的云检测模型Model_A直接应用于合成影像,预测目标域B中云的位置。

    图  1  基于域自适应算法的云检测算法框架
    Figure  1.  A Cloud Detection Framework Based on Domain Adaptive Algorithm

    本文提出的基于域自适应的云检测框架包括图像风格迁移和云检测两个步骤,每个步骤之间相互独立。考虑到源域和目标域影像之间并非一一对应,即在地理位置上不对齐,因此本文引入可针对非对齐数据的CycleGAN 作为图像风格迁移的算法。

    CycleGAN由两个镜像的生成对抗网络(generative adversarial network,GAN)结构构成一组闭环。两个GAN网络共享两个生成器GF,同时每个GAN网络自带一个判别器,生成器负责将输入的影像转换成其他风格的尽可能真实的影像,而判别器旨在成功判别出生成器生成的虚假影像,通过两者的相互博弈,生成器的数据转换能力和判别器的真假鉴别能力逐步提升,直到判别器无法辨别出生成器生成的影像为止,对抗达到动态平衡,如图2所示。具体的流程以Landsat 7数据集和Landsat 8数据集上的域自适应为例:首先从Landsat 7数据集中获取输入图像X,并将其输入到正向生成器G中,生成一个具有Landsat 8数据集风格的合成影像GX),然后利用判别器Dy对生成的影像进行判别,判别它是否属于Landsat 8数据集;接着将合成影像GX)输入逆向生成器F中,重新将合成影像转换成具有原始输入内容以及Landsat 7数据集风格的影像Cyclic X。在理想情况下,经过两次正逆生成器,输出的影像与原始的输入是相同的,但在实际情况中Cyclic X与输入X之间存在着重建损失。因此,在Landsat 7数据集向Landsat 8数据集风格迁移的过程中,存在着以下两种误差:

    LGANG,Dy,X,Y=ΕY~P(Y)[lnDy(Y)]+    ΕX~P(X)[ln1-Dy(G(X))] (1)
    LcycXG=ΕX~P(X)(F(G(X))-X1) (2)

    式中,P表示概率分布;LGAN表示计算风格迁移过程中的判别误差;Y为Landsat 8数据集中的影像;E表示数学期望;LcycX计算了影像X与重建结果FGX))之间的L1范数误差。

    图  2  基于CycleGAN的遥感影像域自适应算法
    Figure  2.  CycleGAN-Based Domain Adaptive Algorithm for Remote Sensing Images

    实现从Landsat 8数据集向Landsat 7数据集的风格迁移,其流程与以上类似。存在重建误差和判别误差两种误差项:

    LGANF,Dx,X,Y=ΕX~P(X)[lnDx(X)]+    ΕY~P(Y)[ln1-Dx(G(Y))] (3)
    LcycYF=ΕY~P(Y)[G(F(Y))-Y1] (4)

    最终的损失为:

    L(G,F,Dx,Dy)=LGAN(G,Dy,X,Y)+     LGAN(F,Dx,X,Y)+LcycX(G)+LcycY(F) (5)

    整个损失函数的优化目标为:

    G*,F*=arg minG,FmaxDx,DyL(G,F,Dx,Dy) (6)

    式中,G*表示生成器G的最佳优化目标;F*表示生成器F的最佳优化目标。

    除了图像风格迁移算法,云检测模型对于最终结果也至关重要。本文选择模型参数少且效果好的CDN作为云探测算法的基准。CDN是一个类UNet的结构,从信息流传递和多次重复利用特征的角度出发,引入密集连接结构,既减少了参数量,又提高了精度;同时引入通道注意力机制,将提取得到的多维特征按照不同维度特征之间的关系计算重要性权重,对于作用效果小的特征赋值小权重,对于对结果影响很大的特征赋值大权重,发挥多维特征的不同作用;引入多尺度特征融合模块,将解码层提取得到的多尺度特征分别进行上采样融合,参与最后的语义分割,充分发挥不同尺度特征的作用,适用于尺度不一的云层提取。具体结构详见文献[27]。

    为验证不同传感器下基于域自适应的云和云阴影探测算法的性能,选取大规模开源云检测数据集Landsat 7的Irish数据集[6]http://dx.doi.org/10.5066/F7KH0KDG)、Landsat 8的Biome数据集[33]http://dx.doi.org/10.5066/F79Z930Q)以及GF-1 宽幅相机(wide field of view came‑ra,WFV)的GF-WFV数据集[19]http://sendima-ge.whu.edu.cn/en/mfc/)进行实验,具体数据分布如表1所示。3个数据集的影像广泛分布在全球各个大洲。为了保证数据的统一性,Landsat 8和Landsat 7数据集上选取共有的6个波段:蓝、绿、红、近红外波段以及两个短波红外波段,即Landsat 7中的第1、2、3、4、5、7和Landsat 8中的第2、3、4、5、6、7波段,在进行GF传感器数据和Landsat系列数据的域自适应研究时,选取共有的蓝、绿、红、近红外波4个波段进行实验。

    表  1  实验数据分布
    Table  1.  Distribution of Experimental Data
    数据集训练集/幅验证集/幅测试集/幅
    Irish695186
    Biome482424
    GF-WFV403325
    下载: 导出CSV 
    | 显示表格

    表1所示,在Landsat 7 Irish数据集中,选取69幅影像作为训练集,51幅作为验证集,剩余的86幅为测试集,其中18幅没有进行薄云和厚云的区分,将其均划分在了测试集中;Landsat 8 Biome数据集中,48幅作为训练集,24幅作为验证集,剩余的24幅作为测试集;GF-WFV数据集中,40幅作为训练集,33幅作为验证集,25幅作为测试集。考虑到设备的性能,无论是在风格迁移还是在云检测中,都将训练集和验证集的影像裁剪成256×256像素大小的块,块间重叠度为10%。裁剪后,Irish数据集共有约7万块,Biome数据集约8.8万块,GF-WFV数据集约40.8万块。对于测试集,为了缓解实验结果中出现的拼接缝情况,测试影像被裁剪为1 024×1 024像素大小预测之后再拼接到原始尺寸。算法在Windows 10环境的Keras框架下实现,显卡为NVIDIA 11 GB 1080Ti,在云检测算法模型的训练过程中,迭代次数设置为10,在数据风格迁移的过程中,迭代次数设置为5。

    表2给出了使用不同模型和算法,包括传统方法和深度学习方法,在Landsat 7 Irish数据集上云检测结果的定量评价。Fmask 4.0属于传统算法,使用遥感影像中的所有波段,CDN和MF_CNN为基于深度学习的云检测算法,U‑Net[34]为基于深度学习的通用语义分割算法。除了目视评价之外,采用交并比、召回率、误检率和总体准确率等几个通用指标对云检测结果进行定量评价。

    表  2  Landsat 7 Irish测试集上的云检测结果定量评价
    Table  2.  Quantitative Evaluation of Cloud Detection Results on the Landsat 7 Irish Dataset
    方法交并比召回率误检率总体准确率
    Fmask 4.00.813 60.976 60.170 30.940 0
    U‑Net(7-7)0.893 00.939 00.052 00.970 2
    MF_CNN(7-7)0.834 70.587 20.096 10.871 3
    CDN(7-7)0.903 60.940 20.045 10.978 8
    U‑Net(8-7)0.206 90.201 60.112 40.786 0
    MF_CNN(8-7)0.381 90.398 10.335 50.837 3
    CDN(8-7)0.478 40.613 40.315 10.827 5
    U‑Net(8-7 ST)0.851 20.933 40.093 80.956 7
    MF_CNN(8-7 ST)0.808 80.957 80.161 30.941 1
    CDN(8-7 ST)0.832 00.928 00.110 60.951 7
    注:7-7表示训练和测试都用Landsat 7; 8-7表示在Landsat 8训练的模型直接预测Landsat 7;8-7 ST表示采用本文的风格迁移方法,用Landsat 8训练的模型预测Landsat 7。
    下载: 导出CSV 
    | 显示表格

    可以得出3个结论:(1)首先,当在训练和测

    试工作都是在Irish数据集上进行时,3种基于深度学习的云检测方法都获得了相对较好的结果。CDN表现最好,交并比比Fmask 4.0高9%,并且产生的误检最少。U‑Net比CDN略差,MF_CNN次之,Fmask 4.0最差。(2)当在Biome数据集上训练的模型被直接用来检测Irish数据集影像上的云时,3种基于深度学习的方法准确率明显下降。U‑Net的交并比下降了近60%,CDN的交并比下降了近40%,平均误检率上升了近19%。这证明了不同传感器下的数据集之间因光谱波长、成像条件、图像内容等造成的数据分布差异,大大地影响了深度学习模型的迁移能力。(3)采用基于CycleGAN的遥感影像风格迁移算法将Irish测试数据集图像转换为与训练图像具有相同色彩和波段的合成影像后,云检测精度明显上升,并且基本接近在原数据集中训练的模型测试的结果。这证明了本文提出的框架和引入的域自适应模块的有效性。

    图3表2所对应的云检测结果示例图。该影像于2001年5月31日获得,包含不同类型的云,如层状云和卷云。从图3中可以看出,Fmask 4.0的云检测结果有冗余,边缘信息完全丢失,这也是表2中其高召回率的主要原因。MF_CNN的结果过于平滑,这可能是由于它只关注不同感受野的多尺度特征,而忽略了不同空间分辨率的多尺度特征,此外,冗余的特征也没有得到有效取舍。CDN和U‑Net的结果与真实标签更相似,边缘更准确。当直接利用在Biome数据集上训练的模型来测试Irish数据集的图像时,3种基于深度学习的算法都完全不能获得结果,其中U‑Net和MF_CNN表现出严重的漏检,相反,CDN表现出严重的错检。在测试图像上进行风格迁移后,3种基于深度学习的方法都能完整且准确地检测出云层区域。MF_CNN的结果仍然过于平滑,而U‑Net和CDN的结果则相对更准确。

    图  3  Landsat7 Irish数据集测试结果示例图
    Figure  3.  Results for the Landsat 7 Irish Dataset

    表3展示了在Landsat 8 Biome数据集上的云检测结果。与之前得到的结论相似:(1)与传统算法Fmask 4.0相比,3种基于深度学习的云检测算法给出了更准确的结果。CDN的结果的交并比比Fmask 4.0的结果高7%,而MF_CNN和U‑Net的云检测结果在Biome数据集上很接近。(2)当使用在Irish数据集上训练的模型直接测试Biome数据集中的图像时,各项评价指标明显下降。然而,与Irish数据集上的下降程度相比,在Biome数据集上的下降相对较小,交并比平均下降了0.25。其原因可能是:Irish数据集中训练样本量更多,因此模型更加的鲁棒;且从光谱波段的范围(图4横坐标为波谱范围,纵坐标为影像类型)角度分析,Landsat 7影像的光谱波长范围几乎完全包含了Landsat 8影像对应波段的波长,因此模型的鲁棒性更强。(3)在测试数据集上进行风格迁移操作后,3种基于深度学习的方法得到的结果甚至比直接在Biome数据集上训练得到的模型的结果更好,主要原因也在于Irish数据集样本量大,波段覆盖Biome数据。

    表  3  Landsat 8 Biome测试集上的云检测结果定量评价
    Table  3.  Quantitative Evaluation of Cloud Detection Results on the Landsat 8 Biome Dataset
    方法交并比召回率误检率总体准确率
    Fmask 4.00.823 40.961 90.148 80.947 0
    U‑Net(8-8)0.848 20.969 80.128 80.958 4
    MF_CNN(8-8)0.841 10.987 50.161 00.949 9
    CDN(8-8)0.890 50.976 10.089 70.969 5
    U‑Net(7-8)0.607 10.947 50.371 80.868 0
    MF_CNN(7-8)0.476 40.989 80.521 30.727 3
    CDN(7-8)0.642 70.951 10.335 30.886 4
    U‑Net(7-8 ST)0.872 50.913 70.049 10.966 5
    MF_CNN(7-8 ST)0.827 00.920 40.109 40.952 5
    CDN(7-8 ST)0.862 70.898 40.044 00.964 2
    注:8-8表示训练和测试都用Landsat 8; 7-8表示在Landsat 7训练的模型直接预测Landsat 8;7-8 ST表示采用本文的风格迁移方法,用Landsat 7训练的模型预测Landsat 8。
    下载: 导出CSV 
    | 显示表格
    图  4  Landsat 7、Landsat 8和GF影像的波谱范围对比图
    Figure  4.  Bands of Landsat 7, Landsat 8 and GF Images

    图5表3对应的示例结果。Landsat 7风格的风格迁移影像(图5(c))在色调上与Landsat 7影像基本一致。在3种基于深度学习的云检测算法中,无论使用在Biome数据集上训练的模型或直接使用Irish数据集上训练的模型,检测Biome测试集的云都可以获得相对令人满意的结果。利用Irish数据集模型时精度下降的最主要原因在于漏检,无论是U‑Net、CDN还是MF_CNN,均存在部分漏检现象。

    图  5  Landsat 8 Biome数据集测试结果
    Figure  5.  Results of Landsat 8 Biome Dataset

    由于Landsat 7图像和Landsat 8图像的空间分辨率相同(30 m),为了验证模型在不同空间分辨率的影像上的迁移能力,在Landsat 7 Irish数据集上训练和GF-WFV数据集(16 m空间分辨率)上进行了实验。针对GF影像,利用专为其设计的MFC算法[19]作为传统云检测算法的代表。

    表4给出在GF-WFV数据集上不同云检测算法结果的定量评价。与在相同空间分辨率的影像上的实验结论相同:(1)在GF-WFV数据集上进行训练和测试时,3种基于深度学习的云检测算法都能获得比传统算法更优的结果。(2)当直接利用在Irish数据集中30 m空间分辨率图像上训练的云检测模型来检测GF-WFV数据集中16 m空间分辨率的图像时,精度有所下降。由于在实验中Landsat 7和GF-1影像选择的4个波段上,二者的光谱范围基本相同,所以准确率下降的比例并不明显。(3)将GF-WFV中的测试影像迁移到Irish数据集中影像的风格后进行测试,云层检测结果的准确性明显提高,且远优于传统方法,这证明了域自适应模块在不同分辨率影像迁移中的有效性。

    表  4  GF-WFV测试集上的云检测结果定量评价
    Table  4.  Quantitative Evaluation of Cloud Detection Results on GF-WFV Dataset
    方法交并比召回率误检率总体准确率
    MFC0.802 90.958 20.081 70.940 2
    U‑Net(GF-GF)0.814 40.902 30.106 80.951 8
    MF_CNN(GF-GF)0.861 10.919 20.068 40.965 3
    CDN(GF-GF)0.876 30.979 60.069 50.968 3
    U‑Net(7-GF)0.396 80.416 60.196 60.851 6
    MF_CNN(7-GF)0.553 80.576 40.166 30.891 1
    CDN(7-GF)0.603 80.611 40.120 00.906 0
    U‑Net(7-GF ST)0.862 30.882 70.051 80.955 5
    MF_CNN(7-GF ST)0.827 10.876 40.079 70.957 6
    CDN(7-GF ST)0.872 00.820 60.022 20.967 8
    注:GF-GF表示训练和测试都用GF数据集中影像; 7-GF表示在Landsat 7训练的模型直接预测GF影像;7-GF ST表示采用本文的风格迁移方法,用Landsat 7训练的模型预测GF影像。
    下载: 导出CSV 
    | 显示表格

    表5给出了GF数据训练迁移到Landsat 7 Irish数据集上的测试结果,同样可以得出与之前相同的结论。图6给出了GF-WFV数据集上的云检测结果。当直接使用在Irish数据集上训练的模型测试GF图像时,除了有部分漏检现象,几种基于深度学习的方法基本上都能检测到云层,在该数据集上漏检是误检率高的主要原因。而在图7中,当直接用在GF-WFV数据集上训练的模型测试Irish数据集中的图像时,也能基本检测到云层。误检率较高和交并比较低的主要原因是误检。

    表  5  Landsat 7测试集上的云检测结果定量评价
    Table  5.  Quantitative Evaluation of Cloud Detection Results on the Landsat 7 Dataset
    方法交并比召回率误检率总体准确率
    Fmask 4.00.813 60.976 60.170 30.940 0
    U‑Net(7-7)0.821 40.861 80.054 00.952 8
    MF_CNN(7-7)0.838 40.896 30.071 50.955 4
    CDN(7-7)0.862 90.880 90.038 50.970 0
    U‑Net(GF-7)0.726 70.808 70.122 50.920 8
    MF_CNN(GF-7)0.684 90.845 30.216 90.898 8
    CDN(GF-7)0.727 80.682 70.083 30.912 2
    U‑Net(GF-7 ST)0.832 90.813 40.104 80.958 8
    MF_CNN(GF-7 ST)0.782 70.916 80.066 90.956 0
    CDN(GF-7 ST)0.859 70.845 80.044 50.961 9
    注:7-7表示训练和测试都用Landsat 7数据集中影像;GF-7表示在GF数据集训练的模型直接预测Landsat 7影像;GF-7 ST表示采用本文的风格迁移方法,用GF-1 WFV数据集训练的模型预测Landsat 7影像。
    下载: 导出CSV 
    | 显示表格
    图  6  GF-WFV数据集测试结果
    Figure  6.  Results of GF-WFV Dataset
    图  7  Landsat 7 Irish数据集测试结果示例图
    Figure  7.  Results of Landsat 7 Irish Dataset

    通过大量实验发现,当源域和目标域影像的波段一致,或存在包含关系时,直接利用源域训练的模型进行目标域上的测试,云识别结果的精度较高,这体现了深度学习的鲁棒性。而当源域与目标域影像差异较大时,云检测效果将变得很

    差。利用域自适应模块,首先将目标域和源域中的影像通过风格迁移算法进行光谱信息的对齐,可以很好地解决精度下降的问题,能够得到与源数据集训练和测试相近的精度。

    本文采用了一种两阶段方法,即先风格迁移,再云检测的方法,而单阶段的域自适应语义分割算法是另外一种常用方法。为了比较和分析两种方法的云检测结果,选取典型的单阶段域自适应语义分割算法AdaptSegNet[35]作为代表,在Landsat 7 Irish数据集上进行实验对比。为了保证实验的一致性,AdaptSegNet中的语义分割

    网络选取CDN。

    表6给出了对比结果,其中AdaptSegNet表示直接在语义分割网络提取得到的特征上进行域自适应,AdaptSegNet(single)表示在分割网络提取的特征经过softmax之后得到的概率图上进行域自适应,而AdaptSegNet(multi)表示利用最后两层做两次域自适应,再参与后续的判别。实验结果表明,本文算法交并比精度比次优的AdaptSegNet(multi)高0.2%,误检率低1.5%。因此可以推断,两阶段方法相较单阶段方法而言具有一定的优势。

    表  6  Landsat 7 Irish测试集上的不同算法的定量评价结果
    Table  6.  Quantitative Evaluation Results of Different Algorithms on Landsat 7 Irish Dataset
    方法交并比召回率误检率总体准确率
    Fmask 4.00.813 60.976 60.170 30.940 0
    CDN(8-7 ST)0.832 00.928 00.110 60.951 7
    AdaptSegNet0.821 60.938 20.134 90.947 5
    AdaptSegNet(single)0.825 90.906 30.130 20.949 7
    AdaptSegNet(multi)0.830 20.953 10.125 70.950 2
    下载: 导出CSV 
    | 显示表格

    为提高深度学习模型在异源遥感图像云检测算法中的泛化性能,本文提出了一种基于域自适应的云和云阴影检测算法:采用图像迁移算法CycleGAN构建测试数据集和训练数据集的映射

    模型,使两者在光谱和空间信息的分布相近,从而有效解决了云检测算法模型在不同数据集上模型迁移能力弱的问题;通过引入域自适应步骤,基于深度学习的云检测方法能够充分利用已有数据集的预训练模型,极大减少了对目标样本集的依赖,同时性能远超传统的非深度学习云检测方法。本文方法对于不同空间分辨率的遥感影像之间的迁移也有较为稳定的效果。此外,

    在实验中发现,本文用到的CycleGAN在训练过程中的收敛较为困难,且当两个数据集的地物类型变化较大时,迁移效果会变差。探索一种更加鲁棒的遥感影像风格迁移算法是未来研究的方向。

    http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20220435
  • 图  1   基于域自适应算法的云检测算法框架

    Figure  1.   A Cloud Detection Framework Based on Domain Adaptive Algorithm

    图  2   基于CycleGAN的遥感影像域自适应算法

    Figure  2.   CycleGAN-Based Domain Adaptive Algorithm for Remote Sensing Images

    图  3   Landsat7 Irish数据集测试结果示例图

    Figure  3.   Results for the Landsat 7 Irish Dataset

    图  4   Landsat 7、Landsat 8和GF影像的波谱范围对比图

    Figure  4.   Bands of Landsat 7, Landsat 8 and GF Images

    图  5   Landsat 8 Biome数据集测试结果

    Figure  5.   Results of Landsat 8 Biome Dataset

    图  6   GF-WFV数据集测试结果

    Figure  6.   Results of GF-WFV Dataset

    图  7   Landsat 7 Irish数据集测试结果示例图

    Figure  7.   Results of Landsat 7 Irish Dataset

    表  1   实验数据分布

    Table  1   Distribution of Experimental Data

    数据集训练集/幅验证集/幅测试集/幅
    Irish695186
    Biome482424
    GF-WFV403325
    下载: 导出CSV

    表  2   Landsat 7 Irish测试集上的云检测结果定量评价

    Table  2   Quantitative Evaluation of Cloud Detection Results on the Landsat 7 Irish Dataset

    方法交并比召回率误检率总体准确率
    Fmask 4.00.813 60.976 60.170 30.940 0
    U‑Net(7-7)0.893 00.939 00.052 00.970 2
    MF_CNN(7-7)0.834 70.587 20.096 10.871 3
    CDN(7-7)0.903 60.940 20.045 10.978 8
    U‑Net(8-7)0.206 90.201 60.112 40.786 0
    MF_CNN(8-7)0.381 90.398 10.335 50.837 3
    CDN(8-7)0.478 40.613 40.315 10.827 5
    U‑Net(8-7 ST)0.851 20.933 40.093 80.956 7
    MF_CNN(8-7 ST)0.808 80.957 80.161 30.941 1
    CDN(8-7 ST)0.832 00.928 00.110 60.951 7
    注:7-7表示训练和测试都用Landsat 7; 8-7表示在Landsat 8训练的模型直接预测Landsat 7;8-7 ST表示采用本文的风格迁移方法,用Landsat 8训练的模型预测Landsat 7。
    下载: 导出CSV

    表  3   Landsat 8 Biome测试集上的云检测结果定量评价

    Table  3   Quantitative Evaluation of Cloud Detection Results on the Landsat 8 Biome Dataset

    方法交并比召回率误检率总体准确率
    Fmask 4.00.823 40.961 90.148 80.947 0
    U‑Net(8-8)0.848 20.969 80.128 80.958 4
    MF_CNN(8-8)0.841 10.987 50.161 00.949 9
    CDN(8-8)0.890 50.976 10.089 70.969 5
    U‑Net(7-8)0.607 10.947 50.371 80.868 0
    MF_CNN(7-8)0.476 40.989 80.521 30.727 3
    CDN(7-8)0.642 70.951 10.335 30.886 4
    U‑Net(7-8 ST)0.872 50.913 70.049 10.966 5
    MF_CNN(7-8 ST)0.827 00.920 40.109 40.952 5
    CDN(7-8 ST)0.862 70.898 40.044 00.964 2
    注:8-8表示训练和测试都用Landsat 8; 7-8表示在Landsat 7训练的模型直接预测Landsat 8;7-8 ST表示采用本文的风格迁移方法,用Landsat 7训练的模型预测Landsat 8。
    下载: 导出CSV

    表  4   GF-WFV测试集上的云检测结果定量评价

    Table  4   Quantitative Evaluation of Cloud Detection Results on GF-WFV Dataset

    方法交并比召回率误检率总体准确率
    MFC0.802 90.958 20.081 70.940 2
    U‑Net(GF-GF)0.814 40.902 30.106 80.951 8
    MF_CNN(GF-GF)0.861 10.919 20.068 40.965 3
    CDN(GF-GF)0.876 30.979 60.069 50.968 3
    U‑Net(7-GF)0.396 80.416 60.196 60.851 6
    MF_CNN(7-GF)0.553 80.576 40.166 30.891 1
    CDN(7-GF)0.603 80.611 40.120 00.906 0
    U‑Net(7-GF ST)0.862 30.882 70.051 80.955 5
    MF_CNN(7-GF ST)0.827 10.876 40.079 70.957 6
    CDN(7-GF ST)0.872 00.820 60.022 20.967 8
    注:GF-GF表示训练和测试都用GF数据集中影像; 7-GF表示在Landsat 7训练的模型直接预测GF影像;7-GF ST表示采用本文的风格迁移方法,用Landsat 7训练的模型预测GF影像。
    下载: 导出CSV

    表  5   Landsat 7测试集上的云检测结果定量评价

    Table  5   Quantitative Evaluation of Cloud Detection Results on the Landsat 7 Dataset

    方法交并比召回率误检率总体准确率
    Fmask 4.00.813 60.976 60.170 30.940 0
    U‑Net(7-7)0.821 40.861 80.054 00.952 8
    MF_CNN(7-7)0.838 40.896 30.071 50.955 4
    CDN(7-7)0.862 90.880 90.038 50.970 0
    U‑Net(GF-7)0.726 70.808 70.122 50.920 8
    MF_CNN(GF-7)0.684 90.845 30.216 90.898 8
    CDN(GF-7)0.727 80.682 70.083 30.912 2
    U‑Net(GF-7 ST)0.832 90.813 40.104 80.958 8
    MF_CNN(GF-7 ST)0.782 70.916 80.066 90.956 0
    CDN(GF-7 ST)0.859 70.845 80.044 50.961 9
    注:7-7表示训练和测试都用Landsat 7数据集中影像;GF-7表示在GF数据集训练的模型直接预测Landsat 7影像;GF-7 ST表示采用本文的风格迁移方法,用GF-1 WFV数据集训练的模型预测Landsat 7影像。
    下载: 导出CSV

    表  6   Landsat 7 Irish测试集上的不同算法的定量评价结果

    Table  6   Quantitative Evaluation Results of Different Algorithms on Landsat 7 Irish Dataset

    方法交并比召回率误检率总体准确率
    Fmask 4.00.813 60.976 60.170 30.940 0
    CDN(8-7 ST)0.832 00.928 00.110 60.951 7
    AdaptSegNet0.821 60.938 20.134 90.947 5
    AdaptSegNet(single)0.825 90.906 30.130 20.949 7
    AdaptSegNet(multi)0.830 20.953 10.125 70.950 2
    下载: 导出CSV
  • [1]

    ZHANG Y C, ROSSOW W B, LACIS A A, et al. Calculation of Radiative Fluxes from the Surface to Top of Atmosphere Based on ISCCP and Other Global Data Sets: Refinements of the Radiative Transfer Model and the Input Data[J]. Journal of Geophysical Research (Atmospheres), 2004, 109(D19): D19105.

    [2]

    MINNIS P, TREPTE Q Z, SUN-MACK S, et al. Cloud Detection in Nonpolar Regions for CERES Using TRMM VIRS and Terra and Aqua MODIS Data[J]. IEEE Transactions on Geoscience and Remote Sensing, 2008, 46(11): 3857-3884.

    [3]

    BIAN J H, LI A N, LIU Q N, et al. Cloud and Snow Discrimination for CCD Images of HJ-1A/B Constellation Based on Spectral Signature and Spatio-Temporal Context[J].Remote Sensing,2016,8(1): 31.

    [4]

    ZHU X L, HELMER E H. An Automatic Method for Screening Clouds and Cloud Shadows in Optical Satellite Image Time Series in Cloudy Regions[J]. Remote Sensing of Environment, 2018, 214: 135-153.

    [5]

    GOODWIN N R, COLLETT L J, DENHAM R J, et al. Cloud and Cloud Shadow Screening Across Queensland, Australia: An Automated Method for Landsat TM/ETM+ Time Series[J]. Remote Sensing of Environment, 2013, 134: 50-65.

    [6]

    IRISH R R, BARKER J L, GOWARD S N, et al. Characterization of the Landsat-7 ETM+ Automated Cloud-Cover Assessment (ACCA) Algorithm[J]. Photogrammetric Engineering & Remote Sensing, 2006, 72(10): 1179-1188.

    [7] 康一飞, 潘励, 孙明伟, 等. 基于高斯混合模型法的国产高分辨率卫星影像云检测[J]. 武汉大学学报(信息科学版), 2017, 42(6): 782-788.

    KANG Yifei, PAN Li, SUN Mingwei, et al. Gaussian Mixture Model Based Cloud Detection for Chinese High Resolution Satellite Imagery[J]. Geomatics and Information Science of Wuhan University, 2017, 42(6): 782-788.

    [8] 文雄飞, 董新奕, 刘良明. “云指数法” 云检测研究[J]. 武汉大学学报(信息科学版), 2009, 34(7): 838-841.

    WEN Xiongfei, DONG Xinyi, LIU Liangming. Cloud Index Method for Cloud Detection[J]. Geomatics and Information Science of Wuhan University, 2009, 34(7): 838-841.

    [9] 秦永, 付仲良, 周凡, 等. 一种利用TM影像自动检测云层的方法[J]. 武汉大学学报(信息科学版), 2014, 39(2): 234-238.

    QIN Yong, FU Zhongliang, ZHOU Fan, et al. A Method of Automatic Cloud Detection Using TM Image[J]. Geomatics and Information Science of Wuhan University, 2014, 39(2): 234-238.

    [10]

    DI VITTORIO A V, EMERY W J. An Automated, Dynamic Threshold Cloud-Masking Algorithm for Daytime AVHRR Images over Land[J]. IEEE Transactions on Geoscience and Remote Sensing, 2002, 40(8): 1682-1694.

    [11]

    LUO Y, TRISHCHENKO A P, KHLOPENKOV K V. Developing Clear-Sky, Cloud and Cloud Shadow Mask for Producing Clear-Sky Composites at 250-meter Spatial Resolution for the Seven MODIS Land Bands over Canada and North America[J].Remote Sensing of Environment, 2008, 112(12): 4167-4185.

    [12]

    MELGANI F. Contextual Reconstruction of Cloud-Contaminated Multitemporal Multispectral Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(2): 442-455.

    [13]

    FISHER A. Cloud and Cloud-Shadow Detection in SPOT5 HRG Imagery with Automated Morphological Feature Extraction[J].Remote Sensing,2014,6(1): 776-800.

    [14] 李微, 方圣辉, 佃袁勇, 等. 基于光谱分析的MODIS云检测算法研究[J]. 武汉大学学报(信息科学版), 2005, 30(5): 435-438.

    LI Wei, FANG Shenghui, DIAN Yuanyong, et al. Cloud Detection in MODIS Data Based on Spectrum Analysis[J]. Geomatics and Information Science of Wuhan University, 2005, 30(5): 435-438.

    [15]

    ZHU Z, WOODCOCK C E. Object-Based Cloud and Cloud Shadow Detection in Landsat Imagery[J]. Remote Sensing of Environment, 2012, 118: 83-94.

    [16]

    QIU S, HE B B, ZHU Z, et al. Improving Fmask Cloud and Cloud Shadow Detection in Mountainous Area for Landsats 4-8 Images[J]. Remote Sensing of Environment, 2017, 199: 107-119.

    [17]

    FRANTZ D, HAß E, UHL A, et al. Improvement of the Fmask Algorithm for Sentinel-2 Images: Separating Clouds from Bright Surfaces Based on Parallax Effects[J].Remote Sensing of Environment,2018, 215: 471-481.

    [18]

    QIU S, ZHU Z, HE B B. Fmask 4.0: Improved Cloud and Cloud Shadow Detection in Landsats 4–8 and Sentinel-2 Imagery[J]. Remote Sensing of Environment, 2019, 231: 111205.

    [19]

    LI Z W, SHEN H F, LI H F, et al. Multi-feature Combined Cloud and Cloud Shadow Detection in GaoFen-1 Wide Field of View Imagery[J]. Remote Sensing of Environment, 2017, 191: 342-358.

    [20]

    MATEO-GARCÍA G, GÓMEZ-CHOVA L, CAMPS-VALLS G. Convolutional Neural Networks for Multispectral Image Cloud Masking[C]//IEEE International Geoscience and Remote Sensing Symposium, Fort Worth, USA, 2017.

    [21]

    XIE F Y, SHI M Y, SHI Z W, et al. Multilevel Cloud Detection in Remote Sensing Images Based on Deep Learning[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(8): 3631-3640.

    [22]

    LI Z W, SHEN H F, WEI Y C, et al. Cloud Detection by Fusing Multi-scale Convolutional Features[J]. ISPRS Annals of the Photogrammetry, Remote Sensing and Spatial Information Sciences,2018,4(3): 149-152.

    [23]

    YANG J Y, GUO J H, YUE H J, et al. CDnet: CNN-Based Cloud Detection for Remote Sensing Imagery[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(8): 6195-6211.

    [24]

    GUO J H, YANG J Y, YUE H J, et al. CDnetV2: CNN-Based Cloud Detection for Remote Sensing Imagery with Cloud-Snow Coexistence[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59(1): 700-713.

    [25]

    SHAO Z F, PAN Y, DIAO C Y, et al. Cloud Detection in Remote Sensing Images Based on Multiscale Features-Convolutional Neural Network[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(6): 4062-4076.

    [26]

    LI Y S, CHEN W, ZHANG Y J, et al. Accurate Cloud Detection in High-Resolution Remote Sensing Imagery by Weakly Supervised Deep Learning[J]. Remote Sensing of Environment, 2020, 250: 112045.

    [27]

    JI S P, DAI P Y, LU M, et al. Simultaneous Cloud Detection and Removal from Bitemporal Remote Sensing Images Using Cascade Convolutional Neural Networks[J].IEEE Transactions on Geoscien‑ce and Remote Sensing, 2021, 59(1): 732-748.

    [28]

    LUO C, FENG S S, YANG X F, et al. LWCDnet: A Lightweight Network for Efficient Cloud Detection in Remote Sensing Images[J]. IEEE Transactions on Geoscience and Remote Sensing,2022,60: 5409816.

    [29]

    LI W W, ZHANG F, LIN H, et al. Cloud Detection and Classification Algorithms for Himawari-8 Imager Measurements Based on Deep Learning[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 4107117.

    [30]

    WIELAND M, LI Y, MARTINIS S. Multi-sensor Cloud and Cloud Shadow Segmentation with a Convolutional Neural Network[J]. Remote Sensing of Environment, 2019, 230: 111203.

    [31]

    MATEO-GARCÍA G,LAPARRA V,LÓPEZ-PUIGDOLLERS D, et al. Transferring Deep Learning Models for Cloud Detection Between Landsat-8 and Proba-V[J].ISPRS Journal of Photogrammetry and Remote Sensing, 2020, 160: 1-17.

    [32]

    ZHU J Y, PARK T, ISOLA P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]//IEEE International Conference on Computer Vision, Venice, Italy, 2017.

    [33]

    FOGA S, SCARAMUZZA P L, GUO S, et al. Cloud Detection Algorithm Comparison and Validation for Operational Landsat Data Products[J]. Remote Sensing of Environment, 2017, 194: 379-390.

    [34]

    RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2015.

    [35]

    TSAI Y H, HUNG W C, SCHULTER S, et al. Learning to Adapt Structured Output Space for Semantic Segmentation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition,Salt Lake City, USA,2018.

图(7)  /  表(6)
计量
  • 文章访问数:  715
  • HTML全文浏览量:  77
  • PDF下载量:  63
  • 被引次数: 0
出版历程
  • 收稿日期:  2023-03-04
  • 网络出版日期:  2022-11-22
  • 刊出日期:  2025-01-04

目录

/

返回文章
返回