A Hill-Shading Generation Method Based on ResUNet
-
摘要:
地貌表示的技术与方法是地图制图学的重要研究内容,地貌晕渲图是在二维平面有效表现三维地貌的主要形式。针对当前计算机晕渲图表现效果有待提升的问题,提出了基于ResUNet深度学习模型,使用数字高程模型(digital elevation model,DEM)制作晕渲图的方法,即通过构建具有对应关系的DEM和高质量手工晕渲样本集,并训练搭建的特定网络模型,以实现任意区域基于DEM数据的晕渲图制作。实验结果表明,该方法能够生成艺术性强、地貌表现效果好的晕渲图,晕渲图整体效果较大程度地接近手工晕渲作品;同时,搭建的深度学习模型适用于大多数地貌类型;与U‑Net模型相比,所提模型对不同分辨率DEM的适应性更强,且生成的晕渲视觉效果更优。
Abstract:ObjectivesThe representation of landform features is an important part of cartography and the relief shading is the main tool for effectively expressing the 3D landform on the two-dimensional plane. The hill-shading produced by the existing method is not artistic enough, and the expressiveness of the terrain needs to be improved. In this regard, a hill-shading generation method based on ResUNet is proposed.
MethodsFirst, the high-quality manual relief shading and the corresponding digital elevation model (DEM) data are processed, such as resampling, unifying coordinate system, cropping, etc., to construct the shading‐DEM sample image pairs. Then the parameters of the proposed DEM-shading conversion model are learned from the sample data. Finally, the DEM of any area is input into the model, and the output results of which are spliced using alpha blending to form the relief shading.
ResultsThe experimental results show that the relief shading generated by the proposed method is improved in artistry and terrain expressiveness and can closely match the quality of the manual relief shading, due to the “Swiss style”, the effective terrain generalization and the contrast optimization on both sides of the ridges. Compared with U‑Net, the proposed model is more adaptable to DEM of different resolutions, and can generated shading with better visual effects.
ConclusionsThe proposed method can effectively improve the artistry and terrain expressiveness of the hill-shading.
-
Keywords:
- deep learning /
- ResUNet /
- cartography /
- hill-shading
-
遥感对地观测技术以其广域性、时效性、便捷性和手段多样性等特点,在目标识别、变化检测、救灾决策、制图等领域受到广泛关注。针对不同的应用需求,各类遥感传感器的数量在不断增加。例如,陆地卫星(land satellite, Landsat)系列、中分辨率成像光谱仪(moderate-resolution ima‑ging spectroradiometer,MODIS)、哨兵(Sentinel)系列、中国的高分系列等。美国地质勘探局的一项研究中表明,全球范围内年平均云覆盖率达到66%[1]。从卫星上获取的遥感影像中存在云和云阴影所遮挡的低利用价值或无效像元。这些像元会对遥感影像信息提取、数据融合、影像解译等后续工作带来严重影响。因此,对于含云遥感影像中的无效像元进行准确识别和排除是必要的前期工作。
传统的云检测算法[2-3]通常从云的不规则形状、高亮的纹理信息、云阴影之间的相似结构[4]、上下文信息[5]等浅层特征出发,利用人工设计的空间特征、波段计算和统计规则[6],探索不同波段之间隐含的光谱特征,结合特征阈值[7-9]和经典机器学习分类器[10-13]对这些浅层光谱特征[14]进行分类,实现云区的自动检测。但是,人工设计浅层特征需要依赖研究人员丰富的经验,并且人工寻找最优阈值费时费力。且参数的选择非常敏感,当遥感影像中的天气状况或者地物类型发生变化时,云检测精度往往呈现下降。此外,各类传统算法通常针对特定传感器的遥感影像,鲁棒性不强。例如,目前常用的Fmask系列算法中Fmask 1.0[15]和Fmask 3.0[16]适用于Landsat 4~8系列的影像,Fmask 2.0[17]和Fmask 4.0[18]中增加了对于Sentinel影像的云检测任务;多特征融合算法(multi-feature combined cloud and cloud shadow detection,MFC)[19]是一种针对4波段的高分一号(Gaofen-1,GF-1)数据的云检测算法,加拿大遥感中心的云检测算法[11]专门为MODIS卫星遥感影像设计;动态阈值云检测算法[10]则只能用于检测甚高分辨率辐射计影像中的云。
近年来,基于深度学习的遥感影像云检测算法快速发展,其优越的性能依赖于丰富的特征表达,通过加深或者加宽级联式神经网络层,提取传统云检测算法难以涉及的高层语义特征。从方法论的角度出发,基于深度学习的云探测算法一般分为3类:(1)基于像素映射的云检测算法,例如文献[20]提出的云掩膜卷积网络。该方法将遥感影像和标签裁成33×33的小块,构建遥感影像块和对应标签块像素的一一对应模型,深度学习网络模型的最后一层采用ReLU激活函数构建图像与标签之间的对应关系。(2)基于图像分类的云检测算法,例如文献[21]提出的基于深度网络的多层云检测网络。这类算法的准确性主要依赖于前端分块操作中的分割算法,当地物块中同时包含云层和非云层像素时,分类误差较大。(3)基于语义分割的云检测算法[22-29]。这类算法是目前主流的算法,包括多尺度云检测网络[22]、基于卷积神经网络(convolutional neural networks, CNN)的云检测网络系列[23-24]、基于弱监督深度学习的云检测[26]、多尺度特征CNN云检测网络(multiscale features CNN,MF_CNN)[25]、密集连接全卷积神经网络(cloud detection neural network,CDN)[27]等。一般以通用的特征提取或语义分割网络作为主干网络,考虑特征的不同空间尺寸和感受野,结合多尺度特征融合、空洞卷积、空洞空间金字塔池化模块、注意力机制等,选取sigmoid、softmax等激活函数作为分类器,进行像素级的语义分割。
然而,当前基于深度学习的云检测算法受数据驱动,要求训练数据集和目标数据集具有相似的光谱和空间结构分布。在处理跨区域或跨传感器数据时,往往性能急剧下降。增强训练模型的泛化能力是应对该问题的主流解决方案。近年来,针对云检测算法模型迁移能力增强的研究较少,主要从两个方面开展:(1)增加训练样本,将多个不同传感器下获得的图像一并纳入训练集。例如文献[30]在进行Landsat系列影像和Sentinel影像云检测模型的泛化能力研究时,选择两种数据一起参与模型训练,以达到在Sentinel测试影像上也能获取较好检测结果的目的。(2)在不同传感器下获得的图像/标签之间建立映射关系。例如,文献[31]考虑到影像之间的空间分辨率的差异,提出了一种针对Landsat 8和Proba-V数据云检测算法。但是这种方法的模型迁移阶段仍然需要大量的目标域影像标签数据,模型迁移问题并没有得到有效解决。
针对以上问题,本文提出一种基于域自适应方法的云检测算法,无需目标测试集的标签,利用已有数据集(源域)上训练的模型,通过目标影像(目标域)与训练集影像之间的风格迁移,实现目标数据集上的云探测任务;引入循环生成对抗网络 (cycle-consistent generative adversarial network,CycleGAN)[32]算法实现不含标签的目标影像与已有训练集之间的光谱特征映射,将两者在深度神经元特征空间中对齐,从而提升云检测模型在实际应用中的鲁棒性。在高分二号、Landsat 7和Landsat 8等不同传感器且全球不同地理区域的影像上进行验证,结果表明,引入的域自适应模块可以实现不同数据集之间的光谱特征迁移,有效提高已训练模型的鲁棒性和可重复利用性。
1 算法原理
1.1 框架设计
基于域自适应算法的云检测框架的流程见图1。整个框架包括3个步骤:(1)利用已有的带标签的数据集(源域A)训练云检测模型,得到Model_A;(2)构建训练集影像和目标数据集中不含标签的遥感影像(目标域B)之间的风格映射关系,将目标影像转换为具有训练数据特征的新合成影像。具体地,将目标域B与源域A同时输入图像风格迁移网络中进行训练,生成兼具源域A风格(在遥感影像中即影像的光谱信息)和目标域B内容(遥感影像中的空间信息)的合成影像。(3)在合成的目标数据集影像上执行云检测任务。将源域A上已经训练好的云检测模型Model_A直接应用于合成影像,预测目标域B中云的位置。
1.2 基于CycleGAN的跨数据集影像迁移
本文提出的基于域自适应的云检测框架包括图像风格迁移和云检测两个步骤,每个步骤之间相互独立。考虑到源域和目标域影像之间并非一一对应,即在地理位置上不对齐,因此本文引入可针对非对齐数据的CycleGAN 作为图像风格迁移的算法。
CycleGAN由两个镜像的生成对抗网络(generative adversarial network,GAN)结构构成一组闭环。两个GAN网络共享两个生成器G和F,同时每个GAN网络自带一个判别器,生成器负责将输入的影像转换成其他风格的尽可能真实的影像,而判别器旨在成功判别出生成器生成的虚假影像,通过两者的相互博弈,生成器的数据转换能力和判别器的真假鉴别能力逐步提升,直到判别器无法辨别出生成器生成的影像为止,对抗达到动态平衡,如图2所示。具体的流程以Landsat 7数据集和Landsat 8数据集上的域自适应为例:首先从Landsat 7数据集中获取输入图像X,并将其输入到正向生成器G中,生成一个具有Landsat 8数据集风格的合成影像G(X),然后利用判别器Dy对生成的影像进行判别,判别它是否属于Landsat 8数据集;接着将合成影像G(X)输入逆向生成器F中,重新将合成影像转换成具有原始输入内容以及Landsat 7数据集风格的影像Cyclic X。在理想情况下,经过两次正逆生成器,输出的影像与原始的输入是相同的,但在实际情况中Cyclic X与输入X之间存在着重建损失。因此,在Landsat 7数据集向Landsat 8数据集风格迁移的过程中,存在着以下两种误差:
(1) (2) 式中,P表示概率分布;
表示计算风格迁移过程中的判别误差;Y为Landsat 8数据集中的影像;E表示数学期望; 计算了影像X与重建结果F(G(X))之间的L1范数误差。 实现从Landsat 8数据集向Landsat 7数据集的风格迁移,其流程与以上类似。存在重建误差和判别误差两种误差项:
(3) (4) 最终的损失为:
(5) 整个损失函数的优化目标为:
(6) 式中,
表示生成器 的最佳优化目标; 表示生成器 的最佳优化目标。 1.3 云检测算法
除了图像风格迁移算法,云检测模型对于最终结果也至关重要。本文选择模型参数少且效果好的CDN作为云探测算法的基准。CDN是一个类UNet的结构,从信息流传递和多次重复利用特征的角度出发,引入密集连接结构,既减少了参数量,又提高了精度;同时引入通道注意力机制,将提取得到的多维特征按照不同维度特征之间的关系计算重要性权重,对于作用效果小的特征赋值小权重,对于对结果影响很大的特征赋值大权重,发挥多维特征的不同作用;引入多尺度特征融合模块,将解码层提取得到的多尺度特征分别进行上采样融合,参与最后的语义分割,充分发挥不同尺度特征的作用,适用于尺度不一的云层提取。具体结构详见文献[27]。
2 云检测实验与分析
2.1 实验数据
为验证不同传感器下基于域自适应的云和云阴影探测算法的性能,选取大规模开源云检测数据集Landsat 7的Irish数据集[6](http://dx.doi.org/10.5066/F7KH0KDG)、Landsat 8的Biome数据集[33](http://dx.doi.org/10.5066/F79Z930Q)以及GF-1 宽幅相机(wide field of view came‑ra,WFV)的GF-WFV数据集[19](http://sendima-ge.whu.edu.cn/en/mfc/)进行实验,具体数据分布如表1所示。3个数据集的影像广泛分布在全球各个大洲。为了保证数据的统一性,Landsat 8和Landsat 7数据集上选取共有的6个波段:蓝、绿、红、近红外波段以及两个短波红外波段,即Landsat 7中的第1、2、3、4、5、7和Landsat 8中的第2、3、4、5、6、7波段,在进行GF传感器数据和Landsat系列数据的域自适应研究时,选取共有的蓝、绿、红、近红外波4个波段进行实验。
表 1 实验数据分布Table 1. Distribution of Experimental Data数据集 训练集/幅 验证集/幅 测试集/幅 Irish 69 51 86 Biome 48 24 24 GF-WFV 40 33 25 如表1所示,在Landsat 7 Irish数据集中,选取69幅影像作为训练集,51幅作为验证集,剩余的86幅为测试集,其中18幅没有进行薄云和厚云的区分,将其均划分在了测试集中;Landsat 8 Biome数据集中,48幅作为训练集,24幅作为验证集,剩余的24幅作为测试集;GF-WFV数据集中,40幅作为训练集,33幅作为验证集,25幅作为测试集。考虑到设备的性能,无论是在风格迁移还是在云检测中,都将训练集和验证集的影像裁剪成256×256像素大小的块,块间重叠度为10%。裁剪后,Irish数据集共有约7万块,Biome数据集约8.8万块,GF-WFV数据集约40.8万块。对于测试集,为了缓解实验结果中出现的拼接缝情况,测试影像被裁剪为1 024×1 024像素大小预测之后再拼接到原始尺寸。算法在Windows 10环境的Keras框架下实现,显卡为NVIDIA 11 GB 1080Ti,在云检测算法模型的训练过程中,迭代次数设置为10,在数据风格迁移的过程中,迭代次数设置为5。
2.2 实验结果与分析
2.2.1 相同空间分辨率影像云检测结果
表2给出了使用不同模型和算法,包括传统方法和深度学习方法,在Landsat 7 Irish数据集上云检测结果的定量评价。Fmask 4.0属于传统算法,使用遥感影像中的所有波段,CDN和MF_CNN为基于深度学习的云检测算法,U‑Net[34]为基于深度学习的通用语义分割算法。除了目视评价之外,采用交并比、召回率、误检率和总体准确率等几个通用指标对云检测结果进行定量评价。
表 2 Landsat 7 Irish测试集上的云检测结果定量评价Table 2. Quantitative Evaluation of Cloud Detection Results on the Landsat 7 Irish Dataset方法 交并比 召回率 误检率 总体准确率 Fmask 4.0 0.813 6 0.976 6 0.170 3 0.940 0 U‑Net(7-7) 0.893 0 0.939 0 0.052 0 0.970 2 MF_CNN(7-7) 0.834 7 0.587 2 0.096 1 0.871 3 CDN(7-7) 0.903 6 0.940 2 0.045 1 0.978 8 U‑Net(8-7) 0.206 9 0.201 6 0.112 4 0.786 0 MF_CNN(8-7) 0.381 9 0.398 1 0.335 5 0.837 3 CDN(8-7) 0.478 4 0.613 4 0.315 1 0.827 5 U‑Net(8-7 ST) 0.851 2 0.933 4 0.093 8 0.956 7 MF_CNN(8-7 ST) 0.808 8 0.957 8 0.161 3 0.941 1 CDN(8-7 ST) 0.832 0 0.928 0 0.110 6 0.951 7 注: 7-7表示训练和测试都用Landsat 7; 8-7表示在Landsat 8训练的模型直接预测Landsat 7;8-7 ST表示采用本文的风格迁移方法,用Landsat 8训练的模型预测Landsat 7。可以得出3个结论:(1)首先,当在训练和测
试工作都是在Irish数据集上进行时,3种基于深度学习的云检测方法都获得了相对较好的结果。CDN表现最好,交并比比Fmask 4.0高9%,并且产生的误检最少。U‑Net比CDN略差,MF_CNN次之,Fmask 4.0最差。(2)当在Biome数据集上训练的模型被直接用来检测Irish数据集影像上的云时,3种基于深度学习的方法准确率明显下降。U‑Net的交并比下降了近60%,CDN的交并比下降了近40%,平均误检率上升了近19%。这证明了不同传感器下的数据集之间因光谱波长、成像条件、图像内容等造成的数据分布差异,大大地影响了深度学习模型的迁移能力。(3)采用基于CycleGAN的遥感影像风格迁移算法将Irish测试数据集图像转换为与训练图像具有相同色彩和波段的合成影像后,云检测精度明显上升,并且基本接近在原数据集中训练的模型测试的结果。这证明了本文提出的框架和引入的域自适应模块的有效性。
图3为表2所对应的云检测结果示例图。该影像于2001年5月31日获得,包含不同类型的云,如层状云和卷云。从图3中可以看出,Fmask 4.0的云检测结果有冗余,边缘信息完全丢失,这也是表2中其高召回率的主要原因。MF_CNN的结果过于平滑,这可能是由于它只关注不同感受野的多尺度特征,而忽略了不同空间分辨率的多尺度特征,此外,冗余的特征也没有得到有效取舍。CDN和U‑Net的结果与真实标签更相似,边缘更准确。当直接利用在Biome数据集上训练的模型来测试Irish数据集的图像时,3种基于深度学习的算法都完全不能获得结果,其中U‑Net和MF_CNN表现出严重的漏检,相反,CDN表现出严重的错检。在测试图像上进行风格迁移后,3种基于深度学习的方法都能完整且准确地检测出云层区域。MF_CNN的结果仍然过于平滑,而U‑Net和CDN的结果则相对更准确。
表3展示了在Landsat 8 Biome数据集上的云检测结果。与之前得到的结论相似:(1)与传统算法Fmask 4.0相比,3种基于深度学习的云检测算法给出了更准确的结果。CDN的结果的交并比比Fmask 4.0的结果高7%,而MF_CNN和U‑Net的云检测结果在Biome数据集上很接近。(2)当使用在Irish数据集上训练的模型直接测试Biome数据集中的图像时,各项评价指标明显下降。然而,与Irish数据集上的下降程度相比,在Biome数据集上的下降相对较小,交并比平均下降了0.25。其原因可能是:Irish数据集中训练样本量更多,因此模型更加的鲁棒;且从光谱波段的范围(图4横坐标为波谱范围,纵坐标为影像类型)角度分析,Landsat 7影像的光谱波长范围几乎完全包含了Landsat 8影像对应波段的波长,因此模型的鲁棒性更强。(3)在测试数据集上进行风格迁移操作后,3种基于深度学习的方法得到的结果甚至比直接在Biome数据集上训练得到的模型的结果更好,主要原因也在于Irish数据集样本量大,波段覆盖Biome数据。
表 3 Landsat 8 Biome测试集上的云检测结果定量评价Table 3. Quantitative Evaluation of Cloud Detection Results on the Landsat 8 Biome Dataset方法 交并比 召回率 误检率 总体准确率 Fmask 4.0 0.823 4 0.961 9 0.148 8 0.947 0 U‑Net(8-8) 0.848 2 0.969 8 0.128 8 0.958 4 MF_CNN(8-8) 0.841 1 0.987 5 0.161 0 0.949 9 CDN(8-8) 0.890 5 0.976 1 0.089 7 0.969 5 U‑Net(7-8) 0.607 1 0.947 5 0.371 8 0.868 0 MF_CNN(7-8) 0.476 4 0.989 8 0.521 3 0.727 3 CDN(7-8) 0.642 7 0.951 1 0.335 3 0.886 4 U‑Net(7-8 ST) 0.872 5 0.913 7 0.049 1 0.966 5 MF_CNN(7-8 ST) 0.827 0 0.920 4 0.109 4 0.952 5 CDN(7-8 ST) 0.862 7 0.898 4 0.044 0 0.964 2 注: 8-8表示训练和测试都用Landsat 8; 7-8表示在Landsat 7训练的模型直接预测Landsat 8;7-8 ST表示采用本文的风格迁移方法,用Landsat 7训练的模型预测Landsat 8。图5为表3对应的示例结果。Landsat 7风格的风格迁移影像(图5(c))在色调上与Landsat 7影像基本一致。在3种基于深度学习的云检测算法中,无论使用在Biome数据集上训练的模型或直接使用Irish数据集上训练的模型,检测Biome测试集的云都可以获得相对令人满意的结果。利用Irish数据集模型时精度下降的最主要原因在于漏检,无论是U‑Net、CDN还是MF_CNN,均存在部分漏检现象。
2.2.2 不同空间分辨率数据迁移云检测结果
由于Landsat 7图像和Landsat 8图像的空间分辨率相同(30 m),为了验证模型在不同空间分辨率的影像上的迁移能力,在Landsat 7 Irish数据集上训练和GF-WFV数据集(16 m空间分辨率)上进行了实验。针对GF影像,利用专为其设计的MFC算法[19]作为传统云检测算法的代表。
表4给出在GF-WFV数据集上不同云检测算法结果的定量评价。与在相同空间分辨率的影像上的实验结论相同:(1)在GF-WFV数据集上进行训练和测试时,3种基于深度学习的云检测算法都能获得比传统算法更优的结果。(2)当直接利用在Irish数据集中30 m空间分辨率图像上训练的云检测模型来检测GF-WFV数据集中16 m空间分辨率的图像时,精度有所下降。由于在实验中Landsat 7和GF-1影像选择的4个波段上,二者的光谱范围基本相同,所以准确率下降的比例并不明显。(3)将GF-WFV中的测试影像迁移到Irish数据集中影像的风格后进行测试,云层检测结果的准确性明显提高,且远优于传统方法,这证明了域自适应模块在不同分辨率影像迁移中的有效性。
表 4 GF-WFV测试集上的云检测结果定量评价Table 4. Quantitative Evaluation of Cloud Detection Results on GF-WFV Dataset方法 交并比 召回率 误检率 总体准确率 MFC 0.802 9 0.958 2 0.081 7 0.940 2 U‑Net(GF-GF) 0.814 4 0.902 3 0.106 8 0.951 8 MF_CNN(GF-GF) 0.861 1 0.919 2 0.068 4 0.965 3 CDN(GF-GF) 0.876 3 0.979 6 0.069 5 0.968 3 U‑Net(7-GF) 0.396 8 0.416 6 0.196 6 0.851 6 MF_CNN(7-GF) 0.553 8 0.576 4 0.166 3 0.891 1 CDN(7-GF) 0.603 8 0.611 4 0.120 0 0.906 0 U‑Net(7-GF ST) 0.862 3 0.882 7 0.051 8 0.955 5 MF_CNN(7-GF ST) 0.827 1 0.876 4 0.079 7 0.957 6 CDN(7-GF ST) 0.872 0 0.820 6 0.022 2 0.967 8 注: GF-GF表示训练和测试都用GF数据集中影像; 7-GF表示在Landsat 7训练的模型直接预测GF影像;7-GF ST表示采用本文的风格迁移方法,用Landsat 7训练的模型预测GF影像。表5给出了GF数据训练迁移到Landsat 7 Irish数据集上的测试结果,同样可以得出与之前相同的结论。图6给出了GF-WFV数据集上的云检测结果。当直接使用在Irish数据集上训练的模型测试GF图像时,除了有部分漏检现象,几种基于深度学习的方法基本上都能检测到云层,在该数据集上漏检是误检率高的主要原因。而在图7中,当直接用在GF-WFV数据集上训练的模型测试Irish数据集中的图像时,也能基本检测到云层。误检率较高和交并比较低的主要原因是误检。
表 5 Landsat 7测试集上的云检测结果定量评价Table 5. Quantitative Evaluation of Cloud Detection Results on the Landsat 7 Dataset方法 交并比 召回率 误检率 总体准确率 Fmask 4.0 0.813 6 0.976 6 0.170 3 0.940 0 U‑Net(7-7) 0.821 4 0.861 8 0.054 0 0.952 8 MF_CNN(7-7) 0.838 4 0.896 3 0.071 5 0.955 4 CDN(7-7) 0.862 9 0.880 9 0.038 5 0.970 0 U‑Net(GF-7) 0.726 7 0.808 7 0.122 5 0.920 8 MF_CNN(GF-7) 0.684 9 0.845 3 0.216 9 0.898 8 CDN(GF-7) 0.727 8 0.682 7 0.083 3 0.912 2 U‑Net(GF-7 ST) 0.832 9 0.813 4 0.104 8 0.958 8 MF_CNN(GF-7 ST) 0.782 7 0.916 8 0.066 9 0.956 0 CDN(GF-7 ST) 0.859 7 0.845 8 0.044 5 0.961 9 注: 7-7表示训练和测试都用Landsat 7数据集中影像;GF-7表示在GF数据集训练的模型直接预测Landsat 7影像;GF-7 ST表示采用本文的风格迁移方法,用GF-1 WFV数据集训练的模型预测Landsat 7影像。通过大量实验发现,当源域和目标域影像的波段一致,或存在包含关系时,直接利用源域训练的模型进行目标域上的测试,云识别结果的精度较高,这体现了深度学习的鲁棒性。而当源域与目标域影像差异较大时,云检测效果将变得很
差。利用域自适应模块,首先将目标域和源域中的影像通过风格迁移算法进行光谱信息的对齐,可以很好地解决精度下降的问题,能够得到与源数据集训练和测试相近的精度。
2.3 与其他域自适应算法的对比
本文采用了一种两阶段方法,即先风格迁移,再云检测的方法,而单阶段的域自适应语义分割算法是另外一种常用方法。为了比较和分析两种方法的云检测结果,选取典型的单阶段域自适应语义分割算法AdaptSegNet[35]作为代表,在Landsat 7 Irish数据集上进行实验对比。为了保证实验的一致性,AdaptSegNet中的语义分割
网络选取CDN。
表6给出了对比结果,其中AdaptSegNet表示直接在语义分割网络提取得到的特征上进行域自适应,AdaptSegNet(single)表示在分割网络提取的特征经过softmax之后得到的概率图上进行域自适应,而AdaptSegNet(multi)表示利用最后两层做两次域自适应,再参与后续的判别。实验结果表明,本文算法交并比精度比次优的AdaptSegNet(multi)高0.2%,误检率低1.5%。因此可以推断,两阶段方法相较单阶段方法而言具有一定的优势。
表 6 Landsat 7 Irish测试集上的不同算法的定量评价结果Table 6. Quantitative Evaluation Results of Different Algorithms on Landsat 7 Irish Dataset方法 交并比 召回率 误检率 总体准确率 Fmask 4.0 0.813 6 0.976 6 0.170 3 0.940 0 CDN(8-7 ST) 0.832 0 0.928 0 0.110 6 0.951 7 AdaptSegNet 0.821 6 0.938 2 0.134 9 0.947 5 AdaptSegNet(single) 0.825 9 0.906 3 0.130 2 0.949 7 AdaptSegNet(multi) 0.830 2 0.953 1 0.125 7 0.950 2 3 结 语
为提高深度学习模型在异源遥感图像云检测算法中的泛化性能,本文提出了一种基于域自适应的云和云阴影检测算法:采用图像迁移算法CycleGAN构建测试数据集和训练数据集的映射
模型,使两者在光谱和空间信息的分布相近,从而有效解决了云检测算法模型在不同数据集上模型迁移能力弱的问题;通过引入域自适应步骤,基于深度学习的云检测方法能够充分利用已有数据集的预训练模型,极大减少了对目标样本集的依赖,同时性能远超传统的非深度学习云检测方法。本文方法对于不同空间分辨率的遥感影像之间的迁移也有较为稳定的效果。此外,
在实验中发现,本文用到的CycleGAN在训练过程中的收敛较为困难,且当两个数据集的地物类型变化较大时,迁移效果会变差。探索一种更加鲁棒的遥感影像风格迁移算法是未来研究的方向。
http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20220532 -
表 1 实验区域详情
Table 1 Details of Test Area
区域 主要地貌类型 经度范围 纬度范围 高程范围/m 成因 形态 区域1 冰川地貌 极高山、高山 2 883~6 811 区域2 流水地貌 低山、丘陵、台地 60~1 517 区域3 黄土地貌 低山、丘陵、台地 1 023~1 828 区域4 喀斯特、流水地貌 中山、低山 162~2 191 区域5 风成地貌 丘陵 1 146~1 736 -
[1] 郭庆胜, 王晓延. 地貌晕渲中光源使用方法与用色规则的研究[J]. 武汉大学学报(信息科学版), 2004, 29(1): 20-23. GUO Qingsheng, WANG Xiaoyan. Study on Light Direction and Color in Hill-Shading[J]. Geomatics and Information Science of Wuhan University, 2004, 29(1): 20-23.
[2] 姜文亮, 李霖, 应申. 计算机地貌晕渲效果增强方法研究[J]. 武汉大学学报(信息科学版), 2007, 32(12): 1176-1179. JIANG Wenliang, LI Lin, YING Shen. Visual Effect Enhancement in Computer-Aided Hill-Shading[J]. Geomatics and Information Science of Wuhan University, 2007, 32(12): 1176-1179.
[3] 陈艳丽. 数字地貌晕渲技术的优化与实现[D]. 郑州:信息工程大学, 2009. CHEN Yanli. Optimization and Implementation of Digital Landform Shading Technology[D]. Zhengzhou: Information Engineering University, 2009.
[4] 张国栋. 数字地貌晕渲优化方法研究与实现[D]. 西安: 长安大学, 2018. ZHANG Guodong. Research and Implementation of Optimization Method of Digital Landform Shading[D]. Xi’an: Chang'an University, 2018.
[5] CHIBA T, KANETA S, SUZUKI Y. Red Relief Image Map: New Visualization Method for Three Dimensional Data[J]. The International Archives of the Photogrammetry, Remote Sensing and Spatial Information Sciences, 2008, 37(B2): 1071-1076.
[6] LOISSIOS D, TZELEPIS N, NAKOS B. A Methodology for Creating Analytical Hill-Shading by Combining Different Lighting Directions[C]//The 23rd International Cartographic Conference, Moscow, Russia, 2007.
[7] KATZIL Y, DOYTSHER Y. A Logarithmic and Sub-pixel Approach to Shaded Relief Representation[J]. Computers & Geosciences, 2003, 29(9): 1137-1142.
[8] BROWN L. Texture Shading: A New Technique for Depicting Terrain Relief[C]//The 9th ICA Mountain Cartography Workshop, Banff, Canada, 2014.
[9] KENNELLY P J, STEWART A J. General Sky Models for Illuminating Terrains[J]. International Journal of Geographical Information Science, 2014, 28(2): 383-406.
[10] GEISTHÖVEL R, HURNI L. Automated Swiss-Style Relief Shading and Rock Hachuring[J]. The Cartographic Journal, 2018, 55(4): 341-361.
[11] IMHOF E. Cartographic Relief Presentation[M]. Redlands, California: ESRI Press, 2007.
[12] PATTERSON T. Designing the Equal Earth Physical Map[C]//North American Cartographic Society Conference, Tacoma, USA, 2019.
[13] JENNY B,HEITZLER M,SINGH D,et al.Cartographic Relief Shading with Neural Networks[J].IEEE Transactions on Visualization and Computer Graphics, 2021, 27(2): 1225-1235.
[14] HE K M, ZHANG X Y, REN S Q, et al. Deep Residual Learning for Image Recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, USA, 2016.
[15] XIAO X, LIAN S, LUO Z M, et al. Weighted Res-UNet for High-Quality Retina Vessel Segmentation[C]//The 9th International Conference on Information Technology in Medicine and Education, Hangzhou, China, 2018.
[16] RONNEBERGER O, FISCHER P, BROX T. U-Net: Convolutional Networks for Biomedical Image Segmentation[C]//Medical Image Computing and Computer-Assisted Intervention, Munich, Germany, 2015.
[17] HEITZLER M, HURNI L. Cartographic Reconstruction of Building Footprints from Historical Maps: A Study on the Swiss Siegfried Map[J]. Transactions in GIS, 2020, 24(2): 442-461.
[18] HE K M, ZHANG X Y, REN S Q, et al. Identity Mappings in Deep Residual Networks[C]//European Conference on Computer Vision, Amsterdam, Netherlands, 2016.
[19] IOFFE S, SZEGEDY C. Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift[C]//International Conference on Machine Learning, Lille, France, 2015.
[20] HE K M, ZHANG X Y, REN S Q, et al. Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification[C]//IEEE International Conference on Computer Vision, Santiago, USA, 2015.
[21] KINGMA D P, BA J, HAMMAD M M. Adam: A Method for Stochastic Optimization[C]//The 3rd International Conference on Learning Representations, San Diego, USA, 2015.
[22] 中华人民共和国地貌集编辑委员会. 中华人民共和国地貌图集[M]. 北京: 科学出版社, 2009. The Editorial Committee for the Geomorphologic Atlas of the People's Republic of China. The Geomorphologic Atlas of the People's Republic of China [M]. Beijing: Science Press, 2009.
[23] KENNELLY P J, PATTERSON T, JENNY B, et al. Elevation Models for Reproducible Evaluation of Terrain Representation[J]. Cartography and Geographic Information Science, 2021, 48(1): 63-77.