Information Entropy Uncertainty Estimation Based Domain Adaptation for Land Cover Classification from Multi-source Remote Sensing Images
-
摘要:
在多源遥感影像地表覆盖分类中,引入域自适应方法能够对齐源域和目标域影像或其特征,提升深度学习模型的泛化能力,在智能遥感影像解译任务中具有重要意义。提出了一种基于信息熵不确定性估计的伪标签纠正方法,用于自训练的域自适应任务。其核心是提出一种熵不确定损失函数,用于跨源遥感影像之间的地表覆盖分类。首先,用含标签的源域影像训练语义分割模型,对缺乏真实标签的目标域影像预测并生成伪标签。然后,用伪标签继续训练目标域影像,计算预测结果的信息熵,并将该信息熵作为伪标签的不确定性估计,以校正伪标签并再次进行目标域影像的自训练,得到适用于目标域数据集的地表覆盖分类模型权重。最后,在3个数据集（武汉市2017年及2019年地表覆盖影像分类数据集、ISPRS 2D语义标注比赛数据集、WHU建筑物变化检测数据集）上进行了跨域的多源遥感影像地表覆盖分类实验。结果显示:引入所提方法对现有语义分割网络的性能有显著提升；相比于传统自训练方法,所提方法具有一定的提升,同时,所提方法也超越了最新的基于Kullback-Leibler散度不确定性估计的方法。以上结果表明,所提方法能够在原有预训练语义分割模型基础上进一步提升该模型对不含标签的目标域影像的分割能力,且不需要在原模型上增加额外的模块和参数。
Abstract:ObjectivesIn the land cover classification study from multi-source remote sensing images, domain adaptation method can align images or extracted image features from source and target images, thus improves the generalization ability of deep learning models and plays an important role in intelligent remote sensing image interpretation.
MethodsA self-training domain adaptation method based on information entropy uncertainty estimation for pseudo label correction is proposed, its core is an entropy uncertainty loss function for land cover classification between cross source remote sensing images. First, a land cover classification model is pretrained on the source domain training set with ground truth, and is applied on the target domain images without ground truth labels to generate pseudo labels. Then, the pseudo labels are used to further train the model, the information entropy of the prediction result is calculated and used as the uncertainty estimation of the pseudo labels to further correct the pseudo labels with self-training, so as to obtain weights of the classification model more suitable for the target domain dataset. Finally, a cross domain classification experiment was conducted on three data sets, namely, the WHU building change detection data set, the ISPRS 2D semantic annotation competition data set, and the Wuhan land cover classification data set.
ResultsExperimental results show that:(1) The proposed method improved the mean intersection over union(mIoU) and overall accuracy(OA) of semantic segmentation network by 0.3%-3.1% and 1.2%-4.5%, respectively. (2) Compared with the traditional self-training method, the proposed method can improve the mIoU and OA by 0.1%-1.5%. (3) Compared with the most recent uncertainty estimation method based on Kullback-Leibler divergence, the proposed method can improve the mIoU and OA about 0.6% in average.
ConclusionsThe proposed method can further improve the performance of a trained segmentation model for the target domain images without the requirement of target labels. There is also no need to introduce additional modules or parameters on the existing segmentation model.
-
近年来,数据驱动的深度学习方法在大量开源标签数据集和计算机性能提升的带动下得到飞速发展。然而,现实世界中更多的是海量无标签数据。在有标签源域数据集上训练的深度学习模型应用于无标签目标数据时,普遍存在泛化能力不足的问题,模型性能将大幅下降。域自适应方法可以提升深度学习模型不同数据分布之间的泛化能力,节省制作标签的人力成本,提高自动化效率,在跨域语义分割和遥感地表覆盖分类任务中被广泛关注。目前主流的针对语义分割任务的域自适应方案主要包含基于域对齐的对抗学习方法[1-6]和基于伪标签的自训练方法[7-23]。
基于域对齐的对抗学习方法利用生成对抗网络（generative adversarial network,GAN）对齐源域和目标域数据之间的分布差异,以学习源域和目标域之间不同数据间的域不变特征。文献[1]介绍了一种基于特征空间的对抗学习域自适应方法,通过对齐源域和目标域的高维特征来提升模型对于目标域数据的预测精度；文献[2]进一步扩展该方法,使用基于影像空间和特征空间相融合的对抗学习方法分别在图像和特征两个空间维度对齐两个域的数据分布；文献[3]提出采用影像与特征协同训练的方式解决医疗图像分割域自适应问题；文献[4-6]利用输出空间的域自适应实现从模拟影像到真实影像之间的域迁移。
然而,文献[22]中提到基于对抗学习方法所学习的特征不变性并不能保证源域和目标域之间的标签不变性。文献[7-12]也提出了各种基于伪标签的自训练方法。最开始的自训练方法是通过离线方式计算伪标签[13-15],通过遍历所有的训练集数据计算并更新置信度阈值,进而生成目标域影像的伪标签。但是由于源域和目标域之间存在域偏移,伪标签中往往存在许多错误的噪声标签,这会极大地影响到最终模型的学习；如果单纯地选择高置信度的预测,会导致低置信度的不确定类别难以被预测,物体边缘像素会产生模棱两可的预测[9,11]。为解决此问题,文献[7,9,16-17]提出在训练过程中使用不确定性伪标签分配策略来校正伪标签,以替代手工制定伪标签阈值,减少噪声伪标签,不确定性的程度表示标签的可信度大小,从而达到从噪声伪标签中学习的目的。此外,还有一些工作结合了对抗训练和自训练的域自适应方法[5,7-9,13,23],这些混合的方法展现出了比单独的对抗学习或自训练都要好的预测结果。文献[9]在对抗学习的基础上构建了额外的辅助分类器,利用两个分类器之间的KL（Kullback-Leibler）散度来表示对每个像素的不确定性估计,如果两个分类器预测结果不同,则表明该像素的不确定性很大,即KL散度值很大,反之则很小；文献[13]在对抗学习中加入了基于实例自适应选择器的伪标签生成策略。
在遥感领域中,存在大量无地表覆盖语义标签的卫星影像和航空影像。由于卫星传感器多种多样、气候和大气辐射条件多变,多源遥感影像之间的数据分布往往相差巨大,因此遥感影像的域自适应工作通常要比近景影像更加困难。为了解决跨域地表覆盖分类问题,文献[24]综合运用域自适应和图像级弱标签两种策略来优化训练过程；文献[25]基于对抗学习提出了一种目标域图像级标签已知的弱监督域适应方法用于遥感影像地物分类,文献[26]运用生成式对抗网络在珠海市2020,Pleiade的高分辨率遥感影像和天地图影像中实现了分割模型的跨域迁移；文献[27]利用Cycle GAN[28]中的循环一致性对抗学习方法对齐源域和目标域影像的风格,再进行航空影像语义分割。ColorMapGAN[29]显式地学习不同域卫星影像之间的颜色变换。文献[30]提出了结合影像空间、特征空间和输出空间的全空间域自适应框架以对齐多源遥感影像之间的数据分布。文献[31]结合对抗学习和自监督方法,应用于遥感影像中一个源域对应于多个目标域的跨域场景分类问题。文献[32]提出了一种从局部到整体的域自适应框架以渐进地对齐跨域特征。以上的几种方法主要以对抗学习为基础实现遥感影像之间的域自适应,而本文主要探索基于自训练的遥感影像之间的跨域地表覆盖分类任务。
目前,基于自训练的域自适应方法大都需要通过人工干预设置置信度阈值以生成伪标签,并从高置信度目标预测中进行自我学习。这种思路假设这些预测有更高的正确率,但未标记的目标数据并没有任何形式的外部监督,因此网络可能会通过对错误的伪标签学习而逐渐产生越来越自信的错误预测；也有一些自动为每个像素生成置信度阈值的方法,比如文献[9],该方法巧妙地利用KL散度估计来表示语义分割预测结果的不确定性,但是该方法需要在已有的网络模型上构造额外的结构,这对常用的经典语义分割网络模型并不友好,无法直接加载公开大数据集的预训练模型,导致该方法不易于推广。本文以此为出发点,提出了一种基于信息熵的不确定性估计方法,以校正伪标签,该方法的核心是设计一种新颖的熵不确定性损失函数,因此不必修改现有网络结构,不会引入额外的模型参数,可用于任何跨域语义分割的自训练方法,以提升原有模型的性能。
1 数据集介绍
本文在具有代表性的3个数据集上评估所提出的算法。第一个数据集包含了武汉市2017年和2019年的高分辨率双时相卫星影像,其中2017年的影像来源于北京1号卫星,2019年的影像来自高景2号卫星,具体的影像全景如图1（a）、1（b）所示。整个武汉市超过8 000 km2,但是,在2017年的影像中部分区域被云雾所遮挡,例如图1（a）中的右上部分和上边部分。本文选择了大约3 500 km2的代表性区域作为实验数据。图1（a）、1（b）黄色方框中的部分被用作训练集,红色方框中的部分被用作验证集和测试集。将2017年的数据看作为源域数据,将2019年的数据作为目标域数据。因此,2019年数据影像的标签不参与训练,仅仅被用于评估深度学习模型性能。2017年和2019年卫星影像的原始分辨率分别为1 m和0.5 m。为了保持分辨率的统一,实验之前先将2019年数据集的分辨率下采样至1 m。
第2个数据集中包含了波兹坦（Potsdam）和瓦林根（Vaihingen）城市的开源航空影像集,具体如图1（c）、1（d）所示。这些影像来自于国际摄影测量与遥感学会（International Society for Photogrammetry and Remote Sensing, ISPRS） WG Ⅲ/4[33]的一个二维（2 dimensional, 2D）语义标注比赛,并且该比赛提供了带标签的真正射影像,本文使用这些带像素级标签的真正射影像作为实验数据。由于并未提供这两个城市的红绿蓝三波段的航空影像,因此本文使用提供的近红外、红色和绿色三波段的影像作为实验对象。Potsdam、Vaihingen原始的影像分辨率分别为0.05 m、0.09 m,为了保障跨域迁移不受影像分辨率的影响,本文将Potsdam的影像分辨率下采样到0.1 m并将其作为源域影像,将Vaihingen数据作为目标域影像。这两个数据集包括了不同数据源,即航空影像和卫星影像,不同域自适应应用场景,即武汉数据代表了重叠的同一区域,而ISPRS数据代表了不同城市之间的无重叠区域。这两套数据可以全面评估本文的域自适应方法的性能。
第3个数据来自武汉大学（Wuhan University, WHU）建筑物变化检测数据集[34],如图2（a）、2（b）所示。这个数据集包含了2012年和2016年在新西兰克赖斯特彻奇市的同一地区获取的航空数据集,原始影像的空间分辨率为0.075 m,本文将空间分辨率降采样为0.2 m,区域大小为20.5 km2。该地区在2011年2月发生了地震,之后几年的灾后重建导致该地区的地表覆盖发生了很大的变化,主要表现为新增了大量建筑物。图2（a）为2012年拍摄的航空影像,图2（b）为2016年获取的航空影像,红色方框内区域作为训练集,蓝色方框内区域作为验证集,黄色方框内区域作为测试集。2012年的数据作为源域数据,2016年的数据作为目标域数据。
由于图形处理器显存容量的限制,对于多类别的武汉数据集以及Potsdam和Vaihingen数据集,整幅遥感影像将被裁切为若干个大小为256×256像素的瓦片,对于单目标的WHU建筑物数据集,影像被裁切成大小为512×512像素的瓦片。
如图3（a）所示,武汉市影像的地表覆盖类型将依照2017的全国地理国情信息普查中的指示被划分为8个大类：作物、林草、建筑、铁路与道路、构筑物、堆掘地、荒漠裸露地表、水域,这8个类别分别对应着图3（b）图例中的黄色、绿色、紫色、红色、橙色、青色、粉色、蓝色。对于Potsdam和Vaihingen数据集而言,标签中将地表覆盖影像分成了6个类别,分别为：非渗透表面、建筑、灌木、树林、汽车、背景。对于WHU数据集,标签中只包含建筑物类和非建筑物类（背景类）。
![]()
图 3 武汉市2017年影像部分区域及其对应标签Figure 3. Part Area of Wuhan Image in 2017 and Its Corresponding Labels在训练阶段,对于武汉市和ISPRS数据,设置4张大小为256×256像素的瓦片作为一个训练批次,对于WHU数据,设置为2张。所有的数据都被归一化到0均值和1方差,且没有任何其他的数据增强操作。对于武汉市影像,训练集包含了25 956张带标签的2017年的影像瓦片和25 604张没有标签的2019年的影像瓦片；验证集和测试集则分别包含了4 000张和21 064张2019年带标签的影像瓦片。对于Potsdam和Vaihingen数据集,训练集中包含了4 939张带标签的Potsdam影像瓦片和6 444张不带标签的Vaihingen影像瓦片；测试集包含2 500张带标签的Vaihingen影像瓦片。对于WHU数据集,训练集分别包含1 260张2011年和2016年的影像瓦片,验证集和测试集分别包含230张和460张2016年的影像瓦片。
2 研究方法
2.1 自训练方法整体流程
本文采用的基于自训练的域自适应方法整体流程如图4所示。主要分为4个步骤：（1）利用源域影像及其对应的标签训练语义分割模型S；（2）训练完毕后,将目标域训练影像样本送入S中推理得到地表覆盖分类预测结果,并将其作为目标域影像的伪标签；（3）加载（1）中保存的S权重参数作为初始化权重值,并用目标域伪标签搭配本文提出的熵不确定性损失函数继续训练S。训练完毕后得到的优化结果即为语义分割模型S的最终模型权重,其预测的目标域影像地表覆盖分类结果作为最终预测结果。基于该自训练方法的流程,本文主要研究提出的熵不确定损失函数对于提升模型分类能力的有效性以及与其他方法的比较评估。
2.2 基于信息熵不确定性估计的自训练方法
文献[5,7-9,13,23]首先利用对抗学习生成高质量伪标签,然后在此基础上使用自训练的方法进一步提升语义分割结果。文献[9]首先构建额外的分类器,计算两个分类器预测结果的KL散度作为伪标签的像素级不确定性评估指标,再用其纠正生成的伪标签,用于目标域影像的自训练,以达到接近有监督训练的语义分割水平。本文方法在文献[9]的基础上提出了另一种描述像素分类不确定性的方法,即信息熵不确定性估计方法。
本文方法中首先利用已训练的分割网络S（该网络可以是使用域自适应方法的语义分割网络,也可以是常规语义分割网络）,加载之前训练完毕的模型权重生成目标域数据的预测结果：
(1) (2) 式中,pt表示将目标影像xt送入分割网络S后得到的softmax概率图；i表示xt中的某个像素位置；p
表示目标域影像xt在i像素位置的第k个类别通道预测的概率大小； 目标域影像xt在i像素位置的伪标签类别,通过对p 的第k个类别通道进行argmax计算而得到。 之后利用目标域的训练样本及其伪标签精化分割模型S,具体做法为固定伪标签,利用通常的伪标签自训练的方法,将伪标签
看作真实的标签,并利用交叉熵损失函数训练分割模型S的参数,以减少模型预测和伪标签之间的偏置。目标损失函数为： (3) 式中,L为损失函数；E为能量函数；K表示类别数；l[]表示指示函数；xt和
分别代表目标影像样本及其伪标签；XT和 为其对应的概率分布。 但由于源域和目标域之间的域差异,伪标签中还存在许多虚假的噪声标签,这会干扰模型对目标域样本的学习。为了解决这个问题,受文献[7-9]启发,可以利用每个像素预测概率的信息熵作为其不确定性的描述。与文献[9]中构建额外的辅助分类器并计算两个分类器预测结果的KL散度来表示像素的不确定性相比,基于熵的方法不需要构建额外的辅助分类器,也不需要修改已有网络模型,这样更易推广到一般的跨域语义分割任务中。利用信息熵描述不确定性的方法为：
(4) 式中,I
表示目标影像xt在i像素位置的不确定性。当该点预测概率越确定（即趋向于0或1）时,I 越小,代表着该点像素的不确定性越小；反之,当该点的预测概率越不确定（即趋向于0.5）时,I 越大,代表着该点像素的不确定性越大。因此,该点像素的信息熵可用来描述生成伪标签的不确定性。 有了伪标签的不确定性描述后,本文方法借鉴了文献[9]的思想,利用不确定性描述项来校正语义分割网络原始的交叉熵（cross-entropy）损失函数,从带噪声的伪标签中学习调整分割模型S的分割权重参数。校正后,整体的目标损失函数公式为：
(5) 式中,It表示模型S对目标样本xt的不确定性；
为式（3）中的损失函数。 式（5）表明,不需要在所有情况下都减少预测的误差,如果预测的不确定性项It是一个很大的值,会使exp｛
It｝很小,模型将会忽略 项,跳过不确定的标签；反之,如果预测的不确定性很小,表示当前点的置信度较高,可以作伪标签训练模型。因此,可以让模型只专注于确定性较高的伪标签与预测之间的误差。此外,不确定项是在每个像素点上计算的,因此与预测图有相同的尺寸大小,这表明该不确定性项可以被看作为伪标签像素级别的置信度阈值,这样就省去了人工手动设定伪标签阈值步骤。同时,为了防止模型在所有时刻都预测一个较大的不确定性,在损失函数后添加正则化项以解决该问题。 需要提醒的是,在文献[9]中,其原始的交叉熵损失函数并没有对每个像素的损失求平均,而是保留了原始的尺寸,即
（S）项的空间尺寸和输入影像大小相同。在本文方法对原始交叉熵损失函数的结果在空间维度上求平均,即 （S）项是个长度为N的一维张量,其中N代表训练时输入数据的批次大小。另外,在进行自训练时,需要再次加载生成目标域伪标签的模型权重作为自训练方法的初始权重。 3 影像地表覆盖分类实验与分析
3.1 基于信息熵不确定性估计的自训练方法评估
为了研究自训练方法能否增加语义分割模型在跨域数据上的预测能力,以及验证本文提出的损失函数对自训练效果提升的有效性,使用了3个数据集分别在MAFCN[35]、AdaptSegNet[4]、FSDAN[30]3种分割网络上做了3种实验,这3种网络使用的骨架与文献[30]中的一致,MAFCN是语义分割网络,后两种方法自身就是域自适应网络。3种实验分别为：Ⅰ：原始网络的直接语义分割结果,即不含自训练；Ⅱ：直接使用生成的预测结果作伪标签进行自训练的结果；Ⅲ：用本文方法提出的损失函数对伪标签进行不确定性估计后,再进行自训练的结果。每种方法的表现性能将使用两种评价指标进行评估：平均交并比（mean intersection over union, mIoU）和整体准确率（overall accuracy, OA）。
表1中展示了以上3个模型用3种方法在武汉市数据集上的语义分割结果。其中Oracle代表使用带标签的目标域影像的有监督结果。从表1中的结果可以看出,使用自训练后所有模型的分割结果都在mIoU和OA上有所提升,如在MAFCN网络上mIoU和OA提升了3.1%以上,这表明了自训练方法在武汉数据集上的有效性。此外,相比于方法Ⅱ,即没用不确定性估计的自训练方法,本文方法在3个模型上的mIoU分数都有微弱提高,这表明本文提出的不确定性估计方法在武汉数据集上是有效的。
表 1 各语义分割模型在武汉市数据集上的实验结果/%Table 1. Experimental Results of Each Semantic Segmentation Model on Wuhan Dataset/%网络 自训练方法 IoU mIoU OA 作物 林草 建筑 道路 构筑物 堆掘地 荒漠 水域 MAFCN Ⅰ 50.2 28.2 46.3 29.4 15.0 20.8 0.1 47.8 29.7 55.8 Ⅱ 53.9 37.7 45.8 31.5 13.8 18.1 0.0 58.1 32.4 60.3 Ⅲ 54.9 32.5 46.0 31.8 17.0 24.8 0.2 55.3 32.8 60.0 AdaptSegNet Ⅰ 51.9 36.7 48.8 34.0 14.0 31.0 0.1 61.7 34.8 61.8 Ⅱ 53.0 38.8 50.1 36.4 14.9 31.3 0.1 65.3 36.2 63.4 Ⅲ 51.5 41.0 51.3 36.5 15.1 31.0 0.0 64.8 36.4 63.3 FSDAN Ⅰ 60.0 43.7 48.6 43.5 22.6 31.2 1.5 71.3 40.2 66.9 Ⅱ 59.8 44.3 50.3 41.1 21.5 32.6 1.4 72.2 40.4 66.9 Ⅲ 59.0 44.6 49.2 42.4 21.4 32.3 1.7 73.2 40.5 67.0 Oracle Ⅰ 62.1 46.9 59.3 46.7 26.4 39.8 0.2 75.6 44.6 71.0 表2中展示了3个语义分割模型分别用3种方法在ISPRS数据集上的语义分割结果。从表2中的结果可以看出,使用了自训练之后,所有模型的mIoU和OA上的都有提升,并且本文方法在3个语义分割网络预测结果的mIoU和OA上都获得了1%以上的提升,在FSDAN模型上,本文方法比没用自训练时的mIoU和OA都提升了3.2%以上,这表明自训练方法在ISPRS数据集上的有效性。相比于方法Ⅱ,本文方法在mIoU和OA上也至少提升了0.4%,在MAFCN模型上两个评价指标都提升了1.4%以上,并且本文方法几乎在大多数单个类别的IoU上都取得了最高的分数,这表明本文方法在ISPRS数据集上的有效性。
表 2 各语义分割模型在ISPRS数据集上的实验结果/%Table 2. Experimental Results of Each Semantic Segmentation Model on ISPRS Dataset/%网络 自训练方法 IoU mIoU OA 非渗透表面 建筑 灌木 树林 汽车 背景 MAFCN Ⅰ 34.2 44.1 16.7 53.3 7.5 4.3 26.7 52.6 Ⅱ 37.7 44.8 15.8 52.1 6.5 5.0 27.0 53.8 Ⅲ 39.4 45.9 15.7 54.0 10.6 5.3 28.5 55.6 AdaptSegNet Ⅰ 55.9 55.5 25.6 50.8 18.9 7.5 35.7 63.3 Ⅱ 57.6 55.6 26.7 51.1 19.7 7.4 36.3 63.9 Ⅲ 56.8 56.8 27.0 51.7 20.4 7.6 36.7 64.3 FSDAN Ⅰ 57.4 57.8 41.7 58.4 37.0 10.0 43.7 68.2 Ⅱ 58.8 59.2 41.8 62.7 42.6 12.8 46.3 70.4 Ⅲ 61.3 61.8 40.2 62.5 39.9 18.4 47.3 71.6 Oracle 无 83.7 89.4 70.9 77.4 65.4 75.4 77.0 89.1 表3中展示了3个语义分割模型分别用3种方法在WHU数据集上的语义分割结果。从表3中的结果可以看出,使用自训练之后,所有模型预测结果的mIoU和OA都有所提升,两种自训练方法在3种分割网络的预测结果上至少获得了1.1%mIoU和OA的提升,这表明两种自训练方法在WHU数据集上都有明显提升分类精度的效果。和方法Ⅱ相比,本文方法在MAFCN和AdaptSegNet两种分割网络上都有更好的mIoU和OA的提升,但在FSDAN的框架下取得的mIoU和OA的提升程度不如前者,这可能是由于WHU数据集中有效的类别只有建筑物一种,没有多分类数据中难以分辨的类别,导致了在这种情况下基于不确定性估计的自训练方法在有些伪标签的情况下效果不如直接使用伪标签的方法。
表 3 各语义分割模型在WHU数据集上的实验结果/%Table 3. Experimental Results of Each Semantic Segmentation Model on WHU Dataset/%网络 自训练方法 IoU mIoU OA 背景 建筑 MAFCN Ⅰ 83.8 44.9 64.5 85.7 Ⅱ 85.5 46.7 66.1 87.1 Ⅲ 86.4 48.3 67.4 88.0 AdaptSegNet Ⅰ 96.2 76.5 86.4 96.6 Ⅱ 96.9 80.7 88.8 97.2 Ⅲ 97.0 81.0 89.0 97.3 FSDAN Ⅰ 97.7 85.3 91.5 98.0 Ⅱ 98.1 88.3 93.2 98.4 Ⅲ 98.0 87.1 92.6 98.2 Oracle Ⅰ 98.8 92.2 95.5 98.9 综合分析以上3个语义分割模型分别在3个数据集上的实验结果,可以看出在6组已经使用域自适应方法（AdaptSegNet和FSDAN方法）的实验中,自训练的方法仍然是有效的,mIoU提升幅度在0.2%~3.6%之间,OA提升幅度在0.0%~3.4%之间,这表明了使用自训练的域自适应方法可以在现有基于GAN网络的域自适应语义分割方法上取得进一步的分割效果的提升,这与文献[5,7-9,13,23]中展现出来的结果是一致的。
对于没有使用域自适应方法的原始语义分割网络,在3个数据集上,使用自训练的方法都可以获得较大的分割结果的提升,mIoU提升幅度为0.3%~3.1%,OA提升幅度为1.2%~4.5%,这
表明基于自训练的域自适应方法对基础语义分割网络的跨域分割任务的性能也有所提升。
比较全部的9组实验,在其中8组实验中,本文的基于信息熵不确定性估计的自训练方法提升效果要好于没有使用不确定性估计的自训练方法,这8组实验包含了全部6组复杂的多分类实验（3组八分类地表覆盖分类实验和3组六分类地表覆盖分类实验）,与这两种自训练方法相比,本文方法的提升幅度为0.1%~1.5%。只有在基于FSDAN网络和较为简单的WHU二分类任务数据集上,本文方法的提升效果要弱于Ⅱ方法。综合而言,本文提出的基于信息熵的不确定性估计的自训练方法是有效的。
为了更直观地展示自训练方法的效果,选取了ISPRS数据集中的5张影像瓦片作为可视化结果（见图5）,其中ASN指AdaptSegNet网络。从图5展示的结果中可以发现,在每种语义分割网络框架中,其经过自训练精化后（方法Ⅱ和方法Ⅲ）,地表覆盖预测结果大体上没有变化,但是一些边缘的局部细节发生了调整。自训练后,一些分类错误的噪声点减少甚至消失了,边缘轮廓更加干净。这说明自训练后一些边缘处预测模糊的像素值被重新学习训练以获得更加准确的分类。另外,图5中还显示出本文基于信息熵不确定性估计的自训练方法的提升效果要优于方法Ⅱ。
![]()
图 5 ISPRS数据集上自训练有效性实验结果图Figure 5. Experiment Results of Self-training on ISPRS Dataset图6展示了自训练方法对于建筑物提取二分类任务的可视化结果,依旧可以看出经过自训练后,相同模型的预测结果大体上并没有改变,但自训练的方法主要通过了两种方式提升建筑物提取的IoU。首先,对于预测结果边缘处较为模糊的错误分类,通过自训练的调整后,可以获得更加正确的预测,这在图6中表现为：经过自训练后,预测结果的边缘部分看起来更加平滑简洁,一些小块的错误预测也被消除了。其次,对于图6中前两行展示的较大尺寸的建筑物,由于模型感受野的限制,导致预测的建筑区域中间存在小空洞,而经过自训练的再学习后,这些空洞部分能被正确地预测为建筑物,从而提升了预测分类效果。这些结果表明了自训练方法对于提升语义分割模型在跨域二分类任务上表现性能的有效性。本文提出的自训练方法相比于方法Ⅱ,预测结果边缘更简洁光滑,填补空洞的范围更大,整体上取得了更好的提升效果。
3.2 本文方法与其他方法的比较评估
本文方法是受文献[9]的启发,二者都是基于不确定性估计的自训练方法,因此需进一步比较这两种方法之间的优劣。由于文献[9]中使用了辅助分类器,这使得本文中采用的基线网络在MAFCN的基础上还需添加辅助分类器,辅助分类器的具体结构和文献[9]中类似。将加入辅助分类器结构的MAFCN称为MAFCN-aux,并将其作为基准网络。以MAFCN-aux作为骨架构建AdaptSegNet的域自适应方法,将其称为AdaptSegNet-aux。由于FSDAN结构已经十分复杂,显卡显存有限,这里没有对FSDAN结构添加辅助分类器做进一步的实验。
使用3个数据集分别在MAFCN-aux和AdaptSegNet-aux网络上做了3种实验,其中,Ⅰ表示原始网络的语义分割结果,Ⅱ表示使用文献[9]中提出的KL散度当作伪标签的不确定性估计,Ⅲ表示使用本文方法提出的损失函数对伪标签进行不确定性估计。
表4中展示了两个模型分别用3种方法在武汉市数据集上的语义分割结果。从表4中的结果可以看出,使用自训练方法后,无论是对于传统语义分割模型,还是域自适应语义分割模型,其在测试集上预测结果的mIoU和OA都有明显的提升。相比于文献[9]中的方法,本文方法在两种分割网络上的mIoU和OA提升都略高一些,况且本文方法不需要构建额外的辅助分类器,模型参数少,更易于推广到更一般的语义分割网络中。以上结果显示,在武汉数据集上,本文的方法相比于文献[9]方法更具有先进性。
表 4 两种基于不确定性估计的自训练方法在武汉市数据集上的实验结果/%Table 4. Experimental Results of Two Self-training Methods Based on Uncertainty Estimation on Wuhan Dataset/%网络 自训练方法 IoU mIoU OA 作物 林草 建筑 道路 构筑物 堆掘地 荒漠 水域 MAFCN-aux Ⅰ 51.6 28.0 44.6 29.9 13.3 14.9 0.3 4.9 29.0 56.2 Ⅱ 53.1 30.5 47.4 29.7 12.7 23.8 0.1 50.7 31.0 58.3 Ⅲ 53.8 30.0 46.2 33.6 10.6 25.9 0.1 50.2 31.3 58.6 AdaptSegNet-aux Ⅰ 58.3 40.6 51.2 40.7 20.0 30.3 0.0 64.4 38.2 65.4 Ⅱ 59.5 44.6 52.2 41.9 20.2 30.1 0.0 69.1 39.7 67.2 Ⅲ 59.7 43.2 52.4 41.7 21.2 31.3 0.0 68.5 39.8 67.2 表5中展示的是两种模型在ISPRS数据集上的实验结果。结果显示,两种自训练方法相对于原始语义分割结果依旧获得了明显的mIoU和OA提升,这进一步表明了自训练方法的有效性,且本文方法整体上的提升效果要略好于文献[9]方法,这和表4中的实验结果相吻合,虽然提升效果甚微,但是本文方法易实现、易推广、速度快、参数少,具有先进性。
表 5 两种基于不确定性估计的自训练方法在ISPRS数据集上的实验结果/%Table 5. Experimental Results of Two Self-training Methods Based on Uncertainty Estimation on ISPRS Dataset/%网络 自训练方法 IoU mIoU OA 非渗透表面 建筑 灌木 树林 汽车 背景 MAFCN-aux Ⅰ 39.0 37.7 22.3 43.8 1.0 0.1 24.0 52.4 Ⅱ 42.2 40.6 23.1 47.9 0.5 0.1 25.7 55.5 Ⅲ 41.2 42.6 19.8 51.2 0.0 0.1 25.8 56.7 AdaptSegNet-aux Ⅰ 50.6 55.1 26.6 53.9 16.2 4.6 34.5 62.0 Ⅱ 55.2 58.1 26.7 55.9 16.2 4.6 36.1 64.1 Ⅲ 54.7 57.2 26.6 55.4 17.6 5.5 36.2 64.2 表6中展示了两个模型分别用3种方法在WHU数据集上的语义分割结果。可以看出,使用自训练之后两个模型预测结果的mIoU和OA有较明显的提升,本文方法在所有类别上都取得了最好的分割结果。与方法Ⅱ相比,本文方法在两种分割网络上都有更高的mIoU和OA的提升,mIoU分别高0.7%和0.3%,这显示在WHU数据集上,本文方法相比于文献[9]方法的提升效果更好。
表 6 两种基于不确定性估计的自训练方法在WHU数据集上的实验结果/%Table 6. Experimental Results of Two Self-training Methods Based on Uncertainty Estimation on WHU Dataset/%网络 自训练方法 IoU mIoU OA 背景 建筑 MAFCN-aux Ⅰ 85.0 48.6 66.8 86.9 Ⅱ 85.5 48.9 67.2 87.2 Ⅲ 86.1 49.7 67.9 87.8 AdaptSegNet-aux I 96.9 81.3 89.1 97.3 Ⅱ 97.7 85.8 91.8 98.0 Ⅲ 97.8 86.3 92.1 98.1 综合分析两个模型在3个数据集上的6组实验结果,在全部的6组实验中,相比于文献[9]中的自训练方法,本文方法的提升效果略好于后者,具体地,mIoU的提升在0.1%~0.7%之间,OA的提升在0.0%~1.2%之间,这表明本文方法在地表覆盖分类任务的效果提升上更加先进。虽然有些实验中的提升非常微小,但考虑到本文方法的实现较为简单,即只需修改损失函数且不需要额外构建辅助分类器,因此可以在现有语义分割模型的预测结果基础上直接进行自训练,这使得本文方法更易迁移推广,且不会引入额外的模型参数,因此本文方法在推广上也更具有先进性。
为了更加直观地展示本文方法相对于文献[9]方法的提升效果,从WHU数据集中选了4张瓦片影像及其对应的各种方法的语义分割预测结果来可视化分割效果,如图7所示,MA-aux代表MAFCN-aux方法,ASN-aux代表AdaptSegNet-aux方法。从图7中可以看出,对两个网络模型而言,其原始预测结果有非常多的伪真值和伪背景点,而通过自训练之后可以消除一部分的伪真值和伪背景点,从而提升预测效果,这表示自训练方法可以在一定程度上纠正错误的预测结果。再比较两种网络的方法Ⅱ和方法Ⅲ可视化结果,可以发现方法Ⅲ一方面对建筑物边缘的修复更加完整平滑,另一方面对于伪真值点的消除也更加完整。
值得注意的是,当比较表1和表3（武汉市数据集结果）、表2和表4（ISPRS数据集结果）、表3和表6（WHU数据集结果）时,可以发现当原有分类模型引入了文献[9]的辅助分类器后,即使模型和实现都变复杂了,但其效果并没有比本文直接在原始网络模型上做域自适应更好。这表明若采用本文基于信息熵的不确定性估计方法,引入额外的辅助分类器是不必要的。
4 结语
本文研究了基于自训练的域自适应多源遥感影像地表覆盖分类,提出了一种基于信息熵的
不确定性估计方法以校正伪标签,用于跨域语义分割任务中目标域影像的自训练。在3个多源遥感影像数据集上,分别用一种语义分割基准网络
和两种语义分割域自适应网络做了对比实验,验证了本文方法能够在原有预训练语义分割网络基础上进一步提升网络跨域任务的性能,且优于其他自训练方法。特别地,与基于KL散度的不确定性估计方法的对比实验结果表明,本文提出的基于熵不确定性估计的方法实现简单,提升效果更好,且无需修改现有模型结构,不会增加额外的模型参数量,更易于推广到其他的语义分割方法中。
http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20220346
-
![]()
图 3 武汉市2017年影像部分区域及其对应标签
Figure 3. Part Area of Wuhan Image in 2017 and Its Corresponding Labels
![]()
图 5 ISPRS数据集上自训练有效性实验结果图
Figure 5. Experiment Results of Self-training on ISPRS Dataset
表 1 各语义分割模型在武汉市数据集上的实验结果/%
Table 1 Experimental Results of Each Semantic Segmentation Model on Wuhan Dataset/%
网络 自训练方法 IoU mIoU OA 作物 林草 建筑 道路 构筑物 堆掘地 荒漠 水域 MAFCN Ⅰ 50.2 28.2 46.3 29.4 15.0 20.8 0.1 47.8 29.7 55.8 Ⅱ 53.9 37.7 45.8 31.5 13.8 18.1 0.0 58.1 32.4 60.3 Ⅲ 54.9 32.5 46.0 31.8 17.0 24.8 0.2 55.3 32.8 60.0 AdaptSegNet Ⅰ 51.9 36.7 48.8 34.0 14.0 31.0 0.1 61.7 34.8 61.8 Ⅱ 53.0 38.8 50.1 36.4 14.9 31.3 0.1 65.3 36.2 63.4 Ⅲ 51.5 41.0 51.3 36.5 15.1 31.0 0.0 64.8 36.4 63.3 FSDAN Ⅰ 60.0 43.7 48.6 43.5 22.6 31.2 1.5 71.3 40.2 66.9 Ⅱ 59.8 44.3 50.3 41.1 21.5 32.6 1.4 72.2 40.4 66.9 Ⅲ 59.0 44.6 49.2 42.4 21.4 32.3 1.7 73.2 40.5 67.0 Oracle Ⅰ 62.1 46.9 59.3 46.7 26.4 39.8 0.2 75.6 44.6 71.0 
下载: 导出CSV
表 2 各语义分割模型在ISPRS数据集上的实验结果/%
Table 2 Experimental Results of Each Semantic Segmentation Model on ISPRS Dataset/%
网络 自训练方法 IoU mIoU OA 非渗透表面 建筑 灌木 树林 汽车 背景 MAFCN Ⅰ 34.2 44.1 16.7 53.3 7.5 4.3 26.7 52.6 Ⅱ 37.7 44.8 15.8 52.1 6.5 5.0 27.0 53.8 Ⅲ 39.4 45.9 15.7 54.0 10.6 5.3 28.5 55.6 AdaptSegNet Ⅰ 55.9 55.5 25.6 50.8 18.9 7.5 35.7 63.3 Ⅱ 57.6 55.6 26.7 51.1 19.7 7.4 36.3 63.9 Ⅲ 56.8 56.8 27.0 51.7 20.4 7.6 36.7 64.3 FSDAN Ⅰ 57.4 57.8 41.7 58.4 37.0 10.0 43.7 68.2 Ⅱ 58.8 59.2 41.8 62.7 42.6 12.8 46.3 70.4 Ⅲ 61.3 61.8 40.2 62.5 39.9 18.4 47.3 71.6 Oracle 无 83.7 89.4 70.9 77.4 65.4 75.4 77.0 89.1
下载: 导出CSV
表 3 各语义分割模型在WHU数据集上的实验结果/%
Table 3 Experimental Results of Each Semantic Segmentation Model on WHU Dataset/%
网络 自训练方法 IoU mIoU OA 背景 建筑 MAFCN Ⅰ 83.8 44.9 64.5 85.7 Ⅱ 85.5 46.7 66.1 87.1 Ⅲ 86.4 48.3 67.4 88.0 AdaptSegNet Ⅰ 96.2 76.5 86.4 96.6 Ⅱ 96.9 80.7 88.8 97.2 Ⅲ 97.0 81.0 89.0 97.3 FSDAN Ⅰ 97.7 85.3 91.5 98.0 Ⅱ 98.1 88.3 93.2 98.4 Ⅲ 98.0 87.1 92.6 98.2 Oracle Ⅰ 98.8 92.2 95.5 98.9
下载: 导出CSV
表 4 两种基于不确定性估计的自训练方法在武汉市数据集上的实验结果/%
Table 4 Experimental Results of Two Self-training Methods Based on Uncertainty Estimation on Wuhan Dataset/%
网络 自训练方法 IoU mIoU OA 作物 林草 建筑 道路 构筑物 堆掘地 荒漠 水域 MAFCN-aux Ⅰ 51.6 28.0 44.6 29.9 13.3 14.9 0.3 4.9 29.0 56.2 Ⅱ 53.1 30.5 47.4 29.7 12.7 23.8 0.1 50.7 31.0 58.3 Ⅲ 53.8 30.0 46.2 33.6 10.6 25.9 0.1 50.2 31.3 58.6 AdaptSegNet-aux Ⅰ 58.3 40.6 51.2 40.7 20.0 30.3 0.0 64.4 38.2 65.4 Ⅱ 59.5 44.6 52.2 41.9 20.2 30.1 0.0 69.1 39.7 67.2 Ⅲ 59.7 43.2 52.4 41.7 21.2 31.3 0.0 68.5 39.8 67.2
下载: 导出CSV
表 5 两种基于不确定性估计的自训练方法在ISPRS数据集上的实验结果/%
Table 5 Experimental Results of Two Self-training Methods Based on Uncertainty Estimation on ISPRS Dataset/%
网络 自训练方法 IoU mIoU OA 非渗透表面 建筑 灌木 树林 汽车 背景 MAFCN-aux Ⅰ 39.0 37.7 22.3 43.8 1.0 0.1 24.0 52.4 Ⅱ 42.2 40.6 23.1 47.9 0.5 0.1 25.7 55.5 Ⅲ 41.2 42.6 19.8 51.2 0.0 0.1 25.8 56.7 AdaptSegNet-aux Ⅰ 50.6 55.1 26.6 53.9 16.2 4.6 34.5 62.0 Ⅱ 55.2 58.1 26.7 55.9 16.2 4.6 36.1 64.1 Ⅲ 54.7 57.2 26.6 55.4 17.6 5.5 36.2 64.2
下载: 导出CSV
表 6 两种基于不确定性估计的自训练方法在WHU数据集上的实验结果/%
Table 6 Experimental Results of Two Self-training Methods Based on Uncertainty Estimation on WHU Dataset/%
网络 自训练方法 IoU mIoU OA 背景 建筑 MAFCN-aux Ⅰ 85.0 48.6 66.8 86.9 Ⅱ 85.5 48.9 67.2 87.2 Ⅲ 86.1 49.7 67.9 87.8 AdaptSegNet-aux I 96.9 81.3 89.1 97.3 Ⅱ 97.7 85.8 91.8 98.0 Ⅲ 97.8 86.3 92.1 98.1
下载: 导出CSV
-
[1] Wilson G, Cook D J. A Survey of Unsupervised Deep Domain Adaptation[J]. ACM Transactions on Intelligent Systems and Technology , 2020, 11（5）： 1-46.
[2] Hoffman J, Tzeng E, Park T, et al. CyCADA： Cycle-Consistent Adversarial Domain Adaptation[C]//International Conference on Machine Learning, Montreal, Canada, 2018.
[3] Chen C, Dou Q, Chen H, et al. Synergistic Image and Feature Adaptation： Towards Cross-Modality Domain Adaptation for Medical Image Segmentation[C]//AAAI Conference on Artificial Intelligence, Hawaii, USA, 2019.
[4] Tsai Y, Hung W, Schulter S, et al. Learning to Adapt Structured Output Space for Semantic Segmentation[C]//IEEE Conference on Computer Vision and Pattern Recognition, Salt Lake City, USA, 2018.
[5] Tsai Y, Sohn K, Schulter S, et al. Domain Adaptation for Structured Output via Discriminative Patch Representations[C]//The IEEE International Conference on Computer Vision, Seoul, South Korea,2019.
[6] Luo Y, Zheng L, Guan T, et al. Taking a Closer Look at Domain Shift： Category-Level Adversaries for Semantics Consistent Domain Adaptation[C]//The IEEE Conference on Computer Vision and Pattern Recognition,California, USA,2019.
[7] Wang Y, Peng J, Zhang Z. Uncertainty-Aware Pseudo Label Refnery for Domain Adaptive Semantic Segmentation[C]//IEEE/CVF International Conference on Computer Vision, Montreal, Canada, 2021.
[8] Mei K, Zhu C, Zou J, et al. Instance Adaptive Self-training for Unsupervised Domain Adaptation[C]//European Conference on Computer Vision, Glasgow, UK, 2020.
[9] Zheng Z,Yang Y. Rectifying Pseudo Label Learning via Uncertainty Estimation for Domain Adaptive Semantic Segmentation[J]. International Journal of Computer Vision, 2021, 129（4）： 1106-1120.
[10] Araslanov N, Roth S. Self-supervised Augmentation Consistency for Adapting Semantic Segmentation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Online, 2021.
[11] Liu Y,Deng J,Gao X, et al. BAPA-Net： Boundary Adaptation and Prototype Alignment for Cross-Domain Semantic Segmentation[C]//IEEE/CVF International Conference on Computer Vision,Montreal, Canada, 2021.
[12] Tranheden W, Olsson V, Pinto J, et al. DACS： Domain Adaptation via Cross-Domain Mixed Sampling[C]//IEEE/CVF Winter Conference on Applications of Computer Vision, Online, 2021.
[13] Li Y,Yuan L,Vasconcelos N.Bidirectional Learning for Domain Adaptation of Semantic Segmentation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Los Angeles, USA, 2019.
[14] Zou Y, Yu Z, Kumar B V K V, et al. Unsupervised Domain Adaptation for Semantic Segmentation via Class-Balanced Self-training[C]//The European Conference on Computer Vision, Munich, Germany,2018.
[15] Zou Y, Yu Z, Liu X, Kumar B V K V, et al. Confidence Regularized Self-training[C]//IEEE/CVF International Conference on Computer Vision, Seoul, South Korea, 2019.
[16] Sivaprasad P T, Fleuret F. Uncertainty Reduction for Model Adaptation in Semantic Segmentation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Online, 2021.
[17] Wu S, Chen C, Xiong Z, et al. Uncertainty-Aware Label Rectification for Domain Adaptive Mitochondria Segmentation[C]//International Conference on Medical Image Computing and Computer-Assisted Intervention, Strasbourg, France,2021.
[18] Pizzati F, Charette R, Zaccaria M, et al. Domain Bridge for Unpaired Image-to-Image Translation and Unsupervised Domain Adaptation[C]//IEEE/CVF Winter Conference on Applications of Computer Vision, Aspen, CO, USA,2020.
[19] Chen M, Xue H, Cai D. Domain Adaptation for Semantic Segmentation with Maximum Squares Loss[C]//IEEE/CVF International Conference on Computer Vision, Seoul, South Korea, 2019.
[20] Yang Y, Soatto S. FDA： Fourier Domain Adaptation for Semantic Segmentation[C]//IEEE/CVF Conference on Computer Vision and Pattern Recognition, Seattle, USA, 2020.
[21] Zhou Q, Feng Z, Gu Q, et al. Uncertainty-Aware Consistency Regularization for Cross-Domain Semantic Segmentation[J].Computer Vision and Image Understanding, 2022, 221： 103448.
[22] Choi J, Kim T, Kim C. Self-Ensembling with GAN-Based Data Augmentation for Domain Adaptation in Semantic Segmentation[C]//IEEE/CVF International Conference on Computer Vision, Seoul, South Korea,2019.
[23] Zheng Z, Yang Y. Unsupervised Scene Adaptation with Memory Regularization in Vivo[C]//International Joint Conference on Artificial Intelligence, Yokohama, Japan, 2021.
[24] 庞世燕,郝京京,邢立宁,等.融合域自适应和弱监督策略的遥感影像建筑物提取算法[J].系统工程与电子技术,2023,45（6）：1616-1623. Pang Shiyan,Hao Jingjing, Xing Lining, et al.Weakly Supervised Domain Adaptation Algorithm for Building Extraction from Remote Sensing Images [J]. Systems Engineering and Electronics, 2023, 45（6）： 1616-1623.
[25] 丁一鹏,赵璐.遥感图像语义分割中的弱监督域自适应算法[J].计算机工程与应用,2022,58（22）：195-202. Ding Yipeng, Zhao Lu. Weakly-Supervised Domain Adaptive Algorithm for Remote Sensing Image Semantic Segmentation [J]. Computer Engineering and Applications, 2022, 58（22）： 195-202.
[26] 蔡伟男.深度域自适应的高分辨率遥感影像土地覆盖分类方法研究[D].广州：广州大学,2021. Cai Weinan. Land Cover Classification with High Resolution Remote Sensing Images Using Deep Domain Adaption[D]. Guangzhou： Guangzhou University, 2021.
[27] Schenkel F, Middelmann W. Domain Adaptation for Semantic Segmentation of Aerial Imagery Using Cycle-Consistent Adversarial Networks[C]//IEEE International Geoscience and Remote Sensing Symposium, Online, 2020.
[28] Zhu J, Park T, Isola P,Efros A A.Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]//IEEE International Confe‑rence on Computer Vision,Venice, Italy, 2017.
[29] Tasar O, Happy S L, Tarabalka Y, et al. ColorMapGAN： Unsupervised Domain Adaptation for Semantic Segmentation Using Color Mapping Generative Adversarial Networks[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58（10）： 7178-7193.
[30] Ji S, Wang D, Luo M. Generative Adversarial Network-Based Full-Space Domain Adaptation for Land Cover Classification From Multiple-Source Remote Sensing Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 59（5）： 3816-3828.
[31] Zheng J, Wu W, Yuan S, et al. A Two-Stage Adaptation Network （TSAN） for Remote Sensing Scene Classification in Single-Source-Mixed-Multiple-Target Domain Adaptation （S²M²T DA） Scenarios[J]. IEEE Transactions on Geoscience and Remote Sensing, 2021, 60： 1-13.
[32] Zhang B, Chen T, Wang B. Curriculum-Style Local-to-Global Adaptation for Cross-Domain Remote Sensing Image Segmentation[J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60： 1-12.
[33] ISPRS WG Ⅲ/4. ISPRS 2D Semantic Labeling Contest[EB/OL]. （2018-07-01）[2022-01-16].http：//www2.isprs.org/commissions/comm3/wg4/ semantic-labeling.html.
[34] Ji S, Wei S, Lu M. Fully Convolutional Networks for Multisource Building Extraction from an Open Aerial and Satellite Imagery Data Set[J].IEEE Transactions on Geoscience and Remote Sensing, 2019, 57： 574-586.
[35] Wei S, Ji S, Lu M. Toward Automatic Building Footprint Delineation from Aerial Images Using CNN and Regularization[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58：2178-2189.
计量
- 文章访问数: 1003
- HTML全文浏览量: 93
- PDF下载量: 102
