近20年来,中国遥感技术取得了极大发展,已形成各种高、中、低轨道卫星相结合,航空及无人机高、中、低分辨率齐全的全球对地观测体系,能够快速地获取多种空间、时间和光谱分辨率的对地观测数据^[1-2]。目前在国土资源调查、自然资源常态化监测、全球地理信息资源建设等重大工程中,遥感影像的智能解译与监测技术已经成为最主要的技术瓶颈,也是国际上高新技术竞争的制高点。现有解译模型能取得较高的像素精度,但大多数由通用的计算机视觉和图像模式识别模型改造而来,未顾及跨传感器、跨季节、跨区域的多源、多时相遥感影像地物尺度、光谱、纹理信息差异,导致现有解译与变化检测模型普适性差、鲁棒性不足,难以显著提升遥感影像典型要素矢量提取的效率,目前仍然需要极大地依赖人工判读和测绘。因此,亟须研发遥感影像多要素、专题要素提取的智能解译与变化检测技术,形成能够进行工程化、业务化应用的高性能软件系统,以满足全球测图、自然资源监测、战场环境的地理信息保障等重大需求^[3]。

针对遥感影像智能解译这一世界性难题,笔者团队研发了自主知识产权的高性能遥感影像智能解译系统EasyFeature,突破了顾及层次关系优化机制的遥感地物多要素与专题要素智能解译、融合语义信息与先验形状、二维⁃三维联合及虚警抑制的变化检测、人机智能协同交互采编等关键技术,实现了遥感影像的典型地物智能解译、地类要素自动变化发现、地物要素的快速采集与修改,显著提升了生产作业效率,降低了中国对国外同类软件的依赖,在自然资源等领域获得了广泛应用。

1 遥感影像智能解译的若干难题

1）影像分类和要素提取结果鲁棒性差。遥感影像像幅大,地物种类繁多、尺度变化大且分布无规律,场景上下文信息非常复杂。实际处理时常需要面对不同平台、不同传感器、不同空间分辨率、不同时相、不同光谱的遥感数据。由于成本和政策等原因,庞大且高质量的高分辨率遥感影像标注样本十分缺乏。这些原因导致影像分类和要素提取结果鲁棒性差,需要针对遥感数据的特点研发新的算法,使得遥感影像自动解译精度高、鲁棒性好。

2）影像的变化检测查全率与正确率难以兼顾。不同遥感影像在精度、光谱等方面存在差异,并且地物类型繁多、形态各异,使得地物变化检测面临较大挑战。不同光照、不同季节、阴影遮挡及高层建筑投影差等因素也为建筑物的变化检测增添了困难。大范围遥感影像多要素及专题要素变化检测查全率与正确率往往难以兼顾,亟须查全率高、错检少的新算法^[4]。

3）要素矢量采编工作量大。随着遥感影像监测需求的不断扩大,数据源越来越多,数据量越来越大,监测频次越来越频繁,大范围要素矢量采集工作量巨大,几乎超越了目视解译的极限,而计算机自动解译结果往往存在不同程度的错误,亟须结合计算机的计算能力和目视解译的专家判定,采用人机协同交互式遥感矢量采编方式,满足成图快、编辑少的需求。

2 EasyFeature的关键技术

如图1所示,在自动+人机交互+人工的遥感影像智能解译技术思路下,建立了包括遥感影像地物自动分类与要素自动提取,多源遥感影像智能变化发现,以及典型要素人机交互采集的全流程服务体系,研发了高性能遥感影像解译系统EasyFeature,形成了一套完整的可用于实际作业的智能协同方案。

图  1  EasyFeature软件系统结构

Figure  1.  EasyFeature Software System Architecture

下载: 全尺寸图片 幻灯片

2.1   地物分类与专题要素提取

随着以深度学习为代表的人工智能技术的发展,遥感影像地物自动分类与专题要素提取技术取得了显著的进步,并且已经开始应用于一些统计、监测相关领域,如农作物长势估计、植被覆盖统计等应用领域。然而,在精度要求较高的领域,如地理国情监测、国土调查、灾害应急等,计算机自动处理的结果仍然达不到生产要求,实际作业主要依赖人工目视解译勾画,作业效率比较低。为应对这一现状,创建了场景-目标-像素层次关系的多要素提取模型与算法,提出了云覆盖、道路、居民地、林地、水系等典型专题要素矢量提取新方法,形成了遥感影像地物多要素与专题要素智能解译成套技术,解决了场景信息干扰、目标尺度方向差异、局部区域感受野小、要素分割错检和漏检等解译鲁棒性差的难题,有效提升了工程化影像解译的精度和效率。

针对多源遥感影像场景上下文关系复杂、同物异向、尺度变化大、光谱信息差异明显等导致模型适用性差、鲁棒性不足的行业难题,采用了从大尺度到小尺度、从粗粒度到细粒度、从宏观到微观的渐进识别与提取的策略,提出了顾及场景-目标-像素层次关系的遥感影像多要素提取方法。建立基于目标尺度、空间上下文、先验知识与感受视野等与语义分割任务相关联的流形排序方法。结合目标辅助的语义分割,使网络模型具有旋转不变能力,并基于场景约束,抑制了无关场景信息的干扰,实现了多源遥感影像多要素无缝智能提取,总体提取正确率92%以上,最高可达95%^[5]。

针对线状地物中心线与边线高精度定位问题,提出了基于道路显著性预测和宽度估计的遥感影像中心线和边线提取模型。通过显著性图进行非极大值抑制提取中线并进行道路追踪,根据中线和预测的道路宽度提取道路双线,采用张量投票检测线状地物交叉点,利用道路交叉点引导道路线基元的感知编组,获取线状地物的拓扑结构。此外,为保证结点间高质量拓扑连接性,基于密集结点热度图辅助双方向角度类别图进行中心线结点拓扑连接性优化,同时结合道路几何结构特征进行多阶段网络结构设计,优化线状地物拓扑连接性。与D-LinkNet、CasNet等国际主流方法相比,线状地物提取自动化率提升20%以上,均方误差可降低至1.29%,拓扑连接性在ZY3/GF2等国产卫星影像达到60%以上^[6]。

建立了融合点-线-面信息的典型面状地物要素提取模型。提出融合多尺度特征金字塔的规则面状地物轮廓初始化方法,通过角点方向和边缘连接性的迭代优化,直接提取居民地等规则面状地物矢量轮廓；针对林地、水系等不规则面状地物纹理结构复杂、边界定义不清晰的特点,提出抑制混淆特征的注意力擦除机制,结合高阶语义特征流形排序与主动轮廓模型迭代优化,预测不规则面状地物的矢量结点偏移量,实现面状矢量要素错检与漏检的快速矫正。在国内外航空、卫星影像上,与DeepSnake、CurveGCN等国际上先进的方法相比,矢量提取的正确率提升约4%,召回率达97%以上,有效矫正了错检与漏检的要素^[7]。

提出了利用中心点生成建筑物检测的深度学习方法。利用深度网络输出建筑物每个中心点的热图,后续通过非极大值抑制的方法来获取每个建筑物的中心点,可以极大简化网络结构,大幅提升预测的分辨率,从而增强密集、细小建筑物检测的鲁棒性,创新的损失函数解决了正负样本不均衡的问题。此外,提出了多网络融合的细粒度建筑物提取方法。第一个网络通过建筑二值分割来引导建筑位置,称为定位网络。定位网络中的空间梯度融合模块通过监控预测的空间梯度图来改善建筑物二值分割结果。第二个网络是分类网络,用于预测构建子类。通过对比学习损失对第二网络的中间特征进行优化,提高特征一致性。并结合两个网络的预测得到最终结果。实验结果表明,该方法可以使分割结果精度取得显著提升,性能也优于国内外现有主流方法^[8]。

提出将人工地物检测转换为能量泛函数最优化问题。以超像素为单元计算图像的显著度信息,然后构建一个包含显著性约束、面积和边界约束、纹理约束及灰度方差约束的能量泛函数,通过变分法迭代求解能量泛函最小值,获取目标前景部分即为人工地物区域。与常见的人工地物目标提取算法,如C-V模型、马尔可夫随机场模型,以及深度学习算法进行对比,试验结果表明,该算法在无需样本的条件下能有效地检测出遥感影像中的人工地物区域,并保证较低的误检率及漏检率^[9]。

提出基于图像匹配的自动云检测技术,利用立体视觉技术识别云与非云区域在立体匹配结果中的特征来实现云区域的自动分割。通过生成基于图像的数字地表模型（digital surface model,DSM）和航天飞机雷达地形测绘任务的比较来检测DSM中的异常区域,然后在这些位置上自动检测云层,使得云区域得到精确的勾画。该技术有效地解决了卫星影像上云雪相似区域难以区分的难题,在天绘卫星全色图像上进行评估,图像的云检测正确率可达95%以上,显著提高含云卫星图像用于地形和地物提取的使用效率^[10]。

2.2   变化检测

基于遥感影像的变化检测技术旨在通过比较和分析同一位置、不同时相图像之间的差异,发掘地物变化信息。作为遥感影像解译的一个关键分支技术,无论在民用还是军事领域均具有重要的研究意义和实用价值,当前已在灾害预防、环境监测、城市规划和战场态势评估等诸多方面得到了广泛应用,然而利用遥感影像进行大范围复杂场景的变化检测技术在效率和准确性方面依然有待提高^[11]。为此,提出了语义信息增强与虚警再抑制机制、融合先验形状、特征匹配优化、二维-三维联合处理等新方法,解决了多时相、多类型遥感影像光谱与纹理特征分布差异、建筑物投影差大带来的变化检测难题,满足了工程化生产的需求。

针对复杂场景中具有前后期变化样本（影像-标签）的情况,提出了一种结合注意力机制与金字塔特征融合的方法,通过构建一个端到端的深度学习变化检测框架,实现从两期影像中分割出变化像素的目的^[12]。针对两期影像的配准误差以及建筑物投影差等问题,提出的互相关注意力机制可减少像素偏移带来的影响,并结合空间金字塔池化模块扩大感受野,从而融合多尺度与空间上下文信息,通过空间注意力、通道注意力机制,进一步提高网络对变化区域的关注能力。同时,为充分利用不同层次特征的细节信息和抽象语义信息,网络采用一种全局注意力方式对深层和浅层特征进行融合。在公开数据集和实际生产数据中对本方法进行了验证,检测出的变化区域交并比分别达到97%和92%,检测效果优于当前变化检测算法^[13]。

针对已有建筑物基底矢量数据与影像的变化检测,考虑到投影差引起的矢栅数据不匹配以及屋顶存在加盖等违章建筑的检测问题,充分利用建筑物基底多边形信息（形状先验）,集成多种影像特征,提出图割模型优化的分割方法,实现屋顶定位和拆除建筑物检测。该方法利用矢量数据中的基底多边形构建形状先验,结合轮廓匹配和图割优化算法,通过融合形状先验实现建筑物屋顶精确定位的同时,检测拆除的建筑物。在前期影像存在的情况下,获取前后时期影像上对应的建筑物屋顶区域后,采用面向对象的方式,将光谱和纹理结构特征结合起来构造两期建筑物屋顶间可靠的相似性表达,并基于超像素的图割联合优化提取屋顶疑似变化区域。其查全率和总体正确率分别可达85%和65%^[14]。

针对投影差等因素造成的影像上几何偏移以及影像间位置差异,为了得到精度高、可靠性强的结果,提出了特征匹配信息引导的双时相高分辨率遥感影像建筑物变化检测方法,克服了几何位移对建筑物变化检测的影响,为复杂城市场景下建筑物变化检测提供了可行方案。通过建立语义分割信息以及面向对象的建筑物变化候选区获取方式,再结合相位信息阐明局部范围内建筑物屋顶所呈现出的有序性,以及影像上投影差存在的一致性关系,顾及了地形起伏引起的像点位移以及投影差不同导致的影像间建筑物位置差异,最后通过全连接条件随机场集成影像特征、初始建筑物变化信息和匹配结果获取精准检测结果。另外,利用空间叠置分析将建筑物变化分为新增、拆除和改变3种类型,实现了建筑物变化信息的快速准确监测,查全率达到95%以上^[15]。

针对同一区域的不同期影像间存在投影差以及光谱差异,造成变化检测虚警多、鲁棒性差等问题,提出了一种基于图割优化和影像结构特征的立体影像建筑物变化检测方法,充分利用影像匹配获得的DSM、数字高程模型和影像光谱等信息来提升检测的精度和可靠性。该方法首先将地物变化检测问题建模为二值分类问题,构建图割优化模型获得初始的变化对象；然后设计了一种基于结构特征的对象分类方法,排除非建筑物对象,获得变化的建筑物对象；最后结合两期对象的DSM信息将变化对象细分为新建、增高、降低和拆除。在基于对象的统计中,测试区域建筑物变化检测的正确率和查全率分别高达93%和96%^[16]。

针对当前大多数遥感影像变化检测方法都是在原始图像尺度上进行逐像素分类,但由于没有考虑变化的物体和区域的整体性,难以避免由强视差效应和投影阴影造成的虚假变化问题,提出了一种对象级多时相遥感影像变化检测框架,通过更加关注变化的对象实例的整体特征和上下文关联来检测变化的地理实体（如新建的建筑物或变化的人工结构）,检测到的变化对象被表示为简单规则的边界框。在数据处理方面,提出了一种特殊的变化检测的数据增强方法,称为Alternative-Mosaic,以有效地加速模型训练和提高模型性能。在模型方面,提出了一个由对偶相关注意力引导的单阶段变化检测网络来检测变化的物体。定量评估和可视化结果证明了该方法的优越性和稳健性,相比国际主流方法获得了较好的性能（正确率为79.72%）^[17]。

2.3   地物要素矢量的快速采集

由于遥感影像的复杂性和现有技术的限制,自动解译结果往往存在不同程度的错误,在一些对目标边界有严格要求的应用中比如数字线划地图的生产,自动解译的结果往往需要进行大量的人工编辑,无法取得令人满意的效果。随着现代化生产规模的不断扩大,数据源越来越多,数据量越来越大,对解译工作高速度、大范围的需求几乎超越了目视解译的极限,而计算机自动解译效果有待进一步提升。为了缓解这一矛盾,提出了构建以人机智能协同交互采集技术为核心的要素快速采编子系统,充分发挥人类在复杂环境下具体目标的识别能力和计算机强大的图像处理能力,最大限度地减少作业员的工作量,提高生产效率。

针对纹理丰富的自然地物,提出了基于全连接条件随机场优化的交互式分割算法,利用用户交互自动估计前背景模型,并联合光谱、纹理、几何特征,在过分割的基础上建立全连接条件随机场,然后以均值场估计为基础利用高维高斯快速滤波方法实现模型的快速推断,进而可靠、精确地提取出自然地物的轮廓。该方法不受影像类型限制,无需机器学习,普通计算机就可运行,交互方式简单易学,改变了全人工逐点勾绘效率低下的现状,与人工采集相比能够提升39%~68%的生产效率^[18]。

针对复杂面状地物,提出了一种深度交互分割网络模型。为了获取深度学习训练所需要的样本数据,从多源遥感影像语义数据集中根据一定的采样规则模拟用户交互信息（种子点、线）。为了保障提取精度并减少用户交互次数,提出了遵循随机性、倾向性和代表性的采样策略,从语义标签中获取前、背景标记像素点,将这些标记像素点的信息进行编码获得交互通道图。采用一种顾及多种特征的像素关系衡量策略,即结合欧氏距离、测地线、二值编码等,有效提取像素的空间、颜色和纹理特征,在复杂的场景中能够更好地表征用户先验标记像素。设计了一种注意力机制和多尺度策略结合的交互式分割网络,通过条件随机场的后处理方法,优化模型预测地物目标的二值结果,提升边界提取结果的精确性^[19]。

针对高分辨率遥感影像中具有规则化和特殊性的独立建筑物,提出了一种基于初始分割结果的交互优化提取算法。首先使用经典的深度学习语义分割网络来获取建筑物初始预测结果,其次根据语义标签自动化地在预测出错的区域随机采样像素点作为用户交互的输入,然后将这些像素点的欧氏距离编码图作为交互引导信息同影像和初始二值预测结果一起输入到模型中。接着设计了一种编解码结构的网络模型,利用用户的交互引导修正建筑物预测结果,生产实测能够提升约48%的效率^[20]。

3 典型应用

目前该成果已应用于多个省市的卫星遥感影像地物要素解译、专题信息智能提取、地物要素自动变化发现以及人机智能协同地物采集等应用项目。在自然资源领域,EasyFeature软件系统广泛应用于全球测图、第三次国土调查、地理国情监测、实景三维中国建设、自然资源常态化监测等重大国家工程项目,提高生产效率的同时降低劳动强度。应用于亚洲、非洲、欧洲、北美洲等地超过2 000万km²的1∶1万、1∶5万数字地图生产,完成了中国西藏自治区、甘肃省、四川省的地理国情监测项目,实现一天内完成广东省全省变化图斑自动提取等,如图2、图3所示。

图  2  水系、建筑物、道路、林地提取结果示例

Figure  2.  Example of Extraction Results for Water, Buildings, Roads, and Forests

下载: 全尺寸图片 幻灯片

图  3  建筑物变化检测结果示例

Figure  3.  Example of Building Change Detection Results

下载: 全尺寸图片 幻灯片

此外,成果广泛应用于电力、石油、交通、林业、水利、减灾、国防、能源、烟草、地质、环境等垂直行业,具体包括配网设备识别、松线虫疫木识别、石油管道高后果区提取、交通线路普查、林地范围监测、建成区违法建设监测、耕地占补平衡管理、光伏铺设面积统计等,如图4所示。

图  4  光伏板和配网设备提取结果示例

Figure  4.  Examples of Extraction Results for Photovoltaic Panel and Distribution Network Equipment

下载: 全尺寸图片 幻灯片

4 结语

针对国土资源调查与遥感监测、地物要素测绘一直依赖目视看、手工画、效率低下,亟须实用化的智能软件系统的现状,在自动+人机交互+人工的遥感影像智能解译技术思路下,研制了遥感影像智能解译系统EasyFeature。其特色和创新之处如下：（1）提出了场景⁃目标⁃像素层次关系的深度学习智能解译成套技术,提出了云覆盖、道路、居民地/建筑物、林地、水系等典型专题要素提取新方法,有效提升了工程化影像解译的精度和效率。（2）提出了语义信息增强与虚警再抑制机制、融合先验形状、特征匹配优化、二维⁃三维联合处理等变化检测新方法,解决了多时相、多类型遥感影像的变化检测难题,满足了工程化生产的需求。（3）创新性提出了基于全连接条件随机场优化的地物分割与模型驱动的建筑物提取等算法,实现了线状、面状以及建筑物要素矢量

的快速人机交互采集。

随着人工智能的发展^[21],大模型等新技术展现了智能“涌现”能力^[22]。如何利用最新的智能技术^[23],进一步大幅提升智能解译的精度、效率,同时保证结果的可靠性,是下一步的研究方向。