一种热红外与可见光影像深度特征匹配方法

崔志祥, 蓝朝桢, 张永显, 侯慧太, 秦剑琪

崔志祥, 蓝朝桢, 张永显, 侯慧太, 秦剑琪. 一种热红外与可见光影像深度特征匹配方法[J]. 武汉大学学报 ( 信息科学版), 2023, 48(2): 316-324. DOI: 10.13203/j.whugis20200181
引用本文: 崔志祥, 蓝朝桢, 张永显, 侯慧太, 秦剑琪. 一种热红外与可见光影像深度特征匹配方法[J]. 武汉大学学报 ( 信息科学版), 2023, 48(2): 316-324. DOI: 10.13203/j.whugis20200181
CUI Zhixiang, LAN Chaozhen, ZHANG Yongxian, HOU Huitai, QIN Jianqi. A Method Based on Depth Features for Matching Thermal Infrared Images with Visible Images[J]. Geomatics and Information Science of Wuhan University, 2023, 48(2): 316-324. DOI: 10.13203/j.whugis20200181
Citation: CUI Zhixiang, LAN Chaozhen, ZHANG Yongxian, HOU Huitai, QIN Jianqi. A Method Based on Depth Features for Matching Thermal Infrared Images with Visible Images[J]. Geomatics and Information Science of Wuhan University, 2023, 48(2): 316-324. DOI: 10.13203/j.whugis20200181

一种热红外与可见光影像深度特征匹配方法

基金项目: 

中原科技创新领军人才计划 194200510023

详细信息
    作者简介:

    崔志祥,硕士,主要从事无人机影像处理的理论与方法研究。1462665541@qq.com

    通讯作者:

    蓝朝桢,博士,副教授。lan_cz@163.com

  • 中图分类号: P237

A Method Based on Depth Features for Matching Thermal Infrared Images with Visible Images

  • 摘要: 针对无人机热红外影像与光学卫星影像的匹配难题,提出一种基于异源地标数据集学习的深度局部特征匹配方法。首先,利用生成对抗网络学习热红外与可见光影像的灰度分布规律,并进一步合成用于特征提取模型训练的热红外影像地标数据集;然后,联合残差网络和注意力机制模型,从数据集中学习深度不变特征;最后,经过对不变特征的匹配、提纯等处理,获得像对的正确匹配点。试验测试了该方法的性能,并与KAZE、特征检测描述网络和深度局部特征模型进行了对比。结果表明,提出的方法对灰度、纹理、重叠率以及几何变化具有较强的适应性,且匹配效率较高,可为无人机视觉导航提供支撑。
    Abstract:
      Objectives  Aiming at the matching problem of unmanned aerial vehicle(UAV) thermal infrared images and optical satellite images, a deep local feature matching method based on heterogeneous landmark dataset for learning is proposed.
      Methods  Firstly, the gray distribution law of thermal infrared images and visible images is learned by the generative adversarial network, and the landmark dataset consisting of thermal infrared images for feature extraction model training is synthesized. Secondly, the deep invariant features are learned from the multi-modal landmark dataset by the residual network and attention mechanism. Finally, correct matching points of image pairs are obtained by matching and purifying the invariant features.
      Results  The performance of this method was tested experimentally and compared with KAZE, detect-and-describe network and deep local features. The results show that the adaptability of this method to the grayscale, texture, overlap rate and geometric variations is stronger, and the matching efficiency of this method is higher.
      Conclusions  The effectiveness of this method is proved through multiple sets of experiments. Therefore, the UAV visual navigation is provided support for.
  • 作为虚拟地理环境(virtual geographic environment, VGE)的重要组成部分[1-2],三维建筑物模型在城市规划、三维导航、灾害管理、水利水电等领域都有着广泛的应用[3-8]。与其他三维模型相比,三维建筑物模型通常具有更大的数据量和更复杂的几何结构特征[9-10]。虽然近年来计算机硬件性能飞速提升,但大规模三维场景的实时流畅渲染仍面临着巨大挑战[11]。如何在保证建筑物模型外观视觉效果的前提下对模型进行简化,在可视化时根据视距选择合适的细节层次模型(level of detail, LoD)加载[12],减轻计算机的渲染压力,仍然是亟待解决的问题[13]

    流形网格中图元拓扑关系简单,不存在悬挂点、悬挂边和悬挂面。计算机图形学领域提出的通用三维模型简化方法能在流形网格模型上取得较好的简化结果。但三维建筑物模型中存在大量非流形结构(如多个建筑物部件粘合在一起共享一条边),且具有严格的几何约束(如模型要素之间的平行、垂直、共面等特征约束)[14-16]和复杂的语义信息(如不同要素的属性、关系等)[17],将通用简化方法直接应用到三维建筑物模型上时,可能会破坏模型固有的几何约束,从而严重破坏建筑物的外观[18]。如果简化过程中未考虑建筑物语义信息,可能造成简化前后模型语义信息不一致。本文归纳了三维建筑物模型简化研究的进展情况,讨论了三维建筑物模型简化研究的潜在方向。

    通用三维模型简化方法通过对模型中的点、线、面等几何图元进行删除、合并等操作减少模型数据量,根据操作方式和图元对象的不同可分为顶点删除、边折叠、三角形折叠、顶点聚类4种。顶点删除算法和三角形折叠算法对建筑物简化效果较差,故只介绍边折叠算法和顶点聚类算法。

    边折叠算法由Hoppe等[19]提出,其原理是将构成一条边的两个顶点合并成一个顶点,从而删除该条边相邻的两个三角形。边折叠的逆操作为顶点分裂,即将折叠后的顶点还原为原来的边。如图 1所示,折叠边(vuvt)到vs,将顶点vuvt移动到vs处,并将退化的三角形flfr删除,还原时根据边折叠记录将三角形flfr重新恢复。基于边折叠和顶点分裂,Hoppe又提出了渐进网格模型[20]及基于视点的渐进网格算法[21],现已被广泛应用于地形等流形网格的连续LoD模型中。H边折叠算法在选择要折叠哪条边时需构建一个全局的能量函数来度量边折叠误差,效率很低。Garland等[22]提出了一种基于二次误差度量(quadric error metric, QEM)的简化算法,大幅提高了简化效率,成为目前使用最广泛的网格简化方法。后人在QEM算法的基础上考虑互信息、曲率等因素,提出了多种新的误差函数来提高QEM算法的简化质量[23-27]

    图  1  边折叠和顶点分裂示意图
    Figure  1.  Sketch Map of Edge Collapse and Vertex Split

    顶点聚类算法首先对网格进行空间聚类,再通过合并同一聚类中的顶点来简化网格。简化过程中,每个聚类中的顶点被聚类中权重最大的代表顶点代替,再由代表顶点拓扑重构形成简化的模型,具体过程如图 2所示。该方法由Rossignac等[28]提出,但此方法对细节分布不均匀的模型进行了均匀简化,可能破坏顶点间拓扑关系,造成模型的局部过度简化。针对此,Low和Tan[29]提出了单元浮动聚类算法,有效解决了此问题;Luebke等[30]提出的八叉树自适应划分的方式划分空间取得了更好的效果。

    图  2  顶点聚类示意图
    Figure  2.  Sketch Map of Vertex Clustering

    当简化率较高时,由于没有考虑建筑物的几何约束和拓扑关系,上述两种方法在大面积图元的删除或合并时会造成建筑物坍塌和建筑物构件间拓扑关系破坏,严重影响模型外观,如图 3所示。如使用边折叠算法,在简化率较高时会出现图 3(b)结果。同时,由于模型在图元层面大多未携带语义信息,简化后模型往往和原模型语义不一致(如两种不同材质属性的要素合并后,新要素和原模型材质信息不一致)。这严重影响可视化效果和三维分析的准确性,极大限制了三维建筑物的应用。

    图  3  边折叠简化致模型几何约束和拓扑关系破坏
    Figure  3.  Simplification Using Edge Collapses Algorithm Leads to Destruction of Model Geometry Constraints and Topological Relationship

    该方法的基本思想是先将三维模型投影到二维平面得到模型的投影轮廓线,使用二维制图综合技术对轮廓线简化综合后,再将简化综合结果恢复为三维模型。最常见的方法是将建筑物自上而下投影得到建筑物基底,对基底简化后拉伸并叠加屋顶得到简化结果。研究初期主要关注单栋建筑物墙体轮廓的简化,常见做法是在基底各边平行垂直等几何约束的限制下,移除基底中较短的边以消除墙体中小的凸起或凹陷[31-32]。由于简化过程中没有考虑屋顶,基底拉伸后可能出现墙体和屋顶不匹配的情况,可通过引入屋顶与基底的相交测试来修正模型解决[33],但仅限于屋顶结构简单的建筑物。除自上而下投影外,有学者参考计算机自动制图领域的简化方法,将模型同时投影到3个平面上得到模型的三视图,对三视图简化综合后再恢复模型[34],但建筑物表面通常有多层复杂装饰结构,投影后简化综合难度较大。

    基于投影特征的简化方法多用在大规模城市场景建筑群的可视化中。通过不断综合建筑物基底,并对综合结果使用树状结构组织,在场景漫游时根据用户视点到模型的距离加载树中合适的模型,提高渲染效率[35-37]。一般来说,综合过程中距离较近的建筑物应优先合并,故通常先对建筑物中心点Delaunay三角化,根据距离建立建筑物间的联系。在综合时只合并三角网相连的建筑物[38-39]。为保留建筑物轮廓的显著性特征,常将地图综合中的删除、夸大等操作应用到基底的综合中[40]

    地图符号是可视化表达地理环境的基本手段。虽然VGE强调真实感表达,但出于渲染效率的考虑,也会适当对复杂三维建筑物模型进行符号化表达[41-42]。符号化的基础是对现有建筑物进行特征归纳总结后得到有限数量的模板。为了方便,一般将建筑物的基底和屋顶分开归纳,如图 4所示,可将常见的现代城市建筑物基底分为方型、L字型、T字型等类型,屋顶分为金字塔型、山墙型、A字型等类型[40]。分类归纳后,需通过计算实际模型与模板间的相似程度来选择匹配的三维符号。基底匹配中,常利用最小二乘法求解与原始复杂模型基底最接近的3D模板[43-44]。屋顶可划分为多个单元,通过解析每个单元内的屋顶结构,利用预生成的多个屋顶模板与屋顶结构进行匹配,选择最佳匹配模板并调整模板的几何参数(屋脊、屋檐高度等)以代替原模型[45-46]。匹配后的模型只能保持少量显著特征,精确识别建筑物时出现困难,故在导航领域通常在综合考虑建筑物的局部和全局显著性的基础上[47],将显著性高的建筑物精细显示,显著性低的建筑物用简单模板代替[48-49],以清晰显示道路及周边建筑物轮廓,方便用户快速定位当前位置。

    图  4  建筑物结构模板
    Figure  4.  Building Structure Templates

    建筑物是一种人工建构对象,其中存在大量的典型结构特征,通过结构提取,以结构为单位进行简化,符合建筑物的建造规律,更容易精细控制建筑物的局部简化,处理结构间的拓扑关系。基于结构特征的简化分为结构特征的定义、提取、简化3步。目前,结构特征没有统一的标准和定义,从宏观尺度上可分为主体结构和细节结构[50]。微观尺度上可根据结构在建筑物中的凸起、凹陷等特征分为凸起结构和凹陷结构[45],也可根据结构间的几何拓扑关系分为连接结构、组合结构等[51]。不同的结构特征定义会得到不同的结构提取结果,可能造成简化结果的不一致。

    主体结构提取最常用的方法是三维模型切割。利用模型中图元的倾角、面积等几何特征识别出切割面[45, 52]或切割环[53]后,用切割面或切割环切割原建筑物模型,即可得到建筑物的主体结构及一系列凸起凹陷等细节结构,将这些结构存储在构造实体几何(constructive solid geometry, CSG)树中[54],在可视化过程中可利用树的深度控制LoD层次。三维模型切割方法仅适用于表面平整、结构简单的建筑物,结构复杂的建筑物(如中国古建筑)的结构特征,要根据模型几何特征,通过模型框线及图搜索等特定的几何分析方法提取[51, 55]

    在此基础上,根据显著性和重要程度不断移除模型细节结构[56],可得到简化的模型。结构移除产生的孔洞和缝隙,需通过对边界节点重新三角化修补。模型中小的凸起和凹陷结构也可参考二维图像处理中的形态学操作方法,用扩展到三维的形态学操作中的膨胀和腐蚀操作消除[57]

    简化的基本前提是不破坏用户的理解和感知。除几何信息外,三维建筑物模型还包含复杂的纹理和丰富的语义信息,这都是影响用户理解和感知的重要方面,不考虑这些因素而单纯进行几何简化的方法是存在缺陷的。部分研究尝试对几何简化从纹理、语义及用户理解感知多个方面进行约束,以期取得更好的效果。

    纹理作为三维建筑物模型中的重要组成部分,可显著增加模型的细节和真实感,越来越多的研究开始在简化过程中考虑纹理因素。在网格层面对模型简化时,顶点位置的变化会带动多边形纹理映射位置的变化,可能造成纹理变形或扭曲,此问题可通过计算简化误差度量时综合考虑几何误差和纹理误差缓解[58-60]。基于基底和结构特征的简化中,由于涉及到大量细节结构的移除或合并,需生成多个纹理供不同层次的简化模型使用[18, 61],但由于纹理的复杂性,多级纹理的组织和自动化生成目前仍没有令人满意的解决方案。基于符号的简化模型与原模型几何结构相差较大,一般直接用模型的主颜色代替纹理。

    纹理在一定程度上可反映模型的属性特征,如同种颜色的建筑物要素更容易被认为是同类要素。在建筑物类型数据缺乏时,纹理也能作为建筑物要素合并中的考虑因素[60, 62]

    建筑物中包含了丰富的语义信息,早期三维建筑物简化研究主要关注模型的几何特征,而对建筑物模型的语义信息有所忽视。目前应用最广泛的两种建筑物语义标准为用于建筑工程领域的工业基础类(industry foundation classes,IFC)[63]和用于地理信息领域的城市地理标记语言(city geography markup language, CityGML)[64-65]。语义信息中能明确定义建筑物部件可作为建筑物结构特征分类的依据。基于语义信息可快速提取出建筑物中的门窗、阳台等具有明确含义的功能结构[66],为基于结构特征的简化带来极大便利。在简化过程中涉及要素合并时,可令模型语义信息作为合并的条件,优先合并相同属性的基底[67-68]或结构[59],减少或防止不同语义类型要素的合并,保持简化前后的模型语义的一致性,但合并前后语义信息层级关系未保存,会给基于语义信息的查询带来困难。

    仅通过几何确定的图元或结构重要性不一定能真实反映用户对建筑物的感知情况,故有学者从用户角度出发,用人类理解及感知指导三维建筑物简化。考虑感知的简化的基本原则是优先简化模型中不被人类感知的部分。由于目前三维模型的感知研究比较匮乏,通常先将三维模型转换为二维图像,在二维图像上根据人眼视觉系统(human visual system, HVS)确定感知信息[69-70]。考虑理解的简化更多应用在大规模城市建筑群基底的综合中,为保持综合后城市的易读性,需保留原城市中的道路、街区、地标建筑物等[71],此过程可引入认知心理学作为指导[72-74]

    三维建筑物模型的简化研究取得了一些成果,这些简化方法能在一定程度上保持模型的几何和拓扑约束,但均存在一定局限。基于投影特征的简化方法借鉴了二维平面制图综合的思想,可用于细节不是很丰富的建筑物(或已简化到一定程度、细节很少的建筑物模型)的简化,对结构复杂的建筑物效果不佳,且建筑物墙体与屋顶的无缝匹配、基底内部要素的简化等问题不能很好解决。三维建筑物的符号化表达需要预先构造三维模板,其简化效果直接受限于模板数量,往往应用于导航、三维旅游地图等较为简单的场景。建筑物结构特征的简化适用于单栋复杂建筑物,但目前三维建筑物的结构特征没有严格统一的标准,简化结果受结构特征定义的影响较大,在应用于大规模三维场景的简化时,更加面临效率低下的问题。

    在纹理、语义、用户理解及感知等因素的约束下,三维建筑物模型的简化质量可望显著提升。在当前简化方法中,纹理未随模型几何信息的变化进行相应调整,容易引起纹理的扭曲、变形、缺失等问题,且多层级复合纹理的自动生成仍面临极大困难。目前建筑物语义信息的具体内容没有明确标准,如何对建筑物进行完备的语义建模仍处于研究初期,语义信息数据采集、模型加工等多个方面的规范还需探索。此外,用户对三维模型的理解感知评价等方面的研究较为缺乏,如何判断对模型效果理解感知的一致性还是一个难题。这几个方面的困难都对简化过程中约束因素的实施带来了很大的挑战。

    三维建筑物的简化研究已形成了基于几何和多因素约束下的适用于不同应用场景、不同种类建筑物的多种简化方法,这些方法所生成的不同简化层次的建筑物模型在视觉上有关联性,但在几何、拓扑、语义等重要特征方面关联性不足,且层次间数据冗余很大,通常称之为离散LoD模型。离散LoD模型因其细分层次的不足以及层次间的关联不足,难以满足多种应用需求[75-76],在离散LoD模型上进行的三维空间分析(如视域因子分析、日照时长分析等)可能会导致不一样的结论[13, 77]。此外,由于离散LoD不同层次的建筑物模型外观形态差别较大,切换时有明显的“跳跃感”[78],漫游交互的视觉效果不够好。

    有部分学者提出建筑物连续LoD模型的概念[79-81],其目标是使建筑物模型在LoD层次间保持建筑物的几何、拓扑、语义关联,并使不同细节层次模型上获得的三维空间分析结论具有较好的一致性,同时使得不同层级间的切换的视觉过渡更加平滑,减弱甚至消除离散LoD不可避免的视觉突变现象。连续LoD模型的相关理论和技术方法都需要更为深入的研究。连续LoD模型的生成对几何、拓扑、语义要素特征的综合优化选取带来了很大的困难,对简化过程中的特征保持、约束表达带来了更丰富的研究内容。

    以连续LoD的构建为目标,研究更为完善的建筑物简化算法,是今后相当长时期内的一个挑战,其成功可望为虚拟地理环境可视化、三维空间分析等提供更好的技术支撑,为三维建筑物的应用开辟更广阔的天地。

  • 图  1   得分训练

    Figure  1.   Score Training

    图  2   试验影像

    Figure  2.   Testing Images

    图  3   像对1、2的匹配结果

    Figure  3.   Matching Results of Image Pair 1 and Image Pair 2

    图  4   像对1、2的匹配结果统计

    Figure  4.   Statistics of Matching Results of Image Pair 1 and Image Pair 2

    图  5   特征重复性测试

    Figure  5.   Feature Repeatability Test

    图  6   不同重叠率下的正确匹配点数量

    Figure  6.   Number of Correct Matches Under Different Overlap Rates

    图  7   复杂几何变换下的影像匹配结果

    Figure  7.   Matching Results Under Complex Geometric Transformation

    表  1   ResNet50网络结构

    Table  1   Network Architecture of ResNet50

    图层名称 输入尺寸/像素 网络结构
    conv1 224×224 7×7,64,步长为2
    conv2_x 112×112 3×3最大池化,步长为2
    $ \left[\begin{array}{c}1\times 1\mathrm{ }64\\ 3\times 3\mathrm{ }64\\ 1\times 1\mathrm{ }256\end{array}\right]\times 3 $
    conv3_x 56×56 $ \left[\begin{array}{c}1\times 1\mathrm{ }128\\ 3\times 3\mathrm{ }128\\ 1\times 1\mathrm{ }512\end{array}\right]\times 4 $
    conv4_x 28×28 $ \left[\begin{array}{c}1\times 1\mathrm{ }256\\ 3\times 3\mathrm{ }256\\ 1\times 1\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }1\mathrm{ }024\end{array}\right]\times 6 $
    conv5_x 14×14 $ \left[\begin{array}{c}1\times 1\mathrm{ }512\\ 3\times 3\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }512\\ 1\times 1\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }\mathrm{ }2\mathrm{ }048\end{array}\right]\times 3 $
    输出 7×7 7×7均值池化,
    2 048×1 000全连接,softmax函数
    下载: 导出CSV

    表  2   异源影像对

    Table  2   Heterogeneous Image Pairs

    像对 编号 波段 尺寸/像素 分辨率/m 成像时间 成像
    地点
    1 D1 热红外 640×512 0.3 2020-03-30 郑州市
    D2 可见光 640×512 0.3 2019-06-01
    2 D3 热红外 378×208 0.3 2019-05-16 登封市
    D4 可见光 378×208 0.3 2018-05-28
    3 D5 热红外 640×512 - 2019-05-16 登封市
    D6 可见光 640×512 0.6 2018-05-28
    下载: 导出CSV

    表  3   特征提取数量

    Table  3   Number of Feature Extraction

    算法 D1D2特征 D3D4特征
    D1
    特征
    D2
    特征
    变化比例 D3
    特征
    D4
    特征
    变化比例
    KAZE 1 300 1 874 0.442 39 143 2.667
    D2-Net 4 380 4 231 0.034 1 151 990 0.140
    DELF 1 693 1 638 0.032 403 373 0.074
    DELF-VT 685 761 0.111 120 104 0.133
    下载: 导出CSV

    表  4   匹配耗时/s

    Table  4   Matching Time/s

    算法 匹配耗时
    像对1 像对2
    KAZE 0.299 0.062
    D2-Net 2.159 0.593
    DELF 2.315 1.836
    DELF-VT 0.286 0.052
    下载: 导出CSV
  • [1] 万文辉, 李宇, 胡文敏, 等. 基于联邦滤波进行立体相机/IMU/里程计运动平台组合导航定位[J]. 武汉大学学报(信息科学版), 2018, 43(1): 101-106. doi: 10.13203/j.whugis20150286

    Wan Wenhui, Li Yu, Hu Wenmin, et al. Mobile Platform Localization by Integration of Stereo Cameras, IMU and Wheel Qdometer Based on Federated Filter[J]. Geomatics and Information Science of Wuhan University, 2018, 43(1): 101-106. doi: 10.13203/j.whugis20150286

    [2]

    Goforth H, Lucey S. GPS-Denied UAV Localization Using Pre-existing Satellite Imagery[C]// International Conference on Robotics and Automation (ICRA), Montreal, Canada, 2019.

    [3]

    Yol A, Delabarre B, Dame A, et al. Vision-Based Absolute Localization for Unmanned Aerial Vehicles[C]//IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, USA, 2014.

    [4]

    Shan M, Wang F, Lin F, et al. Google Map Aided Visual Navigation for UAVs in GPS-Denied Environment[C]//IEEE International Conference on Robotics and Biomimetics (ROBIO), Zhuhai, China, 2015.

    [5] 叶沅鑫, 单杰, 熊金鑫, 等. 一种结合SIFT和边缘信息的多源遥感影像匹配方法[J]. 武汉大学学报(信息科学版), 2013, 38(10): 1148-1151. http://ch.whu.edu.cn/article/id/2771

    Ye Yuanxin, Shan Jie, Xiong Jinxin, et al. A Matching Method Combining SIFT and Edge Information for Multi-source Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2013, 38(10): 1148-1151. http://ch.whu.edu.cn/article/id/2771

    [6]

    Dou J F, Qin Q, Tu Z M, et al. Infrared and Visible Image Registration Based on SIFT and Sparse Representation[C]// Chinese Control and Decision Conference (CCDC), Yinchuan, China, 2016.

    [7]

    Liu H, Xiao G F. Remote Sensing Image Registration Based on Improved KAZE and BRIEF Descriptor[EB/OL]. [2020-07-13]. https://link.springer.com/article/10.1007/s11633-019-1218-3.

    [8] 吕倩利, 邵永社. 基于SIFT特征的异源遥感影像匹配方法研究[J]. 计算机工程与应用, 2012, 48(36): 171-176. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201236039.htm

    Lü Qianli, Shao Yongshe. Research on Matching Algorithm for Multi-source Remote Sensing Images Based on SIFT Features[J]. Computer Engineering and Applications, 2012, 48(36): 171-176. https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201236039.htm

    [9]

    Huang Q Q, Yang J, Wang C Y, et al. Improved Registration Method for Infrared and Visible Remote Sensing Image Using NSCT and SIFT[C]// IEEE International Geoscience and Remote Sensing Symposium, Munich, Germany, 2012.

    [10]

    Hrkac T, Kalafatic Z, Krapac J. Infrared-Visual Image Registration Based on Corners and Hausdorff Distance[M]. Berlin, Germeny: Springer, 2007.

    [11] 冯晓磊, 吴炜, 李智, 等. 利用梯度方向的Hausdorff距离配准红外和可见光图像[J]. 电视技术, 2015, 39(3): 5-10. https://www.cnki.com.cn/Article/CJFDTOTAL-DSSS201503002.htm

    Feng Xiaolei, Wu Wei, Li Zhi, et al. Hausdorff Distance Using Gradient Orientation Registers Infrared and Visible Image[J]. Video Engineering, 2015, 39(3): 5-10. https://www.cnki.com.cn/Article/CJFDTOTAL-DSSS201503002.htm

    [12] 纪利娥, 杨风暴, 王志社, 等. 基于边缘图像和SURF特征的可见光与红外图像的匹配算法[J]. 红外技术, 2012, 34(11): 629-635. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201211003.htm

    Ji Li'e, Yang Fengbao, Wang Zhishe, et al. Visible and Infrared Image Matching Algorithm Based on Edge Image and SURF Features[J]. Infrared Technology, 2012, 34(11): 629-635. https://www.cnki.com.cn/Article/CJFDTOTAL-HWJS201211003.htm

    [13]

    Yahyanejad S, Rinner B. A Fast and Mobile System for Registration of Low-Altitude Visual and Thermal Aerial Images Using Multiple Small-Scale UAVs[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2015, 104: 189-202.

    [14] 刘畅, 崔桐, 贺成龙, 等. 基于高曲率特征点匹配的红外可见光图像配准[J]. 指挥信息系统与技术, 2016, 7(1): 13-17. https://www.cnki.com.cn/Article/CJFDTOTAL-ZHXT201601004.htm

    Liu Chang, Cui Tong, He Chenglong, et al. Infrared-Visual Image Registration Based on High-Curvature Feature Matching[J]. Command Information System and Technology, 2016, 7(1): 13-17. https://www.cnki.com.cn/Article/CJFDTOTAL-ZHXT201601004.htm

    [15]

    Ye Y X, Shan J, Bruzzone L, et al. Robust Registration of Multimodal Remote Sensing Images Based on Structural Similarity[J]. IEEE Transactions on Geoscience and Remote Sensing, 2017, 55(5): 2941-2958.

    [16]

    Ye Y X, Bruzzone L, Shan J, et al. Fast and Robust Matching for Multimodal Remote Sensing Image Registration[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(11): 9059-9070.

    [17]

    Yi K M, Trulls E, Lepetit V, et al. LIFT: Learned Invariant Feature Transform[C]//The 14th European Conference on Computer Vision, Amsterdam, Netherlands, 2016.

    [18]

    Dusmanu M, Rocco I, Pajdla T, et al. D2-Net: A Trainable CNN for Joint Description and Detection of Local Features[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, 2019.

    [19] 南轲, 齐华, 叶沅鑫. 深度卷积特征表达的多模态遥感影像模板匹配方法[J]. 测绘学报, 2019, 48(6): 727-736. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201906008.htm

    Nan Ke, Qi Hua, Ye Yuanxin. A Template Matching Method of Multimodal Remote Sensing Images Based on Deep Convolutional Feature Representation[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(6): 727-736. https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201906008.htm

    [20]

    Noh H, Araujo A, Sim J, et al. Large-Scale Image Retrieval with Attentive Deep Local Features[C]// IEEE International Conference on Computer Vision, Venice, Italy, 2017.

    [21]

    Revaud J, Weinzaepfel P, Souza C, et al. R2D2: Repeatable and Reliable Detector and Descriptor[EB/OL]. [2020-06-10]. https://arxiv.org/abs/1906.06195.

    [22]

    He K M, Zhang X Y, Ren S Q, et al. Deep Residual Learning for Image Recognition[C]//IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, NV, USA, 2016.

    [23]

    Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Networks[EB/OL]. [2020-03-23]. https://arxiv.org/abs/1406.2661.

    [24]

    Isola P, Zhu J Y, Zhou T H, et al. Image-to-Image Translation with Conditional Adversarial Networks[C]// IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017.

    [25]

    Zhu J Y, Zhang R, Pathak D, et al. Toward Multimodal Image-to-Image Translation[C]// The 31st International Conference on Neural Information Processing Systems, Long Beach, CA, USA, 2017.

    [26]

    Zhu J Y, Park T, Isola P, et al. Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks[C]//IEEE International Conference on Computer Vision, Venice, Italy, 2017.

    [27]

    Zhang L C, Gonzalez-Garcia A, Weijer J, et al. Synthetic Data Generation for End-to-End Thermal Infrared Tracking[J]. IEEE Transactions on Image Processing, 2019, 28(4): 1837-1850.

    [28]

    Ozaki K, Yokoo S. Large-Scale Landmark Retrieval/Recognition Under a Noisy and Diverse Dataset[EB/OL]. [2020-10-20]. https://arxiv.org/abs/1906.04087.

  • 期刊类型引用(1)

    1. 杨亚斌,荆磊,徐梦龙,韩革命,邱隆君,吴新刚,郜晓亮,郝国江,孙诚业,张光之,苏振宁. 陆域重力勘探进展. 物探化探计算技术. 2022(06): 722-741 . 百度学术

    其他类型引用(3)

图(7)  /  表(4)
计量
  • 文章访问数:  762
  • HTML全文浏览量:  166
  • PDF下载量:  154
  • 被引次数: 4
出版历程
  • 收稿日期:  2021-04-13
  • 网络出版日期:  2023-02-16
  • 发布日期:  2023-02-04

目录

/

返回文章
返回