Message Board

Respected readers, authors and reviewers, you can add comments to this page on any questions about the contribution, review,        editing and publication of this journal. We will give you an answer as soon as possible. Thank you for your support!

Name
E-mail
Phone
Title
Content
Verification Code
Volume 47 Issue 8
Aug.  2022
Turn off MathJax
Article Contents

ZHAO Zhiruo, WANG Shaoyu, WANG Xinyu, ZHONG Yanfei. An Improved Deep Novel Target Detection Method for Mars Rover Multispectral Imagery[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119
Citation: ZHAO Zhiruo, WANG Shaoyu, WANG Xinyu, ZHONG Yanfei. An Improved Deep Novel Target Detection Method for Mars Rover Multispectral Imagery[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119

An Improved Deep Novel Target Detection Method for Mars Rover Multispectral Imagery

doi: 10.13203/j.whugis20220119
Funds:

The National Natural Science Foundation of China 42071350

The National Natural Science Foundation of China 42101327

the Fundamental Research Funds for the Central Universities 2042021kf0070

More Information
  • Author Bio:

    ZHAO Zhiruo, postgraduate, specializes in planetary remote sensing image information extraction. E-mail: zhaozhiruo@whu.edu.cn

  • Corresponding author: ZHONG Yanfei, PhD, professor. E-mail: zhongyanfei@whu.edu.cn
  • Received Date: 2022-03-08
  • Publish Date: 2022-08-05
  •   Objectives  Mars is the main target object for deep space exploration. Mars rovers, or roving probes, are important tools for surface exploration and scientific research on Mars. For the growing amount of remote sensing data collected by Mars rovers, there is an urgent need for a method that can intelligently detect novel targets of scientific value from the massive amount of images, reduce the time cost of detection planning, and provide information for subsequent scientific analysis. The traditional novel detection methods mostly include distance-based metrics and image-based reconstruction methods, distance-based metrics calculate novel scores pixel by pixel without considering spatial contextual information, and image-based reconstruction methods focus on reconstruction of typical landscape backgrounds, and novelty is manifested by image reconstruction errors, which is not effective in extracting small novel targets such as boreholes and dust removal points.  Methods  To address the above problems of traditional novel detection methods in Mars rover novel target detection, this paper proposes an improved Mars rover multispectral image depth novel target detection method, uses full convolutional self-coding neural network to extract deep features for typical landscape reconstruction, and joints Mahalanobis distance for novel target and typical landscape background separation, fully exploits the spatial and spectral dimensional features to improve the accuracy of Mars rover novel target detection results.  Results  The experiments use the multispectral image dataset of Curiosity rover released by NASA (National Aeronautics and Space Administration), and the proposed convolution auto-encoder combined Mahalanobis distance method(CAE-M) is compared with Reed-Xiaoli detector, principal component analysis, convolution auto-encoder convolution, and generative adversarial networks on the surface of Gale crater. The results show that CAE-M outperforms previous detection methods in terms of detection accuracy and visual interpretation, and has a balanced and stable performance in different classes of novel target detection.  Conclusion  The proposed CAE-M method comprehensively utilizes spatial and spectral information of multispectral images, which can help Mars rover exploration missions to quickly and intelligently screen and sort novel data with scientific value in massive data, save the time and cost of route planning, improve scientific returns.
  • [1] Mallapaty S. China's Successful Launch of Mars Mission Seals Global Era in Deep-Space Exploration[J]. Nature, 2020, 583(7818): 671 doi:  10.1038/d41586-020-02187-7
    [2] 欧阳自远, 邹永廖. 火星科学概论[M]. 上海: 上海科技教育出版社, 2017

    Ouyang Ziyuan, Zou Yongliao. An Introduction to Martian Science[M]. Shanghai: Shanghai Science and Technology Education Press, 2017
    [3] 邸凯昌, 王镓, 邢琰, 等. 深空探测车环境感知与导航定位技术进展与展望[J]. 测绘学报, 2021, 50(11): 1457-1468 doi:  10.11947/j.AGCS.2021.20210290

    Di Kaichang, Wang Jia, Xing Yan, et al. Progresses and Prospects of Environment Perception and Navigation for Deep Space Exploration Rovers[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(11): 1457-1468 doi:  10.11947/j.AGCS.2021.20210290
    [4] Kerner H R, Wellington D F, Wagstaff K L, et al. Novelty Detection for Multispectral Images with Application to Planetary Exploration[J]. Proceedings of the AAAI Conference on Artificial Intelligence, 2019, 33: 9484-9491 doi:  10.1609/aaai.v33i01.33019484
    [5] 张辉, 卢皓, 于天一, 等. "祝融号"火星车遥操作技术[J]. 深空探测学报(中英文), 2021, 8(6): 582-591 https://www.cnki.com.cn/Article/CJFDTOTAL-SKTC202106005.htm

    Zhang Hui, Lu Hao, Yu Tianyi, et al. Teleoperation Technology of Zhurong Mars Rover[J]. Journal of Deep Space Exploration, 2021, 8(6): 582-591 https://www.cnki.com.cn/Article/CJFDTOTAL-SKTC202106005.htm
    [6] 贾阳, 孙泽洲, 郑旸, 等. 星球车技术发展综述[J]. 深空探测学报(中英文), 2020, 7(5): 419-427 https://www.cnki.com.cn/Article/CJFDTOTAL-SKTC202005001.htm

    Jia Yang, Sun Zezhou, Zheng Yang, et al. Overview on Development of Planetary Rover Technology[J]. Journal of Deep Space Exploration, 2020, 7(5): 419-427 https://www.cnki.com.cn/Article/CJFDTOTAL-SKTC202005001.htm
    [7] Markou M, Singh S. Novelty Detection: A Review—Part 1: Statistical Approaches[J]. Signal Processing, 2003, 83(12): 2481-2497 doi:  10.1016/j.sigpro.2003.07.018
    [8] Pimentel M A F, Clifton D A, Clifton L, et al. A Review of Novelty Detection[J]. Signal Processing, 2014, 99: 215-249 doi:  10.1016/j.sigpro.2013.12.026
    [9] 雷恒林, 古兰拜尔·吐尔洪, 买日旦·吾守尔, 等新奇检测综述[J]. 计算机工程与应用, 2021, 57 (5): 47-55 https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202105006.htm

    Lei Henglin, Tuerhong Gulanbaier, Wushouer Mairidan, et al. Review of Novelty Detection[J]. Computer Engineering and Applications, 2021, 57 (5): 47-55 https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG202105006.htm
    [10] Schlegl T, Seebck P, Waldstein S M, et al. Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery[J]. Medical Image Analysis, 2019, DOI: 10.1016/j.media.2019.01.010
    [11] Akcay S, Atapour-Abarghouei A, Breckon T P. GANomaly: Semi-Supervised Anomaly Detection via Adversarial Training[C]//Asian Conference on Computer Vision, Newcastle, UK, 2018
    [12] Reed I S, Yu X. Adaptive Multiple-Band CFAR Detection of an Optical Pattern with Unknown Spectral Distribution[J]. IEEE Transactions on Acoustics, Speech, and Signal Processing, 1990, 38(10): 1760-1770 doi:  10.1109/29.60107
    [13] Molero J M, Garzón E M, García I, et al. Analysis and Optimizations of Global and Local Versions of the RX Algorithm for Anomaly Detection in Hyperspectral Data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2013, 6(2): 801-814 doi:  10.1109/JSTARS.2013.2238609
    [14] Ayhan B, Dao M, Kwan C, et al. A Novel Utilization of Image Registration Techniques to Process Mastcam Images in Mars Rover with Applications to Image Fusion, Pixel Clustering, and Anomaly Detection[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 10(10): 4553-4564 doi:  10.1109/JSTARS.2017.2716923
    [15] Kwak N. Principal Component Analysis Based on L1-Norm Maximization[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2008, 30(9): 1672-1680 doi:  10.1109/TPAMI.2008.114
    [16] Chandola V, Banerjee A, Kumar V. Anomaly Detection: A Survey[J]. ACM Comput Surv , 2009, 41: 15-1-15- 58
    [17] Jablonski J A, Bihl T J, Bauer K W. Principal Component Reconstruction Error for Hyperspectral Anomaly Detection[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(8): 1725-1729 doi:  10.1109/LGRS.2015.2421813
    [18] Diaz I, Hollmen J. Residual Generation and Visualization for Understanding Novel Process Conditions[C]//The 2002 International Joint Conference on Neural Networks, Honolulu, HI, USA, 2002
    [19] LeCun Y, Bengio Y, Hinton G. Deep Learning[J]. Nature, 2015, 521 (7553): 436-444 doi:  10.1038/nature14539
    [20] Hinton G E, Osindero S, Teh Y W. A Fast Learning Algorithm for Deep Belief Nets[J]. Neural Computation, 2006, 18(7): 1527-1554 doi:  10.1162/neco.2006.18.7.1527
    [21] Xiong Y H, Zuo R G. Recognition of Geochemical Anomalies Using a Deep Autoencoder Network[J]. Computers & Geosciences, 2016, 86: 75-82
    [22] Richter C, Roy N. Safe Visual Navigation via Deep Learning and Novelty Detection[C]//Robotics: Science and Systems XⅢ, Cambridge, Massachusetts, USA, 2017
    [23] Kerner H R, Wagstaff K L, Bue B D, et al. Comparison of Novelty Detection Methods for Multispectral Images in Rover-Based Planetary ExplorationMissions[J]. Data Mining and Knowledge Discovery, 2020, 34(6): 1642-1675 doi:  10.1007/s10618-020-00697-6
    [24] Goodfellow I J, Pouget-Abadie J, Mirza M, et al. Generative Adversarial Networks[J]. arXiv, 2014, DOI: 1406.2661
    [25] Dong H W, Hsiao W Y, Yang L C, et al. MuseGAN: Multi-track Sequential Generative AdversarialNetworks for Symbolic Music Generation andAccompaniment[J]. arXiv, 2017, DOI: 1709.06298
    [26] Zenati H, Romain M, Foo C S, et al. Adversarially Learned Anomaly Detection[C]//IEEE International Conference on Data Mining, Singapore, 2018
    [27] 周聪, 曾祥芝, 袁静, 等. 利用深度自编码算法的地震脉冲信号检测方法[J]. 武汉大学学报·信息科学版, 2020, 45(7): 980-987 doi:  10.13203/j.whugis20180348

    Zhou Cong, Zeng Xiangzhi, Yuan Jing, et al. Earthquake Pulselike Records Detection Based on Deep Autoencoder[J]. Geomatics and InformationScience of Wuhan University, 2020, 45(7): 980-987 doi:  10.13203/j.whugis20180348
    [28] 王逸宸, 柳林涛, 许厚泽. 利用卷积自编码器重建含噪重力数据[J]. 武汉大学学报·信息科学版, 2022, 47(4): 543-550 doi:  10.13203/j.whugis20190410

    Wang Yichen, Liu Lintao, Xu Houze. Noisy Gravity Data Reconstruction Using the Convolutional Autoencoder[J]. Geomatics and Information Science of Wuhan University, 2022, 47(4): 543-550 doi:  10.13203/j.whugis20190410
    [29] Masci J, Meier U, Ciresan D, et al. Stacked Convolutional Auto-Encoders for Hierarchical Feature Extraction[M]//Berlin: Springer-Verlag, 2011
    [30] Bell J, Malin M, Caplinger M, et al. Mastcam Multispectral Imaging on the Mars Science Laboratory Rover: Wavelength Coverage and Imaging Strategies at the Gale Crater Field Site[C]//Lunar and Planetary Science Conference, San Francisco, CA, USA, 2012
    [31] Wellington D F, Bell J F Ⅲ, Johnson J R, et al. Visible to Near-Infrared MSL/Mastcam Multispectral Imaging: Initial Results from Select High-Interest Science Targets within Gale Crater, Mars[J]. American Mineralogist, 2017, 102(6): 1202-1217 doi:  10.2138/am-2017-5760CCBY
    [32] Johnson J R. First Iron Meteorites Observed by the Mars Science Laboratory (MSL) Rover Curiosity[C]//AGU Fall Meeting Abstracts, San Francisco, CA, USA, 2014
    [33] Zenati H, Foo C S, Lecouat B, et al. Efficient GAN-Based Anomaly Detection[J]. arXiv, 2018, DOI: 1802.06222
  • 加载中
通讯作者: 陈斌, bchen63@163.com
  • 1. 

    沈阳化工大学材料科学与工程学院 沈阳 110142

  1. 本站搜索
  2. 百度学术搜索
  3. 万方数据库搜索
  4. CNKI搜索

Figures(5)  / Tables(3)

Article Metrics

Article views(71) PDF downloads(15) Cited by()

Related
Proportional views

An Improved Deep Novel Target Detection Method for Mars Rover Multispectral Imagery

doi: 10.13203/j.whugis20220119
Funds:

The National Natural Science Foundation of China 42071350

The National Natural Science Foundation of China 42101327

the Fundamental Research Funds for the Central Universities 2042021kf0070

Abstract:   Objectives  Mars is the main target object for deep space exploration. Mars rovers, or roving probes, are important tools for surface exploration and scientific research on Mars. For the growing amount of remote sensing data collected by Mars rovers, there is an urgent need for a method that can intelligently detect novel targets of scientific value from the massive amount of images, reduce the time cost of detection planning, and provide information for subsequent scientific analysis. The traditional novel detection methods mostly include distance-based metrics and image-based reconstruction methods, distance-based metrics calculate novel scores pixel by pixel without considering spatial contextual information, and image-based reconstruction methods focus on reconstruction of typical landscape backgrounds, and novelty is manifested by image reconstruction errors, which is not effective in extracting small novel targets such as boreholes and dust removal points.  Methods  To address the above problems of traditional novel detection methods in Mars rover novel target detection, this paper proposes an improved Mars rover multispectral image depth novel target detection method, uses full convolutional self-coding neural network to extract deep features for typical landscape reconstruction, and joints Mahalanobis distance for novel target and typical landscape background separation, fully exploits the spatial and spectral dimensional features to improve the accuracy of Mars rover novel target detection results.  Results  The experiments use the multispectral image dataset of Curiosity rover released by NASA (National Aeronautics and Space Administration), and the proposed convolution auto-encoder combined Mahalanobis distance method(CAE-M) is compared with Reed-Xiaoli detector, principal component analysis, convolution auto-encoder convolution, and generative adversarial networks on the surface of Gale crater. The results show that CAE-M outperforms previous detection methods in terms of detection accuracy and visual interpretation, and has a balanced and stable performance in different classes of novel target detection.  Conclusion  The proposed CAE-M method comprehensively utilizes spatial and spectral information of multispectral images, which can help Mars rover exploration missions to quickly and intelligently screen and sort novel data with scientific value in massive data, save the time and cost of route planning, improve scientific returns.

ZHAO Zhiruo, WANG Shaoyu, WANG Xinyu, ZHONG Yanfei. An Improved Deep Novel Target Detection Method for Mars Rover Multispectral Imagery[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119
Citation: ZHAO Zhiruo, WANG Shaoyu, WANG Xinyu, ZHONG Yanfei. An Improved Deep Novel Target Detection Method for Mars Rover Multispectral Imagery[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8): 1328-1335. doi: 10.13203/j.whugis20220119
  • “天问一号”的发射和“祝融号”火星车的成功,开启了中国行星探测的新时代,也标志着深空探测进入了全球时代[1]。火星作为目前人类可探测到的、距离地球最近的类地行星,是天文学、地质学等领域的研究热点,也是各国深空探测的主要目标天体[2]。巡视探测作为目前对火星地表探测的主要手段,是未来发展的重要方向。巡视探测器也称为火星车,能够对火星表面和次表层开展更高分辨率的原位探测[3]。在火星科学实验室(Mars Science Laboratory,MSL)任务中,“好奇号”火星车每天都在探索火星上的新区域,并在盖尔撞击坑进行科学探测。从火星车接收到数据后,科学家一般只有不到12 h规划后续探测,而美国国家航空航天局(National Aeronautics and Space Administration,NASA)火星车科学探测的规划时间只有不到5 h[4]。探测规划和数据分析团队需要将有限的可用时间花在最有价值的、新颖的或异常的观测数据上。科学家需要在海量的数据中快速、智能地筛选得到有科学价值的信息,进行进一步的探测规划、数据分析和科学研究[5-6]

    新颖探测的任务是确定以前未观测到的数据模式[7-8]。通过在海量行星科学数据中对新颖目标的探测,可以大幅降低科学探测规划的时间和成本,从不断增加的海量数据中快速发现新事物,帮助科学家智能地提取感兴趣的信息,生产相关的数据产品,支持后续行星探测的科学分析。因此,新颖探测在火星地表探测中具有实际应用价值,对深空探测有着重要意义。新颖探测是识别与已知训练数据在某些方面不同的数据,一般根据典型的(非新颖的)数据构造一个模型,再识别出以某种方式偏离数据正常模式的新颖数据样本[8-9],在这种情况下,异常值通常称为新颖。目前新颖探测在文本挖掘、医学诊断、工业监测等方面都提供了重要的、可分析的信息[10-11]。新颖探测方法一般分为基于距离的探测方法、基于重建的探测方法,以及其他基于域、基于信息论的方法。在针对图像的新颖探测中,目前的研究主要针对基于距离测度和基于影像重建的新颖探测方法。基于距离测度的方法假设正常数据是紧密聚集的,而新数据出现在离最近数据最远的地方。Reed-Xiaoli探测器(Reed-Xiaoli detector,RXD)是经典的基于分布的异常目标检测方法,通过像素和背景分布之间的马氏距离计算像素级别的异常值[12],广泛应用于多光谱和高光谱图像中的无监督异常检测[13-14]。基于距离的新颖探测方法使用单个像素的光谱信息对逐个像素级别进行计算,忽略了局部和全局区域内的其他像素值的相关性,主要利用光谱维信息,在空间维上的特征提取存在不足。基于影像重建的方法使用训练集训练回归模型。当使用训练的模型映射异常数据时,回归目标与实际观测值之间的重建误差会得到较高的新颖性得分。深度学习中的神经网络方法也可以通过最小化原始输入与重建数据之间的损失,从而学习到输入的典型样本与低维表示之间的映射关系。主成分分析(principal component analysis,PCA)将逆变换后与原始输入之间的重建误差作为一个新颖性的判定分数[15-17]。文献[18]将基于核的和基于最小二乘的广义回归神经网络应用于异常检测,结果表明,基于核的方法比最小二乘方法提供了更有意义和可解释的重建误差。基于深度神经网络在学习高维数据中的复杂关系方面的表现[19],更多研究者采用基于重建的新颖探测深度学习方法。卷积自编码神经网络(convolution auto-encoder convolution,CAE)训练得到最小化典型样本重建误差的网络[20],并使用重建误差对输入样本的新颖性进行评分[4, 21-23]。生成对抗网络(generative adversarial networks,GAN)[24]成功应用于复杂数据集的数据生成分布学习[25],近来也被用于新颖检测[10-11, 23, 26]。基于重建的新颖探测方法基于每个像素彼此相关的空间特性,逐波段输入图像信息,在二维空间上进行特征提取,但在空谱信息联合探测的方法上研究还较为不足。

    此外,传统新颖探测方法研究使用的主要是包含非图像/相对低维的数据、灰度图像或彩色RGB(red,green,blue)图像的数据集进行实验,这些数据集大多是基准数据集,并不能模拟真实世界中的应用场景,缺乏针对行星探测的新颖探测框架和适用性方法设计。

    针对现有探测方法在空间和光谱信息上挖掘不充分,探测准确性和效率较低的问题,本文设计了一种联合马氏重建的全卷积自编码火星车多光谱影像新颖探测方法(convolution auto-encoder combined Mahalanobis distance method,CAE-M),该方法在全卷积自编码网络对典型地貌训练模型的基础上,联合马氏距离指数,利用RXD的思想对影像进行新颖目标探测,能够快速、智能地从火星图像数据中筛选和提取出有科学价值的新颖目标,降低科学家行星探测规划的成本,方便后续科学分析。

  • 本文提出的CAE-M利用卷积自编码神经网络进行重建,并引入RXD算子对探测结果进行优化,通过计算被测图像的马氏距离进一步挖掘光谱信息,具体流程如图 1所示。

    Figure 1.  Flowchart of CAE-M

  • 自编码器是深度学习中一种可以从大量无标签数据中自动学习有效特征的无监督学习方法,广泛应用于模式识别、图像分类、异常检测等领域[27-28]。其中卷积自编码器由编码器和解码器网络组成,编码器将输入的数据信号映射到潜在表示,解码器则用卷积层重建编码器的输入数据,通过最小化损失函数进行学习[29]。与传统编码器不同的是,卷积自编码器利用卷积层和池化层替代了传统自编码器中的全连接层,通过卷积操作对输入信号进行了线性变换,共享权重,保留了图像中的空间信息。

    本文中所使用的全卷积自编码神经网络结构如表 1所示。编码器由3个卷积层组成,解码器由3个转置卷积层组成。卷积核大小为5×5,第一层和最后一层的步长为1,其他层的步长为2。卷积自编码器网络的输入是完全由火星典型的背景地貌图像所构建的训练数据集。

    尺寸
    输入 64×64×6
    E1 64×64×12
    E2 32×32×8
    E3 16×16×3
    D1 32×32×8
    D2 64×64×12
    D3(输出) 64×64×6

    Table 1.  Convolutional Auto-Encode Network Architecture

    利用全卷积自编码器进行全自动新颖探测,并基于网络训练实现对火星地表背景的重建,在探测中将新颖性定义为重建误差。均方误差(mean square error,MSE)是最常见的用于最小化卷积自编码网络输入和重建之间误差的损失函数[4, 22, 29],计算如下:

    式中,xijkx̂ijk分别为输入图像和重建图像在第i行、第 j列、第k波段处的像素值;NM表示每张图像的空间尺寸;K为波段数。

    在全卷积自编码器训练过程中,背景的重建误差逐渐降低,最终构建出火星地表典型地质地貌模型。在理想条件的探测中,若测试的影像中含有新颖目标,则区别于典型火星地表的新颖目标不会被网络重建,可以直接用重建误差表示新颖性,得到探测结果。然而在实际情况中,由于不同新颖目标的特性不同,陨石等主要表征为光谱特征新颖的目标仍然会被网络重建。

  • 本文方法的主要思想是在全卷积自编码神经网络上提取深层特征进行重建,再联合马氏距离进行背景分离,从而实现对火星地表新颖目标空间和光谱特征信息的充分提取,实现端到端的新颖探测。总体流程如下:

    1)数据预处理阶段。首先对输入的训练数据进行清洗,尤其是除去训练样本中存在黑色条带的干扰图像,因为图像伪影并非桅杆相机拍摄到的火星地表真实的典型特征;然后进行数据增强,对输入的图像进行翻转,以增加训练样本数量和数据的多样性,进而提升模型的泛化能力和鲁棒性;最后对数据样本进行随机打乱。

    2)模型训练阶段。仅输入火星地表的典型背景地貌图像样本对卷积自编码网络进行训练。使用MSE作为损失函数对卷积自编码网络进行训练,最小化输入和重建之间的误差。同时假设背景分布符合高斯分布,使用训练数据集中火星地表的典型背景地貌图像的全部像元进行估计,得到全局的背景平均像素向量和协方差矩阵。

    3)图像重建阶段。输入待探测的测试集(包含典型背景地貌图像和含有新颖目标的图像样本)进行测试,利用步骤2)中已训练好的模型进行重建。

    4)新颖性估计阶段。输出重建图像后,对重建后待测样本的全部像元进行遍历,计算重建后的测试样本与背景均值之间的马氏距离的平方,作为每个测试图像的新颖分数。对测试图像按照新颖分数由高到低的顺序进行排序。

    RXD计算了每个像素的异常值,即像素与估计的背景分布之间的马氏距离的平方。背景为图像中除被测像素外的所有像素,或被测像素周围的一个窗口中的所有像素。由于任务目标是基于整个火星地表的典型地貌,在整个测试数据集中对新颖性高的图像进行筛选和排序,计算图像中每个像素基于整个训练数据集背景的RXD异常值为:

    式中,xi是像素im个波段上的光谱向量;μt是训练数据集中所有像素光谱计算得到的背景平均光谱;Σt是训练数据集中所有像素光谱计算得到的平均协方差矩阵。

    根据式(2)得到图像中每个像素的RXD异常值后,再计算得到整张图像中所有像素的平均RXD异常值,即此图像的新颖分数。逆协方差矩阵将输入数据以最小方差(特征向量最小)的主成分投影出来,新颖分数即代表距离这个空间的平均值的马氏距离。

  • 本文实验数据来自NASA发射的MSL任务[23],数据集由好奇号火星车上搭载的桅杆相机多光谱成像系统(Mastcam)[30]采集,采集时间为火星日1~1 666(2012-08-06—2017-04-14),由在盖尔撞击坑上拍摄的未校准的全分辨率多光谱图像缩略图组成,图像的样本尺寸为64×64×6。

    Mastcam图像中可探测到的火星地表新颖地质目标包括铁陨石、碎岩以及火星地表尘埃下暴露出的矿物学特征等[31-32]。如图 2所示,采集的影像中火星地表的新颖目标主要包括陨石、浮石、基岩、矿脉、碎岩、渣堆、钻孔、除尘点8类。实验数据集的具体样本设置如表 2所示,主要分为两个数据集,一个代表火星的典型地貌地质情况,用于训练、验证和测试模型;另一个包含由NASA专家人工判别的新颖目标,仅用于测试。

    Figure 2.  Mars Rover Multispectral Image Dataset

    数据集 典型样本/张 新颖样本/张
    陨石 浮石 基岩 矿脉 碎岩 渣堆 钻孔 除尘点
    训练集 9 302 0
    验证集 1 386 0
    测试集 426 34 18 11 30 76 93 62 111

    Table 2.  Sample Settings of Dataset

  • 为验证本文所提出的CAE-M在实际火星地表探测中的有效性,在火星车多光谱影像数据集上进行新颖目标探测,并将CAE-M与RXD、PCA、CAE和GAN这4种在新颖目标探测中常用的方法进行对比分析。对比方法中,CAE网络框架与§1.1中相同;GAN采用双向生成对抗网络(bidirectional GAN,BiGAN)框架设计[23, 33],结合编码解码器结构和判别器结构进行优化,通过生成对抗网络来强化自编码器结构,使得网络结构具备了表征学习能力。PCA、CAE和GAN均为基于重建的方法,首先输入训练数据集学习火星地表的正常地貌特征,建立典型背景地貌模型;其次在测试阶段输入测试数据得到重建后图像;然后将输入影像与重建后影像的二范数作为重建误差,即评估图像新颖性的新颖分数;最后对影像的重建误差进行排序,误差较高的数据则被判定为含有新颖目标的影像,优先进行展示。RXD利用式(1)逐像素光谱遍历后求均值,得到新颖分数。

  • 为定量说明本文方法的准确性,使用曲线下面积(area under curve,AUC)作为指标评价实验方法的新颖目标探测性能,AUC值越接近1,探测精度越高,准确度越高。图 3给出了CAE-M与4种对比方法实验结果的接受者特征曲线(receiver operating characteristic,ROC)和AUC。每类新颖目标的AUC分数如表 3所示,其中最优解加粗表示。

    Figure 3.  ROC Curves and AUC Scores of Novelty Detection by Five Methods

    实验方法 新颖目标 AUC总分
    陨石 浮石 基岩 矿脉 碎岩 渣堆 钻孔 除尘点
    RXD 0.97 0.57 0.53 0.22 0.42 0.83 0.90 0.86 0.72
    PCA 0.78 0.87 0.87 0.95 0.90 0.47 0.51 0.41 0.62
    CAE 0.67 0.74 0.81 0.89 0.80 0.36 0.38 0.25 0.50
    GAN 0.74 0.78 0.88 0.96 0.84 0.49 0.52 0.34 0.59
    CAE-M 0.86 0.81 0.65 0.78 0.81 0.77 0.82 0.88 0.82

    Table 3.  AUC Scores for Test Dataset and Accuracy of Different Novelty Targets Detection Using Five Methods

    图 3表 3可知,在4种对比方法中,PCA、CAE、GAN方法的总体精度为0.50~0.62,RXD方法表现最佳,AUC值达到了0.72。CAE-M方法AUC值为0.82,相对于以往新颖探测中表现最佳的RXD方法提高了13.89%,相对于PCA、CAE、GAN分别提高了32.26%、60%和38.98%,在所有实验方法中获得了最高的总体精度。在针对不同类别的新颖目标的探测精度中,相比于其他实验方法,CAE-M则表现出了较为均衡稳定的性能,基岩的AUC值最低为0.65,余下7类目标AUC值为0.77~0.88。RXD方法在陨石、渣堆、钻孔的探测上表现最佳,AUC值分别达到了0.97、0.83和0.90;在除尘点的探测上也表现良好,AUC值为0.86,仅次于CAE-M方法;而在浮石、基岩、矿脉、碎岩的探测上则表现较差,AUC值大多在0.5左右,相当于完全随机探测的概率,其中矿脉的探测精度最差,AUC只有0.22。相比之下,PCA、CAE和GAN在浮石、基岩、矿脉、碎岩的探测上有着良好的表现,而在渣堆、钻孔、除尘点的探测上表现不佳,精度为0.3~0.5。

    按照新颖分数从高到低排序,图 4展示了得分最高的10张图像,红框为将典型地貌误检为新颖目标的影像。从图 4中可以发现,RXD和CAE-M都有着较高的探测率,按照得分优先展示的前十张图像中均含有新颖目标,PCA、CAE和GAN则有较少的误检,存在部分将典型背景地貌图像误判为含新颖目标图像的情况。

    Figure 4.  Test Images with 10 Highest Novelty Scores by Different Methods

    图 5展示了得分最低的10张图像,红框为将新颖目标误检为典型地貌的影像。由图 5可以发现,RXD和CAE都存在有50%左右的漏报率,GAN和CAE-M则存在较少的漏检,PCA没有漏检。CAE-M方法不存在误检且漏检较少,在可视化中相较于其他方法,表现较为良好。

    Figure 5.  Test Images with 10 Lowest Novelty Scores by Different Methods

    基于距离测度的方法和基于影像重建的方法在实验结果上出现了明显的差异。在渣堆、钻孔、除尘点3种新颖目标的探测上,基于距离的方法取得的精度更高;而在浮石、基岩、矿脉、碎岩4种新颖目标的探测上,基于重建的方法则更有优势。而综合了两类方法优势的CAE-M方法则在实验中针对各类新颖目标的探测都有着均衡稳定的表现,并且在总体探测精度上有所提升。

    从运行效率上来看,全卷积自编码和生成对抗网络等深度学习方法的训练时间相对较长,但在测试阶段,所有方法在图形处理器(graphics processing unit,GPU)上的推理速度差异很小,因此同样适用于地面的探测规划。

  • 面向火星地表新颖目标探测任务,本文提出了一种基于卷积自编码网络的CAE-M方法,并在“好奇号”火星车多光谱影像数据集上进行了测试。实验结果表明,CAE-M方法充分利用了影像的空间信息与光谱信息,有利于提高在火星地表新颖目标探测的总体精度,并且在针对不同新颖目标的探测上,表现出了较为均衡稳定的性能,能够快速、智能地从火星图像数据中筛选和提取出有科学价值的新颖目标。在未来的研究中,将在现有基础上继续提高模型的鲁棒性和泛化能力,在更多行星影像数据集上进行实验,提升模型针对不同类别新颖目标的探测性能。

Reference (33)

Catalog

    /

    DownLoad:  Full-Size Img  PowerPoint
    Return
    Return