A Multi-modal Deep Neural Network Model for Forested Landslide Detection
-
摘要:
中国西南山区植被茂盛,该区域光学遥感影像上的滑坡常被植被遮挡、难以辨识,基于光学遥感影像的植被覆盖滑坡识别错误率较高,难以满足实际需求。针对这一问题,利用机载激光雷达(light detection and ranging, LiDAR)生成的数字高程模型(digital elevation model, DEM)和山体阴影图去除滑坡表面的植被覆盖,构建了一个植被覆盖山区的滑坡数据集。在此基础上,提出一种基于多模态深度学习的智能滑坡识别模型,综合利用DEM和山体阴影图识别植被覆盖条件下的滑坡,模型主要包括3个神经网络模块:自动提取DEM数据特征的Transformer神经网络,自动提取山影图特征的Transformer神经网络,以及融合多模态遥感数据的卷积注意力神经网络。实验对比了ResU-Net、LandsNet、HRNet、SeaFormer模型,结果表明,所提模型达到了最高的滑坡预测精度,交并比和F1值分别提高了9.3%和6.8%。因此,LiDAR能够有效地去除植被干扰,适用于识别西南山区植被覆盖条件下的滑坡;提出的LiDAR滑坡识别模型能够预测滑坡的位置,为滑坡监测设备选址提供了有力支撑。
Abstract:ObjectivesVegetation widely spread in the southwestern mountainous regions of China. In the remote sensing images of this area, the landslides are usually shaded by vegetation. The error rate of forested landslide detection in remote sensing images is high, which is hard to meet practical needs.
MethodsTo address this issue, this paper uses light detection and ranging (LiDAR)-derived digital elevation mode (DEM) and hillshade to remove the forest on the landslides. In addition, a new dataset for forested landslide detection is also constructed. On this basis, an intelligent landslide detection model base on multi-modal deep learning is proposed. The proposed model uses DEM and hillshade to identify forested landslides, which consists of three neural network models:A transformer network for automatically extracting DEM features, a transformer network for automatically extracting hillshade features, and a convolution neural network with attention mechanism for merging multi-modal remote sensing data.
ResultsThe proposed model is compared with ResU-Net, LandsNet, HRNet and SeaFormer. Experimental results show that the proposed model achieves the highest prediction accuracy. Intersection over union and F1 are improved by 9.3% and 6.8%, respectively.
ConclusionsLiDAR is able to remove the impact of forest cover, which is suitable for identifying the forested landslides in the southwest mountain areas of China. The proposed LiDAR-based landslide detection model is able to predict the position of landslides, which is useful for deciding the position of landslide monitoring devices.
-
Keywords:
- landslide detection /
- vegetation cover /
- hillshade /
- DEM /
- multi-modal deep learning /
- neural network model
-
目前,北斗导航卫星系统(BDS)已实现局域覆盖,随着系统建设的不断完善和应用的不断拓展,与之相关的各类数据处理软件的开发成为重要的研究内容。因此,自主开发北斗高精度数据处理软件,成为发展高精度位置服务的迫切任务[1-8]。因北斗导航卫星系统与GPS在星座构造、坐标框架、时间系统、信号频率等方面具有明显差异[9-15],现有的高精度GPS数据处理软件无法直接处理北斗数据。本文针对北斗高精度数据处理的系统设计、数据流、功能模块及高精度算法实现等进行了研究,研制开发了一套高精度北斗基线解算软件BGO(BeiDou Navigation Satellite System/Global Positioning System Office),并将其用于高速铁路高精度控制测量建网。通过与商业软件TGO(Trimble Geomatics Office)和TBC(Trimble Business Center),及高精度科研软件Bernese进行对比测试、性能分析,验证了该软件的正确性和有效性。
1 系统的设计与模块算法的实现
1.1 系统设计与数据流分析
北斗和GPS基线解算软件主要包含北斗基线处理、GPS基线处理及联合基线处理3大模块。各模块间相互独立,但使用相同的数据结构,且数据流基本一致。数据处理流程如图 1所示。
基线解算之前,需选择有效双频观测数据,具体包含低高度角卫星剔除、观测值粗差剔除、星历未获取观测数据剔除等。剔除质量较差的观测数据可通过可视化的方式实现。通过双频数据组合有效消除电离层延迟影响,伪距消电离组合能算出测站精确至10 m内的概略位置,从而形成网络拓扑图,便于用户查看站点的平面分布。基线解算时,北斗与GPS独立系统数据处理算法相同;联合处理需选择统一的坐标和时间框架,随着多余观测数的增加,还需设置合理的模糊度固定限值。基线解算后,进行网平差,应剔除不合格基线,直至平差结果满足要求。
1.2 高精度基线解算算法实现
高精度基线解算利用双差观测量建立误差方程,北斗双差观测量构造如式(1):
$$ \mathit{\Delta} \nabla L^{{C_m}{C_n}}_{{S_i}{S_j}} = \left( {L^{{C_n}}_{{S_j}} - L^{{C_n}}_{{S_i}}} \right) - \left( {L^{{C_m}}_{{S_j}} - L^{{C_m}}_{{S_i}}} \right) $$ (1) 式中,Δ▽L表示双差观测量;Si和Sj表示任意站点;Cm和Cn表示任意北斗卫星。
依据式(1)构建的双差观测量,建立误差方程,如式(2):
$$ \left[ \begin{array}{l} \mathit{\Delta} \nabla \boldsymbol{\varPhi} \\ \mathit{\Delta} \nabla \boldsymbol{P} \end{array} \right] = \boldsymbol{BX} + \boldsymbol{A}\mathit{\Delta} \nabla \boldsymbol{N} + \boldsymbol{V} $$ (2) 式中,Δ▽Φ和Δ▽P分别表示卫星载波相位和伪距双差观测量;X表示基线向量;Δ▽N表示双差整周模糊度;B和A为系数阵;V为残差向量。
利用式(2)构建的误差方程,解算基线向量和双差整周模糊度浮点解。利用LAMBAD方法[16, 17]固定双差整周模糊度后去除。再利用载波相位观测值获取高精度基线向量结果。基线解算过程中,主要利用抗差估计的切比雪夫多项式拟合法[18]及MW-GF组合法[19]探测与修复周跳。
对北斗和GPS双系统基线解算,只需将各系统的双差观测量误差方程叠加后平差计算,即可实现双系统联合基线解算。但需注意,星间差分需选择同一系统卫星,否则会引入系统间信号硬件延迟[20],影响双差整周模糊度的固定。另外,北斗和GPS在时间框架、坐标框架等存在一定差异,双系统联合解算需保证框架的统一。
北斗和GPS时间转换公式如式(3):
$$ {t_C} = {t_G}-14\;{\rm{s}} $$ (3) 式中,tC和tG分别表示北斗时和GPS时,两者均为原子时,起算原点不同[13]。
北斗和GPS坐标转换公式如式(4):
$$ \begin{array}{c} \left[ {\begin{array}{*{20}{c}} {{X_C}}\\ {{Y_C}}\\ {{Z_C}} \end{array}} \right] = \left[ {\begin{array}{*{20}{c}} {{X_G}}\\ {{Y_G}}\\ {{Z_G}} \end{array}} \right] + \left[ {\begin{array}{*{20}{c}} {{T_X}}\\ {{T_Y}}\\ {{T_Z}} \end{array}} \right] + \\ \left[ {\begin{array}{*{20}{c}} D&{ - {R_Z}}&{{R_Y}}\\ {{R_Z}}&D&{ - {R_X}}\\ { - {R_Y}}&{{R_X}}&D \end{array}} \right]\left[ {\begin{array}{*{20}{c}} {{X_G}}\\ {{Y_G}}\\ {{Z_G}} \end{array}} \right] \end{array} $$ (4) 式中,北斗坐标(XC,YC,ZC)与GPS坐标(XG,YG,ZG)可通过七参数TX、TY、TZ、D、RX、RY、RZ进行转换。北斗CGCS2000坐标系采用ITRF97框架2000历元的坐标和速度场,当前GPS WGS84坐标和ITRF08基本一致。因此,可利用ITRF97框架2000历元与ITRF08间转换的七参数(ITRF网站公布)实现北斗与GPS坐标框架的统一[11, 12]。
2 BGO数据处理实例与性能测试
2.1 高速铁路CPI控制网基线解算
处理高速铁路CPI控制网时,通过读取观测文件和星历文件,单点定位生成控制网的基线网络拓扑图,如图 2所示。基线解算前,设置相关参数包括卫星截止高度角、误差限差参数、框架、对流层模型、电离层模型、模糊度Ratio值、同步最小观测历元数等。设置完成后,可选择北斗、GPS、联合3种模式进行基线解算。基线解算完成后,软件界面中将显示解算的基线分量及其精度,并可显示残差向量检核基线解算效果。
2.2 BGO、TGO、Bernese软件处理GPS基线结果比较
为了测试BGO解算GPS基线的正确性,将其与TGO和Bernese软件处理结果进行了比较,得到57条GPS基线(基线最长6 667 m,最短446 m)的比较结果,如图 3所示。
图 3(a)、3(b)分别表示BGO软件与TGO、Bernese软件处理GPS基线分量的差值ΔX、ΔY、ΔZ。图 3(a)中,BGO和TGO有52条基线在X、Y、Z方向的分量差值均在2 cm内,有48条基线各分量差值在mm级。TGO解算少量基线验后方差分量超限,与BGO基线分量差值较大。图 3(b)中,BGO和Bernese有55条基线在X、Y、Z方向的分量差值均在2 cm内,有49条基线各分量差值在mm级。
图 4(a)~4(c)分别表示BGO、TGO、Bernese软件处理GPS基线的内符合精度σX、σY、σZ(BGO、TGO、Bernese软件基线解算精度分别精确至0.1 mm、1 mm和0.1 mm)。整体上,约90%的基线3个软件的解算精度相当。
2.3 BGO、TBC软件处理北斗与GPS联合基线结果
为了测试BGO解算北斗与GPS联合基线的性能,本文选用美国Trimble的商业软件TBC与之进行比较。同上57条基线,每条基线观测数据均包含北斗与GPS观测数据。图 5展示了BGO和TBC处理北斗与GPS联合基线分量的差值ΔX、ΔY、ΔZ。图 5可见,98%的基线分量差值分布在mm级,表明BGO软件处理联合基线能达到与TBC软件相当的水平。另外,两者内符合精度绝大部分均在mm级,故图 5中未加以比较。
由此可知,BGO软件处理GPS基线、北斗与GPS联合基线的内外符合精度能达到TGO、Bernese、TBC相当的水平。因此,以BGO软件处理GPS、北斗与GPS联合基线结果为参考值,分析该软件处理北斗基线结果的正确性和可靠性,如图 6和图 7所示。图 6比较了北斗与GPS、联合基线分量的差值,图 7比较了北斗、GPS、联合基线解算的内符合精度。
图 6(a)表示BGO软件处理北斗与GPS基线分量的差值ΔX、ΔY、ΔZ,其中有43条基线在X、Y、Z方向上的分量差值Δx、Δy、Δz在2 cm内,有31条基线在X、Y、Z方向上的分量差值在mm级。图 6(b)表示BGO软件处理北斗与联合基线分量的差值,其中有54条基线在X、Y、Z方向上的分量差值在2 cm内,有38条基线在X、Y、Z方向上的分量差值在mm级(图 6中第6条基线北斗为浮点解,各分量差值结果较大,图中置为0)。
图 7中,93%的联合基线在X、Y、Z方向上的分量精度分别优于0.5 mm、1 mm、0.5 mm;约90%的北斗基线和95%的GPS基线在X、Y、Z方向上的分量精度分别优于1 mm、2 mm、1 mm。由北斗、GPS、联合基线3者精度比较可知,在北斗试运行阶段,GPS基线内符合精度略优于北斗,北斗与GPS联合系统基线内符合精度明显高于独立系统。
2.4 BGO基线网平差及其精度分析
BGO具备网平差功能,根据网平差后的基线分量改正数、相对中误差、点位精度等判断基线解算结果的可靠性。对上述解算的北斗、GPS、联合基线分别进行无约束网平差。
北斗、GPS、联合基线无约束网平差的平差改正数δX、δY、δZ绝大部分在±1 cm内,如图 8(a)~8(c)所示。最弱边相对中误差优于5.5 ppm(规范限值),具体见表 1。据图 8、表 1及《高速铁路工程测量规范》[21]可知,BGO能合理稳定地解算北斗、GPS及联合基线,解算结果中的基线向量改正数、最弱边相对中误差、最弱点点位精度均满足CPI控制测量要求,各系统解算均能精确获得24个CPI控制点坐标。
表 1 GPS、北斗、联合无约束平差结果统计Table 1. The Statistics of GPS, BDS and BDS/GPS Combined Unconstrained Adjustment Results解算模式 独立基线 多余观测数 控制点个数 最弱边相对中误差/ppm 最弱点点位精度/mm GPS 55 66 24 3.6 23.6 北斗 51 57 24 3.1 26.9 联合 57 72 24 3.7 17.9 3 结语
本文系统地研究了北斗与GPS联合基线解算的算法,自主开发了北斗高精度基线解算软件BGO。通过实测高铁CPI控制网的数据处理测试表明:软件能进行高精度地处理北斗与GPS数据, 以及北斗与GPS联合数据处理;GPS基线解算性能与天宝TGO软件相当,能达到与Bernese软件一致的精度;北斗与GPS基线处理能达到与TBC相当的水平。BGO最大的优势在于能对北斗和GPS进行联合解算,从而提高北斗或GPS单系统的基线解算合格率和精度。经高速铁路CPI控制网实例测试,证明该软件处理基线结果可用于高精度北斗和GPS测量控制网的数据处理。
http://ch.whu.edu.cn/cn/article/doi/10.13203/j.whugis20230099
-
表 1 滑坡识别模型之间的精度比较
Table 1 Comparing the Accuracy of the Landslide Detection Models
模型 类别 交并比 准确率 召回率 F1 ResU-Net 滑坡 0.191 0.249 0.455 0.322 背景 0.898 0.968 0.925 0.946 平均值 0.544 0.608 0.690 0.634 LandsNet 滑坡 0.264 0.394 0.446 0.418 背景 0.934 0.969 0.962 0.965 平均值 0.599 0.681 0.704 0.691 HRNet 滑坡 0.264 0.394 0.446 0.418 背景 0.934 0.969 0.962 0.965 平均值 0.599 0.681 0.704 0.691 SeaFormer 滑坡 0.341 0.424 0.634 0.508 背景 0.942 0.982 0.958 0.970 平均值 0.641 0.703 0.796 0.739 MMLD 滑坡 0.373 0.520 0.568 0.543 背景 0.955 0.979 0.974 0.977 平均值 0.664 0.749 0.771 0.760 -
[1] 葛大庆, 戴可人, 郭兆成, 等. 重大地质灾害隐患早期识别中综合遥感应用的思考与建议[J]. 武汉大学学报(信息科学版), 2019, 44(7): 949-956. Ge Daqing, Dai Keren, Guo Zhaocheng, et al. Early Identification of Serious Geological Hazards with Integrated Remote Sensing Technologies: Thoughts and Recommendations[J]. Geomatics and Information Science of Wuhan University, 2019, 44(7): 949-956.
[2] Wang X, Fan X M, Xu Q, et al. Change Detection-Based Co-seismic Landslide Mapping Through Extended Morphological Profiles and Ensemble Strategy[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2022, 187: 225-239.
[3] Zhang L L, Dai K R, Deng J, et al. Identifying Potential Landslides by Stacking-InSAR in Southwestern China and Its Performance Comparison with SBAS-InSAR[J]. Remote Sensing, 2021, 13(18): 3662.
[4] Xu Q, Guo C, Dong X J, et al. Mapping and Characterizing Displacements of Landslides with InSAR and Airborne LiDAR Technologies: A Case Study of Danba County, Southwest China[J]. Remote Sensing, 2021, 13(21): 4234.
[5] Pawluszek K. Landslide Features Identification and Morphology Investigation Using High-Resolution DEM Derivatives[J]. Natural Hazards, 2019, 96(1): 311-330.
[6] 褚宏亮, 殷跃平, 曹峰, 等. 大型崩滑灾害变形三维激光扫描监测技术研究[J]. 水文地质工程地质, 2015, 42(3): 128-134. Chu Hongliang, Yin Yueping, Cao Feng, et al. Research on Deformation Monitoring of Large Collapses and Landslides Based on 3D Laser Scanning Technology[J]. Hydrogeology & Engineering Geology, 2015, 42(3): 128-134.
[7] Sato H P, Hasegawa H, Fujiwara S, et al. Interpretation of Landslide Distribution Triggered by the 2005 Northern Pakistan Earthquake Using SPOT 5 Imagery[J]. Landslides, 2007, 4(2): 113-122.
[8] Huang R Q, Li W L. Analysis of the Geo-hazards Triggered by the 12 May 2008 Wenchuan Earthquake, China[J]. Bulletin of Engineering Geology and the Environment, 2009, 68(3): 363-371.
[9] Chen W T, Li X J, Wang Y X, et al. Forested Landslide Detection Using LiDAR Data and the Random Forest Algorithm: A Case Study of the Three Gorges, China[J]. Remote Sensing of Environment, 2014, 152: 291-301.
[10] Li X J, Cheng X W, Chen W T, et al. Identification of Forested Landslides Using LiDAR Data, Object-Based Image Analysis, and Machine Learning Algorithms[J]. Remote Sensing, 2015, 7(8): 9705-9726.
[11] Gorsevski P V, Brown M K, Panter K, et al. Landslide Detection and Susceptibility Mapping Using LiDAR and an Artificial Neural Network Approach: A Case Study in the Cuyahoga Valley National Park, Ohio[J]. Landslides, 2016, 13(3): 467-484.
[12] Mezaal M R, Pradhan B. An Improved Algorithm for Identifying Shallow and Deep-Seated Landslides in Dense Tropical Forest from Airborne Laser Scanning Data[J]. Catena, 2018, 167: 147-159.
[13] Syzdykbayev M, Karimi B, Karimi H A. Persistent Homology on LiDAR Data to Detect Landslides[J]. Remote Sensing of Environment, 2020, 246: 111816.
[14] van Veen M, Porter M, Lato M, et al. Using Tree Stems in Multi-temporal Terrestrial LiDAR Scanning Data to Monitor Landslides on Vegetated Slopes[J]. Landslides, 2022, 19(4): 829-840.
[15] Tang X C, Liu M Z, Zhong H, et al. MILL: Channel Attention–Based Deep Multiple Instance Learning for Landslide Recognition[J]. ACM Transactions on Multimedia Computing, Communications, and Applications, 2021, 17(2s):1-11.
[16] Ji S P, Yu D W, Shen C Y, et al. Landslide Detection from an Open Satellite Imagery and Digital Elevation Model Dataset Using Attention Boosted Convolutional Neural Networks[J]. Landslides, 2020, 17(6): 1337-1352.
[17] Shi W Z, Zhang M, Ke H F, et al. Landslide Recognition by Deep Convolutional Neural Network and Change Detection[J]. IEEE Transactions on Geo-science and Remote Sensing, 2020, 59(6): 4654-4672.
[18] Fang C Y, Fan X M, Zhong H, et al. A Novel Historical Landslide Detection Approach Based on LiDAR and Lightweight Attention U-Net[J]. Remote Sensing, 2022, 14(17): 4357.
[19] Tang X C, Tu Z H, Wang Y, et al. Automatic Detection of Coseismic Landslides Using a New Transformer Method[J]. Remote Sensing, 2022, 14(12): 2884.
[20] Li H J, He Y S, Xu Q, et al. Detection and Segmentation of Loess Landslides via Satellite Images: A Two-Phase Framework[J]. Landslides, 2022, 19(3): 673-686.
[21] Ghorbanzadeh O, Shahabi H, Crivellari A, et al. Landslide Detection Using Deep Learning and Object-Based Image Analysis[J]. Landslides, 2022, 19(4): 929-939.
[22] 王欣, 方成勇, 唐小川, 等. 泸定Ms 6.8地震诱发滑坡应急评价研究[J]. 武汉大学学报(信息科学版), 2023, 48(1): 25-35. Wang Xin, Fang Chengyong, Tang Xiaochuan, et al. Research on Emergency Evaluation of Landslides Induced by the Luding Ms 6.8 Earthquake[J]. Geomatics and Information Science of Wuhan University, 2023, 48(1): 25-35.
[23] Chandra N, Sawant S, Vaidya H. An Efficient U-Net Model for Improved Landslide Detection from Satellite Images[J]. PFG – Journal of Photogrammetry, Remote Sensing and Geoinformation Science, 2023, 91(1): 13-28.
[24] Soares L P, Dias H C, Garcia G P B, et al. Landslide Segmentation with Deep Learning: Evaluating Model Generalization in Rainfall-Induced Landslides in Brazil[J]. Remote Sensing, 2022, 14(9): 2237.
[25] 许强. 对地质灾害隐患早期识别相关问题的认识与思考[J]. 武汉大学学报(信息科学版), 2020, 45(11): 1651-1659. Xu Qiang. Understanding and Consideration of Related Issues in Early Identification of Potential Geohazards[J]. Geomatics and Information Science of Wuhan University, 2020, 45(11): 1651-1659.
[26] Najafifar A, Hosseinzadeh J, Karamshahi A. The Role of Hillshade, Aspect, and Toposhape in the Woodland Dieback of Arid and Semi-Arid Ecosystems: A Case Study in Zagros Woodlands of Ilam Province, Iran[J]. Journal of Landscape Ecology, 2019, 12(2): 79-91.
[27] Guth P, Kane M. Slope, Aspect, and Hillshade Algorithms for Non-square Digital Elevation Models[J]. Transactions in GIS, 2021, 25(5): 2309-2332.
[28] Wu H S, Liang C X, Liu M S, et al. Optimized HRNet for Image Semantic Segmentation[J]. Expert Systems with Applications, 2021, 174: 114532.
[29] Zhu J, Fang L Y, Ghamisi P. Deformable Convolutional Neural Networks for Hyperspectral Image Classification[J]. IEEE Geoscience and Remote Sensing Letters, 2018, 15(8): 1254-1258.
[30] Wan Q, Huang Z L, Lu J C, et al. SeaFormer: Squeeze-Enhanced Axial Transformer for Mobile Semantic Segmentation[J]. arXiv:2301.13156, 2023.
[31] Qi W W, Wei M F, Yang W T, et al. Automatic Mapping of Landslides by the ResU-Net[J]. Remote Sensing, 2020, 12(15): 2487.
[32] Yi Y N, Zhang W C. A New Deep-Learning-Based Approach for Earthquake-Triggered Landslide Detection from Single-Temporal RapidEye Satellite Imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 6166-6176.
-
期刊类型引用(6)
1. 柯文清 ,陈业滨 ,赵志刚 ,韩德志 ,郭仁忠 . 基于文献计量的新世纪地图可视化研究演变和热点分析. 地理与地理信息科学. 2025(01): 15-23 . 百度学术
2. 于峰一泽,汤国安,陆鼎阳,林晓芬,胡光辉,沈婕,吴明光. 语言学视角下的地图演化. 地理学报. 2024(01): 171-186 . 百度学术
3. 韩德志,郭仁忠,陈业滨,赵志刚,柯文清. 基于可视化维度理论的泛地图知识推荐方法. 地球信息科学学报. 2024(01): 110-120 . 百度学术
4. 刘强,刘金花,王磊斌,陈鑫,赵志斌,赵晓艳,李英奎. 使用虚拟现实技术提高冰川地貌表达维度的研究. 冰川冻土. 2024(03): 1087-1098 . 百度学术
5. 邓志钢,郭仁忠,陈业滨,马丁,赵志刚,朱维. 面向轨迹可视化的泛地图表达维度关联方法及应用. 测绘通报. 2024(11): 56-60+96 . 百度学术
6. 柯婷,杨品福,任福,李连营,杨晨. 内河航行参考图地图符号形式化表达. 地理空间信息. 2024(12): 102-105 . 百度学术
其他类型引用(4)