基于改进残差结构的空-谱融合轻量网络用于大范围农作物分类

李熙瑶, 李家艺, 丁建勋, 敦力民, 于笑雨, 彭敏, 黄昕

李熙瑶, 李家艺, 丁建勋, 敦力民, 于笑雨, 彭敏, 黄昕. 基于改进残差结构的空-谱融合轻量网络用于大范围农作物分类[J]. 武汉大学学报 ( 信息科学版). DOI: 10.13203/j.whugis20230008
引用本文: 李熙瑶, 李家艺, 丁建勋, 敦力民, 于笑雨, 彭敏, 黄昕. 基于改进残差结构的空-谱融合轻量网络用于大范围农作物分类[J]. 武汉大学学报 ( 信息科学版). DOI: 10.13203/j.whugis20230008
LI Xiyao, LI Jiayi, DING Jianxun, DUN Limin, YU Xiaoyu, PENG Min, HUANG Xin. Spatial-spectral Fusion Lightweight Network Based on Improved Residual Structure for Large Scale Crop Classification[J]. Geomatics and Information Science of Wuhan University. DOI: 10.13203/j.whugis20230008
Citation: LI Xiyao, LI Jiayi, DING Jianxun, DUN Limin, YU Xiaoyu, PENG Min, HUANG Xin. Spatial-spectral Fusion Lightweight Network Based on Improved Residual Structure for Large Scale Crop Classification[J]. Geomatics and Information Science of Wuhan University. DOI: 10.13203/j.whugis20230008

基于改进残差结构的空-谱融合轻量网络用于大范围农作物分类

基金项目: 

国家重点研发计划(2022YFB3903701);国家自然科学基金(42271328,42071311)。

详细信息
    作者简介:

    李熙瑶,硕士,主要研究方向为基于深度学习的遥感信息提取。Lixiyao99@whu.edu.cn

    通讯作者:

    李家艺,副教授。zjjerica@whu.edu.cn

Spatial-spectral Fusion Lightweight Network Based on Improved Residual Structure for Large Scale Crop Classification

  • 摘要: 现有高光谱图像分类网络在小范围、高空间分辨率的基准数据集测试时常采用大量的网络参数拟合数据特征,使其在分类方面展示出良好性能。然而实际生产任务中使用的卫星高光谱数据通常分辨率较低、覆盖范围广大,过多的网络参数容易导致过拟合问题。针对上述问题,本文提出一种新的轻量化卷积网络,并使用具有32波段、10米分辨率的珠海一号高光谱影像对沈阳市进行主要农作物(玉米、水稻)的提取。该网络分别针对影像的空间特性和光谱特性设计网络组件,再设计自适应融合的模块组件来综合空间特征与光谱特征,实现高光谱影像分类。其中,空间特征学习模块设计改进多尺度残差映射块,可以在尺度各异的多分支卷积核中自适应地检测空间特征,再进行基于注意力机制的空间特征优化。光谱特征学习模块则考虑图像中丰富的光谱信息,引入时序卷积网络的思想,通过在光谱维度的连续卷积块学习图像的精细光谱特征。这种端到端的分类网络通过卷积同时提取空间信息与光谱信息,从而实现精确推理。该方法在测试集上的总体精度OA和MIoU分别为92.3%和77.9%,玉米、水稻和其它类的单类F1-score分别达到85.1%、81.95%和94.9%,优于所有对比网络。通过本文数据集上的实验证明,本文方法比其他现有网络取得了更好的分类结果。这种端到端的轻量级分类网络通过不同的卷积块同时提取空间和频谱信息,有效地利用了图像的空间上下文信息和光谱通道之间的相关性。
    Abstract: Objectives: Deep learning methods with massive parameters have shown good performance in classifying hyperspectral image with small size and high resolution. Meanwhile, there are at risk of overfitting and difficulty in training, due to the low resolution and large size (i.e., diversity) of satellite hyperspectral data in practical applications. Thus, we proposes a new lightweight convolutional network to extract the main crops (corn, rice) in Shenyang City, by use of Orbita Hyperspectral Satellite (OHS) images with 32 spectral bands ranging from 0.4~1.0μm and 10-meters spatial resolution. Methods: First, improved multi-scale residual mapping blocks and a spatial feature optimization block based on attention mechanism are designed to formulate the spatial feature learning module. Then, spectral feature learning module with three successive 1D convolution blocks is conducted to mine the rich spectra information of HSIs. Finally, a fusion classification module is built to classify pixels by integrating weighted spatial features and spectral features. Results: Four recent networks including PSPNet, UNet, MAPNet and FreeNet are considered for comparison. From the perspective of model size, the proposed network is much lighter than PSPNet, UNet, MAPNet and equal to FreeNet, which is benefited from the use of 1D convolution and 2D convolution in two learning modules that avoid excessive parameters caused by 3D convolution. From the perspective of accuracy, considering the overall assessment metrics and the F1-score of each category, the proposed method achieves the best performance over the recent four networks. The OA and MIoU of our method on the test set are 92.3% and 77.9% respectively which is superior to other networks. Our method also has a better classification result in single category. The F1-score of corn, rice and other each reach 85.1%, 81.95% and 94.9%. Expecially for rice, the F1-score of our method is 11.5%, 4.2%, 13.6% and 12.0% higher than PSPNet, UNet, MAPNet and FreeNet respectively. Conclusions: Experiments on the data set show that our method achieves better classification results than other existing networks. This end-to-end lightweight classification network extracts spatial and spectral information simultaneously by different convolutional blocks. The idea of combining spatial and spectral features can effectively utilize the spatial context information of images and the correlation among spectral channels to improve classification accuracy.
  • 期刊类型引用(103)

    1. 王培晓,张恒才,张岩,程诗奋,张彤,陆锋. 地理空间智能预测研究进展与发展趋势. 地球信息科学学报. 2025(01): 60-82 . 百度学术
    2. 张勤,朱登轩. “数据的流动”:数字技术驱动城市韧性治理的理路探析. 湖湘论坛. 2024(02): 46-56 . 百度学术
    3. 李艳莉,孙珍珠. 我国开放大学的分布特征、影响因素与优化路径. 中国成人教育. 2024(03): 3-13 . 百度学术
    4. 郑宇,易修文,齐德康,潘哲逸. 基于城市知识体系的公共数据要素构建方法. 大数据. 2024(04): 130-148 . 百度学术
    5. 胡秋实,李锐,吴华意,刘朝辉,蔡晶. 顾及城市场景变化的人口分析单元表达. 武汉大学学报(信息科学版). 2024(10): 1788-1799 . 百度学术
    6. 郑宇. 城市感知体系. 武汉大学学报(信息科学版). 2024(10): 1770-1787 . 百度学术
    7. 张艳丰,黄亚婷,赵资澧. 数字空间视角下区域智慧城市群发展水平测度实证研究. 情报探索. 2024(11): 82-89 . 百度学术
    8. 董一民,硕天鸾. 数据要素推动智慧城市发展:战略、挑战与对策. 中国新通信. 2024(23): 62-64 . 百度学术
    9. 陈欣,郭文月,孙群,李少梅,温伯威. 一种街景影像的多模态地理场所情感度量方法. 测绘科学技术学报. 2024(06): 666-673+680 . 百度学术
    10. 郑宇. 城市知识体系. 武汉大学学报(信息科学版). 2023(01): 1-16 . 百度学术
    11. 李振,孙建星,王少阳,马基栋. 时空轨迹应用分类及其智能处理方法分析. 通信技术. 2023(01): 28-32 . 百度学术
    12. ZHANG Yingna,王悦,胡昊宇,袁春来. 基于手机信令大数据的京津冀城市群人口时空分布与流动特征分析. 地域研究与开发. 2023(03): 161-167+180 . 百度学术
    13. 刘敬一,彭举,唐建波,胡致远,郭琦,姚晨,陈金勇. 融合多特征的轨迹数据自适应聚类方法. 地球信息科学学报. 2023(07): 1363-1377 . 百度学术
    14. 邓敏,刘启亮. “大知识”时代地理信息科学专业本科人才培养探索与实践. 测绘通报. 2023(08): 178-181 . 百度学术
    15. 郑宇. 城市治理一网统管. 武汉大学学报(信息科学版). 2022(01): 19-25 . 百度学术
    16. 宋轩,高云君,李勇,关庆锋,孟小峰. 空间数据智能:概念、技术与挑战. 计算机研究与发展. 2022(02): 255-263 . 百度学术
    17. 陈李越,柴迪,王乐业. UCTB:时空人群流动预测工具箱. 计算机科学与探索. 2022(04): 835-843 . 百度学术
    18. 刘耀林,刘启亮,邓敏,石岩. 地理大数据挖掘研究进展与挑战. 测绘学报. 2022(07): 1544-1560 . 百度学术
    19. 吴华意,胡秋实,李锐,刘朝辉. 城市人口时空分布估计研究进展. 测绘学报. 2022(09): 1827-1847 . 百度学术
    20. 焦利民,刘耀林. 可持续城市化与国土空间优化. 武汉大学学报(信息科学版). 2021(01): 1-11 . 百度学术
    21. 张志沛. 基于POI数据的城市功能区识别研究——以呼和浩特市中心城区为例. 科学技术创新. 2021(03): 98-100 . 百度学术
    22. 陈彦如,张涂静娃,杜千,冉茂亮,王红军. 基于深度森林的高铁站室内热舒适度等级预测. 计算机应用. 2021(01): 258-264 . 百度学术
    23. 叶光辉,毕崇武. 基于标签语义挖掘的城市画像研究评述. 现代情报. 2021(02): 162-167 . 百度学术
    24. 崔巍. 大数据时代新型智慧城市建设路径研究. 社会科学战线. 2021(02): 251-255 . 百度学术
    25. 罗桑扎西,甄峰,张姗琪. 复杂网络视角下的城市人流空间概念模型与研究框架. 地理研究. 2021(04): 1195-1208 . 百度学术
    26. 肖凡智,张雨竹,尹耀宽,许建潮,刘钢. 城市计算中的显露模式分析方法研究. 计算机与数字工程. 2021(04): 766-770+775 . 百度学术
    27. 盛宇裕,毕硕本,范京津,NKUNZIMANA Athanase,许志慧. 运用交通运行状况指标分析交通热点时空模式. 武汉大学学报(信息科学版). 2021(05): 746-754 . 百度学术
    28. 胡添,刘涛,杜萍,余贝贝,张萌生. 空间同位模式支持下城市服务业关联发现及特征分析. 地球信息科学学报. 2021(06): 969-978 . 百度学术
    29. 雷永琪,李娜,陈智军,何渡,张雨昂. 基于作息时空特征优化神经网络的出租车乘客候车时长预测. 软件导刊. 2021(08): 29-37 . 百度学术
    30. 刘臣,陈静娴,郝宇辰,李秋,甄俊涛. 基于时空网络的地铁进出站客流量预测. 计算机工程与应用. 2021(18): 248-254 . 百度学术
    31. 王誓伟,徐晓斌,梁中军. 基于城市计算的分布式异常数据分级过滤算法. 计算机集成制造系统. 2021(09): 2525-2531 . 百度学术
    32. 刘浩,薛梅. 虚拟地理环境下的地理空间认知初步探索. 遥感学报. 2021(10): 2027-2039 . 百度学术
    33. 张伟杰,於志勇,黄昉菀,朱伟平. 面向积水推测的机会式感知轨迹选择. 郑州大学学报(理学版). 2021(04): 102-108 . 百度学术
    34. 纪圣塨,郑宇,王诏远,李天瑞. 基于前向搜索和投票的移动群智感知动态用户招募方法. 计算机学报. 2021(10): 1998-2015 . 百度学术
    35. 倪哲,刘轶伦. 基于出租车轨迹数据的动态可达性分析. 城市建筑. 2021(29): 19-21 . 百度学术
    36. 马强,王亮绪,吴昊圆,龚鑫,李卓勋. 基于POI权重与频率密度的上海城市功能区变化分析. 地理信息世界. 2021(04): 16-22 . 百度学术
    37. 张隅希,段宗涛,朱依水,王路阳,周祎,郭宇. 机动车油耗模型研究综述. 计算机工程与应用. 2021(24): 14-26 . 百度学术
    38. 马潇雅,刘远刚,赵翔. 城市公共服务设施优化配置模型研究的近期进展与展望. 测绘通报. 2020(02): 9-16 . 百度学术
    39. 贾冲,冯慧芳,杨振娟. 基于出租车GPS轨迹和POI数据的商业选址推荐. 计算机与现代化. 2020(02): 21-25+30 . 百度学术
    40. 刘岩,刘铭. 基于CNKI的国内大数据研究热点及趋势分析. 北京警察学院学报. 2020(01): 63-71 . 百度学术
    41. 张杨燚,谢辉,毛进,李纲. 面向城市数据画像构建的多源数据需求与融合方法研究. 情报理论与实践. 2020(06): 88-96 . 百度学术
    42. 郑晓琳,刘启亮,刘文凯,吴智慧. 智能卡和出租车轨迹数据中蕴含城市人群活动模式的差异性分析. 地球信息科学学报. 2020(06): 1268-1281 . 百度学术
    43. 郑小红,龙军,蔡志平. 关于网约车订单分配策略的综述. 计算机工程与科学. 2020(07): 1267-1275 . 百度学术
    44. 丁彦文,许捍卫,汪成昊. 融合OSM路网与POI数据的城市功能区识别研究. 地理与地理信息科学. 2020(04): 57-63 . 百度学术
    45. 吴俊杰,刘冠男,王静远,左源,部慧,林浩. 数据智能:趋势与挑战. 系统工程理论与实践. 2020(08): 2116-2149 . 百度学术
    46. 乐阳,李清泉,郭仁忠. 融合式研究趋势下的地理信息教学体系探索. 地理学报. 2020(08): 1790-1796 . 百度学术
    47. 吴俊杰,郑凌方,杜文宇,王静远. 从风险预测到风险溯源:大数据赋能城市安全管理的行动设计研究. 管理世界. 2020(08): 189-202 . 百度学术
    48. 陈思. 基于人口生命周期的空间比对分析模型研究. 地理空间信息. 2020(12): 24-26+30+6 . 百度学术
    49. 张艳丰,邹凯,彭丽徽,曹丹. 数字空间视角下智慧城市全景数据画像实证研究. 情报学报. 2020(12): 1330-1339 . 百度学术
    50. 张奇,成毅,徐立,葛文. 顾及运动特征的滑动窗口轨迹数据压缩改进算法. 测绘科学技术学报. 2020(06): 622-627 . 百度学术
    51. 王楠,杜云艳,易嘉伟,刘张,王会蒙. 基于手机信令数据的北京市空间品质时空动态分析. 地球信息科学学报. 2019(01): 86-96 . 百度学术
    52. 金和平,郭创新,许奕斌,廖伟涵. 能源大数据的系统构想及应用研究. 水电与抽水蓄能. 2019(01): 1-13 . 百度学术
    53. 康军,郭佳豪,段宗涛,唐蕾,张凡. 大规模轨迹数据并行化地图匹配算法. 测控技术. 2019(02): 98-102 . 百度学术
    54. 刘艳芳,方飞国,刘耀林,罗名海. 时空大数据在空间优化中的应用. 测绘地理信息. 2019(03): 7-20 . 百度学术
    55. 刘君. 基于微博签到数据城市热点探测. 合作经济与科技. 2019(17): 12-16 . 百度学术
    56. 熊文,周钱梅,杨昆,代浩,孙黎. 基于时空相似性的大规模轨迹数据融合技术. 集成技术. 2019(05): 26-33 . 百度学术
    57. 方华强,颜寒祺,陈波,程承旗. 基于自编码网络的移动轨迹异常检测. 地理信息世界. 2019(05): 41-44+52 . 百度学术
    58. 马捷,葛岩,蒲泓宇,张云开. 基于多源数据的智慧城市数据融合框架. 图书情报工作. 2019(15): 6-12 . 百度学术
    59. 张贝娜,冯震华,张丰,杜震洪,刘仁义,周芹. 基于时空多视图BP神经网络的城市空气质量数据补全方法研究. 浙江大学学报(理学版). 2019(06): 737-744 . 百度学术
    60. 孙勇,王会蒙,靳奉祥,杜云艳,季民,易嘉伟. 一种基于空间-拓扑结构相似性的复杂轨迹聚类算法. 地球信息科学学报. 2019(11): 1669-1678 . 百度学术
    61. 牟乃夏,徐玉静,张恒才,陈洁,张灵先,刘希亮. 移动轨迹聚类方法研究综述. 测绘通报. 2018(01): 1-7 . 百度学术
    62. 杨喜平,方志祥. 移动定位大数据视角下的人群移动模式及城市空间结构研究进展. 地理科学进展. 2018(07): 880-889 . 百度学术
    63. 林楠,尹凌,赵志远. 基于滑动窗口的手机定位数据个体停留区域识别算法. 地球信息科学学报. 2018(06): 762-771 . 百度学术
    64. 申兴发,王兰迪. 公共自行车系统的租赁点聚类与功能识别. 计算机工程. 2018(01): 44-50 . 百度学术
    65. 尹馨予,许一男. 基于手机信令数据的城市人口动态分布感知模型研究. 内蒙古科技与经济. 2018(06): 73-74 . 百度学术
    66. 姚迪,张超,黄建辉,陈越新,毕经平. 时空数据语义理解:技术与应用. 软件学报. 2018(07): 2018-2045 . 百度学术
    67. 彭雨滕,马林兵,周博,何桂林. 自发地理信息研究热点分析. 世界地理研究. 2018(01): 129-140 . 百度学术
    68. 高磊,黄家宽,姜晓许,刘兴权. 基于个体移动数据的城市活力实证研究. 科技创新与生产力. 2018(05): 64-67+72 . 百度学术
    69. 陈天宇. 城市计算在智慧城市建设中的应用分析. 通讯世界. 2018(08): 64-65 . 百度学术
    70. 谷岩岩,焦利民,董婷,王艳东,许刚. 基于多源数据的城市功能区识别及相互作用分析. 武汉大学学报(信息科学版). 2018(07): 1113-1121 . 百度学术
    71. 赵志远,尹凌,方志祥,萧世伦,杨喜平. 轨迹数据的时间采样间隔对停留识别和出行网络构建的影响. 武汉大学学报(信息科学版). 2018(08): 1152-1158 . 百度学术
    72. 徐小辉. 智慧城市环境下传感器数据融合研究. 信息与电脑(理论版). 2018(13): 164-165+170 . 百度学术
    73. 冯慧芳,柏凤山,徐有基. 基于轨迹大数据的城市交通感知和路网关键节点识别. 交通运输系统工程与信息. 2018(03): 42-47+54 . 百度学术
    74. 胡清华,陆晨,胡倩,魏淑珍,蒋东升,黄艳艳. 以福州为示范的城市空气质量实时精细化模拟与预报. 中国环境管理. 2018(03): 99-104 . 百度学术
    75. 潘志宏,万智萍,谢海明. 跨平台框架下基于移动感知的智慧公交应用研究. 计算机工程与应用. 2018(19): 243-247+260 . 百度学术
    76. 杜龙飞,田兆君,鲁义,银亚飞. 大数据时代下智慧城市公共安全应急管理现状分析及对策. 安全. 2018(11): 50-52 . 百度学术
    77. 邬群勇,邹智杰,邱端昇,苏克云. 结合出租车轨迹数据的城市道路拥堵时空分析. 福州大学学报(自然科学版). 2018(05): 724-731 . 百度学术
    78. 张振宇,陈安. 技术革命与应急管理变革:路径、实践与未来. 天津商业大学学报. 2018(05): 16-21+28 . 百度学术
    79. 姜鹏,曹琳,倪砼. 新一代人工智能推动城市规划变革的趋势展望. 规划师. 2018(11): 5-12 . 百度学术
    80. 廖伟华,聂鑫. 城市计算视角下的空间粗糙关联规则方法研究. 热带地理. 2018(06): 751-758 . 百度学术
    81. 崔羽,顾琼,张霄兵,李鹏飞,唐明. 转型下城乡规划编制的信息化顶层设计. 规划师. 2018(12): 79-83 . 百度学术
    82. 怀松垚,陈筝,刘颂. 基于新数据、新技术的城市公共空间品质研究. 城市建筑. 2018(06): 12-20 . 百度学术
    83. 雷程程,张岸,齐清文,苏惠敏. 格网化的位置微博数据抓取与人群信息提取. 测绘科学. 2017(02): 125-129 . 百度学术
    84. 白晓辉,陈思,谭鲁渊,王红. 规划实施动态评估技术支撑体系研究. 测绘通报. 2017(02): 112-115 . 百度学术
    85. 孔令礼. 面向智慧城市的大数据中心建设方案设计. 测绘通报. 2017(10): 143-147 . 百度学术
    86. 张炫铤,李爽. 基于LBS的移动餐饮信息系统设计与研究. 城市地理. 2017(02): 175 . 百度学术
    87. 王宇. 以数据为中心的城市交通研究进展. 城市地理. 2017(24): 16-17 . 百度学术
    88. 杜圣东,杨燕,滕飞. 交通大数据:一种基于微服务的敏捷处理架构设计. 大数据. 2017(03): 53-67 . 百度学术
    89. 朱燕,李宏伟,樊超,许栋浩,施方林. 基于聚类的出租车异常轨迹检测. 计算机工程. 2017(02): 16-20 . 百度学术
    90. 王桐,王鹏,柳冰忆. 城市环境下跨层VANET路由协议研究. 计算机工程. 2017(11): 55-65 . 百度学术
    91. 马新强,刘勇,范婧,黄羿,吴茂念,张明义. 大数据驱动下智慧城市建设的若干思考. 科技导报. 2017(21): 131-137 . 百度学术
    92. 曾子明,杨倩雯. 城市突发事件智慧管控情报体系构建研究. 情报理论与实践. 2017(10): 51-55+79 . 百度学术
    93. 唐炉亮,杨雪,靳晨,刘章,李清泉. 基于约束高斯混合模型的车道信息获取. 武汉大学学报(信息科学版). 2017(03): 341-347 . 百度学术
    94. 王亚飞,杨卫东,徐振强. 基于出租车轨迹的载客热点挖掘. 信息与电脑(理论版). 2017(16): 141-143 . 百度学术
    95. 蒋云良,董墨萱,范婧,高少文,刘勇,马新强. 基于POI数据的城市功能区识别方法研究. 浙江师范大学学报(自然科学版). 2017(04): 398-405 . 百度学术
    96. 王淑芳. 基于卫星定位系统的营运车辆时空特征研究综述. 交通信息与安全. 2017(01): 19-25 . 百度学术
    97. 汪飞,张繁,吴斐然,顾天瑜,高思远,赵烨,鲍虎军. 面向多源城市出行数据的可视化查询模型. 计算机辅助设计与图形学学报. 2016(01): 25-31 . 百度学术
    98. 黄文彬,吴家辉,徐山川,王军. 数据驱动的移动用户行为研究框架与方法分析. 情报科学. 2016(07): 14-20+40 . 百度学术
    99. 褚冬竹,马可,魏书祥. “行为—空间/时间”研究动态探略——兼议城市设计精细化趋向. 新建筑. 2016(03): 92-98 . 百度学术
    100. 牟乃夏,张恒才,陈洁,张灵先,戴洪磊. 轨迹数据挖掘城市应用研究综述. 地球信息科学学报. 2015(10): 1136-1142 . 百度学术
    101. 吴运超,黄晓春,王浩然,崔浩,鲁旭. 面向智慧城市的数字规划发展思考与实践. 《规划师》论丛. 2015(00): 101-107 . 百度学术
    102. 刘俊岭,王薇,于戈,孙焕良,许鸿斐. 空间区域中对象流动模式构建方法研究. 计算机工程与科学. 2015(10): 1899-1908 . 百度学术
    103. 张立嘉. 城市计算研究. 山西科技. 2015(04): 127-129 . 百度学术

    其他类型引用(209)

计量
  • 文章访问数:  99
  • HTML全文浏览量:  2
  • PDF下载量:  15
  • 被引次数: 312
出版历程
  • 收稿日期:  2024-06-21
  • 网络出版日期:  2024-07-18

目录

    /

    返回文章
    返回