-
摘要: 设计并开展了基于虚拟亲历行为的空间场所认知对比实验,探索基于头盔式虚拟现实地理信息系统(virtual reality geographic information system,VRGIS)与基于屏幕空间的地学虚拟环境中虚拟亲历行为的空间场所认知差异特征。实验收集到虚拟现实(virtual reality,VR)组与屏幕组两组参与者的数据,包括参与者手绘认知草图、虚拟场景中活动轨迹与视线轨迹数据,并从空间场所认知效果、遗忘分数、视线轨迹等3个方面进行了对比分析。结果表明,VR组的潜在优势体现在:①空间认知3个层次(空间特征感知、空间对象认知、空间格局认知)的认知效果比屏幕组均有了显著的提升;②在遗忘分数方面,与屏幕组并没有显著差别;③观察方向的水平变化量显著大于屏幕组。此外,实验还讨论了头盔式VRGIS影响空间场所认知效果的可能内在机制以及支撑虚拟地理实验平台的可能性。Abstract: In this paper we present the design and implementation of a comparative experiment to study the differences in spatial cognition between head-mounted virtual reality geographic information systems (VRGIS) and desktop monitor-based virtual geographic environments, collect virtual travel behavior data from two groups of participants and explore the differences in spatial cognition. The collected virtual travel behavioral data include subjects' self-drawn cognitive maps, movement trajectories and viewing trajectories. Then the differences in spatial cognitive performance, forgetting scores and viewing trajectories are analyzed. The following conclusions are drawn:①The head-mounted VRGIS group scores significantly higher than desktop monitor-based group in three levels of spatial cognition including spatial feature perception, spatial object cognition and spatial pattern cognition. ②The two groups do not show a significant difference in forgetting scores. ③The average rate of change in horizontal viewing direction is significantly greater in the head-mounted VRGIS group than in desktop monitor-based group. Furthermore, we discuss the internal limiting factors of spatial cognition associated with head-mounted VRGIS and its potentials for supporting virtual geographic experiment development.
-
2016年,国务院印发“十三五”国家科技创新规划,明确指出将空间科学卫星系列作为中国科技创新规划的基础科学前沿研究。同年,文献[1]提出对地观测脑的概念,并指出影像数据在轨智能压缩是星上数据实时处理与信息快速生成技术的重要研究难题。当前,中国高分辨率卫星同时在轨工作的数量达到数十颗以上,每天至少产生数百TB级的高分辨率遥感影像数据[1],这对卫星数据的存储和传输都提出了新的要求。
由轻小型卫星组建的星座,可以实现全天时、全方位、全天候的对地观测任务。2015年,SpaceX提出构建Starlink星座计划,旨在构建大规模低轨卫星群,提供覆盖全球的高速互联网接入服务。2016年,中国航天科技集团公司提出构建海、陆、空、天一体化的卫星移动通信与空间互联网接入系统,称为鸿雁星座,该系统可实现全球范围内宽带互联网接入、智能移动终端通信、遥感实时信息推送等功能。2022年,银河航天首次实现中国低轨宽带通信卫星的批量生产,标志着中国开始迈向商业遥感时代。随着高分辨率卫星的发展,海量遥感影像数据的增加,导致有限带宽下影像数据无法及时下传,实现星上实时数据压缩与分发任务是在轨高效数据压缩技术面临的新挑战。
针对在轨高效数据压缩技术存在的问题,基于珞珈三号01星智能遥感卫星平台,本文提出了一种面向任务的高分辨率光学卫星遥感影像智能压缩方法,利用信息提取网络获取感兴趣目标区域,通过自适应码率分配来减少背景区域码率,降低数据传输量,从而提高遥感信息服务能力。
1 海量遥感数据与星地数传
随着国防建设与民生需求的发展,高分辨率遥感影像得到了广泛的应用,同时也对高分辨率遥感影像的质量和数量都提出了新的要求[2]。近年来,中国已经发射了高分、资源、海洋、环境等多个不同系列卫星,构建了高时间分辨率、高空间分辨率、高光谱分辨率的对地观测系统。根据中国资源卫星应用中心提供的数据,2007—2019年中国卫星遥感影像数据从原来的0.18 PB增加到49 PB,在轨正常运行的高分辨率遥感卫星每天产生的数据达到TB级别,数据输出率高于10 Gb/s。随着中国卫星技术快速的发展,高分系列卫星包含了全色、多光谱、高光谱、雷达以及红外等多种类型卫星。当前,中国的高分辨率光学卫星影像可以达到0.1~0.5 m的空间分辨率。遥感影像数据呈现出数据海量、高分辨率、多模式的特点,对星上存储、带宽容量以及硬件计算能力都提出了更高的要求。
图 1展示了有限带宽下海量遥感影像数据传输示意图。当前大部分智能遥感卫星带宽容量较小,以武汉大学和东方红卫星有限公司等单位联合研制的珞珈三号01星智能遥感卫星为例,卫星到地面固定接收站下行带宽为150~300 Mbps,通过中继卫星传输的速率为5~8 Mbps。因此,海量的遥感数据和有限的带宽下行速率已经很难满足数据的实时下传需求。
高分二号卫星是首颗中国自主研制的空间分辨率优于1 m的民用高分辨率光学卫星,可以实现2×450 Mb/s数据传输数据率[3]。然而,原始影像数据往往是几个甚至十几个GB,为了保证影像的质量,当前在轨的图像压缩比一般选择4~8倍,而低压缩比很难保证数据的实时传输任务。随着通信技术的发展,星地传输的带宽容量也在不断提升,如高分七号遥感卫星首次采用可变编码调制技术(variable coding modulation,VCM),利用双通道实现最高码速率2×1.2 Gb/s的传输[4]。但是现在大部分遥感卫星的数据输出率已经超过10 Gb/s,即使是大容量的带宽也无法满足高数据输出率实时传输的要求。而一些轻小型智能遥感卫星下行速率一般在300 Mb/s左右(以珞珈三号01星为例),很难满足在轨环境下高分辨遥感影像数据快速传输的需求。未来智能遥感卫星的实时服务对视频数据的传输提出了高保真和低延迟的传输要求,以满足用户对遥感视频数据中运动目标直观的观测需求[5]。然而,现有的星地数传速率难以满足未来智能遥感卫星实时数据分发的需求。因此,星地数传速率低与用户实时需求之间的矛盾,严重制约了遥感影像实时服务的发展与应用。
2 遥感影像在轨高效智能压缩方法
由国家自然科学基金委员会信息科学部、地球科学部和数理科学部联合组织的空间信息网络基础理论与关键技术重大研究计划,旨在建设天地一体化的空间信息网络[6],支持海量数据的实时采集、传输、处理和分发。然而该空间信息网络也对星上存储、网络传输带宽以及传输速度提出了更高的要求[7]。更高的空间分辨率导致遥感影像数据量的容量变得更大。星上有限存储空间和通信带宽使得大规模遥感数据无法及时回传到地面,用户无法及时收取信息,对军事侦察、灾害监测、海洋远航等时敏性要求较高的任务都会产生严重影响。
发展遥感影像高倍率压缩技术是解决空间信息网络信息传输的一个重要途径。高倍率遥感影像压缩有利于缓解带宽受限问题,降低数据延迟,节省带宽容量,提高遥感信息服务能力。因此,实现在轨高倍率智能压缩对空间信息网络、遥感信息实时智能服务具有重要的意义。
2.1 传统遥感影像在轨压缩技术的局限性
目前,很多国家都将在轨遥感影像压缩技术应用于星上图像压缩[8]。随着高分辨率卫星影像的发展,低码率、高保真的图像质量使得基于自适应差分脉冲调制编码(adaptive differential pulse code modulation,ADPCM)和离散余弦变换(discrete cosine transform,DCT)技术的图像压缩算法不再适应于星上储存和星地传输。当前应用较为广泛的是基于离散小波变化(discrete wavelet transform,DWT)的JPEG2000图像压缩方法[9],如表 1所示。
表 1 典型星载图像压缩算法Table 1. Typical On-board Image Compression Algorithms卫星 国家 时间 压缩算法 IKONOS-2 美国 1999年 ADPCM QuickBird-2 美国 2001年 ADPCM 北京一号 中国 2005年 DCT X-SAT 新加坡 2009年 DWT Pleiades-1 法国 2011年 DWT SPOT-7 法国 2014年 DCT 高景一号 中国 2016年 DWT WorldView-4 美国 2016年 ADPCM 林业一号 中国 2017年 DWT ICESat-2 美国 2018年 DWT 泰景三号 中国 2022年 DWT 然而,随着世界各国对太空资源的竞争,以及商业遥感发展的需求,更多的轻小型卫星被不断发射进入太空。多星协同观测[1]、遥感数据大众化移动终端服务[5]是未来智能遥感卫星发展的趋势。然而海量遥感数据处理困难,且遥感影像的高分辨率、大幅宽严重制约了有效的信息实时下传,且弱小目标(如船舶)占比小,背景冗余信息占比大,传统压缩方法对遥感数据信息无差别编码,造成不必要的计算资源占用,数据压缩比低。通常要求压缩后的影像峰值信噪比(peak of signal and noise ratio,PSNR)[10]越高越好,为了保证较好的视觉效果(如PSNR > 36 dB)[11],基于传统的JPEG2000在轨遥感影像压缩算法往往将压缩比控制在10倍以内[12]。较低的压缩比意味着在有限带宽下,很难实现海量遥感数据信息的智能实时服务。
图 2展示了JPEG2000算法在WHU-RSONE目标检测数据集[13]上采用不同压缩比压缩后利用YOLOV5模型进行目标检测的结果,采用平均精准度(mean average precision,mAP)评价目标检测模型的性能。
图 3展示了JPEG2000在高分图像数据集(Gaofen image dataset,GID)语义分割数据集[14]上采用不同压缩比后利用PSPNet(pyramid scene parsing network)模型[15]进行目标检测的结果,采用平均交叉联合度(mean intersection over union,mIoU)作为分割模型的评价标准。
由图 2、图 3可以看出,压缩比在10倍左右,压缩后的数据PSNR受到很大影响。由于WHU-RSONE数据集中存在较多水域背景,因此,在低倍率时依旧保持较高的PSNR。但是,随着压缩比的增加,不同模型的检测精度下降的越来越明显。因此,传统的图像压缩算法已经很难满足空间信息网络的高倍率在轨实时压缩以及低延时数据传输的需求。
2.2 面向任务的高倍率智能压缩
遥感影像具有大幅宽、小目标的特点,通常目标占比远小于背景区域,这些非感兴趣区域往往会增加额外的传输容量,导致星上数据实时传输难度大。为了满足未来在轨环境下遥感影像的高效数据压缩的要求,珞珈三号01星采用了面向任务的在轨智能压缩方法,针对不同任务需求进行自适应码率分配,如目标识别、场景分类以及变化检测任务等,实现高倍率图像压缩。图 4展示了面向任务的智能压缩方法流程图,首先利用信息提取网络(如目标检测网络、语义分割网络、变化检测网络等)提取感兴趣区域(region of interest,ROI),并针对ROI选择压缩模型对码率进行自适应分配,从而实现遥感影像的智能压缩。该方法可以针对不同的任务需求,设置感兴趣区域,并进行码率的自适应分配。在遥感影像场景中,背景区域占比通常比感兴趣区域大,通过分配较少码率给背景区域编码,可以有效提高遥感影像的压缩比倍数。
随着空间信息网络的建成,全球任何地点都将会实现分钟级的重返周期,实现对感兴趣地点的全天候观测,对一些应急响应事件(例如自然灾害、敏感事件等)都具有重要的意义。因此,实现感兴趣区域的智能压缩,不仅可以有效降低星地数传的传输数据量,还可以保证观测区域的高保真需求。
图 5展示了珞珈三号01星平台上部署的面向任务的高分辨率光学卫星遥感影像智能压缩框架,该框架包括星上压缩和地面解码两个部分。对于星上智能压缩部分,首先需要通过指令上注的形式规划观测区域,利用高精度几何定位以及星上遥感影像产品生产获取观测区域的遥感影像;然后利用信息提取网络生成ROI掩膜;最后利用智能压缩模型实现高倍率遥感影像压缩任务,并将二进制码流文件下传到地面。地面部分主要包括对训练数据集的构建、信息提取模型的训练、算法的移植与测试以及码流文件的解码功能。
珞珈三号01星搭载的图像智能处理平台不仅安装有成熟的检测模型,还支持模型上注的形式升级星上应用软件,为后续的研究提供了很好的验证平台。
1)星上智能信息提取模型
提取观测地点的信息时,首先需要星上智能任务规划,依据卫星运行状态自动生成任务指令并自主获取数据[5];然后,利用高精度定轨、定姿和定标数据规定成像范围,获取观测区域的影像数据,并配合几何定位算法来获取固定区域的地理坐标;最后,利用信息提取网络来提取关键区域(目标)。珞珈三号01星智能遥感卫星搭载嵌入式神经网络加速平台NVIDIA TX2,为星上信息提取模型提供计算资源。智能压缩框架利用目标检测[16]、语义分割[17]、变化检测模型[18]实现对特定目标检测跟踪、典型场景分类、变化区域实时监测,并将提取的感兴趣信息作为压缩模型的先验知识,引导压缩框架根据ROI区域分配码率。
2)智能压缩模型
深度学习技术在遥感影像中的应用越来越广泛,文献[19-22]利用深度学习的压缩方法实现了对遥感影像的高倍压缩。基于深度学习的图片压缩框架主要是由编码器、量化、熵编码-解码、解码器等构成,通过计算率失真函数来优化模型。相比于传统的图像压缩算法,基于深度学习的图像压缩算法具有更好的压缩性能。通过信息提取网络获取ROI区域,利用基于卷积神经网络的压缩模型来学习码率的自动分配,从而实现高倍率的智能压缩任务。但是,当前基于深度学习的方法存在计算复杂度大、移植难等问题,因此如何实现轻量化、跨平台的深度学习压缩模型是未来研究的重点。“珞珈三号01星”智能处理模块部署了多个应用软件,提供了一个可扩展的在轨验证通用接口。其中面向任务的智能压缩应用软件为后续轻量化的信息提取模型设计以及压缩模型研究提供了算法验证基础。
3 结语
光学卫星遥感影像空间分辨率高,影像数据容量大,使得星上面临着海量遥感数据难存储以及数据下传不及时等问题。通过构建面向任务的在轨高效智能压缩方法,可以根据不同的观测区域和感兴趣目标,通过自适应码率分配减少背景区域码率,降低数据传输量,减少数据传输延迟,提高遥感信息服务能力。珞珈三号01星智能遥感卫星平台集成了在轨高倍率遥感影像压缩框架,并且设计了可扩展的应用软件模块,提供了通用数据接口,为后期星上高倍智能压缩的科学研究提供了集成演示验证平台。通过该平台可以实现在轨高倍率压缩算法的实际场景验证,为未来智能遥感卫星的实时服务技术走向产业化、商业化的发展道路提供了重要的参考依据,对国防建设、民生服务等都具有重要意义。
-
表 1 认知草图评分标准
Table 1 Cognitive Map Grading Standard
评分项 评分标准 建筑得分 道路得分 总分 空间对象 是否存在名称是否正确 8
7(*)3
311
10空间格局 空间对象相对位置是否正确 8 3 11 空间形状 空间对象形状是否正确 8 0(*) 8 注:*表示石桌凳不要求写出名称, 道路不要求形状 表 2 空间场所认知效果检验统计量表
Table 2 Statistical Test Scale of Spatial Cognitive Performance
类别 项目 均值 方差 f t值 p值 t0.05值 VR组 屏幕组 VR组 屏幕组 短时记忆 总得分 26.78 19.59 44.27 31.61 43 4.14 7.8×10-5 1.68 空间对象 14.39 10.38 14.89 11.96 45 3.90 1.6×10-4 1.68 空间格局 7.91 6.07 4.63 3.28 43 3.29 1.0×10-3 1.68 空间形状 4.48 3.14 2.54 2.34 46 3.07 1.8×10-3 1.68 长时记忆 总得分 24.56 18.24 41.81 29.48 43 3.76 2.6×10-4 1.68 空间对象 13.04 9.41 15.23 9.90 42 3.62 3.9×10-4 1.68 空间格局 7.30 5.83 4.77 2.86 41 2.67 5.4×10-3 1.68 空间形状 4.22 3.00 2.81 2.21 44 2.73 4.5×10-3 1.68 表 3 遗忘分数检验统计量
Table 3 Statistical Test Scale of Forgetting Scores
项目 均值 方差 f t值 p值 t0.05值 VR组 屏幕组 VR组 屏幕组 空间对象 1.43 1.07 3.98 1.85 37 0.75 0.23 1.69 空间格局 2.35 1.55 7.15 2.90 36 1.24 0.11 1.69 空间形状 0.30 0.28 0.31 0.28 46 0.19 0.43 1.68 表 4 视线轨迹指标检验统计量
Table 4 Statistical Test Scale of Sight Trajectory Indexes
项目 均值 方差 f t值 p值 t0.05值 VR组 屏幕组 VR组 屏幕组 指标1的α 27.27 35.33 143.73 344.57 25 -1.59 0.062 1.71 指标1的β 6.30 8.00 7.89 11.14 31 -1.69 0.050 1.70 指标2的α 14.60 8.67 23.49 26.29 33 3.79 0.0003 1.69 指标2的β 5.09 4.09 5.08 2.89 40 1.64 0.054 1.68 -
[1] Bell P A, Greene T C, Fisher J D, et al. Environmental Psychology[M]. 5th ed. East Sussex:Psychology Press, 2009
[2] Sternberg R J, Sternberg K.认知心理学[M]. 6版.邵志芳, 译.北京: 中国轻工业出版社, 2016 Sternberg R J, Sternberg K. Cognitive Psychology[M]. 6th ed. Shao Zhifang, trans. Beijing: China Light Industry Press, 2016
[3] Lynch K.城市意象[M].项秉仁, 译.北京: 中国建筑工业出版社, 1990 Lynch K. The Image of the City[M]. Xiang Bingren, trans. Beijing: China Architecture & Building Press, 1990
[4] 薛露露, 申思, 刘瑜, 等.认知地图两种外部化方法的比较:以北京市为例[J].北京大学学报(自然科学版), 2008, 44(3):413-420 doi: 10.3321/j.issn:0479-8023.2008.03.014 Xue Lulu, Shen Si, Liu Yu, et al. The Comparison Between Two Cognitive Map Externalization Methods:A Case Study of Beijing[J]. Acta Scientiarum Naturalium Universitatis Pekinensis, 2008, 44(3):413-420 doi: 10.3321/j.issn:0479-8023.2008.03.014
[5] 申思, 薛露露, 刘瑜.基于手绘草图的北京居民认知地图变形及因素分析[J].地理学报, 2008, 63(6):625-634 doi: 10.3321/j.issn:0375-5444.2008.06.007 Shen Si, Xue Lulu, Liu Yu. Beijing Residents' Cognitive Map Distortion and Sources Analysis Based on Sketch Mapping Method[J]. Acta Geographica Sinica, 2008, 63(6):625-634 doi: 10.3321/j.issn:0375-5444.2008.06.007
[6] Fisher P, Unwin D. Virtual Reality in Geography[M]. New York:Taylor & Francis, 2002
[7] Huang B, Jiang B, Li H. An Integration of GIS, Virtual Reality and the Internet for Visualization, Analysis and Exploration of Spatial Data[J].International Journal of Geographical Information Science, 2001, 15(5):439-456 doi: 10.1080/13658810110046574
[8] 陈毓芬.电子地图的空间认知研究[J].地理科学进展, 2001, 20(s1):63-68 doi: 10.11820/dlkxjz.2001.s1.007 Chen Yufen. Spatial Cognition Research on Electronic Maps[J]. Progress in Geography, 2001, 20(s1):63-68 doi: 10.11820/dlkxjz.2001.s1.007
[9] 刘芳, 王光霞, 钱海忠, 等.虚拟地理环境对空间认知方式的影响[J].测绘科学, 2009, 34(4):67-69 http://d.old.wanfangdata.com.cn/Periodical/chkx200904022 Liu Fang, Wang Guangxia, Qian Haizhong, et al. The Influences of Virtual Geographic Environment on Styles of Spatial Cognition[J]. Science of Surveying and Mapping, 2009, 34(4):67-69 http://d.old.wanfangdata.com.cn/Periodical/chkx200904022
[10] 万刚, 高俊, 刘颖真.基于阅读实验方法的认知地图形成研究[J].遥感学报, 2008, 12(2):339-346 http://d.old.wanfangdata.com.cn/Periodical/ygxb200802021 Wan Gang, Gao Jun, Liu Yingzhen. Research on Cognitive Map Formation Based on Reading Experiments[J]. Journal of Remote Sensing, 2008, 12(2):339-346 http://d.old.wanfangdata.com.cn/Periodical/ygxb200802021
[11] Freksa C, Habel C, Wender K F. Spatial Cognition an Interdisciplinary Approach to Representing and Processing Spatial Knowledge[M]. Berlin:Sprin-ger, 1998
[12] Bülthoff H H, Campos J L, Meilinger T. Virtual Reality as a Valuable Research Tool for Investigating Different Aspects of Spatial Cognition[C]. International Conference Spatial Cognition 2008, Freiburg, Germany, 2008
[13] 龚建华, 林珲.虚拟地理环境-在线虚拟现实的地理学透视[M].北京:高等教育出版社, 2001 Gong Jianhua, Lin Hui. Virtual Geographic Environments-Geographic Perspective of Online Virtual Reality[M]. Beijing:High Education Press, 2001
[14] 鲁学军.空间认知模式研究[J].地理信息世界, 2004, 2(6):9-13 doi: 10.3969/j.issn.1672-1586.2004.06.005 Lu Xuejun. The Research on Spatial Cognitive Mode[J]. Geomatics World, 2004, 2(6):9-13 doi: 10.3969/j.issn.1672-1586.2004.06.005
[15] 郑束蕾.个性化地图的认知机理研究[D].郑州: 信息工程大学, 2015 Zheng Shulei. Research on Personalized Map Cognition Mechanism[D]. Zhengzhou: Information Engineering University, 2015
-
期刊类型引用(3)
1. 欧阳明达,翟振和,牛向华,管斌,张鹏飞,付永健. 基于神经网络的船测稀疏海域地形反演改进算法. 中国惯性技术学报. 2025(01): 64-69 . 百度学术
2. 公维梁,屠泽杰,孙月文,邢赛,赵福玺,阳凡林. 一种基于重力正演理论的海底地形反演迭代算法. 山东科技大学学报(自然科学版). 2024(03): 64-74 . 百度学术
3. 杜斌,范雕,胡兴猛,谭勖立,万宏发,裴宪勇. 基于重力异常数据构建海陆交界区域海底地形模型. 大地测量与地球动力学. 2024(08): 873-880 . 百度学术
其他类型引用(4)