Task-Oriented Intelligent Compression Method for High Resolution Optical Satellite Remote Sensing Image
-
摘要: 随着对地观测系统以及空间信息网络的快速发展,中国已经建成星地一体化的对地观测系统。高分辨率遥感影像数据从GB级转向TB级,轻小型智能遥感卫星有限的带宽容量和存储空间都严重限制了遥感信息的智能实时服务,由此提出了一种面向任务的智能压缩方法。首先,基于遥感影像的数据特点以及轻小型智能遥感卫星星地数传的瓶颈,分析了传统在轨压缩算法的局限性,论述了面向任务的高分辨率光学卫星遥感影像智能压缩处理的重要性;其次,提出了基于珞珈三号01星平台面向任务的智能压缩方法,通过星上高质量成像和高精度几何定位获取观测区域;然后,根据不同的任务需求,利用信息提取模型获取感兴趣目标/区域;最后,利用压缩模型对该区域进行自适应码率分配来实现高倍率压缩任务,并生成码流文件回传到地面。针对不同的任务需求,合理分配码率,可通过该方法有效实现遥感影像的高倍率智能压缩。Abstract:Objectives With the rapid development of earth observation system and space information network, the integration system of space and earth observation has been built in China. High-resolution remote sensing data have changed from GB-level to TB-level. The limited bandwidth capacity and storage space on the satellite seriously limit the development of the intelligent and real-time service based on remote sensing information.Methods Firstly, we introduce the characteristics of remote sensing data and the bottleneck of satellite-ground data transmission. Secondly, the limitations of traditional on-orbit compression algorithm are presented, we further discuss the importance of using high-ratio intelligent compression processing to realize low latency data transmission. Then, we introduce task-oriented intelligent compression method and procedure on Luojia-3(01) satellite. The compression framework obtains the observation region through high-quality imaging and high-precision geometric positioning, and captures the region of interest (ROI) using information extraction model. Finally, the mask of ROI is used to guide the compression model to achieve adaptive bit-rate allocation, and generate bits-stream file for transmission to the ground.Results According to the requirements of different tasks, using adaptive bits allocation can realize the intelligent compression of remote sensing image with high compression ratio, so as to realize the fast data transmission between satellite and ground.Conclusions Luojia-3(01) satellite has an extensible application software module that provides a common data interface, and provides an on-orbit verification environment for high-ratio compression algorithm, which is of great significance to the industrialization and commercialization of remote sensing technology.
-
2016年,国务院印发“十三五”国家科技创新规划,明确指出将空间科学卫星系列作为中国科技创新规划的基础科学前沿研究。同年,文献[1]提出对地观测脑的概念,并指出影像数据在轨智能压缩是星上数据实时处理与信息快速生成技术的重要研究难题。当前,中国高分辨率卫星同时在轨工作的数量达到数十颗以上,每天至少产生数百TB级的高分辨率遥感影像数据[1],这对卫星数据的存储和传输都提出了新的要求。
由轻小型卫星组建的星座,可以实现全天时、全方位、全天候的对地观测任务。2015年,SpaceX提出构建Starlink星座计划,旨在构建大规模低轨卫星群,提供覆盖全球的高速互联网接入服务。2016年,中国航天科技集团公司提出构建海、陆、空、天一体化的卫星移动通信与空间互联网接入系统,称为鸿雁星座,该系统可实现全球范围内宽带互联网接入、智能移动终端通信、遥感实时信息推送等功能。2022年,银河航天首次实现中国低轨宽带通信卫星的批量生产,标志着中国开始迈向商业遥感时代。随着高分辨率卫星的发展,海量遥感影像数据的增加,导致有限带宽下影像数据无法及时下传,实现星上实时数据压缩与分发任务是在轨高效数据压缩技术面临的新挑战。
针对在轨高效数据压缩技术存在的问题,基于珞珈三号01星智能遥感卫星平台,本文提出了一种面向任务的高分辨率光学卫星遥感影像智能压缩方法,利用信息提取网络获取感兴趣目标区域,通过自适应码率分配来减少背景区域码率,降低数据传输量,从而提高遥感信息服务能力。
1 海量遥感数据与星地数传
随着国防建设与民生需求的发展,高分辨率遥感影像得到了广泛的应用,同时也对高分辨率遥感影像的质量和数量都提出了新的要求[2]。近年来,中国已经发射了高分、资源、海洋、环境等多个不同系列卫星,构建了高时间分辨率、高空间分辨率、高光谱分辨率的对地观测系统。根据中国资源卫星应用中心提供的数据,2007—2019年中国卫星遥感影像数据从原来的0.18 PB增加到49 PB,在轨正常运行的高分辨率遥感卫星每天产生的数据达到TB级别,数据输出率高于10 Gb/s。随着中国卫星技术快速的发展,高分系列卫星包含了全色、多光谱、高光谱、雷达以及红外等多种类型卫星。当前,中国的高分辨率光学卫星影像可以达到0.1~0.5 m的空间分辨率。遥感影像数据呈现出数据海量、高分辨率、多模式的特点,对星上存储、带宽容量以及硬件计算能力都提出了更高的要求。
图 1展示了有限带宽下海量遥感影像数据传输示意图。当前大部分智能遥感卫星带宽容量较小,以武汉大学和东方红卫星有限公司等单位联合研制的珞珈三号01星智能遥感卫星为例,卫星到地面固定接收站下行带宽为150~300 Mbps,通过中继卫星传输的速率为5~8 Mbps。因此,海量的遥感数据和有限的带宽下行速率已经很难满足数据的实时下传需求。
高分二号卫星是首颗中国自主研制的空间分辨率优于1 m的民用高分辨率光学卫星,可以实现2×450 Mb/s数据传输数据率[3]。然而,原始影像数据往往是几个甚至十几个GB,为了保证影像的质量,当前在轨的图像压缩比一般选择4~8倍,而低压缩比很难保证数据的实时传输任务。随着通信技术的发展,星地传输的带宽容量也在不断提升,如高分七号遥感卫星首次采用可变编码调制技术(variable coding modulation,VCM),利用双通道实现最高码速率2×1.2 Gb/s的传输[4]。但是现在大部分遥感卫星的数据输出率已经超过10 Gb/s,即使是大容量的带宽也无法满足高数据输出率实时传输的要求。而一些轻小型智能遥感卫星下行速率一般在300 Mb/s左右(以珞珈三号01星为例),很难满足在轨环境下高分辨遥感影像数据快速传输的需求。未来智能遥感卫星的实时服务对视频数据的传输提出了高保真和低延迟的传输要求,以满足用户对遥感视频数据中运动目标直观的观测需求[5]。然而,现有的星地数传速率难以满足未来智能遥感卫星实时数据分发的需求。因此,星地数传速率低与用户实时需求之间的矛盾,严重制约了遥感影像实时服务的发展与应用。
2 遥感影像在轨高效智能压缩方法
由国家自然科学基金委员会信息科学部、地球科学部和数理科学部联合组织的空间信息网络基础理论与关键技术重大研究计划,旨在建设天地一体化的空间信息网络[6],支持海量数据的实时采集、传输、处理和分发。然而该空间信息网络也对星上存储、网络传输带宽以及传输速度提出了更高的要求[7]。更高的空间分辨率导致遥感影像数据量的容量变得更大。星上有限存储空间和通信带宽使得大规模遥感数据无法及时回传到地面,用户无法及时收取信息,对军事侦察、灾害监测、海洋远航等时敏性要求较高的任务都会产生严重影响。
发展遥感影像高倍率压缩技术是解决空间信息网络信息传输的一个重要途径。高倍率遥感影像压缩有利于缓解带宽受限问题,降低数据延迟,节省带宽容量,提高遥感信息服务能力。因此,实现在轨高倍率智能压缩对空间信息网络、遥感信息实时智能服务具有重要的意义。
2.1 传统遥感影像在轨压缩技术的局限性
目前,很多国家都将在轨遥感影像压缩技术应用于星上图像压缩[8]。随着高分辨率卫星影像的发展,低码率、高保真的图像质量使得基于自适应差分脉冲调制编码(adaptive differential pulse code modulation,ADPCM)和离散余弦变换(discrete cosine transform,DCT)技术的图像压缩算法不再适应于星上储存和星地传输。当前应用较为广泛的是基于离散小波变化(discrete wavelet transform,DWT)的JPEG2000图像压缩方法[9],如表 1所示。
表 1 典型星载图像压缩算法Table 1. Typical On-board Image Compression Algorithms卫星 国家 时间 压缩算法 IKONOS-2 美国 1999年 ADPCM QuickBird-2 美国 2001年 ADPCM 北京一号 中国 2005年 DCT X-SAT 新加坡 2009年 DWT Pleiades-1 法国 2011年 DWT SPOT-7 法国 2014年 DCT 高景一号 中国 2016年 DWT WorldView-4 美国 2016年 ADPCM 林业一号 中国 2017年 DWT ICESat-2 美国 2018年 DWT 泰景三号 中国 2022年 DWT 然而,随着世界各国对太空资源的竞争,以及商业遥感发展的需求,更多的轻小型卫星被不断发射进入太空。多星协同观测[1]、遥感数据大众化移动终端服务[5]是未来智能遥感卫星发展的趋势。然而海量遥感数据处理困难,且遥感影像的高分辨率、大幅宽严重制约了有效的信息实时下传,且弱小目标(如船舶)占比小,背景冗余信息占比大,传统压缩方法对遥感数据信息无差别编码,造成不必要的计算资源占用,数据压缩比低。通常要求压缩后的影像峰值信噪比(peak of signal and noise ratio,PSNR)[10]越高越好,为了保证较好的视觉效果(如PSNR > 36 dB)[11],基于传统的JPEG2000在轨遥感影像压缩算法往往将压缩比控制在10倍以内[12]。较低的压缩比意味着在有限带宽下,很难实现海量遥感数据信息的智能实时服务。
图 2展示了JPEG2000算法在WHU-RSONE目标检测数据集[13]上采用不同压缩比压缩后利用YOLOV5模型进行目标检测的结果,采用平均精准度(mean average precision,mAP)评价目标检测模型的性能。
图 3展示了JPEG2000在高分图像数据集(Gaofen image dataset,GID)语义分割数据集[14]上采用不同压缩比后利用PSPNet(pyramid scene parsing network)模型[15]进行目标检测的结果,采用平均交叉联合度(mean intersection over union,mIoU)作为分割模型的评价标准。
由图 2、图 3可以看出,压缩比在10倍左右,压缩后的数据PSNR受到很大影响。由于WHU-RSONE数据集中存在较多水域背景,因此,在低倍率时依旧保持较高的PSNR。但是,随着压缩比的增加,不同模型的检测精度下降的越来越明显。因此,传统的图像压缩算法已经很难满足空间信息网络的高倍率在轨实时压缩以及低延时数据传输的需求。
2.2 面向任务的高倍率智能压缩
遥感影像具有大幅宽、小目标的特点,通常目标占比远小于背景区域,这些非感兴趣区域往往会增加额外的传输容量,导致星上数据实时传输难度大。为了满足未来在轨环境下遥感影像的高效数据压缩的要求,珞珈三号01星采用了面向任务的在轨智能压缩方法,针对不同任务需求进行自适应码率分配,如目标识别、场景分类以及变化检测任务等,实现高倍率图像压缩。图 4展示了面向任务的智能压缩方法流程图,首先利用信息提取网络(如目标检测网络、语义分割网络、变化检测网络等)提取感兴趣区域(region of interest,ROI),并针对ROI选择压缩模型对码率进行自适应分配,从而实现遥感影像的智能压缩。该方法可以针对不同的任务需求,设置感兴趣区域,并进行码率的自适应分配。在遥感影像场景中,背景区域占比通常比感兴趣区域大,通过分配较少码率给背景区域编码,可以有效提高遥感影像的压缩比倍数。
随着空间信息网络的建成,全球任何地点都将会实现分钟级的重返周期,实现对感兴趣地点的全天候观测,对一些应急响应事件(例如自然灾害、敏感事件等)都具有重要的意义。因此,实现感兴趣区域的智能压缩,不仅可以有效降低星地数传的传输数据量,还可以保证观测区域的高保真需求。
图 5展示了珞珈三号01星平台上部署的面向任务的高分辨率光学卫星遥感影像智能压缩框架,该框架包括星上压缩和地面解码两个部分。对于星上智能压缩部分,首先需要通过指令上注的形式规划观测区域,利用高精度几何定位以及星上遥感影像产品生产获取观测区域的遥感影像;然后利用信息提取网络生成ROI掩膜;最后利用智能压缩模型实现高倍率遥感影像压缩任务,并将二进制码流文件下传到地面。地面部分主要包括对训练数据集的构建、信息提取模型的训练、算法的移植与测试以及码流文件的解码功能。
珞珈三号01星搭载的图像智能处理平台不仅安装有成熟的检测模型,还支持模型上注的形式升级星上应用软件,为后续的研究提供了很好的验证平台。
1)星上智能信息提取模型
提取观测地点的信息时,首先需要星上智能任务规划,依据卫星运行状态自动生成任务指令并自主获取数据[5];然后,利用高精度定轨、定姿和定标数据规定成像范围,获取观测区域的影像数据,并配合几何定位算法来获取固定区域的地理坐标;最后,利用信息提取网络来提取关键区域(目标)。珞珈三号01星智能遥感卫星搭载嵌入式神经网络加速平台NVIDIA TX2,为星上信息提取模型提供计算资源。智能压缩框架利用目标检测[16]、语义分割[17]、变化检测模型[18]实现对特定目标检测跟踪、典型场景分类、变化区域实时监测,并将提取的感兴趣信息作为压缩模型的先验知识,引导压缩框架根据ROI区域分配码率。
2)智能压缩模型
深度学习技术在遥感影像中的应用越来越广泛,文献[19-22]利用深度学习的压缩方法实现了对遥感影像的高倍压缩。基于深度学习的图片压缩框架主要是由编码器、量化、熵编码-解码、解码器等构成,通过计算率失真函数来优化模型。相比于传统的图像压缩算法,基于深度学习的图像压缩算法具有更好的压缩性能。通过信息提取网络获取ROI区域,利用基于卷积神经网络的压缩模型来学习码率的自动分配,从而实现高倍率的智能压缩任务。但是,当前基于深度学习的方法存在计算复杂度大、移植难等问题,因此如何实现轻量化、跨平台的深度学习压缩模型是未来研究的重点。“珞珈三号01星”智能处理模块部署了多个应用软件,提供了一个可扩展的在轨验证通用接口。其中面向任务的智能压缩应用软件为后续轻量化的信息提取模型设计以及压缩模型研究提供了算法验证基础。
3 结语
光学卫星遥感影像空间分辨率高,影像数据容量大,使得星上面临着海量遥感数据难存储以及数据下传不及时等问题。通过构建面向任务的在轨高效智能压缩方法,可以根据不同的观测区域和感兴趣目标,通过自适应码率分配减少背景区域码率,降低数据传输量,减少数据传输延迟,提高遥感信息服务能力。珞珈三号01星智能遥感卫星平台集成了在轨高倍率遥感影像压缩框架,并且设计了可扩展的应用软件模块,提供了通用数据接口,为后期星上高倍智能压缩的科学研究提供了集成演示验证平台。通过该平台可以实现在轨高倍率压缩算法的实际场景验证,为未来智能遥感卫星的实时服务技术走向产业化、商业化的发展道路提供了重要的参考依据,对国防建设、民生服务等都具有重要意义。
-
表 1 典型星载图像压缩算法
Table 1 Typical On-board Image Compression Algorithms
卫星 国家 时间 压缩算法 IKONOS-2 美国 1999年 ADPCM QuickBird-2 美国 2001年 ADPCM 北京一号 中国 2005年 DCT X-SAT 新加坡 2009年 DWT Pleiades-1 法国 2011年 DWT SPOT-7 法国 2014年 DCT 高景一号 中国 2016年 DWT WorldView-4 美国 2016年 ADPCM 林业一号 中国 2017年 DWT ICESat-2 美国 2018年 DWT 泰景三号 中国 2022年 DWT -
[1] 李德仁, 王密, 沈欣, 等. 从对地观测卫星到对地观测脑[J]. 武汉大学学报·信息科学版, 2017, 42(2): 143-149 doi: 10.13203/j.whugis20160526 Li Deren, Wang Mi, Shen Xin, et al. From Earth Observation Satellite to Earth Observation Brain [J]. Geomatics and Information Science of Wuhan University, 2017, 42(2): 143-149 doi: 10.13203/j.whugis20160526
[2] 卞春江. 光学遥感图像有效区域在轨实时检测与压缩技术研究[D]. 哈尔滨: 哈尔滨工业大学, 2018 Bian Chunjiang. Research on Valid Region On-Board Real-Time Detection and Compression Technology Applied for Optical Remote Sensing Image [D]. Harbin: Harbin Institute of Technology, 2018
[3] 潘腾, 关晖, 贺玮. "高分二号"卫星遥感技术[J]. 航天返回与遥感, 2015, 36(4): 16-24 doi: 10.3969/j.issn.1009-8518.2015.04.003 Pan Teng, Guan Hui, He Wei. GF-2 Satellite Remote Sensing Technology[J]. Spacecraft Recovery & Remote Sensing, 2015, 36(4): 16-24 doi: 10.3969/j.issn.1009-8518.2015.04.003
[4] 张莎莎, 曹海翊, 张新伟, 等. 可变编码调制在遥感卫星中的应用效能研究[J]. 中国空间科学技术, 2020, 40(5): 18-25 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGKJ202005004.htm Zhang Shasha, Cao Haiyi, Zhang Xinwei, et al. Research on the Application Efficiency of Variable Coding Modulation in Remote Sensing Satellite[J]. Chinese Space Science and Technology, 2020, 40(5): 18-25 https://www.cnki.com.cn/Article/CJFDTOTAL-ZGKJ202005004.htm
[5] 王密, 杨芳. 智能遥感卫星与遥感影像实时服务[J]. 测绘学报, 2019, 48(12): 1586-1594 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201912011.htm Wang Mi, Yang Fang. Intelligent Remote Sensing Satellite and Remote Sensing Image Real-Time Service[J]. Acta Geodaetica et Cartographica Sinica, 2019, 48(12): 1586-1594 https://www.cnki.com.cn/Article/CJFDTOTAL-CHXB201912011.htm
[6] 李德仁. 论空天地一体化对地观测网络[J]. 地球信息科学学报, 2012, 14(4): 419-425 https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201204000.htm Li Deren. On Space-Air-Ground Integrated Earth Observation Network[J]. Journal of Geo-Information Science, 2012, 14(4): 419-425 https://www.cnki.com.cn/Article/CJFDTOTAL-DQXX201204000.htm
[7] 吕文聪. 基于深度学习的大倍率遥感影像压缩技术研究[D]. 西安: 西安电子科技大学, 2018 Lü Wencong. Research of High Ratio Remote Sensing Image Compression Technology Based on Deep Learning[D]. Xi'an: Xidian University, 2018
[8] Blanes I, Magli E, Serra-Sagrista J. A Tutorial on Image Compression for Optical Space Imaging Systems[J]. IEEE Geoscience and Remote Sensing Magazine, 2014, 2(3): 8-26 doi: 10.1109/MGRS.2014.2352465
[9] 赵清, 林宝军, 张善从. JPEG2000遥感图像实时压缩系统[J]. 计算机仿真, 2007, 24(3): 180-183 doi: 10.3969/j.issn.1006-9348.2007.03.048 Zhao Qing, Lin Baojun, Zhang Shancong. JPEG2000 Remote-Sensing Real-Time Encoding System[J]. Computer Simulation, 2007, 24(3): 180-183 doi: 10.3969/j.issn.1006-9348.2007.03.048
[10] Sheikh H R, Sabir M F, Bovik A C. A Statistical Evaluation of Recent Full Reference Image Quality Assessment Algorithms[J]. IEEE Transactions on Image Processing, 2006, 15(11): 3440-3451 doi: 10.1109/TIP.2006.881959
[11] 张静. 光学影像在轨处理对JPEG2000算法压缩质量及效率的影响分析与评估[D]. 武汉: 武汉大学, 2017 Zhang Jing. Analysis and Evaluation of the Effect of Optical Image On-Orbit Processing on JPEG2000 Algorithm's Compression Quality and Efficiency [D]. Wuhan: Wuhan University, 2017
[12] 林瑶瑶, 艾波, 高小明. JPEG 2000和JPEG-LS的实现及遥感影像压缩失真分析[J]. 测绘与空间地理信息, 2020, 43(2): 147-149 doi: 10.3969/j.issn.1672-5867.2020.02.041 Lin Yaoyao, Ai Bo, Gao Xiaoming. Implementation of JPEG 2000 and JPEG-LS and Image Com pression Distortion Analysis[J]. Geomatics & Spatial Information Technology, 2020, 43(2): 147-149 doi: 10.3969/j.issn.1672-5867.2020.02.041
[13] Dong Z P, Wang M, Wang Y L, et al. Object Detection in High Resolution Remote Sensing Imagery Based on Convolutional Neural Networks with Suitable Object Scale Features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(3): 2104-2114 doi: 10.1109/TGRS.2019.2953119
[14] Tong X Y, Xia G S, Lu Q K, et al. Land-Cover Classification with High-Resolution Remote Sensing Images Using Transferable Deep Models[J]. Remote Sensing of Environment, 2020, 237: 111322
[15] Zhao H S, Shi J P, Qi X J, et al. Pyramid Scene Parsing Network[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, HI, USA, 2017
[16] Bochkovskiy A, Wang C Y, Liao H. YOLOV4: Optimal Speed and Accuracy of Object Detection [J]. arXiv, 2020, DOI: 2004.10934
[17] Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[J]. arXiv, 2015, DOI: 1505.04597
[18] Caye Daudt R, Le Saux B, Boulch A, et al. Multitask Learning for Large-Scale Semantic Change Detection[J]. Computer Vision and Image Understanding, 2019, 187: 102783 doi: 10.1016/j.cviu.2019.07.003
[19] Chong Y W, Zhai L, Pan S M. High-Order Markov Random Field as Attention Network for High-Resolution Remote-Sensing Image Compression [J]. IEEE Transactions on Geoscience and Remote Sensing, 2022, 60: 1-14
[20] Valsesia D, Magli E. High-Throughput Onboard Hyperspectral Image Compression with Ground-Based CNN Reconstruction[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(12): 9544-9553
[21] Zhao S H, Yang S Y, Gu J, et al. Symmetrical Lattice Generative Adversarial Network for Remote Sensing Images Compression[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2021, 176: 169-181
[22] Hu Y Y, Yang W H, Ma Z, et al. Learning End-to-End Lossy Image Compression: A Benchmark [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022, 44(8): 4194-4211
-
期刊类型引用(5)
1. 赵美利. 基于深度SR模型的加密数字图像压缩与重构. 成都工业学院学报. 2024(02): 47-51 . 百度学术
2. 刘薇,刘松林,郭子博,刘凯,张荔哲. 基于模型定义的光学遥感卫星星上处理系统设计. 测绘学报. 2024(04): 689-699 . 百度学术
3. 李德仁,王密,仵倩玉. 论智能遥感卫星的“快、准、灵”应用服务. 先进小卫星技术(中英文). 2024(01): 1-9 . 百度学术
4. 陈旭. 基于卷积神经网络的图像融合算法在电力巡检中的应用. 微型电脑应用. 2024(12): 241-245 . 百度学术
5. 王密,仵倩玉,肖晶,杨晨. 低轨巨型星座遥感信息“云-边-端”智能服务关键技术. 武汉大学学报(信息科学版). 2023(08): 1256-1263 . 百度学术
其他类型引用(2)