-
高分辨率遥感影像可以提供地物丰富的细节信息，已经被广泛应用于城市监控、精准农业、灾害监测以及军事目标检测等领域。然而，诸多条件的限制导致高分影像难以获取，而影像超分辨率重建技术通过处理多景具有互补信息的低分辨率观测影像可以重建出一景或多景高分辨率影像，该技术可以充分利用已有的低分辨率成像系统经济高效地获取高分辨率影像。目前，超分辨率重建已经应用于多种不同种类的遥感影像上，比如美国陆地卫星计划（Landsat）专题制图仪（thematic mapper，TM）影像、Landsat时序分析（extracted timing model，ETM）影像、中分辨率成像光谱仪（moderate-resolution imaging spectroradiometer，MODIS）影像、机载可见光近红外成像光谱（airborne visible infra red imaging spectrometer，AVIRIS）影像以及WorldView影像[1-9]。
多角度遥感影像成像系统可以在几乎同一时间内获取目标地物多个角度的观测影像，因此该系统可以有效避免由于场景变化和天气条件变化造成的影响，应用多角度遥感影像进行超分辨率重建具有天然优势。文献[10]首次提出超分辨率重建的概念并应用于Landsat 4影像。随后，超分辨率重建技术得到了广泛关注，并衍生出了一系列经典的超分辨率重建算法，如最大后验估计法[11]、凸集投影法[12]、非均值内插法[13]、最大似然法[14-15]、混合最大后验估计/凸集投影法[16]等。超分辨率重建技术在遥感领域也得到了发展，文献[9]提出了一种基于可变像素线性重建的超分辨率重建方法，并应用于Landsat ETM+数据；文献[7]针对MODIS影像提出了一种超分辨率重建方法；文献[6]提出了一种针对遥感影像数据的基于隐马尔可夫树模型的超分辨率重建方法，并且使用多时相Landsat 7数据进行了测试。上述方法都是针对多时相遥感影像的超分辨率重建提出的，然而，多时相遥感影像成像周期长，在不同时相的遥感影像中，地面目标会发生变化，且受天气条件影响也比较大。
多角度遥感影像通过摆镜扫描可以在几乎同一时间获取目标地物多个角度影像，一定程度上克服了多时相影像应用于超分辨率重建的难点。针对多角度遥感影像，学者们也提出了相应的超分辨率重建算法。文献[3]提出了一种基于德劳内三角化非标准插值方法的超分辨率重建方法；文献[17]使用资源3号多角度遥感影像进行超分辨率重建，该方法首先利用傅里叶变换方法对多角度影像进行配准，再利用最大后验概率方法对影像进行重建；文献[5]针对多角度WorldView-2影像提出了一种超分辨率重建算法，该算法在影像配准阶段考虑了影像局部几何畸变以及影像之间存在的视差问题，并在超分辨率重建模型中加入了L1范数约束以及全变差正则项；文献[18]提出了一种基于核回归的超分辨率重建方法，该方法将影像分为局部影像块，并使用n阶泰勒展开近似表示。然而上述方法都没有考虑多角度影像之间存在影像空间分辨率变化的情况，基于此，文献[19]提出了一种自适应权重的超分辨率重建方法，通过对不同角度低分辨率影像进行加权来获取最终的超分辨率重建影像；文献[20]考虑了多角度遥感影像的低秩特性，提出了一种同时实现多角度遥感影像配准及影像超分辨率重建的框架，重建结果同时保留了影像光谱信息及空间细节信息。上述方法都是基于传统机器学习框架对多框幅遥感影像超分辨率重建进行研究。
近年来，利用深度学习技术对遥感影像进行超分辨率重建的研究也越来越多，如文献[21]将生成对抗网络作为超分辨率重建的基本框架，使用密集残差网络增强网络的特征提取能力，并在机载遥感影像上进行了实验；文献[22]提出了一种基于密集卷积神经网络的遥感影像超分辨率重建框架，该框架有效提升了重建影像的纹理细节。深度学习技术同样被广泛应用于多框幅遥感影像超分辨率重建，文献[23]针对多框幅遥感影像提出了一种能够同时提取多框幅影像空间信息及时相信息的卷积神经网络（convolutional neural networks，CNN）结构；文献[24]提出了一种端到端神经网络框架，该框架包含了一个编码器模块、融合模块以及一个解码模块，首先在编码阶段提取配准后的多景低分辨率影像特征表达，然后在融合模块中整合多景影像特征表达，最后通过解码器获取重建后影像。然而，上述方法都是针对多时相遥感影像，尚未开展有关多角度遥感影像的研究。相比多时相遥感影像，多角度遥感影像存在由于观测角度变化引起目标地物偏移的问题。多幅不同角度遥感影像之间存在空间分辨率差异，这对多角度影像信息的融合也构成挑战。
由此，本文提出了一种面向多角度遥感影像超分辨率重建的端到端深度网络结构（multiview super-resolution net，MVSR-Net）。首先将多个角度遥感影像输入MVSR-Net网络中；然后利用输入的多角度遥感影像提取高维特征，并堆叠为一个高维特征立方体，将提取的高维特征分别输入残差学习网络和动态上采样滤波网络，并输出高频影像和动态上采样影像；最后将高频影像与动态上采样影像相加即可得到超分辨率重建的影像。为了验证该网络结构的有效性，利用WorldView-2美国亚特兰大地区和巴西里约热内卢地区多角度遥感影像数据集进行了实验。实验结果表明，本文方法的网络结构相比没有加入动态上采样滤波器的传统三维卷积神经网络（three-dimensional convolutional neural networks，3D-CNN），在超分辨率重建结果上有了比较显著的提升。
-
多角度遥感影像超分辨率重建的目标是利用多个角度观测到的低分辨率遥感影像
重建出高分辨率影像 ，其中， 代表最接近正射观测角度的中心观测影像， 表示距离正射影像最邻近角度影像， 越大表示距离正射角度影像的角度越大。根据本文提出的多角度遥感影像超分辨率重建框架和网络参数 进行影像重建，计算如下： Y ̂ t = G θ ( X t - N : t + N ) ]]>式中，
表示网络输出的重建影像； 表示超分重建网络； 表示输入的多角度影像。 假设输入模型
的张量尺寸为 ， ， 和 分别表示输入低分辨率影像的高和宽， 表示遥感影像通道数，则该模型的输出张量大小为 ， 上采样倍数。 本文方法通过生成动态上采样滤波器
和残差影像 来获取最终的高分辨率影像，输入的中心角度影像首先通过动态上采样滤波得到滤波后的影像，然后与通过网络得到的残差影像 相加得到最终的高分辨率重建影像 。 本文方法的网络结构如图 1所示，首先，每个输入的低分辨率多角度遥感影像经过
的三维卷积层得到特征图；其次，将提取的特征沿角度维进行堆叠，得到一个三维的空间维角度维特征立方体；然后，将提取到的特征输入到两个共享网络参数的分支网络（残差影像生成网络和滤波器生成网络），该部分的设计参考密集网络[25]，并且根据多角度遥感影像的数据结构对网络结构进行了改进；最后，从密集网络处理得到的特征分别输入到动态上采样滤波模块以及残差学习模块。本文方法的网络结构将原本密集网络中的二维卷积层替换成三维网络结构，可以更有效地提取多角度影像中的角度维特征。相比于二维卷积网络，三维卷积网络可以有效提取多维遥感影像的空间时相维特征[26-27]。 
图 1 MVSR-Net网络结构
Figure 1. Network Architecture of MVSR-Net
-
本文将动态上采样滤波模块（dynamic upsampling filters，DUF）[28]应用于多角度遥感影像，根据低分辨率多角度遥感影像中每个像素的空间维角度维邻域动态生成上采样滤波器，主要流程如图 2所示。
图 2 动态上采样模块结构
Figure 2. Structure of the Dynamic Upsampling Filter Block
首先将多帧低分辨率多角度影像{Xt-N，Xt-N+1
输入到动态上采样滤波网络结构，假设 ，共输入7个角度低分辨率影像，训练好的网络结构会生成总数为 大小为 的上采样滤波器，生成的滤波器与原始输入的低分辨率影像相乘得到滤波后的高分辨率影像帧 。然后利用每个像素值对应的滤波器 对输入的原始影像 中的低分辨率像素进行局部滤波，即可输出对应位置的高分辨率像素，具体计算如下： Y ˜ t y r + v , x r + u = ∑ j = - 2 2 ∑ i = - 2 2 F t y , x , v , u ( j + 2 , i + 2 ) X t ( y + j , x + i ) ]]> 式中，（x，y）表示低分辨率影像中像素的位置；（
）表示滤波器中的位置坐标。上述操作和反卷积操作类似，因此该网络框架可以实现后向传播进而实现端到端的训练。 在动态上采样滤波框架中，本文利用深层神经网络学习最佳上采样滤波器，基于给定的低分辨率遥感影像重建得到高分辨率遥感影像。根据像素偏移创建动态上采样滤波器，避免了多角度影像匹配过程。
-
使用动态上采样滤波器后的重建影像实际是输入像素的加权，缺乏清晰度。为了改善这种现象，本文方法的网络结构中加入了一个残差学习分支来学习影像中的高频信息。经典方法深度网络超分辨率重建方法（very deep super-resolution，VDSR）[29]利用网络学习到的残差信息与基于双三次上采样插值的影像相加来获得最后重建的影像。与VDSR方法不同，本文方法输入的是多角度遥感影像，而VDSR输入的是单幅影像。其次，本文在网络结构中使用动态上采样滤波框架作为超分辨率重建的基准影像，相比双三次上采样插值重建的影像具有更高的精度。且本文网络结构利用残差学习获取的高频信息与动态上采样滤波模块得到的影像相加来获得最终的重建影像。因此，本文方法在顾及多角度影像角度维信息的同时得到空间清晰度较高的重建影像。
-
在MVSR-Net网络框架中，对原始影像进行信息提取的卷积层包含64个滤波器，其卷积核大小都为3×3。密集网络框架总共包含6个密集网络单元，每个密集网络单元依次包含一个批归一化层、一个ReLU激活层、一个
卷积层、一个批归一化层、一个ReLU激活层及一个大小为 的3D卷积层。在第一个密集网络模块中，共有64个1×1×1卷积层和32个3D-CNN卷积层，每个密集网络模块卷积层输出层数依次为96、128、160、192、224和256。动态上采样滤波模块以及残差影像生成模块的网络设置见图 1，输入网络的低分辨率影像的大小分别为96×96、128×128和192×192，分别对应4倍、3倍和2倍影像重建网络结构。网络训练的批处理大小设置为6，输入的影像都经过了归一化处理。 为了训练网络
，本文方法利用Huber损失作为网络稳定收敛的代价函数 ，计算如下： L = H Y ̂ t , Y t = 1 2 Y ̂ t - Y t 2 2 , Y ̂ t - Y t 1 ≤ δ δ Y ̂ t - Y t 1 - 1 2 δ 2 , 其 他 式中，
表示Huber函数； 表示参考影像；阈值 设置为0.01。本文选择Adam优化器进行网络优化，初始的学习率设置为0.001。为了避免损失函数区域发散，每经过10次循环训练，学习率缩小10倍。 -
本文实验是在Linux下python设置的深度学习框架进行的，GPU采用32 GB显存NVIDIA TitanX显卡。实验使用的训练数据为SpaceNet提供的多角度遥感影像公开数据集（https://spacenet.ai/off-nadir-building-detection/），该数据集包含27个角度4通道WorldView-2影像，拍摄地点位于美国佐治亚州亚特兰大地区，该数据集按照观测角度0°~25°、26°~40°和41°~55°分为3组影像。较大的观测角度会导致目标地物发生较大的几何位移，而且对于目标中高程较大的地物，几何变形的现象更加显著。因此，为了保证网络的学习能力，实验的训练数据及测试数据选择观测角度为0°~25°的影像，图 3展示了部分样例数据。实验选取了最接近正射角度的7个角度的影像进行训练及测试，其基本信息如表 1所示。数据集中包含1 064景900×900大小的全色影像及1 064景225×225包含4个通道的多光谱影像，本文在1 064景影像随机选取181景影像，使用Gram-Schmidt融合算法将全色影像和多光谱影像进行融合，获得181景大小为900×900且包含4个通道的多光谱影像，然后将每景影像随机裁剪出50块384×384的影像，最后得到包含9 050组多角度遥感影像的数据集。
图 3 数据集中的样例数据
Figure 3. Samples of Dataset
表 1 实验数据基本信息
Table 1. Basic Information of Experiment Data
影像编号 观测角度/(°) 目标方位角/(°) 影像分辨率/m 角度1 7.8 118.4 0.48 角度2 8.3 78.4 0.49 角度3 10.5 148.6 0.49 角度4 10.6 57.6 0.48 角度5 13.9 162.0 0.49 角度6 14.8 43.0 0.49 角度7 16.9 168.7 0.52 将准备好的数据集分别降采样2倍、3倍、4倍生成3组低分辨率多角度影像，并进行了3组模拟实验验证了MVSR-Net的有效性。
为了验证本文方法的有效性，实验中将其与双三次插值方法（Bicubic）、基于CNN网络的超分辨率重建方法（super-resolution CNN，SRCNN）[30]、基于3D卷积的视频超分辨率重建方法（3D super-resolution net，3DSRnet）[31]方法进行比较。其中，SRCNN方法首次将深度学习技术应用于影像超分辨率重建，SRCNN网络的输入为单框幅影像；3DSRnet方法的网络结构包含两个分支，一个分支用来学习影像的高频信息，另一个分支使用双三次插值方法获取分辨率增强后的影像，将两个分支结果相加即可获取最终超分辨率重建影像，该方法同样使用多框幅影像作为输入来获取超分辨率重建影像。此外，实验中加入了消融实验来探究动态上采样滤波模块对超分辨率重建结果的影响。本文采用峰值信噪比（peak signal-to-noise ratio，PSNR）以及结构相似性测度（structural similarity，SSIM）[32-34]对实验结果进行定量评价。
-
为了验证本文提出方法的有效性，设计了3组模拟实验，分别为2倍、3倍、4倍超分辨率重建实验，输入的影像分别通过原始高分辨率多角度影像降采样2倍、3倍、4倍获得。3组模拟实验的定量评价结果如表 2所示，最优结果加粗表示，次优结果标注下划线。由表 2可知，MVSR-Net方法得到了最高的PSNR值以及SSIM值；3倍超分辨率重建实验结果中，MVSR-Net方法的PSNR值相比3DSRnet方法的PSNR值提高了0.731 0 dB；2倍超分辨率重建实验中，输入数据通过将高分辨率原始影像降采样至原始大小的1/2而得到，由于下采样倍数较小，相比3倍、4倍超分辨率重建实验，数据保留了最多的空间细节信息，MVSR-Net方法也得到了更好的结果，相比3DSR-net方法，PSNR值提高了2.688 8 dB。
表 2 超分辨率重建定量结果
Table 2. Quantitative Evaluation of Different Super-Resolution Methods
方法 2倍重建实验 3倍重建实验 4倍重建实验 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Bicubic 30.086 6 0.942 3 26.384 0 0.938 6 24.412 0 0.925 2 SRCNN 30.960 5 0.991 0 27.047 0 0.981 2 24.903 9 0.935 0 3DSRnet 31.413 9 0.992 5 27.550 7 0.982 5 19.086 6 0.925 2 MVSR-Net 34.102 7 0.993 5 28.281 7 0.989 0 26.794 2 0.985 3 图 4展示了不同方法2倍超分辨率重建实验的目视结果，由图 4可以看出，MVSR-Net方法得到了最好的重建结果；Bicubic方法和SRCNN方法没有考虑多角度影像角度维的信息，因此重建影像比较模糊，细节信息没有得到有效的恢复；3DSRnet方法在网络中考虑了影像角度维信息，在重建的定量结果以及目视结果上都有一定的改善；MVSR-Net方法加入了动态上采样滤波模块，可以更好地顾及多角度影像存在的分辨率差异以及角度变化引起的地物偏移等现象，因此得到了最好的定量评价结果以及目视结果。
图 4 超分辨率重建结果比较（重建倍数=2）
Figure 4. Comparison of the Super-Resolution Reconstruction Results (Factor=2)
图 5展示了图 4（e）中红框区域的重建结果。从图 5中可以看出，MVSR-Net的重建结果更清晰且相对比较平滑；Bicubic、SRCNN的重建结果有较明显的马赛克效应；3DSRnet方法的重建结果有一定改善，但仍然比较模糊。
图 6展示了不同方法3倍超分辨率重建实验的目视结果，图 7展示了图 6（e）中红框区域的重建结果，影像中的地物包含公路以及林地地区。由图 6、7可知，Bicubic方法存在严重的马赛克效应，影像的大量细节信息丢失；SRCNN方法较Bicubic方法有一定的改善，但是在影像的具体细节恢复上存在人工伪痕的问题；3DSRnet和MVSR-Net方法在影像的细节上都有一定的改善，但是MVSR-Net可以恢复更多的细节纹理信息。可见，本文提出的MVSR-Net方法无论在空间细节的恢复上还是光谱的保持上，都得到了最佳的结果
图 6 超分辨率重建结果比较（重建倍数=3）
Figure 6. Comparison of the Super-Resolution Reconstruction Results (Factor=3)
图 8展示了不同方法4倍超分辨率重建实验的目视结果，图 9展示了图 8（e）中红框区域的重建结果，实验数据主要是机场区域的影像。由图 8、9以及表 2可知，Bicubic方法、SRCNN方法以及3DSRnet方法都存在比较明显的细节纹理信息的模糊现象；MVSR-Net方法细节纹理信息也得到了修复，定量评价结果和目视结果最好。
图 8 超分辨率重建结果比较（重建倍数=4）
Figure 8. Comparison of the Super-Resolution Reconstruction Results (Factor=4)
综上所述，本文提出的方法相比其他对比方法在细节及纹理的修复上有更好的表现力。在Bicubic方法中，影像随着放大倍数的增大愈加模糊，影像的细节纹理信息重建都受到较大影响；SRCNN方法在目视结果上较Bicubic方法有提升，说明基于深度学习的SRCNN网络对于高分辨率遥感影像的超分辨率重建有一定的效果；3DSRnet方法由于加入了多角度影像角度维信息，与SRCNN方法及Bicubic方法相比，重建结果在细节上得到了改善。虽然3DSRnet网络使用3D-CNN对多角度影像信息进行了融合，但3DSRnet没有顾及由于观测角度变化而引起的影像地物位移、变形等问题。而本文方法相比3DSRnet方法进一步改进了影像高频信息提取的网络结构，并且针对不同角度影像间存在的地物偏移等现象在网络中加入了动态上采样滤波模块，因此MVSR-Net可以有效利用多角度影像空间维信息以及角度维信息，进而在细节信息纹理信息的重建上有较大提升。实验通过3组不同重建倍数的超分辨率重建实验证明该网络可以有效提升多角度遥感影像的分辨率，并且得到较好的目视结果和定量评价结果。
-
为了验证MVSR-Net网络的泛化性，本文使用另一套多角度遥感影像数据对MVSR-Net网络的性能进行测试。真实实验中同样设计了3组放大倍数，分别为2倍、3倍和4倍超分辨率重建。真实实验的数据选自2012年数据融合大赛中提供的WorldView-2多角度遥感影像[33]，该数据包含巴西里约热内卢地区5个角度观测影像，分别为45.3°、34°、8.6°、-30.2°和-45.4°观测影像，其中观测角度绝对值越小，意味着越接近正射影像。本文从该数据分别裁取了大小为192×192、128×128和96×96的3幅子影像，分别使用Bicubic、SRCNN、3DSRnet和MVSR-Net网络对其进行超分辨率重建，并进行了定性及定量分析。实验中的网络设置与模拟实验中网络设置保持一致。定量评价指标选取无参考锐化因子（cumulative probability of blur detection，CPBD）[34]来评价真实实验的重建结果，CPBD指标通常用来衡量重建影像的清晰度。不同倍数重建影像的结果如图 10所示，为了增加影像对比度，本文选取影像的近红外波段、红波段与绿波段来显示重建结果。定量评价结果如表 3所示，表中最优结果加粗表示，次优结果标注下划线。
图 10 真实实验超分辨率重建结果比较
Figure 10. Comparison of the Super-Resolution Reconstruction Results in Real Experiment
表 3 不同超分辨率重建方法CPBD分析
Table 3. CPBD of Different Super-Resolution Reconstruction Methods
方法 2倍重建 3倍重建 4倍重建 Bicubic 0.101 8 0.022 3 0.018 5 SRCNN 0.129 2 0.151 1 0.065 9 3DSRnet 0.160 2 0.225 1 0.261 4 MVSR-Net 0.183 1 0.837 2 0.252 7 图 10（a）为4种方法的2倍超分辨率重建结果。从图 10（a）中可以看出，影像的细节信息都得到了较好的保留；SRCNN方法和3DSRnet方法存在不同程度的光谱畸变效应；MVSR-Net方法保留了纹理细节的同时较好地重建了光谱信息。图 10（b）为3倍超分辨率重建结果，覆盖区域为机场部分影像。由图 10（b）可知，3DSRnet方法的重建结果出现了人工伪痕现象。图 10（c）为4倍超分辨率重建结果，由图 10（c）可知，SRCNN方法出现了一定程度的光谱畸变效应；MVSR-Net方法在地物标志细节的恢复上有一定程度的模糊。结合表 3可知，MVSR-Net方法在2倍重建和3倍重建上都表现出了相对较好的结果，而在4倍重建结果上3DSRnet方法表现更佳。综上所述，MVSR-Net方法总体上可以更有效地保留影像重建的细节，并较好地保留影像的光谱信息，而3DSRnet方法在光谱信息的保持上存在较大问题。
-
为了进一步说明MVSR-Net方法的有效性，本文设计了消融实验对MVSR-Net网络结构中的动态上采样模块进行测试。将MVSR-Net的动态上采样模块去掉，使用3DSRnet中的双三次插值进行了替换，残差学习的部分仍保留在网络中，重建倍数设定为2倍。消融实验的定量评价结果如表 4所示，由表 4可知，加入了动态上采样模块的网络比未加入动态上采样模块的网络得到了更高的PSNR值以及SSIM值。图 11展示了实验的目视结果，由图 11可知，加入动态上采样滤波模块的结果有更清晰的细节信息。综上可知，加入动态上采样滤波模块的网络可以更好地融合多角度影像信息，从而得到更好的超分辨率重建结果。
表 4 动态上采样模块消融实验分析
Table 4. Analysis of Ablation Experiment on DUF Module
评价参数 MVSR-Net (去掉DUF) MVSR-Net PSNR/dB 30.126 4 34.102 7 SSIM 0.945 6 0.993 5 
图 11 消融实验对比结果
Figure 11. Comparison of the Ablation Experiment Results
-
为了更好地探究实验中多角度影像观测角度数目对于模型以及实验结果的影响，本文设置了模拟实验来比较多角度遥感影像观测角度数目对于实验的影响。在该模拟实验中，实验数据集同样为WorldView-2亚特兰大地区多角度观测影像。实验数据中训练数据和测试数据的数量与§2.1中数据的设置相同，输入数据角度数量分别为3个角度、5个角度和7个角度的多角度遥感影像，输入数据大小分别为30×30、40×40、60×60，对应4倍、3倍和2倍超分重建网络结构。MVSR-Net网络的配置与§1.4中的网络配置相同，批处理数量设置为12。3组实验的定量评价结果如表 5所示。
表 5 多角度影像数据定量分析
Table 5. Quantitative Evaluation of the Different Multiview Datasets
输入数据角度数量 2倍重建实验 3倍重建实验 4倍重建实验 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM 3个角度 30.193 7 0.993 7 26.594 3 0.988 8 24.103 8 0.963 4 5个角度 31.121 9 0.993 9 26.656 0 0.989 1 24.247 3 0.974 5 7个角度 31.248 9 0.994 7 26.764 3 0.991 9 24.354 4 0.975 7 由表 5可知，随着参与训练的角度数目的增加，2倍、3倍以及4倍重建定量评价结果都呈现出增加的趋势。由此可知，参加训练的多角度影像观测角度越多，得到的重建结果越好。
-
三维卷积可以有效提取数据角度维和时间维的特征，然而三维卷积大大增加了网络的参数量以及运算负担。文献[35]针对三维卷积计算效率低下的问题提出了快速时空三维卷积，并将该改进模块应用于视频超分辨率重建中。为了进一步提升网络效率，本文对动态上采样超分辨率重建网络中的三维卷积模块进行了改进，并将快速时空三维卷积引入网络，将网络中的三维卷积替换为快速时空三维卷积。改进后的快速时空卷积如图 12所示。由图 12可知，原本的
三维卷积由串联的 卷积和 卷积所替代。改进后的三维卷积计算量大幅下降，并且很大程度降低了MVSR-Net网络的参数量。改进三维卷积的MVSR-Net网络的参数量以及每秒所执行的浮点运算次数（floating-point operations per second，，FLOPs）见表 6。由表 6可知，网络参数量得到了25.13%的改进，FLOPs得到了30.48%的改进。 
图 12 快速时空卷积
Figure 12. Fast Spatiotemporal Convolution
表 6 网络参数量及运算量比较
Table 6. Comparison of Parameters and FLOPs of Different Nets
方法 参数量/106 FLOPs/109 MVSR-Net 1.91 5.02 改进三维卷积的MVSR-Net 1.43 3.49 -
本文提出了一种面向多角度遥感影像的基于深度学习框架的端到端超分辨率重建方法。该方法的网络结构通过两个分支网络提取影像的高频信息并获取重建影像。本文提出的方法通过WorldView-2美国亚特兰大地区和巴西里约热内卢地区多角度遥感影像数据集得到了验证。
通过模拟实验和真实实验证明，MVSR-Net可以得到精度较高的超分辨重建结果。通过消融实验、角度数目对比实验可以得到以下结论：（1）在网络结构中加入动态上采样滤波模块可以进一步提高超分辨率重建精度；（2）增加多角度遥感影像观测角度数目可以提高重建结果精度；（3）将网络中3D卷积替换为快速时空卷积也可以降低网络参数量并提高运算效率。后续研究中，将进一步提高算法的泛化能力和效率，并且能够融合更多角度的信息。
Multi-angle Remote Sensing Images Super-Resolution Reconstruction Using Dynamic Upsampling Filter Deep Network
-
摘要: 近年来，基于深度学习的超分辨率重建技术已经广泛应用于多时相高光谱影像、高分影像超分辨率重建等领域。多角度遥感影像之间具有丰富的互补信息，可用于超分辨率重建。针对高分辨率多角度遥感影像提出了一种基于动态上采样滤波网络的超分辨率重建方法。该方法的网络结构为端到端双路网络，其中一个分支网络通过动态上采样滤波模块来实现分辨率提升，另一个分支网络用来学习影像中的高频信息，将两个分支网络输出的结果相加即可得到最终的超分辨率重建影像。为了验证该方法的有效性，利用WorldView-2美国亚特兰大地区和巴西里约热内卢地区多角度遥感影像数据分别进行了2倍、3倍、4倍超分辨率重建模拟实验和真实实验，并进行了多组对比实验。实验结果表明，所提方法可以在顾及多角度影像角度维信息的同时有效提升目标影像空间分辨率，并且较好地保持了影像的细节信息。Abstract:
Objectives Deep learning based on super-resolution reconstruction technology has been widely used in multi-temporal hyperspectral images, high-resolution image reconstruction. Multi-angle remote sensing images have rich complementary information, which is suitable for super-resolution reconstruction. Methods An end-to-end super-resolution reconstruction method based on dynamic upsampling filter network is proposed for high-resolution multi-angle remote sensing images. The network of the method includes an end-to-end two-way network, in which one branch is used dynamic upsampling filter block to improve the image resolution. Another branch network is used to learn the high-frequency information in the image. In order to verify the effectiveness of the proposed method, 2, 3 and 4 times super-resolution reconstruction simulation experiments and real experiments are carried out with Worldview-2 multi-angle remote sensing images from Atlanta, America and Rio de Janeiro, Brazil, respectively. Several groups of comparative experiments are carried out. Results and Conclusions Experimental results show that the proposed method can effectively improve the spatial resolution of the target image while taking into account the angle dimension information of multi angle images, and effectively maintain the image details. -
图 4 超分辨率重建结果比较（重建倍数=2）
Figure 4. Comparison of the Super-Resolution Reconstruction Results (Factor=2)
图 6 超分辨率重建结果比较（重建倍数=3）
Figure 6. Comparison of the Super-Resolution Reconstruction Results (Factor=3)
图 8 超分辨率重建结果比较（重建倍数=4）
Figure 8. Comparison of the Super-Resolution Reconstruction Results (Factor=4)
图 10 真实实验超分辨率重建结果比较
Figure 10. Comparison of the Super-Resolution Reconstruction Results in Real Experiment
表 1 实验数据基本信息
Table 1. Basic Information of Experiment Data
影像编号 观测角度/(°) 目标方位角/(°) 影像分辨率/m 角度1 7.8 118.4 0.48 角度2 8.3 78.4 0.49 角度3 10.5 148.6 0.49 角度4 10.6 57.6 0.48 角度5 13.9 162.0 0.49 角度6 14.8 43.0 0.49 角度7 16.9 168.7 0.52 
下载: 导出CSV
表 2 超分辨率重建定量结果
Table 2. Quantitative Evaluation of Different Super-Resolution Methods
方法 2倍重建实验 3倍重建实验 4倍重建实验 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM Bicubic 30.086 6 0.942 3 26.384 0 0.938 6 24.412 0 0.925 2 SRCNN 30.960 5 0.991 0 27.047 0 0.981 2 24.903 9 0.935 0 3DSRnet 31.413 9 0.992 5 27.550 7 0.982 5 19.086 6 0.925 2 MVSR-Net 34.102 7 0.993 5 28.281 7 0.989 0 26.794 2 0.985 3
下载: 导出CSV
表 3 不同超分辨率重建方法CPBD分析
Table 3. CPBD of Different Super-Resolution Reconstruction Methods
方法 2倍重建 3倍重建 4倍重建 Bicubic 0.101 8 0.022 3 0.018 5 SRCNN 0.129 2 0.151 1 0.065 9 3DSRnet 0.160 2 0.225 1 0.261 4 MVSR-Net 0.183 1 0.837 2 0.252 7
下载: 导出CSV
表 4 动态上采样模块消融实验分析
Table 4. Analysis of Ablation Experiment on DUF Module
评价参数 MVSR-Net (去掉DUF) MVSR-Net PSNR/dB 30.126 4 34.102 7 SSIM 0.945 6 0.993 5
下载: 导出CSV
表 5 多角度影像数据定量分析
Table 5. Quantitative Evaluation of the Different Multiview Datasets
输入数据角度数量 2倍重建实验 3倍重建实验 4倍重建实验 PSNR/dB SSIM PSNR/dB SSIM PSNR/dB SSIM 3个角度 30.193 7 0.993 7 26.594 3 0.988 8 24.103 8 0.963 4 5个角度 31.121 9 0.993 9 26.656 0 0.989 1 24.247 3 0.974 5 7个角度 31.248 9 0.994 7 26.764 3 0.991 9 24.354 4 0.975 7
下载: 导出CSV
表 6 网络参数量及运算量比较
Table 6. Comparison of Parameters and FLOPs of Different Nets
方法 参数量/106 FLOPs/109 MVSR-Net 1.91 5.02 改进三维卷积的MVSR-Net 1.43 3.49
下载: 导出CSV
-
[1] 康军梅, 隋立春, 李丽, 等. 基于双稀疏度K-SVD字典学习的遥感影像超分辨率重建[J]. 计算机工程与应用, 2018, 54(16): 187-191 https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201816031.htm Kang Junmei, Sui Lichun, Li Li, et al. Super-Resolution Reconstruction of Remote Sensing Images Based on Double-Sparse K-SVD Dictionary Learning[J]. Computer Engineering and Applications, 2018, 54 (16): 187-191 https://www.cnki.com.cn/Article/CJFDTOTAL-JSGG201816031.htm [2] 周子勇. 运用经验模态分解和压缩感知方法进行遥感影像超分辨率重建[J]. 遥感技术与应用, 2018, 33(1): 96-102 https://www.cnki.com.cn/Article/CJFDTOTAL-YGJS201801011.htm Zhou Ziyong. Super-Resolution Reconstruction of Remote Sensing Images by Using Empirical Mode Decomposition and Compressed Sensing[J]. Remote Sensing Technology and Application, 2018, 33 (1): 96-102 https://www.cnki.com.cn/Article/CJFDTOTAL-YGJS201801011.htm [3] Chan J C W, Ma J L, Kempeneers P, et al. Super Resolution Enhancement of Hyperspectral CHRIS/ Proba Images with a Thin-Plate Spline Nonrigid Transform Model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(6): 2 569-2 579 doi: 10.1109/TGRS.2009.2039797 [4] Galbraith A E, Theiler J, Thome K J, et al. Resolution Enhancement of Multilook Imagery for the Multispectral Thermal Imager[J]. IEEE Transactions on Geoscience and Remote Sensing, 2005, 43 (9): 1 964-1 977 doi: 10.1109/TGRS.2005.853569 [5] Ma J L, Chan J, Canters F. An Operational Superresolution Approach for Multi-Temporal and Multiangle Remotely Sensed Imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1): 110-124 doi: 10.1109/JSTARS.2011.2182505 [6] Li F, Jia X P, Fraser D, et al. Super Resolution for Remote Sensing Images Based on a Universal Hidden Markov Tree Model[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(3): 1 270-1 278 doi: 10.1109/TGRS.2009.2031636 [7] Shen H, Ng M K, Li P, et al. Super-Resolution Reconstruction Algorithm to MODIS Remote Sensing Images[J]. The Computer Journal, 2008, 52(1): 90-100 doi: 10.1093/comjnl/bxm028 [8] Akgun T, Altunbasak Y, Mersereau R M. SuperResolution Reconstruction of Hyperspectral Images [J]. IEEE Transactions on Image Processing, 2005, 14(11): 1 860-1 875 doi: 10.1109/TIP.2005.854479 [9] Merino M T, Nunez J. Super-Resolution of Remotely Sensed Images with Variable-Pixel Linear Reconstruction[J]. IEEE Transactions on Geoscience and Remote Sensing, 2007, 45(5): 1 446-1 457 doi: 10.1109/TGRS.2007.893271 [10] Tsai R. Multiframe Image Restoration and Registration[J]. Advance Computer Visual and Image Processing, 1984, 1: 317-339 http://ci.nii.ac.jp/naid/10026749849 [11] Schultz R R, Stevenson R L. Extraction of HighResolution Frames from Video Sequences[J]. IEEE Transactions on Image Processing, 1996, 5 (6): 996-1 011 doi: 10.1109/83.503915 [12] Stark H, Oskoui P. High-Resolution Image Recovery from Image-Plane Arrays, Using Convex Projections[J]. Journal of the Optical Society of America A, Optics and Image Science, 1989, 6(11): 1 715- 1 726 doi: 10.1364/JOSAA.6.001715 [13] Ur H, Gross D. Improved Resolution from Subpixel Shifted Pictures[J]. CVGIP: Graphical Models and Image Processing, 1992, 54(2): 181-186 doi: 10.1016/1049-9652(92)90065-6 [14] Tom B C, Katsaggelos A K. Reconstruction of a High-Resolution Image by Simultaneous Registration, Restoration, and Interpolation of Low-Resolution Images[C]//International Conference on Image Processing, Washington DC, USA, 1995 [15] Tom B C, Katsaggelos A K, Galatsanos N P. Reconstruction of a High Resolution Image from Registration and Restoration of Low Resolution Images [C]//The 1st International Conference on Image Processing, Austin, Texas, USA, 1994 [16] Elad M, Feuer A. Restoration of a Single Superresolution Image from Several Blurred, Noisy, and Undersampled Measured Images[J]. IEEE Transactions on Image Processing, 1997, 6(12): 1 646- 1 658 doi: 10.1109/83.650118 [17] Li L, Wang W, Luo H, et al. Super-Resolution Reconstruction of High-Resolution Satellite ZY-3 TLC Images[J]. Sensors, 2017, 17(5): 1 062 doi: 10.3390/s17051062 [18] Ma J L, Chan J C W, Canters F. Robust Locally Weighted Regression for Superresolution Enhancement of Multi-angle Remote Sensing Imagery[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2014, 7(4): 1 357-1 371 doi: 10.1109/JSTARS.2014.2312887 [19] Zhang H Y, Yang Z Y, Zhang L P, et al. SuperResolution Reconstruction for Multi-angle Remote Sensing Images Considering Resolution Differences [J]. Remote Sensing, 2014, 6(1): 637-657 doi: 10.3390/rs6010637 [20] Chen H, Zhang H Y, Du J, et al. Unified Framework for the Joint Super-Resolution and Registration of Multiangle Multi/Hyperspectral Remote Sensing Images[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2020, 13: 2 369-2 384 doi: 10.1109/JSTARS.2020.2993629 [21] 毕晓君, 潘梦迪. 基于生成对抗网络的机载遥感图像超分辨率重建[J]. 智能系统学报, 2020, 15(1): 74-83 https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT202001014.htm Bi Xiaojun, Pan Mengdi. Super-Resolution Reconstruction of Airborne Remote Sensing Images Based on the Generative Adversarial Networks[J]. CAAI Transactions on Intelligent Systems, 2020, 15(1): 74-83 https://www.cnki.com.cn/Article/CJFDTOTAL-ZNXT202001014.htm [22] 王植, 李安翼, 方锦雄. 基于密集卷积神经网络的遥感影像超分辨率重建[J]. 测绘与空间地理信息, 2020, 43(8): 4-8 https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH202008002.htm Wang Zhi, Li Anyi, Fang Jinxiong. Super Resolution Reconstruction of Remote Sensing Images Based on Dense Convolution Neural Network[J]. Geomatics & Spatial Information Technology, 2020, 43(8): 4-8 https://www.cnki.com.cn/Article/CJFDTOTAL-DBCH202008002.htm [23] Molini M A, Valsesia D, Fracastoro G, et al. DeepSUM: Deep Neural Network for Super-Resolution of Unregistered Multitemporal Images[J]. IEEE Transactions on Geoscience and Remote Sensing, 2020, 58(5): 3 644-3 656 doi: 10.1109/TGRS.2019.2959248 [24] Deudon M, Kalaitzis A, Goytom I, et al. HighResNet: Recursive Fusion for Multi-Frame SuperResolution of Satellite Imagery[J]. ArXiv Preprint, 2020: 2002. 06460 http://arxiv.org/abs/2002.06460v1 [25] Huang G, Liu Z, van der Maaten L, et al. Densely Connected Convolutional Networks[C]//IEEE Conference on Computer Vision and Pattern Recognition, Honolulu, Hawaii, USA, 2017 [26] Ji S P, Zhang C, Xu A J, et al. 3D Convolutional Neural Networks for Crop Classification with Multi-temporal Remote Sensing Images[J]. Remote Sensing, 2018, 10(2): 75 doi: 10.3390/rs10010075 [27] Li Y, Zhang H K, Shen Q. Spectral–Spatial Classification of Hyperspectral Imagery with 3D Convolutional Neural Network[J]. Remote Sensing, 2017, 9 (1): 67 doi: 10.3390/rs9010067 [28] Jia X, De Brabandere B, Tuytelaars T, et al. Multi-Dynamic Bayesian Networks[M]. Boston: The MIT Press, 2007 [29] Kim J, Lee J K, Lee K M. Accurate Image SuperResolution Using very Deep Convolutional Networks [C]// IEEE Conference on Computer Vision and Pattern Recognition, Las Vegas, Nevada, USA, 2016 [30] Dong C, Loy C C, He K M, et al. Image SuperResolution Using Deep Convolutional Networks[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2016, 38(2): 295-307 [31] Kim S Y, Lim J, Na T, et al. 3DSRnet: Video Super-Resolution Using 3D Convolutional Neural Networks[J]. ArXiv Preprint , 2018: 1812. 09079 http://arxiv.org/pdf/1812.09079 [32] 许丽娜, 肖奇, 何鲁晓. 考虑人类视觉特征的融合图像评价方法[J]. 武汉大学学报·信息科学版, 2019, 44(4): 546-554 doi: 10.13203/j.whugis20170168 Xu Lina, Xiao Qi, He Luxiao. Fused Image Quality Assessment Based on Human Visual Characteristics [J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 546-554 doi: 10.13203/j.whugis20170168 [33] Pacifici F, Qian D. Foreword to the Special Issue on Optical Multiangular Data Exploitation and Outcome of the 2011 GRSS Data Fusion Contest[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2012, 5(1): 3-7 http://my.ece.msstate.edu/faculty/du/JSTARS-Foreword2.pdf [34] Narvekar N D, Karam L J. A No-Reference Perceptual Image Sharpness Metric Based on a Cumulative Probability of Blur Detection[C]//International Workshop on Quality of Multimedia Experience, San Diego, California, USA, 2009 [35] Li S, He F X, Du B, et al. Fast Spatio-Temporal Residual Network for Video Super-Resolution[C]// IEEE/CVF Conference on Computer Vision and Pattern Recognition, Long Beach, California, USA, 2019 -
点击查看大图
图(12) / 表(6)
计量
- 文章访问数: 426
- HTML全文浏览量: 152
- PDF下载量: 59
- 被引次数: 0
