多角度遥感影像超分辨率重建的目标是利用多个角度观测到的低分辨率遥感影像$\{X_{t-N},X_{t-N+\mathrm{1}}\dots X_t\dots X_{t+N}\}$重建出高分辨率影像$\{{\widehat{Y}}_t\}$，其中，$t$代表最接近正射观测角度的中心观测影像，$X_{t-N}、X_{t+N}$表示距离正射影像最邻近角度影像，$N$越大表示距离正射角度影像的角度越大。根据本文提出的多角度遥感影像超分辨率重建框架和网络参数$\theta$进行影像重建，计算如下：

式中，${\widehat{Y}}_t$表示网络输出的重建影像；$G_{\theta }$表示超分重建网络；$X_{t-N:t+N}$表示输入的多角度影像。

假设输入模型$G$的张量尺寸为$T\times H\times W\times C$，$T=\mathrm{2}N+\mathrm{1}$，$H$和$W$分别表示输入低分辨率影像的高和宽，$C$表示遥感影像通道数，则该模型的输出张量大小为$\mathrm{1}\times rH\times rW\times C$，$r\mathrm{表}\mathrm{示}$上采样倍数。

本文方法通过生成动态上采样滤波器$F_t$和残差影像$R_t$来获取最终的高分辨率影像，输入的中心角度影像首先通过动态上采样滤波得到滤波后的影像，然后与通过网络得到的残差影像$R_t$相加得到最终的高分辨率重建影像${\widehat{Y}}_t$。

本文方法的网络结构如图 1所示，首先，每个输入的低分辨率多角度遥感影像经过$\mathrm{1}\times \mathrm{3}\times \mathrm{3}$的三维卷积层得到特征图；其次，将提取的特征沿角度维进行堆叠，得到一个三维的空间维角度维特征立方体；然后，将提取到的特征输入到两个共享网络参数的分支网络（残差影像生成网络和滤波器生成网络），该部分的设计参考密集网络^[25]，并且根据多角度遥感影像的数据结构对网络结构进行了改进；最后，从密集网络处理得到的特征分别输入到动态上采样滤波模块以及残差学习模块。本文方法的网络结构将原本密集网络中的二维卷积层替换成三维网络结构，可以更有效地提取多角度影像中的角度维特征。相比于二维卷积网络，三维卷积网络可以有效提取多维遥感影像的空间时相维特征^[26-27]。

图  1  MVSR-Net网络结构

Figure 1.  Network Architecture of MVSR-Net

本文将动态上采样滤波模块（dynamic upsampling filters，DUF）^[28]应用于多角度遥感影像，根据低分辨率多角度遥感影像中每个像素的空间维角度维邻域动态生成上采样滤波器，主要流程如图 2所示。

图  2  动态上采样模块结构

Figure 2.  Structure of the Dynamic Upsampling Filter Block

首先将多帧低分辨率多角度影像{X_t-N，X_t-N+1$\dots X_t\cdots X_{t+N}\}$输入到动态上采样滤波网络结构，假设$N=\mathrm{3}$，共输入7个角度低分辨率影像，训练好的网络结构会生成总数为$r^{\mathrm{2}}HW、$大小为$\mathrm{5}\times \mathrm{5}$的上采样滤波器，生成的滤波器与原始输入的低分辨率影像相乘得到滤波后的高分辨率影像帧${\tilde{Y}}_t$。然后利用每个像素值对应的滤波器$F_t^{y,x,v,u}$对输入的原始影像$X_t$中的低分辨率像素进行局部滤波，即可输出对应位置的高分辨率像素，具体计算如下：

式中，（x，y）表示低分辨率影像中像素的位置；（$v,u$）表示滤波器中的位置坐标。上述操作和反卷积操作类似，因此该网络框架可以实现后向传播进而实现端到端的训练。

在动态上采样滤波框架中，本文利用深层神经网络学习最佳上采样滤波器，基于给定的低分辨率遥感影像重建得到高分辨率遥感影像。根据像素偏移创建动态上采样滤波器，避免了多角度影像匹配过程。

使用动态上采样滤波器后的重建影像实际是输入像素的加权，缺乏清晰度。为了改善这种现象，本文方法的网络结构中加入了一个残差学习分支来学习影像中的高频信息。经典方法深度网络超分辨率重建方法（very deep super-resolution，VDSR）^[29]利用网络学习到的残差信息与基于双三次上采样插值的影像相加来获得最后重建的影像。与VDSR方法不同，本文方法输入的是多角度遥感影像，而VDSR输入的是单幅影像。其次，本文在网络结构中使用动态上采样滤波框架作为超分辨率重建的基准影像，相比双三次上采样插值重建的影像具有更高的精度。且本文网络结构利用残差学习获取的高频信息与动态上采样滤波模块得到的影像相加来获得最终的重建影像。因此，本文方法在顾及多角度影像角度维信息的同时得到空间清晰度较高的重建影像。

在MVSR-Net网络框架中，对原始影像进行信息提取的卷积层包含64个滤波器，其卷积核大小都为3×3。密集网络框架总共包含6个密集网络单元，每个密集网络单元依次包含一个批归一化层、一个ReLU激活层、一个$\mathrm{1}\times \mathrm{1}\times \mathrm{1}$卷积层、一个批归一化层、一个ReLU激活层及一个大小为$\mathrm{3}\times \mathrm{3}\times \mathrm{3}$的3D卷积层。在第一个密集网络模块中，共有64个1×1×1卷积层和32个3D-CNN卷积层，每个密集网络模块卷积层输出层数依次为96、128、160、192、224和256。动态上采样滤波模块以及残差影像生成模块的网络设置见图 1，输入网络的低分辨率影像的大小分别为96×96、128×128和192×192，分别对应4倍、3倍和2倍影像重建网络结构。网络训练的批处理大小设置为6，输入的影像都经过了归一化处理。

为了训练网络$G_{\theta }$，本文方法利用Huber损失作为网络稳定收敛的代价函数$L$，计算如下：

式中，$H\left({\widehat{Y}}_t,Y_t\right)$表示Huber函数；$Y_t$表示参考影像；阈值$\delta$设置为0.01。本文选择Adam优化器进行网络优化，初始的学习率设置为0.001。为了避免损失函数区域发散，每经过10次循环训练，学习率缩小10倍。

本文实验是在Linux下python设置的深度学习框架进行的，GPU采用32 GB显存NVIDIA TitanX显卡。实验使用的训练数据为SpaceNet提供的多角度遥感影像公开数据集（https://spacenet.ai/off-nadir-building-detection/），该数据集包含27个角度4通道WorldView-2影像，拍摄地点位于美国佐治亚州亚特兰大地区，该数据集按照观测角度0°~25°、26°~40°和41°~55°分为3组影像。较大的观测角度会导致目标地物发生较大的几何位移，而且对于目标中高程较大的地物，几何变形的现象更加显著。因此，为了保证网络的学习能力，实验的训练数据及测试数据选择观测角度为0°~25°的影像，图 3展示了部分样例数据。实验选取了最接近正射角度的7个角度的影像进行训练及测试，其基本信息如表 1所示。数据集中包含1 064景900×900大小的全色影像及1 064景225×225包含4个通道的多光谱影像，本文在1 064景影像随机选取181景影像，使用Gram-Schmidt融合算法将全色影像和多光谱影像进行融合，获得181景大小为900×900且包含4个通道的多光谱影像，然后将每景影像随机裁剪出50块384×384的影像，最后得到包含9 050组多角度遥感影像的数据集。

图  3  数据集中的样例数据

Figure 3.  Samples of Dataset

将准备好的数据集分别降采样2倍、3倍、4倍生成3组低分辨率多角度影像，并进行了3组模拟实验验证了MVSR-Net的有效性。

为了验证本文方法的有效性，实验中将其与双三次插值方法（Bicubic）、基于CNN网络的超分辨率重建方法（super-resolution CNN，SRCNN）^[30]、基于3D卷积的视频超分辨率重建方法（3D super-resolution net，3DSRnet）^[31]方法进行比较。其中，SRCNN方法首次将深度学习技术应用于影像超分辨率重建，SRCNN网络的输入为单框幅影像；3DSRnet方法的网络结构包含两个分支，一个分支用来学习影像的高频信息，另一个分支使用双三次插值方法获取分辨率增强后的影像，将两个分支结果相加即可获取最终超分辨率重建影像，该方法同样使用多框幅影像作为输入来获取超分辨率重建影像。此外，实验中加入了消融实验来探究动态上采样滤波模块对超分辨率重建结果的影响。本文采用峰值信噪比（peak signal-to-noise ratio，PSNR）以及结构相似性测度（structural similarity，SSIM）^[32-34]对实验结果进行定量评价。

为了验证本文提出方法的有效性，设计了3组模拟实验，分别为2倍、3倍、4倍超分辨率重建实验，输入的影像分别通过原始高分辨率多角度影像降采样2倍、3倍、4倍获得。3组模拟实验的定量评价结果如表 2所示，最优结果加粗表示，次优结果标注下划线。由表 2可知，MVSR-Net方法得到了最高的PSNR值以及SSIM值；3倍超分辨率重建实验结果中，MVSR-Net方法的PSNR值相比3DSRnet方法的PSNR值提高了0.731 0 dB；2倍超分辨率重建实验中，输入数据通过将高分辨率原始影像降采样至原始大小的1/2而得到，由于下采样倍数较小，相比3倍、4倍超分辨率重建实验，数据保留了最多的空间细节信息，MVSR-Net方法也得到了更好的结果，相比3DSR-net方法，PSNR值提高了2.688 8 dB。

图 4展示了不同方法2倍超分辨率重建实验的目视结果，由图 4可以看出，MVSR-Net方法得到了最好的重建结果；Bicubic方法和SRCNN方法没有考虑多角度影像角度维的信息，因此重建影像比较模糊，细节信息没有得到有效的恢复；3DSRnet方法在网络中考虑了影像角度维信息，在重建的定量结果以及目视结果上都有一定的改善；MVSR-Net方法加入了动态上采样滤波模块，可以更好地顾及多角度影像存在的分辨率差异以及角度变化引起的地物偏移等现象，因此得到了最好的定量评价结果以及目视结果。

图  4  超分辨率重建结果比较（重建倍数=2）

Figure 4.  Comparison of the Super-Resolution Reconstruction Results (Factor=2)

图 5展示了图 4（e）中红框区域的重建结果。从图 5中可以看出，MVSR-Net的重建结果更清晰且相对比较平滑；Bicubic、SRCNN的重建结果有较明显的马赛克效应；3DSRnet方法的重建结果有一定改善，但仍然比较模糊。

图  5  图 4（e）红框区域超分辨率重建结果局部放大图

Figure 5.  Local Amplification of Super-Resolution Reconstruction Results of the Red Box Area in Fig. 4(e)

图 6展示了不同方法3倍超分辨率重建实验的目视结果，图 7展示了图 6（e）中红框区域的重建结果，影像中的地物包含公路以及林地地区。由图 6、7可知，Bicubic方法存在严重的马赛克效应，影像的大量细节信息丢失；SRCNN方法较Bicubic方法有一定的改善，但是在影像的具体细节恢复上存在人工伪痕的问题；3DSRnet和MVSR-Net方法在影像的细节上都有一定的改善，但是MVSR-Net可以恢复更多的细节纹理信息。可见，本文提出的MVSR-Net方法无论在空间细节的恢复上还是光谱的保持上，都得到了最佳的结果

图  6  超分辨率重建结果比较（重建倍数=3）

Figure 6.  Comparison of the Super-Resolution Reconstruction Results (Factor=3)

图  7  图 6（e）红框区域超分辨率重建结果局部放大图

Figure 7.  Local Amplification of Super-Resolution Reconstruction Results of the Red Box Area in Fig. 6(e)

图 8展示了不同方法4倍超分辨率重建实验的目视结果，图 9展示了图 8（e）中红框区域的重建结果，实验数据主要是机场区域的影像。由图 8、9以及表 2可知，Bicubic方法、SRCNN方法以及3DSRnet方法都存在比较明显的细节纹理信息的模糊现象；MVSR-Net方法细节纹理信息也得到了修复，定量评价结果和目视结果最好。

图  8  超分辨率重建结果比较（重建倍数=4）

Figure 8.  Comparison of the Super-Resolution Reconstruction Results (Factor=4)

图  9  图 8（e）中超分辨率重建结果局部放大图

Figure 9.  Local Amplification of Super-Resolution Reconstruction Results of the Red Box Area in Fig. 8(e)

综上所述，本文提出的方法相比其他对比方法在细节及纹理的修复上有更好的表现力。在Bicubic方法中，影像随着放大倍数的增大愈加模糊，影像的细节纹理信息重建都受到较大影响；SRCNN方法在目视结果上较Bicubic方法有提升，说明基于深度学习的SRCNN网络对于高分辨率遥感影像的超分辨率重建有一定的效果；3DSRnet方法由于加入了多角度影像角度维信息，与SRCNN方法及Bicubic方法相比，重建结果在细节上得到了改善。虽然3DSRnet网络使用3D-CNN对多角度影像信息进行了融合，但3DSRnet没有顾及由于观测角度变化而引起的影像地物位移、变形等问题。而本文方法相比3DSRnet方法进一步改进了影像高频信息提取的网络结构，并且针对不同角度影像间存在的地物偏移等现象在网络中加入了动态上采样滤波模块，因此MVSR-Net可以有效利用多角度影像空间维信息以及角度维信息，进而在细节信息纹理信息的重建上有较大提升。实验通过3组不同重建倍数的超分辨率重建实验证明该网络可以有效提升多角度遥感影像的分辨率，并且得到较好的目视结果和定量评价结果。

为了验证MVSR-Net网络的泛化性，本文使用另一套多角度遥感影像数据对MVSR-Net网络的性能进行测试。真实实验中同样设计了3组放大倍数，分别为2倍、3倍和4倍超分辨率重建。真实实验的数据选自2012年数据融合大赛中提供的WorldView-2多角度遥感影像^[33]，该数据包含巴西里约热内卢地区5个角度观测影像，分别为45.3°、34°、8.6°、-30.2°和-45.4°观测影像，其中观测角度绝对值越小，意味着越接近正射影像。本文从该数据分别裁取了大小为192×192、128×128和96×96的3幅子影像，分别使用Bicubic、SRCNN、3DSRnet和MVSR-Net网络对其进行超分辨率重建，并进行了定性及定量分析。实验中的网络设置与模拟实验中网络设置保持一致。定量评价指标选取无参考锐化因子（cumulative probability of blur detection，CPBD）^[34]来评价真实实验的重建结果，CPBD指标通常用来衡量重建影像的清晰度。不同倍数重建影像的结果如图 10所示，为了增加影像对比度，本文选取影像的近红外波段、红波段与绿波段来显示重建结果。定量评价结果如表 3所示，表中最优结果加粗表示，次优结果标注下划线。

图  10  真实实验超分辨率重建结果比较

Figure 10.  Comparison of the Super-Resolution Reconstruction Results in Real Experiment

图 10（a）为4种方法的2倍超分辨率重建结果。从图 10（a）中可以看出，影像的细节信息都得到了较好的保留；SRCNN方法和3DSRnet方法存在不同程度的光谱畸变效应；MVSR-Net方法保留了纹理细节的同时较好地重建了光谱信息。图 10（b）为3倍超分辨率重建结果，覆盖区域为机场部分影像。由图 10（b）可知，3DSRnet方法的重建结果出现了人工伪痕现象。图 10（c）为4倍超分辨率重建结果，由图 10（c）可知，SRCNN方法出现了一定程度的光谱畸变效应；MVSR-Net方法在地物标志细节的恢复上有一定程度的模糊。结合表 3可知，MVSR-Net方法在2倍重建和3倍重建上都表现出了相对较好的结果，而在4倍重建结果上3DSRnet方法表现更佳。综上所述，MVSR-Net方法总体上可以更有效地保留影像重建的细节，并较好地保留影像的光谱信息，而3DSRnet方法在光谱信息的保持上存在较大问题。

为了进一步说明MVSR-Net方法的有效性，本文设计了消融实验对MVSR-Net网络结构中的动态上采样模块进行测试。将MVSR-Net的动态上采样模块去掉，使用3DSRnet中的双三次插值进行了替换，残差学习的部分仍保留在网络中，重建倍数设定为2倍。消融实验的定量评价结果如表 4所示，由表 4可知，加入了动态上采样模块的网络比未加入动态上采样模块的网络得到了更高的PSNR值以及SSIM值。图 11展示了实验的目视结果，由图 11可知，加入动态上采样滤波模块的结果有更清晰的细节信息。综上可知，加入动态上采样滤波模块的网络可以更好地融合多角度影像信息，从而得到更好的超分辨率重建结果。

图  11  消融实验对比结果

Figure 11.  Comparison of the Ablation Experiment Results

为了更好地探究实验中多角度影像观测角度数目对于模型以及实验结果的影响，本文设置了模拟实验来比较多角度遥感影像观测角度数目对于实验的影响。在该模拟实验中，实验数据集同样为WorldView-2亚特兰大地区多角度观测影像。实验数据中训练数据和测试数据的数量与§2.1中数据的设置相同，输入数据角度数量分别为3个角度、5个角度和7个角度的多角度遥感影像，输入数据大小分别为30×30、40×40、60×60，对应4倍、3倍和2倍超分重建网络结构。MVSR-Net网络的配置与§1.4中的网络配置相同，批处理数量设置为12。3组实验的定量评价结果如表 5所示。

由表 5可知，随着参与训练的角度数目的增加，2倍、3倍以及4倍重建定量评价结果都呈现出增加的趋势。由此可知，参加训练的多角度影像观测角度越多，得到的重建结果越好。

三维卷积可以有效提取数据角度维和时间维的特征，然而三维卷积大大增加了网络的参数量以及运算负担。文献[35]针对三维卷积计算效率低下的问题提出了快速时空三维卷积，并将该改进模块应用于视频超分辨率重建中。为了进一步提升网络效率，本文对动态上采样超分辨率重建网络中的三维卷积模块进行了改进，并将快速时空三维卷积引入网络，将网络中的三维卷积替换为快速时空三维卷积。改进后的快速时空卷积如图 12所示。由图 12可知，原本的$k\times k\times k$三维卷积由串联的$\mathrm{1}\times k\times k$卷积和$k\times \mathrm{1}\times \mathrm{1}$卷积所替代。改进后的三维卷积计算量大幅下降，并且很大程度降低了MVSR-Net网络的参数量。改进三维卷积的MVSR-Net网络的参数量以及每秒所执行的浮点运算次数（floating-point operations per second，，FLOPs）见表 6。由表 6可知，网络参数量得到了25.13%的改进，FLOPs得到了30.48%的改进。

图  12  快速时空卷积

Figure 12.  Fast Spatiotemporal Convolution

本文提出了一种面向多角度遥感影像的基于深度学习框架的端到端超分辨率重建方法。该方法的网络结构通过两个分支网络提取影像的高频信息并获取重建影像。本文提出的方法通过WorldView-2美国亚特兰大地区和巴西里约热内卢地区多角度遥感影像数据集得到了验证。

通过模拟实验和真实实验证明，MVSR-Net可以得到精度较高的超分辨重建结果。通过消融实验、角度数目对比实验可以得到以下结论：（1）在网络结构中加入动态上采样滤波模块可以进一步提高超分辨率重建精度；（2）增加多角度遥感影像观测角度数目可以提高重建结果精度；（3）将网络中3D卷积替换为快速时空卷积也可以降低网络参数量并提高运算效率。后续研究中，将进一步提高算法的泛化能力和效率，并且能够融合更多角度的信息。