Scene Recognition of Remotely Sensed Images Based on Bayes Adjoint Batch Normalization
-
摘要: 归一化(Normalization)方法作为特征预处理的关键部分，在浅学习和深度学习中都是至关重要的。针对批次归一化方法中存在对批次样本容量依赖较大的问题，当前的优化思路主要是从样本信息的其它维度(比如：通道、层、时间等)来弥补批次样本容量较小的不足。本文从贝叶斯理论的角度出发，通过将总体信息、先验信息和样本信息科学、合理地融合方式，来弥补批次样本容量不足的缺陷，从而可以更加准确地估计样本均值和样本方差，使得归一化后的特征地落入最佳的非饱和区域，以便更好地反应整个特征空间的原始表征，进而深度学习模型可以达到最佳的特征表达能力。实验与分析表明：本文提出的贝叶斯共轭批次归一化方法(BABN)是可行、有效的，在NWPU-RESISC45数据集上，其分类精度比批次归一化方法(BN)要高5.64%。而且，得益于总体信息和先验信息的帮助，BABN受批次样本容量的影响较小。Abstract: Objective: Normalization methods plays an important role in feature preprocessing phase not only in conventional machine learning domain but also in contemporary deep learning domain. Batch Normalization (BN) is very successful, but its performance very depends on the sample size. Therefore, many researchers try to improve it when the sample size is inadequate through adding the sample size merely in the sample information space. Methods: This paper utilizes Bayes theory to integrate general information, prior information and sample information, to offset the inadequate sample information. In this way, it is able to estimate sample mean and sample variance more precisely and more robust especially when the sample size is small, and makes the normalized feature better fall into non- saturating region of activation function, which enables deep learning model to better describe original feature space. Results: The top-1 test classification accuracy in the dataset of NWPU-RESISC45 has been improved by 5.64% than BN. Moreover, with the help of general information and prior information, the proposed method(BABN) is not sensitive to the sample size. Conclusions: The experiment results show that the proposed method (Bayes Adjoint Batch Normalization, BABN) is feasible and effective, and the new method performs better in the remotely sensed image scene recognition than Batch Normalization (BN) method and other variants.
-
Keywords:
- scene recognition /
- remotely sensed image /
- normalization /
- Bayes /
- Adjoint
-
火星是人类深空探测器到访最多的行星。火星快车(Mars Express，MEX)是欧空局(European Space Agency，ESA)的首颗火星探测器[1]，在轨运行期间传回的大量火星地表影像等资料表明，火星大气层内存在甲烷[2]，火星南极冠存在水冰。MEX还多次飞越火卫一(Phobos)，测量了其质量和低阶重力场等[3]。国内外开发了许多火星探测器定轨软件[4-6]，如武汉大学深空探测器精密定轨与重力场解算软件系统中的火星重力场解算和分析系统模块(Mars Gravity Recovery and Analysis Software/System，MAGREAS)对MEX的定轨结果已经达到了比利时皇家天文台发布的精密星历的精度水平[7-8]，本文将选用MAGREAS作为MEX的定轨软件。
目前定轨大多采用原始数据，其中含有较强的噪声，严重影响定轨的精度。噪声也是影响各类接收机性能的主要因素之一[9]。噪声可以分为热噪声、散弹噪声和闪烁噪声。热噪声是电子设备中一种十分常见的白噪声[10]，也是本文主要考虑消除的噪声成分。深空通讯设备中的热噪声主要来源于地面发射器/接收机和星载转发器。由MEX 1 s采样间隔获取的X波段原始数据提取出的航天器速度的噪声为0.05~0.37 mm/s，具体值取决于太阳-火星-地球的夹角，平均为0.13 mm/s[3]。为达到更好的定轨效果，有研究者采用滤波器处理原始数据，提高数据信噪比。Andert采用Kaiser窗低通滤波器处理了MEX 2006年3月和2008年7月两次飞掠Phobos的频率数据，结果表明，两次飞掠Phobos的频率数据的残差标准差分别从6.56 mHz减少至1.71 mHz、从7.32 mHz减少至1.97 mHz[11]。为了除去原位相位特征的影响，并精确保留月球重力场的信息，Liu等利用Kaiser窗设计了一个低通滤波器, 对日本“月亮女神”月球探测器的两颗子卫星的原始多普勒数据进行滤波处理[12]。滤波后，Vstar的双程多普勒测量残差均方根(root mean square, RMS)从0.355 Hz减小到0.001 6 Hz; Rstar的双程多普勒测量残差RMS从0.293 Hz减小到0.002 1 Hz，四程(Rstar-主卫星)多普勒测量残差RMS从1.028 Hz减小到0.025 Hz。
基于零相位分析，本文比较了FRR(forward-filter reverse-filter reverse-output)、RRF(reverse-filter reverse-filter forward-output)和Matlab中的filtfilt这3种滤波器的优劣，并设计了一种有效的零相位Kaiser窗低通滤波器。
1 零相位滤波算法
1.1 滤波器的基本概念
滤波器的传递函数H(ejω)可以用极坐标表示为:
$$ H({{\rm{e}}^{j\omega }}) = \left| {H\left( \omega \right)} \right|\cdot{{\rm{e}}^{j\varphi (\omega )}} $$ (1) 式中，|H(ω)|、φ(ω)分别为滤波器的振幅响应和相位响应, 计算公式分别为:
$$ \left| {H\left( \omega \right)} \right| = \sqrt {{\rm{R}}{{\rm{e}}^2}\left[ {H({{\rm{e}}^{j\omega }})} \right] + {\rm{I}}{{\rm{m}}^2}[H({{\rm{e}}^{j\omega }})]} $$ (2) $$ \varphi \left( \omega \right) = {\rm{arctan}}\frac{{{\rm{Im}}[H({{\rm{e}}^{j\omega }})]}}{{{\rm{Re}}[H({{\rm{e}}^{j\omega }})]}} $$ (3) 式中，Re(·)为函数实部；Im(·)为函数虚部；j为虚数单位；ω为数字频率。
根据滤波器的幅度响应，可以将滤波器分为低通、高通、通带和阻带4类滤波器[13]，图 1为不同类型滤波器的理想幅度响应。
图 1所示的滤波器幅度响应是一种理想状态，在现实中不可能实现，只能尽可能地逼近这种状态。在逼近的过程中，滤波器的不同性能指标通常不可能同时达到最优。因此在设计滤波器时，一般根据实际需要，允许滤波器在通带和阻带内与理想状态有一定的偏差，通带与阻带之间也允许有一个过渡带。以低通滤波器为例，滤波器的实际幅频特性如图 2所示。
图 2中，δp、δs分别称为通带波纹和阻带波纹；ωp、ωs分别称为通带截止频率和阻带截止频率；Δω=ωs-ωp称为过渡带。
设计滤波器时，一般情况下，振幅特性由给定的通带和阻带衰减确定，衰减A(ω)用反映功率增益的幅度平方函数(或称作模平方函数)|H(ω)|2来定义:
$$ A\left( \omega \right) = - 10{\rm{lg}}{\left| {H\left( \omega \right)} \right|^2} = - 20{\rm{lg}}\left| {H\left( \omega \right)} \right| $$ (4) 所以通带衰减Ap和阻带衰减As可以表示为:
$$ {A_p} = - 20{\rm{lg}}(1 - {\delta _p}) $$ (5) $$ {A_s} = - 20{\rm{lg}}{\delta _s} $$ (6) 1.2 零相位滤波
一个信号经过一个滤波器系统后，会将信号每个频率分量的振幅乘上系统振幅响应的模，以改变信号不同频率成分的能量，实现噪声的滤除。滤波器系统在改变信号幅频性质的同时也会在原信号相位上附加一个相位，称为系统的相移。如果这种相位的改变不是所预期的，就会造成相位的失真，影响数据质量[14]。
对多普勒数据进行滤波时不希望相位发生变化，零相位滤波器具有零相位系统特性，可以获得精确零相位失真的信号[15]。零相位滤波可以采用FRR滤波方法，首先将输入序列按顺序滤波，然后将得到的结果逆转后再滤波，最后将所得结果逆转后输出，即可得到精确零相位失真的序列。
FRR滤波的时域描述可以表示为:
$$ \left\{ \begin{array}{l} {y_1}\left( n \right) = x\left( n \right)\cdot h\left( n \right)\\ {y_2}\left( n \right) = {y_1}({L_1} - n + 1)\\ {y_3}\left( n \right) = {y_2}\left( n \right)\cdot h\left( n \right)\\ {y_4}\left( n \right) = {y_3}({L_1} - n + 1) \end{array} \right. $$ (7) 式中，L1为序列长度；n∈[1, L1]；x(n)表示输入序列；h(n)表示数据滤波器冲击响应序列；y(n)表示滤波或者序列逆转后的结果。
FRR滤波的频率描述即为式(7)相应的频域表示:
$$ \left\{ \begin{array}{l} {Y_1}({{\rm{e}}^{j\omega }}) = X({{\rm{e}}^{j\omega }})\cdot H({{\rm{e}}^{j\omega }})\\ {Y_2}({{\rm{e}}^{j\omega }}) = {{\rm{e}}^{ - j\omega (N + 1)}}\cdot{Y_1}({{\rm{e}}^{ - j\omega }})\\ {Y_3}({{\rm{e}}^{j\omega }}) = {Y_2}({{\rm{e}}^{j\omega }})\cdot H({{\rm{e}}^{j\omega }})\\ {Y_4}({{\rm{e}}^{j\omega }}) = {{\rm{e}}^{ - j\omega (N + 1)}}\cdot{Y_3}({{\rm{e}}^{ - j\omega }}) \end{array} \right. $$ (8) 式中，X(ejω)是x(n)的频率描述；Y(ejω)是y(n)的频率描述。由式(8)可得:
$$ Y({{\rm{e}}^{j\omega }}) = X({{\rm{e}}^{j\omega }})\cdot{\left| {H({{\rm{e}}^{j\omega }})} \right|^2} $$ (9) 由式(9)可知，输出Y(ejω)与输入X(ejω)之间不存在附加相位，FRR滤波实现了精确零相位失真。
Matlab软件中提供了一种零相位滤波的函数filtfilt，其本质上也是FRR滤波，但为了减小数字滤波都会遇到的边界效应问题，filtfilt函数在进行滤波前，在数据首尾两个方向上各进行了与滤波器节数相同的延拓[16]。设原数据为x(n)，数据量大小为L2，滤波器节数为M，则拓展后的数据用Matlab语言可表达为:
$$ \begin{array}{l} \left[ {2\cdot x\left( 1 \right) - x\left( {M + 1: - 1:2} \right);x;} \right.\\ \left. {2\cdot x({L_2}) - x({L_2} - 1: - 1:{L_2} - M)} \right] \end{array} $$ 图 3为使用常规滤波方法和3种零相位滤波方法对某一固定周期的正弦信号进行滤波处理的结果，正弦信号的表达式为:x(t)=3sin(2π·2 000·t)，采样频率为10 000 Hz，采样时间为0.025 s，滤波器设计为全通滤波器。从图 3可以看出，常规滤波与理论值存在一定的相位偏移，而FRR、RRF和filtfilt滤波与理论值相位保持一致，但FRR和RRF方法存在较明显的边界效应问题，在数据两端出现异常扰动。鉴于filtfilt函数的零相位滤波性能和对于边界效应的改善效果较好，本文将采用此方法进行零相位滤波。
![]()
图 3 使用各种滤波方法处理正弦信号Figure 3. Using Different Filtering Methods to Process a Sinusoidal Signal2 Kaiser窗低通滤波器
本文需要一个低通滤波器滤除原始信号中的高频热噪声，提高信号的信噪比，以期改善定轨精度。常见的数字滤波器分为两种:无限脉冲响应(infinite impulse response，IIR)数字滤波器和有限脉冲响应(finite impulse response，FIR)数字滤波器。考虑到FIR数字滤波器能做到严格线性相位，且在滤波实现时可以采用快速傅里叶变换，因此本文使用窗函数法设计了一种低通FIR数字滤波器。
常见的窗函数有三角形窗、Hanning窗、Hamming窗、Blackman窗和Kaiser窗等。由于Kaiser窗具有可调性(即可选择不同参数α以适应各种不同需要)，所以选用适应性较大的Kaiser窗作为低通滤波器的窗函数[17-19]。Kaiser窗的定义为:
$$ \omega \left( n \right) = \frac{{{I_0}\left( {\alpha \sqrt {1 - {{\left( {1 - \frac{{2n}}{{N - 1}}} \right)}^2}} } \right)}}{{{I_0}\left( \alpha \right)}} $$ (10) 式中，α为Kaiser窗参数；N为滤波器节数；n∈[0, N-1];I0(·)是第一类修正零阶贝塞尔函数。I0(x)可用下述级数来计算:
$$ {I_0}\left( x \right) = 1 + {\sum\limits_{k = 1}^\infty {\left[ {\frac{1}{{k!}}{{\left( {\frac{x}{2}} \right)}^k}} \right]} ^2} $$ (11) α是一个可调的参数，与主瓣宽度和旁瓣衰减有关。一般来说，α越大，过渡带越宽，阻带越小，衰减越大。图 4为不同α值对应的Kaiser窗的形状。若阻带最小衰减表示为As=-20lgδs，则α的确定可采用经验公式:
$$ \alpha = \left\{ \begin{array}{l} 0, {A_s} \le 21\\ 0.5842{\left( {{A_s} - 21} \right)^{0.4}} + 0.07886\left( {{A_s} - 21} \right), \\ 21 < {A_s} \le 50\\ 0.1102\left( {{A_s} - 8.7} \right), {A_s} > 50 \end{array} \right. $$ (12) 若滤波器通带和阻带波纹相等，即δp=δs时，则滤波器的节数N可以通过式(13)确定:
$$ N \approx \frac{{ - 20{\rm{lg}}{\delta _p} - 7.95}}{{\frac{{14.36\Delta \omega }}{{2{\rm{ \mathsf{ π} }}}}}} = \frac{{{A_s} - 7.95}}{{\frac{{14.36\Delta \omega }}{{2{\rm{ \mathsf{ π} }}}}}} $$ (13) Kaiser窗低通滤波器最基本的参数是截断频率ωc、滤波器节数N和Kaiser窗参数α。但在实际设计滤波器时，Kaiser窗参数α不够直观，通常选用滤波器衰减As，且As和α可通过式(12)转换。
3 数据处理与分析
3.1 仿真实验
为了验证零相位Kaiser窗滤波器滤除MEX多普勒数据噪声后对定轨的改善效果，本文首先进行仿真实验。使用MAGREAS对2010-06-26 T07:17:21至T12:06:09时段内的MEX双程多普勒测量过程进行模拟，得到精确的频率数据Data1(数据量为17 329，采样间隔为1 s)。在Data1上混入均值为0、方差为0.005 6 Hz的白噪数据(Data_noise)，得到仿真数据Data2。将Data_noise通过零相位Kaiser窗低通滤波器(截断频率ωc=0.01 Hz，滤波器节数N=5 775，滤波器衰减As=-28.90 dB，滤波器最优参数通过反复测试得到)后叠加到Data1上得到Data3，将Data3作为仿真数据Data2滤除白噪后的结果。利用MAGREAS软件对模拟数据进行定轨，并对初轨在X、Y、Z方向各添加100 m的偏移。表 1为利用仿真数据(Data2和Data3)定轨后对初轨的修正结果。
表 1 仿真数据定轨对初轨的修正结果Table 1. Correction Results of Initial Orbit Using the Simulated Data仿真定轨数据 测速残差RMS
/(mm·s-1)定轨误差
/mΔX=-14.036 滤波前数据Data2 0.107 ΔY=-30.058 ΔZ=-25.156 ΔX=-4.594 滤波后数据Data3 0.038 ΔY=-10.406 ΔZ=-8.592 从表 1中可以看出，滤波后的数据比滤波前的数据所确定的轨道更为精确，双程多普勒测速残差RMS从0.107 mm/s减少至0.038 mm/s，定轨误差在X、Y、Z方向上也减小为原来的1/3左右。
3.2 MEX实测数据分析
通过仿真数据的测试可以初步确定，零相位Kaiser窗滤波器滤除多普勒数据中的噪声后，明显改善了定轨精度。为验证Kaiser窗滤波器在实际应用中的效果，选择MEX 2010-06-26 T07:17:21至T12:06:09弧段的多普勒实测数据进行测试。在该弧段内，数据按1 s间隔连续采样，数据量为17 329，数据文件为ESA 2010-06-26 MEX观测文件。滤波器的输入为残余频率，是观测数据和预测数据的差值; 滤波后的值叠加到预测数据上作为观测数据滤除白噪声后的结果。零相位Kaiser窗低通滤波器的参数设置为:截断频率ωc=0.002 5 Hz，滤波器节数N=5 774，滤波器衰减As=-100 dB，滤波器的最优参数通过反复测试得到。图 5为实测数据滤波前后的波形，是定轨之前的情况。图 6和图 7分别为利用原始数据和滤波后数据解算的轨道外推3 h后与ESA精密轨道在径向(R)、切向(T)和法向(N)3个方向上的差异。表 2为利用滤波前后数据解算的轨道对精密初轨的修正结果。其中，VX、VY、VZ分别表示航天器的初始速度在X、Y、Z方向上的分量；ΔVX、ΔVY、ΔVZ分别是对应的速度差。
![]()
图 5 残余频率滤波前后的波形Figure 5. Waveforms of Residual Calibrated X-band Frequency Shift Before and After Filtering![]()
图 6 原始数据解算的轨道外推3 h后与ESA精密轨道之差Figure 6. Differences Between the ESA Reconstructed Orbit and the Reconstructed Orbit of Original Data After 3 h Prediction![]()
图 7 滤波后数据解算的轨道外推3 h后与ESA精密轨道之差Figure 7. Differences Between the ESA Reconstructed Orbit and the Reconstructed Orbit of Filtered Data After 3 h Prediction表 2 实测数据定轨对精密初轨的修正结果Table 2. Correction Results of Precise Orbit Using the Measured DataMEX实测
定轨数据MAGREAS 测速残差RMS
/(mm·s-1)初轨修正结果 原始数据 0.107 ΔX=-62.761 m ΔY=-138.464 m ΔZ=-114.972 m ΔVX =-3.010 mm/s ΔVY= 12.698 mm/s ΔVZ=-44.553 mm/s 滤波后数据 0.031 ΔX=-3.260 m ΔY=-8.124 m ΔZ=-6.726 m ΔVX=-0.222 mm/s ΔVY= 0.859 mm/s ΔVZ=-2.145 mm/s 对比定轨结果发现，滤除实测数据中的白噪声后，定轨的改善效果明显。与仿真分析情况类似，双程多普勒测速残差RMS从0.107 mm/s减少至0.031 mm/s，本弧段的轨道位置和速度与ESA精密轨道的差异也明显变小。
由图 6和图 7可以看出，利用滤波后数据解算的轨道与ESA精密轨道的差异要明显小于原始数据的差异。图 6中原始数据对应的位置差异沿切向最大约为300 m，而图 7中滤波后数据对应的位置差异沿切向最大仅为50 m左右。此外，滤波后数据对应的速度差异也明显小于原始数据对应的速度差异。这一结果与表 2中给出的两种数据的测量精度相一致。
4 结语
通过仿真数据和实测数据的测试可以确定，零相位Kaiser窗低通滤波器滤除MEX多普勒频率数据中的白噪声后，对定轨精度有很大的改善。滤波后，双程测速数据残差RMS达到了0.031 mm/s，减小为原来的1/3左右；轨道位置和速度与ESA精密轨道的差异也明显变小。该滤波算法作为定轨前的数据预处理可以提高定轨的精度，从而为中国火星探测器的轨道数据处理提供一定的参考。
-
[1] . ZHANG Yongjun, WAN Yi, SHI Wenzhong, ZHANG Zuxun, LI Yansheng, JI Shunping, GUO Haoyu, LI Li. Technical framework and preliminary practices of photogrammetric remote sensing intelligent processing of multi-source satellite images[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8):1068-1083.(张永军, 万一, 史文中, 张祖勋, 李彦胜, 季顺平, 郭浩宇, 李礼. 多源卫星影像的摄影测量遥感智能处理技术框架与初步实践[J]. 测绘学报, 2021, 50(8):1068-1083.) [2] . SHI Wenzhong, ZHANG Min. Artificial intelligence for reliable object recognition from remotely sensed data:overall framework design, review and prospect[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8):1049-1058.(史文中, 张敏. 人工智能用于遥感目标可靠性识别:总体框架设计、现状分析及展望[J]. 测绘学报, 2021, 50(8):1049-1058.) [3] . SHAO Zhenfeng, SUN Yueming, XI Jiangbo, LI Yan. Intelligent Optimization Learning for Semantic Segmentation of High Spatial Resolution Remote Sensing Images[J]. Geomatics and Information Science of Wuhan University, 2022, 47(2):234-241. doi:10.13203/j.whugis20200640.(邵振峰, 孙悦鸣, 席江波, 李岩. 智能优化学习的高空间分辨率遥感影像语义分割[J]. 武汉大学学报(信息科学版), 2022, 47(2):234-241. doi:10.13203/j.whugis20200640) [4] . GONG Jianya, ZHANG Zhan, JIA Haowei, ZHOU Huan, ZHAO Yuanxin, XIONG Hanjiang. Multi-source Data Ground Object Extraction Based on Knowledge-Aware and Multiscale Feature Fusion Network[J]. Geomatics and Information Science of Wuhan University, 2022, 47(10):1546-1554. doi:10.13203/j.whugis20220580.(龚健雅, 张展, 贾浩巍, 周桓, 赵元昕, 熊汉江. 面向多源数据地物提取的遥感知识感知与多尺度特征融合网络[J]. 武汉大学学报(信息科学版), 2022, 47(10):1546-1554. doi:10.13203/j.whugis20220580) [5] . YU Xin, ZHENG Zhaobao, LI Linyi. Oblique Factor Model for Selecting Training Samples[J]. Geomatics and Information Science of Wuhan University, 2022, 47(11):1870-1877. doi:10.13203/j.whugis20200631.(虞欣, 郑肇葆, 李林宜. 适用于训练样本选择的斜交因子模 型研 究[J]. 武汉 大学 学报(信息 科学 版), 2022, 47(11):1870-1877. doi:10.13203/j.whugis20200631) [6] . CHEN Lifu, LONG Fengqi, LI Zhenhong, YUAN Zhihui, ZHU Wu, CAI Xingmin. Multi-level Feature Attention Fusion Network for Water Extraction from Multi-source SAR Images[J]. Geomatics and Information Science of Wuhan University. doi:10.13203/j.whugis20230041. (陈立福, 龙凤琪, 李振洪, 袁志辉, 朱武, 蔡兴敏. 面向多源 SAR图像的多级特征注意力水体提取网络[J]. 武汉大学学报(信息科学版). doi:10.13203/j.whugis20230041) [7] . LI Yansheng, ZHANG Yongjun. A New Paradigm of Remote Sensing Image Interpretation by Coupling Knowledge Graph and Deep Learning[J]. Geomatics and Information Science of Wuhan University, 2022, 47(8):1176-1190. doi:10.13203/j.whugis20210652.(李彦胜, 张永军. 耦合知识图谱和深度学习的新一代遥感影像解译范式[J]. 武汉大学学报(信息科学版), 2022, 47(8):1176-1190. doi:10.13203/j.whugis20210652) [8] . LIU Jianwei, ZHAO Huidan, LUO Xionglin, et al. Research progress on batch normalization of deep learning and its related algorithms. Acta Automatica Sinica, 2020, 46(6):1090-1120 doi:10.16383/j.aas.c180564.(刘建伟, 赵会丹, 罗雄麟,等. 深度学习批归一化及其相关算法研究进展[J]. 自动化学报, 2020, 46(6):31.) [9] . Krizhevsky A, Sutskever I, Hinton G. ImageNet Classification with Deep Convolutional Neural Networks[J]. Advances in neural information processing systems, 2012, 25(2).
[10] . Carandini M, Heeger D J. Normalization as a canonical neural computation[J]. Nature Reviews Neuroscience, 2012, 13(1):51-62.
[11] . Heeger D J. Normalization of cell responses in cat striate cortex[J]. Visual neuroscience, 1992, 9(2):181-197.
[12] . Sergey Ioffe and Christian Szegedy. Batch normalization:Accelerating deep network training by reducing internal covariate shift. In International Conference on Machine Learning, pages 448-456, 2015.
[13] . Peng C, Xiao T, Li Z, et al. Megdet:A large mini-batch object detector[C]//Proceedings of the IEEE conference on Computer Vision and Pattern Recognition. 2018:6181-6189.
[14] . Yuxin Wu and Kaiming He. Group normalization. In Proceedings of the European Conference on Computer Vision (ECCV), pages 3-19, 2018.
[15] . K. He, X. Zhang, S. Ren, and J. Sun. Delving deep into rectifiers:Surpassing human-level performance on imagenet classification. In ICCV, 2015.
[16] . Gong Cheng, Junwei Han, Xiaoqiang Lu. Remote Sensing Image Scene Classification:Benchmark and State of the Art. Proceedings of the IEEE, 105(10):1865-1883, 2017.
[17] . Guangrun Wang, Ping Luo, Xinjiang Wang, Liang Lin, et al. Kalman normalization:Normalizing internal representations across network layers. In Advances in Neural Information Processing Systems, pages 21-31, 2018.
[18] . Dmitry Ulyanov, Andrea Vedaldi, and Victor Lempitsky. Instance normalization:The missing ingredient for fast stylization. arXiv preprint arXiv:1607.08022, 2016
[19] . Jimmy Lei Ba, Jamie Ryan Kiros, and Geoffrey E Hinton. Layer normalization. arXiv preprint arXiv:1607.06450, 2016.
[20] . Shao W, Meng T, Li J, et al. Ssn:Learning sparse switchable normalization via sparsestmax[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019:443-451.
[21] . Li B, Wu F, Weinberger K Q, et al. Positional normalization[J]. Advances in Neural Information Processing Systems, 2019, 32.
[22] . Yao Z, Cao Y, Zheng S, et al. Cross-Iteration Batch Normalization[J]. CVPR 2021.
[23] . Singh S, Krishnan S. Filter Response Normalization Layer:Eliminating Batch Dependence in the Training of Deep Neural Networks[C]//2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). IEEE, 2020.
[24] . Sergey Ioffe. Batch renormalization:Towards reducing minibatch dependence in batchnormalized models. In Advances in Neural Information Processing Systems, pages 1945-1953, 2017
[25] . Hyeonseob Nam and Hyo-Eun Kim. Batch-instance normalization for adaptively styleinvariant neural networks. In Advances in Neural Information Processing Systems, pages 2563-2572, 2018.
[26] . Siyuan Qiao, Huiyu Wang, Chenxi Liu, Wei Shen, and Alan Yuille. Weight standardization. arXiv preprint arXiv:1903.10520, 2019.
[27] . S. Gross and M.Wilber. Training and investigating Residual Nets. https://github.com/facebook/fb.resnet.torch,2016.
[28] . C. Szegedy, W. Liu, Y. Jia, P. Sermanet, S. Reed, D. Anguelov, D. Erhan, V. Vanhoucke, and A. Rabinovich. Going deeper with convolutions. In CVPR, 2015.
[29] . Xiao-Yun Zhou, Jiacheng Sun, Nanyang Ye, Xu Lan, Qijun Luo, Bo-Lin Lai, Pedro Esperanca, Guang-Zhong Yang, and Zhenguo Li. Batch group normalization. arXiv preprintarXiv:2012.02782, 2020.
[30] . Huang L, Yang D, Lang B, et al. Decorrelated batch normalization[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2018:791-800.
[31] . De Vries H, Strub F, Mary J, et al. Modulating early visual processing by language[J]. Advances in Neural Information Processing Systems, 2017, 30.
[32] . Singh S, Shrivastava A. Evalnorm:Estimating batch normalization statistics for evaluation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. 2019:3633-3641.
[33] . Jia S, Chen D J, Chen H T. Instance-level meta normalization[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2019:4865-4873.
[34] . Gülçehre Ç, Bengio Y. Knowledge matters:Importance of prior information for optimization[J]. The Journal of Machine Learning Research, 2016, 17(1):226-257.
[35] . Arpit D, Zhou Y, Kota B, et al. Normalization propagation:A parametric technique for removing internal covariate shift in deep networks[C]//International Conference on Machine Learning. PMLR, 2016:1168-1176.
[36] . Ren M, Liao R, Urtasun R, et al. Normalizing the normalizers:Comparing and extending network normalization schemes[J]. arXiv preprint arXiv:1611.04520, 2016.
[37] . Gong X, Chen W, Chen T, et al. Sandwich Batch Normalization:A Drop-In Replacement for Feature Distribution Heterogeneity[C]//Proceedings of the IEEE/CVF Winter Conference on Applications of Computer Vision. 2022:2494-2504.
[38] . Miyato T, Kataoka T, Koyama M, et al. Spectral normalization for generative adversarial networks[J]. arXiv preprint arXiv:1802.05957, 2018.
[39] . Liao Q, Kawaguchi K, Poggio T. Streaming normalization:Towards simpler and more biologically-plausible normalizations for online and recurrent learning[J]. arXiv preprint arXiv:1610.06160, 2016.
[40] . Luo P, Peng Z, Ren J, et al. Do normalization layers in a deep ConvNet really need to be distinct?[J]. arXiv preprint arXiv:1811.07727, 2018.
[41] . Salimans T, Kingma D P. Weight normalization:A simple reparameterization to accelerate training of deep neural networks[J]. Advances in neural information processing systems, 2016, 29.
[42] . China Statistics Press. 2012.9(峁诗松著. 贝叶斯统计(第2版). 中国统计出版社. 2012.9) . Shisong Mao. Bayesian Statistics (second edition)
[43] . FENG Quanlong, CHEN Boan, LI Guoqing, YAO Xiaochuang, GAO Bingbo and ZHANG Lianchong. 2022. A review for sample datasets of remote sensing imagery. National Remote Sensing Bulletin, 26(4):589-605.(冯权泷,陈泊安,李国庆,姚晓闯,高秉博,张连翀. 遥感影像样本数据集研究综述[J]. 遥感学报,2022,26(04):589-605.) [44] . GONG Jianya, XU Yue, HU Xiangyun, JIANG Liangcun, ZHANG Mi. Status analysis and research of sample database for intelligent interpretation of remote sensing image[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8):1013-1022.(龚健雅, 许越, 胡翔云, 姜良存, 张觅. 遥感影像智能解译样本库现状与研究[J]. 测绘学报, 2021, 50(8):1013-1022.) [45] . ZHONG Shouyi,XIAO Qing,WEN Jianguang,ZHENG Xingming,MA Mingguo,QU Yonghua,ZHENG Ke,CHI Tianhe,TANG Yong,YOU Dongqin,et al. 2020. Design and realization of ground object background spectral library for surveying and mapping. Journal of Remote Sensing(Chinese), 24(6):701-716.(钟守熠,肖青,闻建光,郑兴明,马明国,屈永华,郑柯,池天河,唐勇,游冬琴,郝大磊,程娟,贺敏,姜涛,晋锐,姚晓婧,赵理君.2020.测绘地物波谱本底数据库.遥感学报,24(6):701-716.) [46] . Xia G S, Hu J W, Hu F, Shi B G, Bai X, Zhong Y F, Zhang L P and Lu X Q. 2017. AID:a benchmark data set for performance evaluation of aerial scene classification. IEEE Transactions on Geoscience and Remote Sensing, 55(7):3965-3981[DOI: 10.1109/tgrs.2017.2685945]
[47] . Helber P, Bischke B, Dengel A and Borth D. 2019. EuroSAT:a novel dataset and deep learning benchmark for land use and land cover classification. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 12(7):2217-2226[DOI: 10.1109/jstars.2019.2918242]
[48] . Basu S, Ganguly S, Mukhopadhyay S, DiBiano R, Karki M and Nemani R. 2015. DeepSat:a learning framework for satellite imagery//Proceedings of the 23rd SIGSPATIAL International Conference on Advances in Geographic Information Systems. Seattle, Washington:ACM[DOI: 10.1145/2820783.2820816]
[49] . J. Deng, W. Dong, R. Socher, L.-J. Li, K. Li and L. Fei-Fei, ImageNet:A Large-Scale Hierarchical Image Database. IEEE Computer Vision and Pattern Recognition (CVPR), 2009
[50] . TAO Chao, YIN Ziwei, ZHU Qing, LI Haifeng. Remote sensing image intelligent interpretation:from supervised learning to self-supervised learning[J]. Acta Geodaetica et Cartographica Sinica, 2021, 50(8):1122-1134.(陶超, 阴紫薇, 朱庆, 李海峰. 遥感影像智能解译:从监督学习到自监督学习[J]. 测绘学报, 2021, 50(8):1122-1134.) -
期刊类型引用(1)
1. 郭斐，邱耀东，王正涛. 基于FIR滤波的磁静期电离层-磁层磁场信号分离. 武汉大学学报(信息科学版). 2019(06): 844-850 . 
百度学术
其他类型引用(2)
下载:
计量
- 文章访问数: 318
- HTML全文浏览量: 23
- PDF下载量: 15
- 被引次数: 3
