Piecewise Surface Fitting Method for Complex Image Registration of Interferometric Synthetic Aperture Sonar
-
摘要: 复图像配准是干涉合成孔径声呐(interferometric synthetic aperture sonar, InSAS)信号处理中非常关键的环节,配准质量的好坏直接影响到后续的干涉图生成和数字高程重建。针对大场景的InSAS图像用传统的整体多项式曲面拟合法配准精度低的问题,提出了基于分段曲面拟合的InSAS复图像配准方法。首先,将整个待配准图像沿距离向分成具有重叠区域的若干段; 然后,在每段上利用已选出的同名点进行多项式曲面拟合; 最后,将每段曲面拟合的结果拼接成整体偏移量曲面。以均方根误差、相关系数、残余点数目作为评价标准,利用仿真实验和真实的湖上试验数据处理结果验证了该方法的有效性。Abstract:Objectives Complex image registration is crucial in interferometric synthetic aperture sonar (InSAS) signal processing. The registration quality directly influences the generation of interferogram and the subsequent reconstruction of digital elevation model. The traditional global polynomial surface fitting method has the disadvantage of low accuracy for large scene InSAS images. Therefore, a registration method based on piecewise surface fitting is proposed to overcome the problem.Methods Firstly, the whole image is partitioned into several pieces along range direction with partly overlapped. Then, polynomial surface fitting is performed using control points in each piece. Finally, the global offset surface is obtained by merging those local surface fitting results.Results Through the simulation and real data experiments, the accuracy of complex image registration using the proposed method is higher than the result of global polynomial surface fitting method.Conclusions The evaluation has been carried out with the root mean squared error, correlation coefficient, residue numbers, which indicates the validity of the proposed approach.
-
干涉合成孔径声呐(interferometric synthetic aperture sonar,InSAS)[1-2]是一种高分辨率的三维成像声呐,它由在方位向上平行安装的两个合成孔径声呐[3-5](synthetic aperture sonar,SAS)组成,具有成像分辨率与工作频率和成像距离无关的优点[6-7]。InSAS和干涉合成孔径雷达(interferometric synthetic aperture radar,InSAR)的原理是一样的,它们的工作流程主要包括合成孔径成像、复图像配准[8]、干涉图生成、相位滤波、相位解缠和高程估计。InSAR中的一些信号处理的方法也被应用到InSAS中,但InSAS和InSAR也存在一些差别,主要体现在: (1)InSAR大多采用重复轨道单天线模式,即在不同的时间、不同轨道上对同一地区进行成像;而InSAS均采用单轨道双天线模式,即在声呐平台上以一定基线长度为间隔安装两条接收阵,一次经过目标区域即可获得两幅声呐图像,图像对之间的偏差相比于InSAR图像要小,因此,InSAS复图像配准要比InSAR复图像配准容易。(2)InSAR波长一般为厘米级,而基线长度通常是波长的数千倍,因此,干涉条纹非常密集。而InSAS的基线长度一般是波长的十几倍,干涉条纹比较稀疏,即干涉图相位变化相对比较缓慢。
在InSAS信号处理中,复图像的精确配准是获取高精度的数字高程模型(digital elevation model,DEM)的保证,配准质量的好坏直接影响到后续的干涉图生成和数字高程重建。复图像配准[9-10]的基本步骤包括选取同名点对、几何变换模型构建[11-12]和输入图像重采样。当两幅图像间的同名点对确定以后,就可以利用同名点对的坐标和偏移量进行几何变换。在InSAR几何变换模型构建中应用最广泛的是整体多项式模型,其原理是利用已知同名点的坐标和偏移量,通过最小二乘法进行曲面拟合,求得多项式的系数,该模型简单易于求解。在InSAR系统中,发射阵到目标的距离(斜距)一般是几百千米,成像区域的范围相比斜距要小得多,因此,用整体多项式曲面拟合就能达到较好的效果。但在InSAS系统中,斜距一般为几十米到几百米,成像区域的范围和斜距基本属于同一个量级,所以利用整体多项式曲面拟合很难达到较好的效果。在InSAR图像配准方法中,研究比较多的是基于特征的配准[13-15],但是InSAS图像不同于InSAR图像,有时水下地形特征没有InSAR那么明显,所以有时基于特征的配准在InSAS中并不适用。
针对前面提到的问题,本文提出一种基于分段曲面拟合的InSAS复图像配准方法。在InSAS复图像配准中还未见分段配准的思想。首先,将整个图像沿着距离向分成几段,相邻分段之间有部分重叠区域;其次,对每个分段,利用该段内的同名点的坐标和偏移量单独进行多项式曲面拟合,得到该分段的偏移量曲面;然后,将每个分段曲面拟合的结果拼接成整体的偏移量曲面;最后,利用偏移量对辅图像进行插值重采样,即可得到配准后的图像。利用仿真数据和真实的湖上试验数据将本文方法和传统的整体曲面拟合方法进行对比,实验结果表明,本文方法配准精度更高,更适合于大场景InSAS复图像配准。
1 分段曲面拟合方法
本文主要讨论InSAS复图像配准中的几何变换模型构建环节。由于InSAS采用的是单轨道双接收阵工作模式,上下两条接收阵平行安装,且声呐平台沿着方位向直线运动,因此,复图像配准过程中主、辅图像方位向偏移量可忽略不计,只考虑斜距方向偏移量。
1.1 多项式几何变换模型
本文选取同名点是根据相干系数最大原则,具体操作过程是: 在主图像上选取一定大小的窗口(如$ M\times N $),在辅图像的搜索区域内(如$ k\times l $,$ k>M $且$ l>N $)进行滑动,每滑动一次,计算一次相干系数的值。当在整个搜索区域内滑动完以后,计算出相干系数的最大值,最大值点就是要找的同名点。对整个图像中的同名点进行筛选,保留相干系数值大于某阈值的同名点作为有效同名点。
设有效同名点的个数为$ n $,其坐标为$ ({x}_{1}, {y}_{1}) $,$ ({x}_{2}, {y}_{2}) $…$ ({x}_{n}, {y}_{n}) $,斜距的偏移量为d(x1,y1),$ d({x}_{2}, {y}_{2})\cdots d({x}_{n}, {y}_{n}) $,则多项式几何变换模型为:
$$ d(x, y)=\sum\limits_{i=0}^{N}\sum\limits_{j=i}^{N}{a}_{ij}{x}^{i}{y}^{j-i} $$ (1) 式中,$ {a}_{ij} $为待求的多项式系数;$ d(x, y) $为点$ (x, y) $处的偏移量值;$ N $为多项式阶数,一般二阶多项式能满足要求。令$ N=2 $,式(1)可以写成:
$$ \left[\begin{array}{cccccc}1& {x}_{1}& {y}_{1}& {x}_{1}^{2}& {x}_{1}{y}_{1}& {y}_{1}^{2}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& {x}_{i}& {y}_{i}& {x}_{i}^{2}& {x}_{i}{y}_{i}& {y}_{i}^{2}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& {x}_{n}& {y}_{n}& {x}_{n}^{2}& {x}_{n}{y}_{n}& {y}_{n}^{2}\end{array}\right]\left[\begin{array}{c}{a}_{00}\\ {a}_{11}\\ {a}_{01}\\ {a}_{22}\\ {a}_{12}\\ {a}_{02}\end{array}\right]=\left[\begin{array}{c}{d}_{1}\\ ⋮\\ {d}_{i}\\ ⋮\\ {d}_{n}\end{array}\right] $$ (2) 式(2)是$ n $个方程6个未知数的方程组,至少需要6个同名点的数据才能解出未知系数。一般情况下$ n $远大于6。令
$$ \left\{\begin{array}{l}\mathit{A}=\left[\begin{array}{cccccc}1& {x}_{1}& {y}_{1}& {x}_{1}^{2}& {x}_{1}{y}_{1}& {y}_{1}^{2}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& {x}_{i}& {y}_{i}& {x}_{i}^{2}& {x}_{i}{y}_{i}& {y}_{i}^{2}\\ ⋮& ⋮& ⋮& ⋮& ⋮& ⋮\\ 1& {x}_{n}& {y}_{n}& {x}_{n}^{2}& {x}_{n}{y}_{n}& {y}_{n}^{2}\end{array}\right]\\ \mathit{X}={\left[\begin{array}{cccccc}{a}_{00}& {a}_{11}& {a}_{01}& {a}_{22}& {a}_{12}& {a}_{02}\end{array}\right]}^{\mathrm{T}}\\ \mathit{b}=[{d}_{1}, {d}_{2}\cdots {d}_{n}{]}^{\mathrm{T}}\end{array}\right. $$ (3) 则式(2)可以写为:
$$ \boldsymbol{A}\boldsymbol{X}=\boldsymbol{b} $$ (4) 利用最小二乘法可以求得式(4)的解为:
$$ \boldsymbol{X}={\left({\boldsymbol{A}}^{\mathrm{{\rm T}}}\boldsymbol{A}\right)}^{-1}{\boldsymbol{A}}^{\mathrm{{\rm T}}}\boldsymbol{b} $$ (5) 将式(5)代入式(1)可以得到多项式曲面:
$$ d(x, y)={a}_{00}+{a}_{11}x+{a}_{01}y+{a}_{22}{x}^{2}+{a}_{12}xy+{a}_{02}{y}^{2} $$ (6) 将整个图像中所有点的坐标代入式(6)可以求出每个点的斜距偏移量,这些偏移量构成一个二维曲面。每个同名点配准误差$ d{(x, y)}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}} $为拟合的偏移量$ d(x, y) $与其真实的偏移量$ d({x}_{i}, {y}_{i}) $的差,即$ d{(x, y)}_{\mathrm{e}\mathrm{r}\mathrm{r}\mathrm{o}\mathrm{r}}=d(x, y)-d({x}_{i}, {y}_{i}) $。
1.2 分段曲面拟合模型
1) 将整个图像沿距离向分割成几部分,如图1所示。图 1中,实线为分段线,两个相邻的分段之间设置一定的重叠区域,如虚线所示。本文采取的距离向分段策略是均匀分为5段,相邻分段之间的重叠区域设置为本段像素数的20%。
2) 搜索位于每一段(包含重叠区域)内的有效同名点,利用这些同名点的坐标和偏移量进行多项式曲面拟合,得到每段的偏移量曲面。
3) 将每段拟合后的偏移量曲面拼接成一个整体的偏移量曲面。拼接时,关键是要处理好重叠区域像素点的偏移量值。对非重叠区域内的像素点,直接将该分段的拟合偏移量的结果作为最终的整体偏移量曲面的结果,而对于重叠区域中的像素点,如图 1中的点A,采用加权线性组合的方式计算其最终的偏移量值,计算公式为:
$$ f\left(A\right)={w}_{1}{f}_{1}\left(A\right)+{w}_{2}{f}_{2}\left(A\right) $$ (7) 式中,$ f\left(A\right) $是待求的点在整体曲面中的偏移量值;$ {f}_{1}\left(A\right) $、$ {f}_{2}\left(A\right) $分别是点$ A $在第1分段和第2分段拟合的曲面中的偏移量值;$ {w}_{1} $和$ {w}_{2} $是归一化权重,$ {w}_{1}={r}_{2}/{l}_{1} $,$ {w}_{2}={r}_{1}/{l}_{1} $,$ {l}_{1}={r}_{1}+{r}_{2} $,$ {l}_{1} $是重叠区域的宽度(像素数),$ {r}_{1} $是点$ A $到其所在的重叠区域左边界的距离(像素数),$ {r}_{2} $是点$ A $到其所在的重叠区域右边界的距离(像素数)。
2 实验结果与分析
2.1 仿真实验
仿真的场景是平地上沿距离向并排放置的两个圆锥,其幅度图如图 2所示。用传统的整体曲面拟合法和本文的分段曲面拟合法进行配准,配准后的干涉图分别如图 3(a)和图 3(b)所示。通过比较可以发现,图 3(b)比图 3(a)的条纹更清晰,质量更好,特别是左侧部分的干涉条纹区别更明显。
图 4给出了两种方法的同名点的配准误差统计直方图。从图 4中可以看出,分段曲面拟合的配准误差主要集中在-0.2~0.2像素,而整体曲面拟合的配准误差主要集中在-0.4~0.4像素,由此可见,分段曲面拟合的配准误差明显小于整体曲面拟合的配准误差。
为了更直观地比较两种方法的配准效果,统计图 3的干涉图中间部分100×100像素的矩形区域内的残余点数目。在干涉相位图中,当4个相邻的像素点构成的环路中相位差的和不为0时,将左上角的点记为残余点,残余点示意图如图 5所示。
残余点的具体计算公式为:
$$ \left\{\begin{array}{l}\Delta 1=W\left\{\phi \right(i, j+1)-\phi (i, j\left)\right\}\\ \Delta 2=W\left\{\phi \right(i+1, j+1)-\phi (i, j+1\left)\right\}\\ \Delta 3=W\left\{\phi \right(i+1, j)-\phi (i+1, j+1\left)\right\}\\ \Delta 4=W\left\{\phi \right(i, j)-\phi (i+1, j\left)\right\}\\ q=\Delta 1+\Delta 2+\Delta 3+\Delta 4\end{array}\right. $$ (8) 式中,$ \Delta 1 $为$ \phi (i, j) $与$ \phi (i, j+1) $之间的相位差的缠绕值;$ \Delta 2 $、$ \Delta 3 $、$ \Delta 4 $分别是如图 5所示对应点之间的相位差的缠绕值;$ W $表示缠绕运算(模$ 2\mathrm{\pi } $运算);$ \phi $为干涉图中的缠绕相位值;若$ q\ne 0 $,将左上角的点$ (i, j) $记为残余点。配准质量越好,干涉图就越清晰,残余点就越少;反之,若配准不精确,干涉图中残余点就越多。
图 6(a)和图 6(b)分别是用整体曲面拟合法和本文分段曲面拟合法进行配准后的局部残余点分布图,残余点数目分别为1 743和777。
可以看出,图 6(b)中的残余点比图 6(a)的残余点少很多,由此可见,分段曲面拟合的配准结果要比整体曲面拟合的结果好。为了定量比较两种拟合方法的配准效果,选择均方根误差(root mean squared error,RMSE)、相关系数、残余点数目作为评价标准,结果见表 1(RMSE为无量纲)。从表 1可以看出,本文分段曲面拟合法的配准质量明显高于整体曲面拟合法。
表 1 仿真数据配准结果比较Table 1. Comparison of Simulation Data Registration Results拟合方法 RMSE 相关系数 残余点数 整体曲面拟合 0.305 6 0.939 7 78 746 分段曲面拟合 0.068 7 0.967 1 28 173 2.2 真实湖上试验数据处理结果
选择大场景的真实湖上试验数据进行处理,该地形有沟壑、田埂,地形变化比较明显。采用的湖上试验数据参数为: 声速为1 500 m/s,载频为150 kHz,带宽为40 kHz,脉宽为0.02 s,脉冲重复间隔为0.2 s,距离采样频率为80 kHz,阵元大小为0.08 m。湖上试验数据幅度图如图 7所示。图 8给出了两种方法的同名点的配准误差直方图,可以看出,本文方法的配准误差更小。图 9(a)和图 9(b)分别是整体曲面拟合配准后和分段曲面拟合配准后的干涉图。
由图9可以发现,在局部地形变化明显的地方,分段曲面拟合的配准结果更好,条纹更清晰,如图 9中的白色矩形框内的部分。
为了更清晰地比较两种拟合方法的配准效果,将图 9中两个白色矩形框内的部分进行局部放大。图 9(a)和图 9(b)中较大的矩形框局部放大结果分别如图 10(a)和图 10(b)所示,可以看出,图 10(b)的条纹比图 10(a)更清晰,由相位反映的地形变化更明显。
图 11(a)和图 11(b)分别是图 9(a)和图 9(b)中左下角的矩形框的局部放大图,可以看出,图 11(b)的左侧第一个条纹比图 11(a)的左侧第一个条纹清晰很多。由此可见,在局部地形变化明显的地方,实用分段曲面拟合法进行配准比实用整体曲面拟合法进行配准更有优势。
对两种方法定量的评价如表 2所示。由表 2可以看出,无论是均方根误差,还是相关系数和残余点数目,分段曲面拟合法的配准结果都优于整体曲面拟合法的配准结果。
表 2 真实数据配准结果比较Table 2. Comparison of Real Data Registration Results拟合方法 RMSE 相关系数 残余点数 整体曲面拟合 0.198 4 0.580 2 81 956 分段曲面拟合 0.119 1 0.582 4 69 455 3 结语
本文针对大场景InSAS图像用传统的整体多项式曲面拟合法配准精度低的问题,提出了一种基于分段曲面拟合的InSAS复图像配准方法。将大场景图像沿距离向分成多段,每段单独进行多项式曲面拟合,再把各段拟合的结果拼接成整体的偏移量曲面。将本文方法与传统整体曲面拟合方法进行比较,并以均方根误差、相关系数、残余点数目作为评价标准,通过仿真实验和真实的湖上试验数据处理实验,验证了本文的分段曲面拟合配准法比整体曲面拟合配准法的配准精度更高。后续将主要在配准效率上进行并行化方法研究,以满足实时处理的要求。
-
表 1 仿真数据配准结果比较
Table 1 Comparison of Simulation Data Registration Results
拟合方法 RMSE 相关系数 残余点数 整体曲面拟合 0.305 6 0.939 7 78 746 分段曲面拟合 0.068 7 0.967 1 28 173 表 2 真实数据配准结果比较
Table 2 Comparison of Real Data Registration Results
拟合方法 RMSE 相关系数 残余点数 整体曲面拟合 0.198 4 0.580 2 81 956 分段曲面拟合 0.119 1 0.582 4 69 455 -
[1] Quesson B, Groen J. Interferometric Synthetic Aperture Sonar with an Autonomous Vehicle for 3D Imaging of the Seafloor[C]. European Conference on Synthetic Aperture Radar, Nuremberg, Germany, 2012
[2] Sæbø T O, Hansen R E, Lorentzen O J. Using an Interferometric Synthetic Aperture Sonar to Inspect the Skagerrak World War Ⅱ Chemical Munitions Dump Site[C]. IEEE Oceans, Washington D C, USA, 2015
[3] Zhang X B, Yang P X, Ying W W. BP Algorithm for the Multireceiver SAS System[J]. IET Radar, Sonar and Navigation, 2019, 13(5): 830-838 doi: 10.1049/iet-rsn.2018.5468
[4] Bellettini A, Pinto M. Design and Experimental Results of a 300 kHz Synthetic Aperture Sonar Optimized for Shallow-Water Operations[J]. IEEE Journal of Oceanic Engineering, 2009, 34(3): 285 -293 doi: 10.1109/JOE.2007.907933
[5] Hayes M P, Gough P T. Synthetic Aperture Sonar: A Review of Current Status[J]. IEEE Journal of Oceanic Engineering, 2009, 34(3): 207-224 doi: 10.1109/JOE.2009.2020853
[6] Zhang X B, Yang P X. Imaging Algorithm for Multireceiver Synthetic Aperture Sonar[J]. Journal of Electrical Engineering and Technology, 2019, 14(1): 471-478 doi: 10.1007/s42835-018-00046-0
[7] Tian Z, Tang J S, Zhong H P, et al. Extended Range Doppler Algorithm for Multiple-Receiver Synthetic Aperture Sonar Based on Exact Analytical Two-Dimensional Spectrum[J]. IEEE Journal of Oceanic Engineering, 2016, 41(1): 164-174 doi: 10.1109/JOE.2015.2402053
[8] 钟何平, 唐劲松, 马梦博, 等. 共享内存环境下的干涉合成孔径声呐复图像配准及优化方法[J]. 武汉大学学报·信息科学版, 2019, 44(8): 1 169-1 173 doi: 10.13203/j.whugis20180051 Zhong Heping, Tang Jinsong, Ma Mengbo, et al. Complex Image Registration Algorithm and Its Optimization for Interferometric Synthetic Aperture Sonar in Shared Memory Environment[J]. Geomatics and Information Science of Wuhan University, 2019, 44(8): 1 169-1 173 doi: 10.13203/j.whugis20180051
[9] Zhang S, Tang J S, Chen M. Image Autocoregistration and Interferogram Estimation Using Extended COMET-EXIP Method[J]. IEEE Transactions on Geoscience and Remote Sensing, 2010, 48(12): 4 204-4 218 doi: 10.1109/TGRS.2010.2049854
[10] 岳春宇, 江万寿. 一种利用级联滤波和松弛法的SAR图像配准方法[J]. 武汉大学学报·信息科学版, 2012, 37(1): 43-48 http://ch.whu.edu.cn/article/id/84 Yue Chunyu, Jiang Wanshou. Registration Method for SAR Image Based on Cascade Filter and Relaxation Optimization Algorithm[J]. Geomatics and Information Science of Wuhan University, 2012, 37(1): 43-48 http://ch.whu.edu.cn/article/id/84
[11] Liu B Q, Feng D Z, Shui P L, et al. Analytic Search Method for Interferometric SAR Image Registration[J]. IEEE Geoscience and Remote Sensing Letters, 2008, 2(5): 294-299 http://ieeexplore.ieee.org/document/4469249/
[12] 黄攀, 唐劲松, 钟何平, 等. 基于有理函数曲面拟合的InSAS复图像配准新方法[J]. 武汉大学学报·信息科学版, 2019, 44(4): 601-607 doi: 10.13203/j.whugis20170167 Huang Pan, Tang Jinsong, Zhong Heping, et al. A New InSAS Registration Method Based on Rational Function Surface Fitting[J]. Geomatics and Information Science of Wuhan University, 2019, 44(4): 601-607 doi: 10.13203/j.whugis20170167
[13] Wang V, Hayes M. Synthetic Aperture Sonar Track Registration Using SIFT Image Correspondences[J]. IEEE Journal of Oceanic Engineering, 2017, 42(4): 901-913 doi: 10.1109/JOE.2016.2634078
[14] Ma W P, Zhang J, Wu Y, et al. A Novel Two-Step Registration Method for Remote Sensing Images Based on Deep and Local Features[J]. IEEE Transactions on Geoscience and Remote Sensing, 2019, 57(7): 4 834-4 843 doi: 10.1109/TGRS.2019.2893310
[15] Tang Z, Ma G, Lu J. Sonar Image Mosaic Based on a New Feature Matching Method[J]. IET Image Processing, 2020, 14(5): 2 149-2 155 doi: 10.1049/iet-ipr.2019.0695
-
期刊类型引用(2)
1. 刘伟陆,周天,闫振宇,杜伟东. 基于FPDE-SIFT的声呐干涉图像配准方法. 电子与信息学报. 2024(01): 101-108 . 百度学术
2. 张学波,应文威. 阵元指向性对合成孔径声呐成像的影响. 武汉大学学报(信息科学版). 2022(01): 133-140 . 百度学术
其他类型引用(1)