-
干涉合成孔径声呐（interferometric synthetic aperture sonar，InSAS）复图像配准是将在同一时刻上下两幅接收阵获取的二维复图像在空间位置上进行对准，提取因接收阵位置不同所产生的干涉条纹。它是InSAS信号处理中极其关键的步骤，其性能直接影响到最终所生成的数字高程模型(digital evaluation model，DEM)的速度和精度[1-3]。根据配准过程选取的策略，复图像配准方法[4-6]主要分为两类。第一类是基于控制点的复图像配准；第二类是基于几何特征的复图像配准，这里几何特征主要指特征线、边缘等。由于合成孔径声呐复图像中存在相干斑，增加了几何特征提取的难度，目前InSAS复图像配准主要采用基于控制点的复图像配准方法[7-8]。
随着合成孔径声呐和InSAS技术的不断发展[9]，InSAS系统成像分辨率不断提高，用于配准的复图像行列数仍在不断增加，已严重影响了复图像配准效率，难以满足实时InSAS系统信号处理需求。本文在多CPU多核平台上，充分利用共享内存环境下进程间通信延迟小的特点，对InSAS复图像配准的并行化方法进行了深入研究，提出了共享内存环境下的InSAS复图像配准优化方法。
-
获取InSAS主、辅复图像对以后，寻找主辅复图像所对应的控制点；然后采用多项式拟合方法对控制点之间的偏移量进行拟合，获取每一点的偏移量；最后根据偏移量对辅图像进行插值，提取干涉相位。基于控制点的InSAS复图像配准及干涉相位提取流程如图 1所示。从图 1中可以看出，控制点的提取分为粗控制点和精控制点2级提取，采用2级提取策略可以有效减小运算量，加快控制点提取速度。
图 1 InSAS复图像配准及干涉相位提取流程
Figure 1. Flowchart of Complex Image Registration and Wrapped Phase Extraction for InSAS
从各步骤计算类型来看，粗控制点提取和精控制点提取的核心过程是局部窗口内的相关运算，差别是前者在原始数据上进行滑动窗口操作，后者在插值后的数据上进行滑动窗口操作，两者计算过程在本质上是相似的。偏移量拟合是为了获取多项式拟合系数，属非数据密集型计算，整个配准过程中计算时间可忽略不计。为获取每一点偏移量，需要根据拟合系数进行代数运算，该计算过程为独立型密集计算。复图像插值和干涉相位提取也属于数据密集型计算，而且每一点的计算过程是独立的。对于独立型密集运算，可直接采用OpenMP并行指令进行计算。由于InSAS的两条接收阵是垂直安装，因此主、辅图像配准过程中在运动方向上的偏移可忽略，只考虑距离向上的偏移。
-
控制点的提取过程分为粗控制点提取和精控制点提取，其方法是在主图像上确定一个主窗口，然后在辅图像上确定对应的搜索区域，InSAS复图像配准示意图如图 2所示。辅窗口依次在搜索区域内沿距离向滑动，计算每一偏移量对应的相关系数值，相关系数最大值所对应的偏移量即为当前控制点的偏移量。相关系数定义如下：
$$ {\gamma _{i,j}} = \frac{{\left| {\sum {{u_{i,j}}{{\bar v}_{i,j}}} } \right|}}{{\sqrt {\sum {{{\left| {{u_{i,j}}} \right|}^2}\sum {{{\left| {{v_{i,j}}} \right|}^2}} } } }} $$ (1) 
图 2 控制点匹配操作
Figure 2. Matching Operation of Control Points
式中，$ {\gamma _{i, j}}$表示相关系数值；$ u$是主窗口内图像；$ v$是辅窗口内图像；$ {\bar v}$表示$ v$的共轭；i、j是下标索引。
假设主、辅窗口的行列数均为$ K_1$和$ K_2$，对同一行的相邻点计算相关系数值时，计算右侧点时左侧列数据是移除的，右侧列数据是移入的，其余点已经在上次计算相关系数值时参与了计算。因此可直接采用式(1)计算，同一行相邻点计算的冗余量为$ \left( {{K_1} - 2} \right)/{K_1}$，同一列相邻点计算的冗余量为$ \left( {{K_2} - 2} \right)/{K_2}$，这些冗余计算严重影响控制点提取效率。
为提高相关系数计算效率，本文采用空间换时间方法，用$ {{S_1}}$、$ S_2$和$ S_3$分别表示$ {{u_{i, j}}{{\bar v}_{i, j}}}$、$ {{{\left| {{u_{i, j}}} \right|}^2}}$、$ {{{\left| {{v_{i, j}}} \right|}^2}}$，开辟临时数据存储空间，不同点计算相关系数时可直接使用，避免冗余计算。相邻点相关系数计算示意图如图 3所示，绿色标识区域为移除数据，红色标识区域为新增移入数据，对于$ S_1$、$ S_2$和$ S_3$局部窗口内数据和的计算采用同样方法。
图 3 相邻点相关系数计算示意图
Figure 3. Sketch Map of Correlation Computing for Adjacent Pixel
假设$ S_1$局部窗口内数据和为$ {R_1}\left( {i, j} \right)$，其右相邻点的局部窗口内数据和为$ {R_1}\left( {i, j + 1} \right)$，则$ {R_1}\left( {i, j} \right) = {R_1}\left( {i, j + 1} \right) - {L_l} + {L_r}$，其中$ {L_l}$表示最左列数据和，$ {L_r}$表示最右列数据和，这样就消除了相邻窗口内数据和的冗余计算，进一步优化了相关系数的计算过程。相邻点在计算相关系数值时，本质上就是在$ S_1$、$ S_2$和$ S_3$上进行滑动操作，求局部窗口内的数据和，并根据式(2)计算相位点相关系数值：
$$ {\gamma _{i, j}} = \frac{{\left| {{R_1}\left( {i, j} \right)} \right|}}{{\sqrt {{R_2}\left( {i, j} \right){R_3}\left( {i, j} \right)} }} $$ (2) 对控制点计算过程采用空间换时间方法进行优化后，不同行之间相关系数计算过程是完全独立的。此时可直接采用OpenMP中的parallel for指令对不同行同时进行相关系数计算，充分利用多核计算资源来加速相关系数求解。
-
控制点确定后，直接采用曲面拟合方法来确定拟合多项式系数，从而推算出每一点的偏移量。由于偏移量是子像素级的，无法直接从辅图像上获取插值后图像，必须通过对辅图像插值来获得子像素处的图像值。因InSAS复图像只在距离向上存在偏移，不同方位向上的插值过程是完全独立的，此时可在不同方位向采用parallel for指令进行计算任务分配，实现不同方位向数据同时插值计算。
辅图像插值完成后，直接将主、辅图像共轭相乘提取相位主值即可获取干涉相位。该步骤各像素点的处理过程是完全独立的，直接通过parallel for指令进行计算任务分配。
-
为验证共享内存环境下的InSAS复图像配准算法的正确性和高效性，在如下环境对InSAS复图像进行了配准试验：处理器Intel(R) Xeon(R) CPU E5-2650 V2 2.6 GHz(2处理器，单处理器物理核心数为8，线程数量为16)；内存32 GB；操作系统Windows 7专业版；软件环境Visual Studio 2008。测试程序记录运行时间时，均在Release模式下进行。
复图像配准试验选用了一组2010年7月在某内陆湖进行InSAS海试样机试验中同一时间段内获取的InSAS主、辅复图像对，其幅度图分别如图 4(a)和图 4(b)所示，距离向成像范围为51~216 m，幅宽为60 m，场景中间有一条道路，近距离处有凸出地形，远距离处有凹陷地形。复图像距离向点数为8 800，方位向点数为2 880，整块原始数据的获取时间为17 s。粗配准时，局部窗口大小为10×5，最大距离向偏移量为5。精配准时，插值倍数为10，插值方法采用傅里叶变换插值，精配准窗口设置为10×5。辅图像插值时采用4阶拉格朗日插值法。采用串行和并行两种方式计算的干涉相位是一致的，其结果如图 4(c)所示，干涉条纹清晰，并且较好地体现了凸凹地形导致的干涉相位变化。地形凸起时，干涉条纹向前凸起，地形凹陷时，干涉条纹向后凸起。配准后的主、辅图像相关系数如图 4(d)所示，相关系数值整体较高，并且分布均匀，验证了配准算法的有效性。
图 4 InSAS复图像配准试验
Figure 4. Complex Image Registration for InSAS
复图像配准算法并行前后效率比较结果如表 1所示，表 1中数据大小为8 800×2 880。程序并行化前的计算时间等于计算核数为1时的计算时间。由于相关系数直接计算方法耗时过长，无法在实际中应用，因而在效率比较时不作为比较对象。本文在不同计算核数条件下，从优化后的复图像配准算法各步骤处理时间、总时间和加速比3个方面对优化算法进行了比较分析。当计算核数为1时，串行复图像配准时间为18 712 ms，其中粗配准时间占总计算时间的59.5%，总计算时间已大于原始数据获取时间，不满足InSAS实时信号处理需求。当计算核数为2时，各步骤处理时间显著下降，总计算时间变为10 879 ms，加速比为1.72。当计算核数分别为4、8、16时，总计算时间分别为6 486 ms、3 692 ms和2 854 ms，加速比分别为2.88、5.07和6.56。但当计算核数继续增加到32时，数据处理时间并未显著下降，加速比也未得到显著提升，主要原因是计算平台物理核数只有16个，通过超线程技术并不能得到显著效率提升。随着计算线程数的增加，线程的创建、计算任务分配和线程结束在总计算时间中所占的比重越来越大，加速比增速降低，使得加速比与计算核数不呈理想中的线性关系。但通过优化粗配准计算方法和并行计算，粗配准计算绝对时间得到显著降低，满足了InSAS实时信号处理需求。
表 1 复图像配准算法并行前后效率比较
Table 1. Efficiency Comparison of the Complex Image Registration Algorithm Before and After Parallelization
计算核数 粗配准时间/ms 精配准时间/ms 偏移量拟合与计算时间/ms 辅图像插值时间/ms 干涉相位提取时间/ms 总时间/ms 加速比 1 11 133 1 118 1 265 2 993 2 203 18 712 1.00 2 5 735 566 650 2 327 1 601 10 879 1.72 4 3 447 294 356 1 577 812 6 486 2.88 8 1 816 165 190 908 613 3 692 5.07 16 1 799 101 155 491 308 2 854 6.56 32 1 768 73 110 488 250 2 689 6.96 -
本文提出了一种共享内存环境下的InSAS复图像配准优化方法，首先对粗配准和精配准计算过程进行了优化设计，减少了冗余计算；然后在共享内存环境下，实现了粗配准、精配准、复图像插值和干涉相位提取计算方法的并行化和计算任务分配；最后通过InSAS复图像配准试验验证了本文所提算法的高效性，极大提高了InSAS复图像配准效率，满足了实时InSAS系统复图像配准的需求。复图像配准效率的提升为在满足实时性条件下优化复图像配准结果提供了条件。对InSAS复图像的并行配准试验结果表明，共享内存环境下的InSAS复图像配准方法极大提升了复图像配准效率，使得复图像配准时间远小于原始数据获取时间。下一步主要在满足实时复图像配准的条件下对更高精度的控制点选取方法进行研究，优化复图像配准结果。
Complex Image Registration Algorithm and Its Optimization for Interferometric Synthetic Aperture Sonar in Shared Memory Environment
-
摘要: 提出了一种共享内存环境下的干涉合成孔径声呐（interferometric synthetic aperture sonar，InSAS）复图像配准优化方法。首先在分析复图像配准算法各处理步骤计算特点和并行性的基础上，针对粗配准和精配准计算中大量的滑动窗口计算操作，根据相邻窗口数据之间的关系进行了计算方法优化设计；然后采用OpenMP指令对粗配准、精配准、复图像插值和干涉相位提取计算步骤进行了并行化设计和计算任务分配，以充分利用多核计算资源加速复图像配准过程；最后通过InSAS复图像的并行配准试验验证了所提方法的正确性和高效性。Abstract: Complex image registration is one of the most important steps during the process of interferometric signal processing, and its efficiency directly affects the performance of interferometric signal processing system. In order to improve the efficiency of complex image registration algorithm, we propose an optimized complex image registration algorithm for interferometric synthetic aperture sonar (InSAS) in shared memory environment. Firstly, after analyzing the characteristic of calculation and parallelism of each processing step for complex image registration, an optimized computation method for coarse registration and refine registration is proposed for the massive sliding operation based on the coherence of data in adjacent windows. Then, in order to make full use of multi-core computing resource to accelerate the process of complex image registration, OpenMP instructions are used to parallel design and task allocation for coarse and refine registration, complex image interpolation and wrapped phase extraction. Finally, the correctness and efficiency of the proposed method are verified by the parallel complex image registration for InSAS.
-
Key words:
- complex image registration /
- parallel computing /
- shared memory /
- InSAS
-
图 1 InSAS复图像配准及干涉相位提取流程
Figure 1. Flowchart of Complex Image Registration and Wrapped Phase Extraction for InSAS
表 1 复图像配准算法并行前后效率比较
Table 1. Efficiency Comparison of the Complex Image Registration Algorithm Before and After Parallelization
计算核数 粗配准时间/ms 精配准时间/ms 偏移量拟合与计算时间/ms 辅图像插值时间/ms 干涉相位提取时间/ms 总时间/ms 加速比 1 11 133 1 118 1 265 2 993 2 203 18 712 1.00 2 5 735 566 650 2 327 1 601 10 879 1.72 4 3 447 294 356 1 577 812 6 486 2.88 8 1 816 165 190 908 613 3 692 5.07 16 1 799 101 155 491 308 2 854 6.56 32 1 768 73 110 488 250 2 689 6.96 
下载: 导出CSV
-
[1] Hansen R E, Saebo T O, Gade K, et al. Signal Processing for AUV Based Interferometric Synthetic Aperture Sonar[C]. OCEANS 2003 Proceedings, San Diego, USA, 2003 https://www.mendeley.com/catalogue/signal-processing-auv-based-interferometric-synthetic-aperture-sonar/ [2] Hansen R E, Callow H J, Sabo T O, et al. Challenges in Seafloor Imaging and Mapping with Synthetic Aperture Sonar[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10):3677-3687 doi: 10.1109/TGRS.2011.2155071 [3] Bellettini A, Pinto M. Design and Experimental Results of a 300-kHz Synthetic Aperture Sonar Optimized for Shallow-Water Operations[J]. IEEE Journal of Oceanic Engineering, 2009, 34(3):285-293 doi: 10.1109/JOE.2007.907933 [4] Chen T Z, Su Y. A SAR Image Registration Method Based on Pixel Migration of Edge-Point Feature[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(5):906-910 doi: 10.1109/LGRS.2013.2281729 [5] 王邦松, 张继贤, 卢丽君, 等.利用Voronoi图辅助星载干涉雷达配准[J].武汉大学学报·信息科学版, 2016, 41(10):1339-1343 http://ch.whu.edu.cn/CN/abstract/abstract5549.shtml Wang Bangsong, Zhang Jixian, Lu Lijun, et al. A Space-Borne InSAR Image Registration by Aided by a Voronoi Diagram[J]. Geomatics and Information Science of Wuhan University, 2016, 41(10):1339-1343 http://ch.whu.edu.cn/CN/abstract/abstract5549.shtml [6] 方留杨, 王密, 潘俊. CPU和GPU协同的多光谱影像快速波段配准方法[J].武汉大学学报·信息科学版, 2018, 43(7):1000-1007 http://ch.whu.edu.cn/CN/abstract/abstract6145.shtml Fang Liuyang, Wang Mi, Pan Jun. CPU/GPU Cooperative Fast Band Registration Method for Multispectral Imagery[J]. Geomatics and Information Science of Wuhan University, 2018, 43(7):1000-1007 http://ch.whu.edu.cn/CN/abstract/abstract6145.shtml [7] 张友文, 田坦, 孙大军.干涉合成孔径声呐复图像配准[J].哈尔滨工程大学学报, 2005, 26(1):75-79 doi: 10.3969/j.issn.1006-7043.2005.01.016 Zhang Youwen, Tian Tan, Sun Dajun. Registration of Interferometric Synthetic Aperture Sonar Complex Images[J]. Journal of Harbin Engineering University, 2005, 26(1):75-79 doi: 10.3969/j.issn.1006-7043.2005.01.016 [8] 秦晓东, 黄勇, 刘维, 等.干涉合成孔径声呐多视波动配准方法[J].应用声学, 2011, 30(6):443-447 http://www.cnki.com.cn/Article/CJFDTotal-YYSN201106006.htm Qin Xiaodong, Huang Yong, Liu Wei, et al. A Multilook Average Fluctuation Function Method for Interferometic Synthetic Aperture Sonar Image Registration[J]. Applied Acoustics, 2011, 30(6):443-447 http://www.cnki.com.cn/Article/CJFDTotal-YYSN201106006.htm [9] Hayes M P, Gough P T. Synthetic Aperture Sonar:A Review of Current Status[J]. IEEE Journal of Oceanic Engineering, 2009, 34(3):207-224 doi: 10.1109/JOE.2009.2020853 -
点击查看大图
图(4) / 表(1)
计量
- 文章访问数: 1156
- HTML全文浏览量: 134
- PDF下载量: 85
- 被引次数: 0
