文章信息
- 钟何平, 唐劲松, 马梦博, 吴浩然
- ZHONG Heping, TANG Jinsong, MA Mengbo, WU Haoran
- 共享内存环境下的干涉合成孔径声呐复图像配准及优化方法
- Complex Image Registration Algorithm and Its Optimization for Interferometric Synthetic Aperture Sonar in Shared Memory Environment
- 武汉大学学报·信息科学版, 2019, 44(8): 1169-1173
- Geomatics and Information Science of Wuhan University, 2019, 44(8): 1169-1173
- http://dx.doi.org/10.13203/j.whugis20180051
-
文章历史
收稿日期: 2018-09-18

干涉合成孔径声呐(interferometric synthetic aperture sonar,InSAS)复图像配准是将在同一时刻上下两幅接收阵获取的二维复图像在空间位置上进行对准,提取因接收阵位置不同所产生的干涉条纹。它是InSAS信号处理中极其关键的步骤,其性能直接影响到最终所生成的数字高程模型(digital evaluation model,DEM)的速度和精度[1-3]。根据配准过程选取的策略,复图像配准方法[4-6]主要分为两类。第一类是基于控制点的复图像配准;第二类是基于几何特征的复图像配准,这里几何特征主要指特征线、边缘等。由于合成孔径声呐复图像中存在相干斑,增加了几何特征提取的难度,目前InSAS复图像配准主要采用基于控制点的复图像配准方法[7-8]。
随着合成孔径声呐和InSAS技术的不断发展[9],InSAS系统成像分辨率不断提高,用于配准的复图像行列数仍在不断增加,已严重影响了复图像配准效率,难以满足实时InSAS系统信号处理需求。本文在多CPU多核平台上,充分利用共享内存环境下进程间通信延迟小的特点,对InSAS复图像配准的并行化方法进行了深入研究,提出了共享内存环境下的InSAS复图像配准优化方法。
1 算法描述 1.1 基于控制点的InSAS复图像配准方法获取InSAS主、辅复图像对以后,寻找主辅复图像所对应的控制点;然后采用多项式拟合方法对控制点之间的偏移量进行拟合,获取每一点的偏移量;最后根据偏移量对辅图像进行插值,提取干涉相位。基于控制点的InSAS复图像配准及干涉相位提取流程如图 1所示。从图 1中可以看出,控制点的提取分为粗控制点和精控制点2级提取,采用2级提取策略可以有效减小运算量,加快控制点提取速度。
|
| 图 1 InSAS复图像配准及干涉相位提取流程 Fig. 1 Flowchart of Complex Image Registration and Wrapped Phase Extraction for InSAS |
从各步骤计算类型来看,粗控制点提取和精控制点提取的核心过程是局部窗口内的相关运算,差别是前者在原始数据上进行滑动窗口操作,后者在插值后的数据上进行滑动窗口操作,两者计算过程在本质上是相似的。偏移量拟合是为了获取多项式拟合系数,属非数据密集型计算,整个配准过程中计算时间可忽略不计。为获取每一点偏移量,需要根据拟合系数进行代数运算,该计算过程为独立型密集计算。复图像插值和干涉相位提取也属于数据密集型计算,而且每一点的计算过程是独立的。对于独立型密集运算,可直接采用OpenMP并行指令进行计算。由于InSAS的两条接收阵是垂直安装,因此主、辅图像配准过程中在运动方向上的偏移可忽略,只考虑距离向上的偏移。
1.2 控制点提取过程优化及其并行化控制点的提取过程分为粗控制点提取和精控制点提取,其方法是在主图像上确定一个主窗口,然后在辅图像上确定对应的搜索区域,InSAS复图像配准示意图如图 2所示。辅窗口依次在搜索区域内沿距离向滑动,计算每一偏移量对应的相关系数值,相关系数最大值所对应的偏移量即为当前控制点的偏移量。相关系数定义如下:
| $ {\gamma _{i,j}} = \frac{{\left| {\sum {{u_{i,j}}{{\bar v}_{i,j}}} } \right|}}{{\sqrt {\sum {{{\left| {{u_{i,j}}} \right|}^2}\sum {{{\left| {{v_{i,j}}} \right|}^2}} } } }} $ | (1) |
|
| 图 2 控制点匹配操作 Fig. 2 Matching Operation of Control Points |
式中,
假设主、辅窗口的行列数均为
为提高相关系数计算效率,本文采用空间换时间方法,用
|
| 图 3 相邻点相关系数计算示意图 Fig. 3 Sketch Map of Correlation Computing for Adjacent Pixel |
假设
| $ {\gamma _{i, j}} = \frac{{\left| {{R_1}\left( {i, j} \right)} \right|}}{{\sqrt {{R_2}\left( {i, j} \right){R_3}\left( {i, j} \right)} }} $ | (2) |
对控制点计算过程采用空间换时间方法进行优化后,不同行之间相关系数计算过程是完全独立的。此时可直接采用OpenMP中的parallel for指令对不同行同时进行相关系数计算,充分利用多核计算资源来加速相关系数求解。
1.3 复图像插值与干涉相位提取并行化控制点确定后,直接采用曲面拟合方法来确定拟合多项式系数,从而推算出每一点的偏移量。由于偏移量是子像素级的,无法直接从辅图像上获取插值后图像,必须通过对辅图像插值来获得子像素处的图像值。因InSAS复图像只在距离向上存在偏移,不同方位向上的插值过程是完全独立的,此时可在不同方位向采用parallel for指令进行计算任务分配,实现不同方位向数据同时插值计算。
辅图像插值完成后,直接将主、辅图像共轭相乘提取相位主值即可获取干涉相位。该步骤各像素点的处理过程是完全独立的,直接通过parallel for指令进行计算任务分配。
2 试验结果分析为验证共享内存环境下的InSAS复图像配准算法的正确性和高效性,在如下环境对InSAS复图像进行了配准试验:处理器Intel(R) Xeon(R) CPU E5-2650 V2 2.6 GHz(2处理器,单处理器物理核心数为8,线程数量为16);内存32 GB;操作系统Windows 7专业版;软件环境Visual Studio 2008。测试程序记录运行时间时,均在Release模式下进行。
复图像配准试验选用了一组2010年7月在某内陆湖进行InSAS海试样机试验中同一时间段内获取的InSAS主、辅复图像对,其幅度图分别如图 4(a)和图 4(b)所示,距离向成像范围为51~216 m,幅宽为60 m,场景中间有一条道路,近距离处有凸出地形,远距离处有凹陷地形。复图像距离向点数为8 800,方位向点数为2 880,整块原始数据的获取时间为17 s。粗配准时,局部窗口大小为10×5,最大距离向偏移量为5。精配准时,插值倍数为10,插值方法采用傅里叶变换插值,精配准窗口设置为10×5。辅图像插值时采用4阶拉格朗日插值法。采用串行和并行两种方式计算的干涉相位是一致的,其结果如图 4(c)所示,干涉条纹清晰,并且较好地体现了凸凹地形导致的干涉相位变化。地形凸起时,干涉条纹向前凸起,地形凹陷时,干涉条纹向后凸起。配准后的主、辅图像相关系数如图 4(d)所示,相关系数值整体较高,并且分布均匀,验证了配准算法的有效性。
|
| 图 4 InSAS复图像配准试验 Fig. 4 Complex Image Registration for InSAS |
复图像配准算法并行前后效率比较结果如表 1所示,表 1中数据大小为8 800×2 880。程序并行化前的计算时间等于计算核数为1时的计算时间。由于相关系数直接计算方法耗时过长,无法在实际中应用,因而在效率比较时不作为比较对象。本文在不同计算核数条件下,从优化后的复图像配准算法各步骤处理时间、总时间和加速比3个方面对优化算法进行了比较分析。当计算核数为1时,串行复图像配准时间为18 712 ms,其中粗配准时间占总计算时间的59.5%,总计算时间已大于原始数据获取时间,不满足InSAS实时信号处理需求。当计算核数为2时,各步骤处理时间显著下降,总计算时间变为10 879 ms,加速比为1.72。当计算核数分别为4、8、16时,总计算时间分别为6 486 ms、3 692 ms和2 854 ms,加速比分别为2.88、5.07和6.56。但当计算核数继续增加到32时,数据处理时间并未显著下降,加速比也未得到显著提升,主要原因是计算平台物理核数只有16个,通过超线程技术并不能得到显著效率提升。随着计算线程数的增加,线程的创建、计算任务分配和线程结束在总计算时间中所占的比重越来越大,加速比增速降低,使得加速比与计算核数不呈理想中的线性关系。但通过优化粗配准计算方法和并行计算,粗配准计算绝对时间得到显著降低,满足了InSAS实时信号处理需求。
| 计算核数 | 粗配准时间/ms | 精配准时间/ms | 偏移量拟合与计算时间/ms | 辅图像插值时间/ms | 干涉相位提取时间/ms | 总时间/ms | 加速比 |
| 1 | 11 133 | 1 118 | 1 265 | 2 993 | 2 203 | 18 712 | 1.00 |
| 2 | 5 735 | 566 | 650 | 2 327 | 1 601 | 10 879 | 1.72 |
| 4 | 3 447 | 294 | 356 | 1 577 | 812 | 6 486 | 2.88 |
| 8 | 1 816 | 165 | 190 | 908 | 613 | 3 692 | 5.07 |
| 16 | 1 799 | 101 | 155 | 491 | 308 | 2 854 | 6.56 |
| 32 | 1 768 | 73 | 110 | 488 | 250 | 2 689 | 6.96 |
本文提出了一种共享内存环境下的InSAS复图像配准优化方法,首先对粗配准和精配准计算过程进行了优化设计,减少了冗余计算;然后在共享内存环境下,实现了粗配准、精配准、复图像插值和干涉相位提取计算方法的并行化和计算任务分配;最后通过InSAS复图像配准试验验证了本文所提算法的高效性,极大提高了InSAS复图像配准效率,满足了实时InSAS系统复图像配准的需求。复图像配准效率的提升为在满足实时性条件下优化复图像配准结果提供了条件。对InSAS复图像的并行配准试验结果表明,共享内存环境下的InSAS复图像配准方法极大提升了复图像配准效率,使得复图像配准时间远小于原始数据获取时间。下一步主要在满足实时复图像配准的条件下对更高精度的控制点选取方法进行研究,优化复图像配准结果。
| [1] |
Hansen R E, Saebo T O, Gade K, et al. Signal Processing for AUV Based Interferometric Synthetic Aperture Sonar[C]. OCEANS 2003 Proceedings, San Diego, USA, 2003 https://www.mendeley.com/catalogue/signal-processing-auv-based-interferometric-synthetic-aperture-sonar/
|
| [2] |
Hansen R E, Callow H J, Sabo T O, et al. Challenges in Seafloor Imaging and Mapping with Synthetic Aperture Sonar[J]. IEEE Transactions on Geoscience and Remote Sensing, 2011, 49(10): 3677-3687. DOI:10.1109/TGRS.2011.2155071 |
| [3] |
Bellettini A, Pinto M. Design and Experimental Results of a 300-kHz Synthetic Aperture Sonar Optimized for Shallow-Water Operations[J]. IEEE Journal of Oceanic Engineering, 2009, 34(3): 285-293. DOI:10.1109/JOE.2007.907933 |
| [4] |
Chen T Z, Su Y. A SAR Image Registration Method Based on Pixel Migration of Edge-Point Feature[J]. IEEE Geoscience and Remote Sensing Letters, 2014, 11(5): 906-910. DOI:10.1109/LGRS.2013.2281729 |
| [5] |
Wang Bangsong, Zhang Jixian, Lu Lijun, et al. A Space-Borne InSAR Image Registration by Aided by a Voronoi Diagram[J]. Geomatics and Information Science of Wuhan University, 2016, 41(10): 1339-1343. (王邦松, 张继贤, 卢丽君, 等. 利用Voronoi图辅助星载干涉雷达配准[J]. 武汉大学学报·信息科学版, 2016, 41(10): 1339-1343. ) |
| [6] |
Fang Liuyang, Wang Mi, Pan Jun. CPU/GPU Cooperative Fast Band Registration Method for Multispectral Imagery[J]. Geomatics and Information Science of Wuhan University, 2018, 43(7): 1000-1007. (方留杨, 王密, 潘俊. CPU和GPU协同的多光谱影像快速波段配准方法[J]. 武汉大学学报·信息科学版, 2018, 43(7): 1000-1007. ) |
| [7] |
Zhang Youwen, Tian Tan, Sun Dajun. Registration of Interferometric Synthetic Aperture Sonar Complex Images[J]. Journal of Harbin Engineering University, 2005, 26(1): 75-79. (张友文, 田坦, 孙大军. 干涉合成孔径声呐复图像配准[J]. 哈尔滨工程大学学报, 2005, 26(1): 75-79. DOI:10.3969/j.issn.1006-7043.2005.01.016 ) |
| [8] |
Qin Xiaodong, Huang Yong, Liu Wei, et al. A Multilook Average Fluctuation Function Method for Interferometic Synthetic Aperture Sonar Image Registration[J]. Applied Acoustics, 2011, 30(6): 443-447. (秦晓东, 黄勇, 刘维, 等. 干涉合成孔径声呐多视波动配准方法[J]. 应用声学, 2011, 30(6): 443-447. ) |
| [9] |
Hayes M P, Gough P T. Synthetic Aperture Sonar:A Review of Current Status[J]. IEEE Journal of Oceanic Engineering, 2009, 34(3): 207-224. DOI:10.1109/JOE.2009.2020853 |
2019, Vol. 44

