留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

影像三维重建的网格自适应快速优化

张春森 张梦辉 郭丙轩 彭哲

张春森, 张梦辉, 郭丙轩, 彭哲. 影像三维重建的网格自适应快速优化[J]. 武汉大学学报 ● 信息科学版, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
引用本文: 张春森, 张梦辉, 郭丙轩, 彭哲. 影像三维重建的网格自适应快速优化[J]. 武汉大学学报 ● 信息科学版, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
ZHANG Chunsen, ZHANG Menghui, GUO Bingxuan, PENG Zhe. Adaptive Fast Mesh Refinement of 3D Reconstruction Based on Image Information[J]. Geomatics and Information Science of Wuhan University, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
Citation: ZHANG Chunsen, ZHANG Menghui, GUO Bingxuan, PENG Zhe. Adaptive Fast Mesh Refinement of 3D Reconstruction Based on Image Information[J]. Geomatics and Information Science of Wuhan University, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161

影像三维重建的网格自适应快速优化

doi: 10.13203/j.whugis20190161
基金项目: 

陕西省自然科学基金 2018JM5103

详细信息
    作者简介:

    张春森, 博士, 教授, 研究方向为摄影测量与遥感。zhchunsen@aliyun.com

  • 中图分类号: P237

Adaptive Fast Mesh Refinement of 3D Reconstruction Based on Image Information

Funds: 

Shaanxi Natural Science Foundation 2018JM5103

More Information
    Author Bio:

    ZHANG Chunsen, PhD, professor, specializes in photogrammetry and remote sensing. E-mail: zhchunsen@aliyun.com

  • 摘要: 针对倾斜影像大场景三维重建过程中数据量大导致的三角网格优化效率低的问题,提出了一种平衡网格优化精度与优化效率的网格自适应快速优化方法。根据影像灰度信息计算沿着三角面法向量方向顶点梯度的初始值,根据每一个三角形的不同计算结果将三角形标记为活跃三角形与怠惰三角形,通过对网格中活跃三角形优化及放弃怠惰三角形优化的策略,在获得网格顶点最佳位置的同时自适应地实现优化效率的快速提升。标准三维重建影像数据集及真实无人机倾斜影像三维重建网格优化的实验结果表明了此方法的有效性。网格模型优化时间及精度对比的结果表明,该方法在优化三角网格的同时,较大幅度地提高了网格优化的计算效率,从而快速获得三维重建模型。
  • 图  1  基于影像像元的三角网重投影

    Figure  1.  Relation of Image Re-project

    图  2  本文优化流程

    Figure  2.  The Process of Our Method

    图  3  效率代价曲线图

    Figure  3.  ce Curve

    图  4  精度损失-时间减少曲线

    Figure  4.  Accuracy Loss-Time Reduction Curve

    图  5  图割前标记

    Figure  5.  Before Graph-Cut

    图  6  图割后标记

    Figure  6.  After Graph-Cut

    图  7  喷泉影像

    Figure  7.  Fountain Image

    图  8  教堂影像

    Figure  8.  Church Image

    图  9  无人机倾斜影像

    Figure  9.  Unmanned Aerial Vehicle(UAV) Image

    图  10  全局优化效果

    Figure  10.  Global Refining Result

    图  11  本文方法的优化效果

    Figure  11.  Refining Result of the Proposed Method

    图  12  优化前的局部细节图

    Figure  12.  Local Region Before Refining

    图  13  本文方法优化后的局部网格图

    Figure  13.  Local Region After Refining with Our Method

    图  14  全局方法优化后的局部网格图

    Figure  14.  Local Region After Global Refining

    图  15  整体优化后的结果

    Figure  15.  Overall Refining Results

    表  1  网格模型优化时间对比

    Table  1.   Comparison of Mesh Refining Time

    影像名称 影像分辨率/像素 网格顶点数/面数 活跃三角形个数 本文方法优化时间/s 全局方法优化时间/s 效率提升/%
    喷泉 3 072×2 048 190 306/379 922 80 318 289.587 1 232.293 76.5
    教堂 3 072×2 048 305 952/610 812 95 961 1 428.181 4 660.299 69.4
    下载: 导出CSV

    表  2  无人机倾斜影像数据模型优化时间对比

    Table  2.   Comparison of UAV Image Reconstruction Model Refining Time

    影像数 影像分辨率/像素 网格顶点数/面数 活跃三角形个数 本文方法优化时间/s 全局方法优化时间/s 效率提升/%
    152 1 988×1 326 1 299 699/2 579 931 1 310 652 2 698.60 8 994.09 70.1
    3 976×2 652 1 552 672/3 083 567 1 738 133 6 556.32 20 076.40 67.3
    下载: 导出CSV

    表  3  本文方法优化结果与全局方法优化结果匹配程度/m

    Table  3.   Matching Degree Between Our Refining Results and Global Refining Results/m

    数据名称 网格间Haudorff距离 网格间平均距离
    喷泉模型 0.005 163 0.000 168
    城堡模型 0.006 370 0.000 327
    无人机数据 0.002 137 0.000 175
    下载: 导出CSV
  • [1] 李德仁, 肖雄武, 郭丙轩, 等.倾斜影像自动空三及其在城市真三维模型重建中的应用[J].武汉大学学报·信息科学版, 2016, 41(6):711-721 http://ch.whu.edu.cn/CN/abstract/abstract5454.shtml

    Li Deren, Xiao Xiongwu, Guo Bingxuan, et al. Oblique Image Based Automatic Aero-triangulation and Its Application in 3D City Model Reconstruction[J]. Geomatics and Information Science of Wuhan University, 2016, 41(6):711-721 http://ch.whu.edu.cn/CN/abstract/abstract5454.shtml
    [2] Delaunoy A, Prados E.Gradient Flows for Optimizing Triangular Mesh-Based Surfaces:Applications to 3D Reconstruction Problems Dealing with Visibility[J]. International Journal of Computer Vision, 2011, 95(2):100-123 doi:  10.1007/s11263-010-0408-9
    [3] 张春森, 张萌萌, 郭丙轩.影像信息驱动的三角网格模型优化方法[J].测绘学报, 2018, 47(7):959-967 http://d.old.wanfangdata.com.cn/Periodical/chxb201807009

    Zhang Chunsen, Zhang Mengmeng, Guo Bingxuan. Refinement of 3D Mesh Model Driven by the Image Information[J]. Acta Geodaetica et Cartographica Sinica, 2018, 47(7):959-967 http://d.old.wanfangdata.com.cn/Periodical/chxb201807009
    [4] Sinha S N, Pollefeys M. Multi-view Reconstruction Using Photo-Consistency and Exact Silhouette Constraints: A Maximum-Flow Formulation[C]. IEEE International Conference on Computer Vision, Beijing, China, 2005
    [5] Furukawa Y, Ponce J. Carved Visual Hulls for Image-Based Modeling[C]. European Conference on Computer Vision, Graz, Austria, 2006
    [6] 谭仁春, 杜清运, 杨品福, 等.地形建模中不规则三角网构建的优化算法研究[J].武汉大学学报·信息科学版, 2006, 31(5):436-439 http://ch.whu.edu.cn/CN/abstract/abstract2458.shtml

    Tan Renchun, Du Qingyun, Yang Pinfu, et al. Optimized Triangulation Arithmetic in Modeling Terrain[J]. Geomatices and Information Science of Wuhan University, 2006, 31(5):436-439 http://ch.whu.edu.cn/CN/abstract/abstract2458.shtml
    [7] Wu Haijun, Chen Zhiming. Uniform Convergence of Multigrid V-cycle on Adaptively Refined Finite Element Meshes for Second Order Elliptic Problems[J]. Science in China (Series A:Mathematics), 2006, 49(10):1405-1429 doi:  10.1007/s11425-006-2005-5
    [8] Esteban C H, Schmitt F. Silhouette and Stereo Fusion for 3D Object Modeling[J]. Computer Vision and Image Understanding, 2004, 96(3):367-392 doi:  10.1016/j.cviu.2004.03.016
    [9] Tylecek R, Sara R. Refinement of Surface Mesh for Accurate Multi-view Restriction[J]. The International Journal of Virtual Reality, 2010, 9(1):45-54 doi:  10.20870/IJVR.2010.9.1.2761
    [10] 戴雪峰, 熊汉江, 龚健雅.一种三维城市模型多纹理自动合并方法[J].武汉大学学报·信息科学版, 2015, 40(3):347-352 http://ch.whu.edu.cn/CN/abstract/abstract3208.shtml

    Dai Xuefeng, Xiong Hanjiang, Gong Jianya. A Multi-texture Automatic Merging Approach for 3D City Models[J].Geomatics and Information Science of Wuhan University, 2015, 40(3):347-352 http://ch.whu.edu.cn/CN/abstract/abstract3208.shtml
    [11] Esteban C H. Stereo and Silhouette Fusion for 3D Object Modeling from Uncalibrated Images Under Circular Motion[J]. Computer Vision and Image Understanding, 2004, 96(3):367-392 doi:  10.1016/j.cviu.2004.03.016
    [12] 朱红, 宋东伟, 谭海, 等. Delaunay三角网优化下的小面元遥感影像配准算法[J].信号处理, 2016, 32(9):1032-1038 http://d.old.wanfangdata.com.cn/Periodical/xhcl201609004

    Zhu Hong, Song Dongwei, Tan Hai, et al. A Tiny Facet Primitive Remote Sensing Image Registration Algorithm Based on Optimized Delaunay Triangulation[J]. Journal of Signal Processing, 2016, 32(9):1032-1038 http://d.old.wanfangdata.com.cn/Periodical/xhcl201609004
    [13] Delaunoy A, Prados E, Gargallo P, et al.Minimizing the Multi-view Stereo Reprojection Error for Triangular Surface Meshes[C]. British Machine Vision Conference, the University of Warwick, UK, 2008
    [14] Jean-Philippe P, Renaud K, Olivier F. Multi-view Stereo Reconstruction and Scene Flow Estimation with a Global Image-Based Matching Score[J]. International Journal of Computer Vision, 2007, 72(2):179-193 doi:  10.1007/s11263-006-8671-5
    [15] Yuan Hongxing, Li Guo, Li Yu, et al. Multi-view Reconstruction Using Band Graph-Cuts[J]. Journal of Computer Aided Design and Computer Graphics, 2010, 22(4):605-611 doi:  10.3724/SP.J.1089.2010.10601
    [16] Le-Jeng A S. Mesh Rrefinement Based on Euler Encoding[C].The International Conference on Shape Modeling and Applications, Cambridge, MA, USA, 2005
    [17] Furukawa Y, Ponce J. Accurate, Dense, and Robust Multiview Stereopsis[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8):1362-1376 doi:  10.1109/TPAMI.2009.161
    [18] Strecha C, van Gooll F. Wide Baseline Stereo from Multiple Views: A Probabilistic Account[C]. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Washington D C, 2004
    [19] Pons J P, Boissonnat J D. Delaunay Deformable Models: Topology-Adaptive Meshes Based on the Restricted Delaunay Triangulation[C]. IEEE Conference on Computer Vision and Pattern Recognition, Minneapolis, MN, USA, 2007
    [20] Pons J P, Keriven R, Faugeras O. Multi-view Stereo Reconstruction and Scene Flow Estimation with a Global Image-Based Matching Score[J].International Journal of Computer Vision, 2007, 72(2):179-193 doi:  10.1007/s11263-006-8671-5
    [21] Hoang-Hiep V, Renaud K, Jean-Philippe P, et al. High Accuracy and Visibility-Consistent Dense Multi-view Stereo[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2012, 34(5):889-901 doi:  10.1109/TPAMI.2011.172
  • [1] 王玮琦, 游雄, 杨剑, 李钦.  一种改进匹配点对选取策略的ElasticFusion室内三维重建算法 . 武汉大学学报 ● 信息科学版, 2020, 45(9): 1469-1477. doi: 10.13203/j.whugis20180278
    [2] 文学东, 陈为民, 谢洪, 闫利.  一种融合多源特征的建筑物三维模型重建方法 . 武汉大学学报 ● 信息科学版, 2019, 44(5): 731-736, 764. doi: 10.13203/j.whugis20180320
    [3] 危双丰, 刘明蕾, 赵江洪, 黄帅.  利用点云检测室内导航元素的方法综述 . 武汉大学学报 ● 信息科学版, 2018, 43(12): 2003-2011. doi: 10.13203/j.whugis20180144
    [4] 张春森, 王西旗, 郭丙轩.  城市环境下基于C/S架构的影像空间定位 . 武汉大学学报 ● 信息科学版, 2018, 43(7): 978-983. doi: 10.13203/j.whugis20160455
    [5] 李德仁, 肖雄武, 郭丙轩, 江万寿, 时月茹.  倾斜影像自动空三及其在城市真三维模型重建中的应用 . 武汉大学学报 ● 信息科学版, 2016, 41(6): 711-721. doi: 10.13203/j.whugis20160099
    [6] 张春森, 吕佩育, 郭丙轩.  基于控制点约束影像的密集匹配及其在考古发掘中的应用 . 武汉大学学报 ● 信息科学版, 2015, 40(12): 1575-1581. doi: 10.13203/j.whugis20130510
    [7] 郑顺义, 王晓南, 马电.  一种便捷式小型物体三维重建方法 . 武汉大学学报 ● 信息科学版, 2015, 40(2): 147-152+158.
    [8] 许志华, 吴立新, 刘军, 沈永林, 李发帅, 王然.  顾及影像拓扑的SfM算法改进及其在灾场三维重建中的应用 . 武汉大学学报 ● 信息科学版, 2015, 40(5): 599-606. doi: 10.13203/j.whugis20130444
    [9] 姚国标, 邓喀中, 艾海滨, 杜全叶.  倾斜立体影像自动准稠密匹配与三维重建算法 . 武汉大学学报 ● 信息科学版, 2014, 39(7): 843-849.
    [10] 程亮, 李满春, 龚健雅, 单杰.  LiDAR数据与正射影像结合的三维屋顶模型重建方法 . 武汉大学学报 ● 信息科学版, 2013, 38(2): 208-211,216.
    [11] 刘帅, 陈军, 赵仁亮, 马力.  利用横向切片进行地物三维重建 . 武汉大学学报 ● 信息科学版, 2011, 36(9): 1111-1115.
    [12] 张剑清, 孙明伟, 郑顺义, 季铮.  基于轮廓约束的摄影测量法元青花瓶数字三维重建 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 7-10.
    [13] 李欣, 侯文广, 杜志强, 商浩亮.  角度已知的结构光摄影测量三维重建 . 武汉大学学报 ● 信息科学版, 2009, 34(9): 1063-1067.
    [14] 郑顺义, 邓德彦.  基于三角网无缝拼接的三维重建 . 武汉大学学报 ● 信息科学版, 2009, 34(1): 15-18.
    [15] 郑顺义, 张祖勋, 翟瑞芳.  基于非量测相机的复杂物体三维重建 . 武汉大学学报 ● 信息科学版, 2008, 33(5): 446-449.
    [16] 赵煦, 周克勤, 闫利, 邓非.  基于激光点云的大型文物景观三维重建方法 . 武汉大学学报 ● 信息科学版, 2008, 33(7): 684-687.
    [17] 张小红, 耿江辉.  用不变矩从机载激光扫描测高点云数据中重建规则房屋 . 武汉大学学报 ● 信息科学版, 2006, 31(2): 168-171.
    [18] 郑顺义, 徐刚, 张祖勋, 张虎龙.  旋转体三维重建方法研究 . 武汉大学学报 ● 信息科学版, 2006, 31(12): 1047-1050.
    [19] 黄培之.  基于等高线特性的三维表面重建方法的研究 . 武汉大学学报 ● 信息科学版, 2005, 30(8): 668-672.
    [20] 邵振峰, 李德仁, 程起敏.  基于航空立体影像对的复杂房屋三维拓扑重建 . 武汉大学学报 ● 信息科学版, 2004, 29(11): 999-1003.
  • 加载中
图(15) / 表(3)
计量
  • 文章访问数:  1741
  • HTML全文浏览量:  209
  • PDF下载量:  151
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-03-01
  • 刊出日期:  2020-03-05

影像三维重建的网格自适应快速优化

doi: 10.13203/j.whugis20190161
    基金项目:

    陕西省自然科学基金 2018JM5103

    作者简介:

    张春森, 博士, 教授, 研究方向为摄影测量与遥感。zhchunsen@aliyun.com

  • 中图分类号: P237

摘要: 针对倾斜影像大场景三维重建过程中数据量大导致的三角网格优化效率低的问题,提出了一种平衡网格优化精度与优化效率的网格自适应快速优化方法。根据影像灰度信息计算沿着三角面法向量方向顶点梯度的初始值,根据每一个三角形的不同计算结果将三角形标记为活跃三角形与怠惰三角形,通过对网格中活跃三角形优化及放弃怠惰三角形优化的策略,在获得网格顶点最佳位置的同时自适应地实现优化效率的快速提升。标准三维重建影像数据集及真实无人机倾斜影像三维重建网格优化的实验结果表明了此方法的有效性。网格模型优化时间及精度对比的结果表明,该方法在优化三角网格的同时,较大幅度地提高了网格优化的计算效率,从而快速获得三维重建模型。

English Abstract

张春森, 张梦辉, 郭丙轩, 彭哲. 影像三维重建的网格自适应快速优化[J]. 武汉大学学报 ● 信息科学版, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
引用本文: 张春森, 张梦辉, 郭丙轩, 彭哲. 影像三维重建的网格自适应快速优化[J]. 武汉大学学报 ● 信息科学版, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
ZHANG Chunsen, ZHANG Menghui, GUO Bingxuan, PENG Zhe. Adaptive Fast Mesh Refinement of 3D Reconstruction Based on Image Information[J]. Geomatics and Information Science of Wuhan University, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
Citation: ZHANG Chunsen, ZHANG Menghui, GUO Bingxuan, PENG Zhe. Adaptive Fast Mesh Refinement of 3D Reconstruction Based on Image Information[J]. Geomatics and Information Science of Wuhan University, 2020, 45(3): 411-418. doi: 10.13203/j.whugis20190161
  • 利用倾斜影像进行多视图立体视觉三维重建包括倾斜影像空中三角摄影测量、影像密集匹配、基于影像信息的密集点云三维构网与优化以及纹理映射等关键技术[1-2]。与利用三维扫描仪获取的三维点云不同,利用影像获取的点云数据存在疏密程度不均匀、不够致密和精确等问题, 常常导致三维模型与真实场景在几何一致性上存在差异。因此,对重建得到的三角网格进行优化,构造完整的表面模型是基于影像进行三维重建的重要一环。

    基于影像进行三角网格优化是利用投影几何原理,计算原始影像与投影影像构成的影像对间的零均值归一化相关系数(zero mean normalized cross correlation, ZNCC),对物方顶点求导得到其梯度值,使用梯度下降法对三角网格顶点进行调整,使局部的能量函数代价最小,即通过相关系数求出的网格顶点梯度为零,从而达到优化的目的[3]。国内外学者对三角网优化进行过许多相关研究。文献[4]同时使用最小内角最大化方法和最小权法进行优化,但是基于影像的三维重建模型优化效果不佳;文献[5]提出采用窄带图割的可见外壳和多目立体匹配融合的方法,结果证明该方法相比直接采用图割算法在整个三角网上进行优化效率更高,但未考虑如何适应大场景、大数据量模型优化的问题。文献[6]给出了利用数字线划图(digital line graphic,DLG)重建地形三维模型过程中基于三角形拓扑关系的构网优化算法;文献[7]证明了采用最新顶点平分法在自适应细化有限元网格上对离散椭圆问题的一致收敛算法。然而它们均属于二维构网优化算法。文献[8-9]分别介绍了早期的网格优化方法是通过优化边缘信息的梯度实现的,但是存在场景限制的缺点。

    利用三角网格表示曲面,对三角形的顶点不断地迭代调整,以达到多视图影像相关的一致性,从而实现网格优化的目的。但是在三角网格顶点梯度的计算过程中,由于影像数量多、影像分辨率大等原因,可能会出现大量的冗余,且三角网顶点密度越大,与网格有关的计算越慢[10-12]。事实上,在三角网格优化过程中,并不是影像中所有区域对应的网格顶点梯度都需要进行计算,如影像的平面区域中,颜色相对单一、纹理不丰富区域的顶点由于计算出的梯度过小,因此无需重复计算。同时,在常规的网格优化预处理过程中,模型表面的平面区域经过网格细分会产生大量密集的小三角形,给优化过程带来额外的计算,降低网格优化效率。因此,效率过低是优化过程中出现的最主要问题之一[13-19]

    针对以上问题,本文提出一种自适应快速优化方法。在第一次迭代过程中,计算得出顶点梯度初值后,对网格中的每一个三角形进行评价并自适应标记为活跃区与怠惰区两个不同区域。活跃区是迭代计算过程中顶点移动量较大的区域,此区域对优化效果影响较大;怠惰区是迭代过程中顶点移动量较小的区域,对三角网格的最终优化效果影响较小,在后续迭代过程中无需重复计算怠惰区三角形顶点梯度。在将三角网进行初始标记后,进一步通过图割算法获得三角网的最优标记, 选择性地优化活跃区三角网,从而达到快速优化的目的。

    • 三角网优化是指利用影像信息对重建后的原始模型网格进行优化处理,从而获得最优的网格模型。利用影像信息迭代计算网格顶点梯度,将三角网的顶点沿着梯度方向进行移动,使得网格顶点对应同名像点间的相关性达到最大,当计算出的网格顶点梯度为0时,迭代结束,获得最优的网格模型。

    • 图 1所示,对于网格S中的任意一个三角面t,都可在影像对上找到公共重叠的区域。对于网格中某个三角形t中存在的P点,在同名影像对IiIj上有其对应的同名像元xixj,对于影像Ij上的像元xj,利用影像Ij的内外方位元素将xj反投到物方空间得到三角形t内的一点P,将P以影像Ii的内外方位元素进行投影得到在影像Ii视角下的像元点$I_i^{S, j} $,即通过投影可将影像Ij经物方的三角形t的诱导投影到影像Ii的视角之下得到影像$I_i^{S, j} $。

      图  1  基于影像像元的三角网重投影

      Figure 1.  Relation of Image Re-project

      以ZNCC作为影像相似性的度量,定义两个像元点之间的灰度值方差C(ijx)为:

      $$ C\left( {i, j, x} \right) = \sum\limits_{{x_k} \in N(x)} \left( {{I_i}\left( {{x_k}} \right)I_i^{S, j}\left( {{x_k}} \right)} \right) - \frac{1}{N}\left( {\sum\limits_{{x_k} \in N(x)} {{\bar I}_i}\left( {{x_k}} \right)} \right)\left( {\sum\limits_{{x_k} \in N(x)} \bar I_i^{S, j}\left( {{x_k}} \right)} \right)$$ (1)

      式中,N表示以当前像元为中心的窗口内的像元总数;Ii(xk)是在影像Ii上像元xk的灰度;$ I_i^{S, j} (x_k)$是在投影影像上像元xk的灰度;$ {\bar I_i}\left( {{x_k}} \right)$、$\bar I_i^{S, j}\left( {{x_k}} \right) $是该像元在对应影像上的灰度的均值。则ZNCC $ M({I_i}({x_k}), I_i^{S, j}({x_k}))$的计算公式为[20]

      $$M\left( {{I_i}\left( {{x_k}} \right), I_i^{S, j}\left( {{x_k}} \right)} \right) = \frac{{C\left( {i, j, x} \right)}}{{\sqrt {C\left( {i, i, x} \right)C\left( {j, j, x} \right)} }}$$ (2)
    • 对于网格平面上的一点P,其对应的可视影像Ii上的像元xi存在映射关系$ {x_i} = \prod\nolimits_i P $,在影像Ij上存在映射关系$ {x_j} = \prod\nolimits_i P $,则P = ∏i-1xi。点P在网格平面S对应微小面元δS,则P点的梯度GS (P)为:

      $${\boldsymbol{G}_S}\left( P \right) = \left[ {{G_{I_i^{S, j}}}\left( {{x_i}} \right){J_i}\frac{{{\boldsymbol{d}_i}}}{{{\boldsymbol{N}^{\rm{T}}}{\boldsymbol{d}_i}}}} \right]\boldsymbol{N}$$ (3)

      式中,N是物方点P所属三角面的法向量; di是影像Ii的相机中心指向点P的方向向量。

      $${G_{I_i^{S, j}}} = - \frac{{\partial M\left( {{I_i}\left( {{x_i}} \right), I_i^{S, j}\left( {{x_i}} \right)} \right)}}{{\partial {x_i}}}$$ (4)

      表示影像对相似性度量在像元xk处相对于影像坐标的偏导数,可由该点处的相关系数ZNCC对像点坐标求偏导得到。

      $${J_i} = \frac{{{\rm{d}}{x_i}}}{{{\rm{d}}P}}$$ (5)

      表示影像坐标关于物方点坐标的偏导函数。

      P点的移动转换为对应面元的移动:

      $$\frac{{\partial \mathop \prod \nolimits_{i, S + \varepsilon {\rm{ \mathit{ δ} }}S}^{ - 1} ({x_i})}}{{\partial \varepsilon }}{|_{\varepsilon = 0}} = \frac{{{\boldsymbol{N}^{\rm{T}}}\;{\rm{ \mathit{ δ} }}S\left( P \right)}}{{{\boldsymbol{N}^{\rm{T}}}{\boldsymbol{d}_i}}}{\boldsymbol{d}_i}$$ (6)

      对于每一个顶点来说,其所参与构建的多个三角形投影在影像上后都包含多个像元点,因此在投影之后对于每一个像元点q来说,都可由其所属的三角形的3个顶点vk来表示其位置$q = \sum\limits_k {\varphi _k}{v_k}\left( {k = 0, 1, 2} \right)$ ,且$\sum\limits_k {\varphi _k} = 1$ ,φ是三角形的某一顶点对三角形内部一点的权重。

      物方上q点的梯度GS(q)也可用三角形3个顶点的梯度GS(v)来表示:GS(q)= $\sum\limits_k $φkGS(vk)。因此可通过稀疏矩阵求得三角网中每一个顶点的梯度:

      $${\boldsymbol{A}_{m \times n}}{\boldsymbol{G}_S}\left( v \right) = {\boldsymbol{G}_S}\left( q \right)$$ (7)

      式中,m表示像元点的数量;n为顶点的个数;A中每一行的元素表示为:(1)每个影像点对应的三角形顶点所在的元素位置由所属三角形顶点的权重决定,(2)无关三角形顶点所对应的元素位置由0填充。以顶点的梯度为未知数,矩阵A与对应影像点的梯度为已知值,通过构建稀疏矩阵计算出所有顶点的梯度值,再对网格顶点进行统一的移动操作,即可得到优化后的网格模型。

    • 三维模型表面网格优化的实质是利用影像灰度信息,通过对灰度求其关于顶点坐标的梯度,将顶点沿三角面的法向量方向进行移动从而得到最优顶点。在计算过程中发现,在纹理丰富区域计算出的顶点梯度值较大,而在纹理不丰富的平坦区域所计算出的顶点梯度值则明显偏小。利用网格中三角形所有顶点的梯度,计算网格中每一个三角形的位移量以及优化该三角形的时间消耗,将网格划分为纹理丰富优化效果明显的活跃区和位于平坦区域优化效果不明显的怠惰区两部分。图 2所示为本文优化流程。

      图  2  本文优化流程

      Figure 2.  The Process of Our Method

    • 将三角网格中的每一个三角形按照所属的区域分别标记,将所属活跃区的三角形标记为true,怠惰区的三角形标记为false。三角网格表面S上的每一个三角形t都有其标记f,即ft)=true或ft)=false。

      构建三角形精度-效率函数u(f):

      $$u\left( f \right) = {u_{{\rm{accuracy}}}}\left( f \right) + {u_{{\rm{time}}\_{\rm{efficient}}\_{\rm{loss}}}}\left( f \right)$$ (8)

      式中,uaccuracy (f)表示网格优化的精度函数,主要由活跃区三角形优化的位移量决定,因此可由三角形顶点梯度的模来表达;;utime_efficient_loss(f)表示网格优化的时间减少量函数,主要通过减少优化怠惰区三角形来达到减少优化时间的目的,因此可由怠惰区三角形的初次优化时间来表达。为了保证加速优化后的网格能够在尽可能保持优化效率的前提下,仍能够与全局优化后的网格保持最大程度上的吻合,应保证此精度-效率函数取得最大值。

    • 由于在优化的过程中每个顶点的初始移动量不同,因此每一个顶点的优化程度也不相同。以顶点梯度的模作为顶点初始移动量,对于网格表面中的某一三角形t,顶点vi是三角形的某一顶点,i = 1,2,3。顶点vi的初始移动量gi可表示为:

      $${g_{{i_v}_{_i}}} = \left| {{\rm{grad}}\left( {{v_i}} \right)} \right|$$

      式中,grad(vi)是此顶点的梯度。

      对于三角形t的初始移动量gi可表示为:

      $${g_{{i_t}}} = \frac{1}{3}\sum\limits_t {g_{{i_{{v_i}}}}}$$

      每一个三角形的优化都由其3个顶点决定。三角形顶点的梯度则是三角形内部点梯度的矢量和,因此三角形的优化时间可由三角形的面积来进行量化,进而对某一三角形t的时间代价函数可表示为:

      $${t_c}_{_t} = \frac{1}{2}\left| {\left( {{v_2} - {v_0}} \right) \times \left( {{v_2} - {v_1}} \right)} \right|$$

      式中,v0v1v2是三角形t的3个顶点。

      对于三角网格中的每一个三角形都定义一个效率代价ce,以每一个三角形所对应的初始移动量gi与优化时间消耗tc的比值作为三角形的效率代价。三角形的效率代价越高, 表示被标记为活跃三角形的可能性越大。

    • 将三角网格的每一个三角形的效率代价按升序进行排序,可以得到一条如图 3(以优化实验中教堂的ce曲线为例)所示的曲线。图 3中,横坐标为排序后三角形在序列中的序列号,纵坐标为对应的ce值。

      图  3  效率代价曲线图

      Figure 3.  ce Curve

      ce值的分子与分母分别进行归一化,以三角形的面积作为时间统计量,那么通过标记可实现的时间减少率为:

      $$r = \frac{{\sum\limits_{{\rm{lazy}}} {t_c}_{_t}}}{{\sum\limits_{{\rm{all}}} {t_c}_{_t}}} \times 100{\rm{\% }}$$

      即怠惰区三角形优化时间占总优化时间的比例。标记后的精度损失率由怠惰区三角形的总位移量与所有三角形的总位移量的比值表示:

      $$l = \frac{{\sum\limits_{{\rm{lazy}}} {g_i}_{_t}}}{{\sum\limits_{{\rm{all}}} {g_i}_{_t}}} \times 100{\rm{\% }}$$

      式中,lazy表示怠惰区三角形;all表示网格中的所有三角形。即怠惰区三角形的移动量相对于全局优化三角网移动量的比值。lr的关系可用图 4表示。如图 4所示,当曲线在原点(0, 0)时,精度损失最小,时间消耗最大,此时为全局优化;随着优化的推进,所需时间逐渐减少,优化后网格的精度损失逐渐变大,需获得曲线上的最佳平衡点。根据此结果对网格三角形进行标记,保证优化效率的提升与精度损失达到最佳的平衡。

      图  4  精度损失-时间减少曲线

      Figure 4.  Accuracy Loss-Time Reduction Curve

      将精度-效率公式(8)改写为:

      $$u\left( f \right) = {u_l}\left( l \right) + {u_r}\left( r \right)$$ (9)

      lr为自变量,将式(9)改写为:

      $$u\left( {r, l} \right) = {w_l}\left( {1 - l} \right) + {w_r}\left( r \right)$$

      式中,wlwr分别表示lr在函数中的权重。必存在一点e(r0, l0),使得该函数取得最大值。通过对函数求导,最优解点e(r0, l0)在图 4中函数曲线上对应的斜率为$k = \frac{{{w_r}}}{{{w_l}}} $,这个点就是将三角形分为两个属性的最优点。在本文实验中,视lr等权,即取$k = \frac{{{w_r}}}{{{w_l}}}=1 $,通过微分法求得曲线斜率为1时对应的ce值,获取网格三角形的初始标记finitial,小于该值的三角形属于怠惰三角形,而大于该值的三角形属于活跃三角形。

    • 由于初始标记后的网格中某些区域存在一个或数个单独标记的三角形,为了达到最优的标记效果,使用图割算法获取每个三角形的最优标记。

      对于三角网格中的每个三角形t都有其初始的标记ft)={true, false},以三角网中的每个三角形为图割过程中图的节点,以邻接三角形的邻接边作为所构建的节点间的边构建图,则图的能量函数可表示为:

      $${E_{{\rm{Graph}}}}\left( f \right) = {E_{{\rm{data}}}}\left( f \right) + {E_{{\rm{smooth}}}}\left( f \right)$$ (10)

      最优的标记依赖于三角形的初始标记finitialEdata(f)是对于所有的三角形可能存在的不同标记的权值和,即:

      $$_{{\rm{data}}}\left( f \right) = \sum\limits_i 1\left( {f_{{t_i}}^{{\rm{initial}}} \ne {f_{{t_i}}}} \right)$$ (11)

      而对于每一个三角形与所构建的终端节点的连接边的权值为:

      $${e_{{\rm{data}}}}\left( f \right) = \left\{ {\begin{array}{*{20}{c}} {1, {f^{{\rm{initial}}}} \ne {f_{{t_i}}}}\\ {0, {f^{{\rm{initial}}}} = {f_{{t_i}}}} \end{array}} \right.$$ (12)

      本文中使用Potts模型进行平滑项的设置:

      $${E_{{\rm{smooth}}}}\left( f \right) = \sum\limits_{p, q} 1\left( {{f_{{t_p}}} \ne {f_{{t_q}}}} \right)$$ (13)

      其中pq是具有邻接关系的两个相邻三角形,则:

      $${e_{{\rm{smooth}}}}\left( f \right) = \left\{ {\begin{array}{*{20}{c}} {1, {f_{{t_p}}} \ne {f_{{t_q}}}}\\ {0, {f_{{t_p}}} = {f_{{t_q}}}} \end{array}} \right.$$ (14)

      通过以上的图割过程得到每一个三角形的最优的标记foptimal,由图 5~6可以看出,经过图割,纹理丰富区域的活跃三角形密度更大,而平坦区域的怠惰三角形密度更大。图 5~6中红色区域为标记的活跃区三角形,白色为怠惰区三角形。

      图  5  图割前标记

      Figure 5.  Before Graph-Cut

      图  6  图割后标记

      Figure 6.  After Graph-Cut

    • 分别选取标准影像,如图 7~8所示的喷泉与教堂影像,以及建筑物丰富、特征明显的某测区152张无人机倾斜影像数据(见图 9)。在构建初始三角网后,采用本文所给的三角网快速优化方法进行优化重建并与全局优化方法[21]进行对比(测试用机CPU E3-1231 v33.40 GHz,内存8 GB)。图 10~11分别为利用全局优化方法与本文方法对原始影像优化后的效果。图 12~14为针对无人机影像不同优化方法局部区域优化前后的比较。表 1~2分别为标准影像与无人机影像网格模型优化前后的时间对比。为比较本文方法与全局法三维重建两个点集的匹配(相似)程度,分别对标准影像及无人机影像数据,以Hausdorff距离为指标,统计了本文方法加速优化网格与全局优化网格间采样区的Hausdorff距离与平均距离(见表 3)。图 15为无人机影像整体优化后的效果。

      图  7  喷泉影像

      Figure 7.  Fountain Image

      图  8  教堂影像

      Figure 8.  Church Image

      图  9  无人机倾斜影像

      Figure 9.  Unmanned Aerial Vehicle(UAV) Image

      图  10  全局优化效果

      Figure 10.  Global Refining Result

      图  11  本文方法的优化效果

      Figure 11.  Refining Result of the Proposed Method

      图  12  优化前的局部细节图

      Figure 12.  Local Region Before Refining

      图  13  本文方法优化后的局部网格图

      Figure 13.  Local Region After Refining with Our Method

      图  14  全局方法优化后的局部网格图

      Figure 14.  Local Region After Global Refining

      表 1  网格模型优化时间对比

      Table 1.  Comparison of Mesh Refining Time

      影像名称 影像分辨率/像素 网格顶点数/面数 活跃三角形个数 本文方法优化时间/s 全局方法优化时间/s 效率提升/%
      喷泉 3 072×2 048 190 306/379 922 80 318 289.587 1 232.293 76.5
      教堂 3 072×2 048 305 952/610 812 95 961 1 428.181 4 660.299 69.4

      表 2  无人机倾斜影像数据模型优化时间对比

      Table 2.  Comparison of UAV Image Reconstruction Model Refining Time

      影像数 影像分辨率/像素 网格顶点数/面数 活跃三角形个数 本文方法优化时间/s 全局方法优化时间/s 效率提升/%
      152 1 988×1 326 1 299 699/2 579 931 1 310 652 2 698.60 8 994.09 70.1
      3 976×2 652 1 552 672/3 083 567 1 738 133 6 556.32 20 076.40 67.3

      表 3  本文方法优化结果与全局方法优化结果匹配程度/m

      Table 3.  Matching Degree Between Our Refining Results and Global Refining Results/m

      数据名称 网格间Haudorff距离 网格间平均距离
      喷泉模型 0.005 163 0.000 168
      城堡模型 0.006 370 0.000 327
      无人机数据 0.002 137 0.000 175

      图  15  整体优化后的结果

      Figure 15.  Overall Refining Results

    • 表 1表 2可以看出, 本文方法相较于全局优化效率提升明显,表 3反映了本文加速优化后网格与全局优化后网格的匹配程度。由表 3可以看出,两种方法优化后网格极为接近,匹配度较高。结合表 1~2结果可以得出:本文加速优化方法相较于全局优化方法,在精度不降的前提下,优化效率提升明显。通过以上实验分析发现,在基本保持原有精度的前提下,利用本文提出的三维重建网格自适应快速优化方法,在优化的过程中既能实现对初始三角网的处理,保持优化达到预期效果外,还能有效地减少网格顶点的迭代计算时间,提高了优化效率。

    • 针对基于无人机倾斜影像大场景三维建模网格优化过程中效率低的问题,本文在基于影像的网格优化方法中对网格顶点梯度初始计算结果进行评价,将优化网格中的三角形标记为活跃区三角形与怠惰区三角形。对活跃区三角形顶点的梯度进行迭代计算,忽略怠惰区三角形顶点梯度的计算,减少冗余计算,达到在基本保持原有精度的前提下提升优化效率的目的。标准影像及对地观测真实无人机影像的实验结果均证明了本文方法的有效性。

      虽然本文方法在实现优化效率快速提升的同时,模型的精度基本与全局优化后的精度一致,但在网格优化的过程中未能同时实现精度的提升。如何在保持网格优化效率的同时,提高网格优化精度,实现效率与精度的共同提升将是后续的研究内容。

参考文献 (21)

目录

    /

    返回文章
    返回