留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

局部区域表面一致性约束的三维模型纹理映射方法

李媛 胡翰 谢金华 朱庆 张叶廷 杜志强 彭明军 高山

李媛, 胡翰, 谢金华, 朱庆, 张叶廷, 杜志强, 彭明军, 高山. 局部区域表面一致性约束的三维模型纹理映射方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
引用本文: 李媛, 胡翰, 谢金华, 朱庆, 张叶廷, 杜志强, 彭明军, 高山. 局部区域表面一致性约束的三维模型纹理映射方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
LI Yuan, HU Han, XIE Jinhua, ZHU Qing, ZHANG Yeting, DU Zhiqiang, PENG Mingjun, GAO Shan. An Automatic Texture Mapping Method Using Local Surface Consistency Constraint[J]. Geomatics and Information Science of Wuhan University, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
Citation: LI Yuan, HU Han, XIE Jinhua, ZHU Qing, ZHANG Yeting, DU Zhiqiang, PENG Mingjun, GAO Shan. An Automatic Texture Mapping Method Using Local Surface Consistency Constraint[J]. Geomatics and Information Science of Wuhan University, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537

局部区域表面一致性约束的三维模型纹理映射方法

doi: 10.13203/j.whugis20140537
基金项目: 

国家自然科学基金 No. 41171311

国家科技支撑计划 No. 2012BAH35B02

四川省科技支撑计划 No. 2014SZ0106

详细信息

An Automatic Texture Mapping Method Using Local Surface Consistency Constraint

Funds: 

The National Natural Science Foundation of China No. 41171311

National Science and Technology Support Program No. 2012BAH35B02

Sichuan Science and Technology Support Program No. 2014SZ0106

More Information
图(7) / 表(1)
计量
  • 文章访问数:  1484
  • HTML全文浏览量:  28
  • PDF下载量:  374
  • 被引次数: 0
出版历程
  • 收稿日期:  2014-10-28
  • 刊出日期:  2016-12-05

局部区域表面一致性约束的三维模型纹理映射方法

doi: 10.13203/j.whugis20140537
    基金项目:

    国家自然科学基金 No. 41171311

    国家科技支撑计划 No. 2012BAH35B02

    四川省科技支撑计划 No. 2014SZ0106

    作者简介:

    李媛,硕士生,主要从事三维模型重建的理论与方法研究。giser_liyuan@whu.edu.cn

    通讯作者: 胡翰,博士生。huhan19880715@163.com
  • 中图分类号: P208;P231

摘要: 倾斜摄影测量进行三维模型重建时,由于影像匹配精度和密集点云简化等因素,使得三角形网格模型表面的法向量存在许多明显噪声,加上镜头畸变和光照条件不同引起的影像间几何与辐射的不一致,最终导致不同三角形之间纹理映射结果不连续,这种碎片状纹理表面的真实感不强,难以直观理解。针对此,提出了一种局部区域表面一致性约束的纹理映射方法,采用区域生长策略将多个三角形合并为一个较大的平面区域,并且在区域生长过程中顾及了区域的连续性和平面性,建立该平面区域与同一影像之间的映射关系。实验证明了该方法能够有效消除纹理映射碎片化的现象。

English Abstract

李媛, 胡翰, 谢金华, 朱庆, 张叶廷, 杜志强, 彭明军, 高山. 局部区域表面一致性约束的三维模型纹理映射方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
引用本文: 李媛, 胡翰, 谢金华, 朱庆, 张叶廷, 杜志强, 彭明军, 高山. 局部区域表面一致性约束的三维模型纹理映射方法[J]. 武汉大学学报 ● 信息科学版, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
LI Yuan, HU Han, XIE Jinhua, ZHU Qing, ZHANG Yeting, DU Zhiqiang, PENG Mingjun, GAO Shan. An Automatic Texture Mapping Method Using Local Surface Consistency Constraint[J]. Geomatics and Information Science of Wuhan University, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
Citation: LI Yuan, HU Han, XIE Jinhua, ZHU Qing, ZHANG Yeting, DU Zhiqiang, PENG Mingjun, GAO Shan. An Automatic Texture Mapping Method Using Local Surface Consistency Constraint[J]. Geomatics and Information Science of Wuhan University, 2016, 41(12): 1599-1604. doi: 10.13203/j.whugis20140537
  • 倾斜摄影测量技术已广泛应用于逼真地形景观建模等领域,其基本特点是从多角度影像自动获取密集点云数据,通过简化处理生成不规则三角网格表面模型(triangulated irregalar network,TIN),并自动映射纹理[1, 2]。实际上,受多视影像联合平差精度和密集匹配生成的点云精度的限制,以及点云简化的不足,会导致生成的三角形网格模型表面粗糙,连续区域表面法向量存在噪声,从而造成不一致性。这种不一致性导致对应于同一地物表面的三角面片被投影到不同影像上;同时,由于相机畸变、光照、地物反射特性等原因,不同影像间存在几何和辐射上的差异,最终纹理映射后的结果呈碎片化状态,三维场景真实感不强、不直观。当前主流的倾斜影像处理软件如Street Factory等也都存在类似的问题。

    纹理映射碎片化问题的解决方法主要有渐入渐出法[3]、光照连续性重建[4, 5]法以及应用较广泛的多波段融合法[6-9]等。这些方法都是从影像出发,通过匀光或色彩融合等处理,使其在灰度上趋于一致,虽然在一定程度上可以使碎片之间的纹理过渡更加平滑,但计算量大,算法要求高,容易出现模糊和重影现象,并且依然难以消除碎片化的影响。

    纹理映射碎片化的根本原因是模型表面上相邻的三角面片由于几何不一致被投影到不同影像上。现有方法只是在影像层面对纹理进行修复,并没有从根本上解决模型表面的几何不一致性问题。针对此,本文提出一种局部区域表面一致性约束的纹理映射方法,采用一致性约束的区域生长方法和分块区域整体的纹理优选方法,解决上述纹理碎片化的问题。

    • 局部区域表面一致性约束的纹理映射方法流程如图 1所示。记三角形网格模型为M[9],构成M的带有法向量的三角形记作有向三角面片t,则M的连续表面S={t1,t2,…,tm},S∈R3。首先,在表面一致性约束的前提下,以有向三角面片t为基元,采用表面一致性约束的区域生长算法将S分割为多个分块连续的区域R1,R2,…,Rn,RiS(1 ≤ i ≤ n),且分割结果应在最大程度上满足人们对建筑物几何表面划分的认知,即连续、光滑建筑物有且仅有一个表面与之对应。为了保证局部区域内纹理映射的连续性,需要根据区域整体的纹理优选方法,从覆盖区域Ri的多张不同角度的影像中,选择一张最佳影像为Ri提供纹理。最后根据投影矩阵计算Ri上的点在影像上的投影,得到纹理,完成纹理映射。

      图  1  算法流程图

      Figure 1.  Flowchart of the Algorithm

    • 纹理映射的碎片化是由于三角形网格模型M表面的几何不一致性引起的。产生不一致性的原因是影像平差精度和密集匹配的点云精度的限制以及构网过程中的简化算法不够完善,导致连续区域表面的法向量存在异常噪声。如图 2所示,Γ为建筑物真实的表面,n为其法向量,t1、t2M表面两个相邻的三角面片,n1、n2为其法向量。

      图  2  法向量噪声示意图

      Figure 2.  Noises on the Normal of Surfaces

      单独来看,t1、t2与Γ之间的夹角θ1θ2均在噪声容忍范围内,但t1t2之间的夹角θ=θ1+θ2却超过了噪声容忍范围,形成噪声。表面一致性约束不是剔除噪声点,而是通过约束,使噪声点可以与邻近点形成一个具有一致性的区域,即该区域是连续的,并且区域上任何一点在同一张影像上具有相同的可见性。因此,表面一致性约束包括邻接性约束和平面性约束两方面。

    • 邻接性约束,即三角面片在空间上是相邻的,能保证区域的连续性。邻接性约束可通过采用树状的索引结构(KD-Tree、R-Tree[10-12]等),进行半径搜索或K邻近搜索来实现。但是由于三角形网格模型密度的不均匀性,进行半径搜索时难以设置合适的阈值以保证每次搜索的有效性,故本文中采用K邻近搜索方法。

      K邻近搜索方法实现区域生长的关键是K的取值。平坦的模型表面K一般取较大值,可以加速计算;而对于房屋角点、植被等复杂表面,由于存在多个平面,K一般由大到小渐进取值,这样既能保证分割出每一个平面,又能保证计算效率。本文中,首先令K取一个较大的值(K=20)进行搜索,判断搜索到的点是否满足平面性约束,若不满足则说明是复杂表面,此时令K值减半继续搜索,以此类推。这样既可以保证计算速度,又可以保证区域生长结果在多个平面交界处的准确性。

    • 实际中,许多建筑物的表面由连续曲面构成,但是曲面上的不同点在同一张影像上不具备相同的可见性(不考虑其他面的遮挡)。如图 3(a)所示,Γ 为建筑物真实的表面,I1、I2、I3是不同角度的拍摄的影像,p0 ~p4为Γ上的点,p0 ~p2I1的可视范围,p1 ~p3I2的可视范围,p2 ~p4I3的可视范围,可见Γ上的点不可能全部投影到同一张影像上,因此需要对其进行平面性约束,用多个平面逼近曲面,如图 3(b)所示。

      图  3  平面约束示意图

      Figure 3.  Planarity Constraint

      设有向点集P(P∈R3)P的平面度可以通过其协方差矩阵的主成分分析来判断[13],对协方差矩阵进行奇异值分解(singular value decomposition,SVD)后得到特征值σ1σ2σ3η1η2η3为对应的特征向量,如图 4所示。特征值及其对应的特征向量代表了P在三维空间中的分布情况,σ1越小P越接近平面,极限情况为σ1=0。因此,平面性约束可记为:

      (1)

      图  4  SVD分解的几何示意图

      Figure 4.  Geometric Schematic View of SVD

      式中,σ2 /σ1 ξ1可保证点集P近似为平面,而σ3 /σ2 ξ2则能避免产生过于狭长的条带。本文中采用这种方法作为平面性约束,令ξ1=45,ξ2=15,既有效约束了平面的形状,也较好地包容了噪声点。

      若P满足上述约束,则可拟合出平面并记n0为拟合平面的法向量,近似于图 2中建筑物表面Γ的实际法向量nx为平面上的点。设P中一点pi的法向量nin0之间的夹角记为θ(ni,n0),需满足:

      (2)

      由前面对法向量噪声的分析可知,式(2)避免了法向量噪声对平面的影响。式(1)和式(2)共同构成平面性约束,在区域生长时可将连续的曲面及平滑的过渡地带分割为多个平面逼近。

    • 区域生长以有向三角面片t为基元,采用迭代的策略由种子点向外生长。为了方便计算,将t的几何重心点及其法向量构成有向点p,则全部有向三角面片t的集合S即对应于有向点集P。区域生长需要解决的三个关键问题为种子点的选取,包含进区域的准则以及生长停止的条件。

      P为数据源创建Kd-Tree,记生长出的区域为R,其边界为B,符号⊕(p)表示添加点p,Θ(p)表示从集合中删除点p,并且添加一个点后都需要将它从KD-Tree中删除,以避免重复计算。首先,从P中任选一点p0作为种子点,R⊕(p0)、B⊕(p0),标记p0为起始点;以B中第j个标记为起始点的点pBj为中心进行K=20的邻近搜索,若搜索到的点{pnew}与R一起满足平面性约束式(1)、式(2),则R⊕{pnew}、B⊕{pnew},标记{pnew}为起始点,并且BΘ(pBj);若不满足平面性约束式(1)、式(2),则K值减半进行搜索,若直到K=1时{pnew}与R一起仍不满足约束条件,则标记pBj为终止点;然后重新令K=20,搜索B中第j+1个标记为起始点的点;逐此迭代,直到B中所有点均标记为终止点,或K邻近搜到的结果为空为止,则停止生长。最后得到的R即为所求的连续区域,它拟合的平面的法向量可视为R的法向量nR,nR是后面选择投影影像时的关键因素。若KD-Tree不为空,则以剩下的点中任意一点为某个区域生长结束后的种子点,进入下一个区域的生长。

    • 倾斜摄影测量具有多角度、多时相的特点,因此区域R会被多张影像I1,I2,…,Im同时覆盖。R与影像间的方位关系不同,在影像上产生投影畸变的程度也不同;同时由于区域间的遮挡关系,R在不同影像上的可见情况不同。因此,需要选择一张最佳的影像来为R提供整体的纹理。

    • 倾斜摄影测量中不同角度影像在空间中的方位是固定的,以5头相机为例, 影像范围覆盖同一区域的相机A、B、C、D、E分布如图 5(a)所示。定义ρ为区域与影像之间的视角关系权重,它与两个角度有关:① 区域R的法向量nR与每张影像投影反方向nI之间所成的夹角,记为α;② 以R的中心为起点,连接影像中心,得到向量l,记l与nR之间的夹角为β,如图 5(b)所示,A1、A2、A3为不同时刻相似A在空中的位置。β越小,则R在影像上的投影越靠近影像中心。

      图  5  最佳投影影像

      Figure 5.  Selection of the Optimal Image

      则ρ的确定方式如下:

      (3)

      当ρ大于0时,区域R在影像上可见(不考虑遮挡和超出影像范围)。为了保证投影的质量,令:

      (4)

      以区域R为整体进行遮挡检测,若R中总三角面片个数为s,被遮挡和超出影像范围的个数为k,记ηR在影像上的遮挡比率:

      (5)
    • 区域R整体的纹理优选方法需同时考虑视角关系ρ和遮挡比率η。首先找出所有ρ大于0对应的影像,并从中选取ηmin所对应的影像作为R的最佳投影影像Ibest。若ηmin大于0,则说明R在Ibest上不完全可见,此时需要将不可见的部分分割出来作为一个单独的区域R′,再以同样的方法为R′选择最佳投影影像。最后,从每一块区域对应的最佳投影影像中提取纹理,进行纹理映射。

    • 为了验证上述方法的有效性,本文采用SWDC-5的倾斜摄影影像数据来进行实验。整个测区共被15张影像所覆盖,相机A、B、C、D、E分别各有3张影像,影像覆盖区域内包括道路、建筑物(弧形/非弧形)、操场、植被等多种地物。对这些影像进行多视影像联合匹配后生成点云,再利用构网算法得到三角形网格模型,作为纹理映射的模型基础。

      对比实验将三角形格网模型M中的有向三角面片t逐个按照§1.2中的方法选择最佳投影影像,然后再将投影到同一张影像上的相邻三角面片连接为一个区域R。这种逐个三角形纹理映射的方法与本文方法之间的区别在于是否进行了一致性约束的区域生长。图 6(a)为逐个三角形纹理映射的结果;图 6(b)为本文方法进行一致性约束的区域生长后的分割结果。将三角形个数小于一定阈值的区域视为碎片,可看出图 6(a)中碎片化现象严重,而图 6(b)中区域连续一致,地面和立面、立面和屋顶被很好地分割开,并且弧形的建筑物表面被分割为6个连续的近似平面,以保证能够正确地选择投影影像。实验中对一个具有60 000个三角面片的三角形网格模型分别在两种方法下形成的连续区域R进行统计分析,其结果见表 1。可看出,本文方法可将碎片化程度减小到逐个三角形纹理映射方法的5%,而这些碎片主要分布在植被不规则的表面、建筑物内凹形成的坑洞表面以及细小地物的表面等处。

      图  6  区域生长前后结果

      Figure 6.  Comparison of Results with and Without Region Growing

      表 1  区域生长前后碎片化程度对比

      Table 1.  Comparison of Fragmentation Degrees of the One-by-one Approach and Our Approach

      方法 总连通区域个数 三角形个数<10的连通区域个数 三角形个数<5的连通区域个数 三角形个数=1的连通区域个数 平均包含的三角形个数
      逐个三角形映射方法 11 755 10 766 9 640 5 748 5.1
      一致性约束的区域生长方法 909 541 457 216 66.0

      图 7为纹理映射后的对比结果。图 7(a)为Street Factory建模并进行纹理映射的结果。从图 7(a)可看出,虽然Street Factory对纹理进行了匀光处理,但仍存在纹理碎片化的现象;图 7(b)7(c)分别为同一个三角形网格模型在逐个三角面片纹理映射和一致性约束纹理映射的结果,显然逐个三角面片的纹理映射结果受噪声影响较大,尤其是在水面和植被处的纹理碎片化现象严重;而一致性约束纹理映射结果则有显著改善。

      图  7  纹理映射对比结果

      Figure 7.  Comparison of Texture Mapping Results

    • 本文提出了一种针对三角形网格模型的局部区域表面一致性约束的纹理映射方法,并使用真实数据与Street Factory等商业软件进行了对比实验。表面一致性约束可大大减小三角形网格模型表面噪声(尤其是法向量噪声)的影响,顾及这种约束的区域生长方法能够将三角形网格模型良好地分割为多个连续的区域,最终为每一个区域选择最优的投影影像提供纹理。这种化零为整的思想对消除纹理碎片化现象具有显著效果。进一步的研究将针对更加复杂的建筑物场景的真实感表达进行,以期消除不同建筑物间的纹理接缝,增强场景的真实感。

参考文献 (13)

目录

    /

    返回文章
    返回