倾斜摄影测量技术已广泛应用于逼真地形景观建模等领域，其基本特点是从多角度影像自动获取密集点云数据，通过简化处理生成不规则三角网格表面模型(triangulated irregalar network,TIN)，并自动映射纹理^{[1, 2]}。实际上，受多视影像联合平差精度和密集匹配生成的点云精度的限制，以及点云简化的不足，会导致生成的三角形网格模型表面粗糙，连续区域表面法向量存在噪声，从而造成不一致性。这种不一致性导致对应于同一地物表面的三角面片被投影到不同影像上；同时，由于相机畸变、光照、地物反射特性等原因，不同影像间存在几何和辐射上的差异，最终纹理映射后的结果呈碎片化状态，三维场景真实感不强、不直观。当前主流的倾斜影像处理软件如Street Factory等也都存在类似的问题。

纹理映射碎片化问题的解决方法主要有渐入渐出法^[3]、光照连续性重建^{[4, 5]}法以及应用较广泛的多波段融合法^[6-9]等。这些方法都是从影像出发，通过匀光或色彩融合等处理，使其在灰度上趋于一致，虽然在一定程度上可以使碎片之间的纹理过渡更加平滑，但计算量大，算法要求高，容易出现模糊和重影现象，并且依然难以消除碎片化的影响。

纹理映射碎片化的根本原因是模型表面上相邻的三角面片由于几何不一致被投影到不同影像上。现有方法只是在影像层面对纹理进行修复，并没有从根本上解决模型表面的几何不一致性问题。针对此,本文提出一种局部区域表面一致性约束的纹理映射方法，采用一致性约束的区域生长方法和分块区域整体的纹理优选方法，解决上述纹理碎片化的问题。

1 算法基本原理

局部区域表面一致性约束的纹理映射方法流程如图 1所示。记三角形网格模型为M^[9]，构成M的带有法向量的三角形记作有向三角面片t，则M的连续表面S={t₁,t₂,…,t_m},S∈R³。首先，在表面一致性约束的前提下，以有向三角面片t为基元，采用表面一致性约束的区域生长算法将S分割为多个分块连续的区域R₁，R₂，…，R_n，R_iS(1 ≤ i ≤ n)，且分割结果应在最大程度上满足人们对建筑物几何表面划分的认知，即连续、光滑建筑物有且仅有一个表面与之对应。为了保证局部区域内纹理映射的连续性，需要根据区域整体的纹理优选方法，从覆盖区域R_i的多张不同角度的影像中，选择一张最佳影像为R_i提供纹理。最后根据投影矩阵计算R_i上的点在影像上的投影，得到纹理，完成纹理映射。

图  1  算法流程图

Figure  1.  Flowchart of the Algorithm

下载: 全尺寸图片 幻灯片

1.1   表面一致性约束的区域生长方法

纹理映射的碎片化是由于三角形网格模型M表面的几何不一致性引起的。产生不一致性的原因是影像平差精度和密集匹配的点云精度的限制以及构网过程中的简化算法不够完善，导致连续区域表面的法向量存在异常噪声。如图 2所示，Γ为建筑物真实的表面，n为其法向量，t₁、t₂为M表面两个相邻的三角面片，n₁、n₂为其法向量。

图  2  法向量噪声示意图

Figure  2.  Noises on the Normal of Surfaces

下载: 全尺寸图片 幻灯片

单独来看，t₁、t₂与Γ之间的夹角θ₁、θ₂均在噪声容忍范围内，但t₁与t₂之间的夹角θ=θ₁+θ₂却超过了噪声容忍范围，形成噪声。表面一致性约束不是剔除噪声点，而是通过约束，使噪声点可以与邻近点形成一个具有一致性的区域，即该区域是连续的，并且区域上任何一点在同一张影像上具有相同的可见性。因此，表面一致性约束包括邻接性约束和平面性约束两方面。

1.1.1   邻接性约束

邻接性约束，即三角面片在空间上是相邻的，能保证区域的连续性。邻接性约束可通过采用树状的索引结构(KD-Tree、R-Tree^[10-12]等)，进行半径搜索或K邻近搜索来实现。但是由于三角形网格模型密度的不均匀性，进行半径搜索时难以设置合适的阈值以保证每次搜索的有效性，故本文中采用K邻近搜索方法。

K邻近搜索方法实现区域生长的关键是K的取值。平坦的模型表面K一般取较大值，可以加速计算；而对于房屋角点、植被等复杂表面，由于存在多个平面，K一般由大到小渐进取值，这样既能保证分割出每一个平面，又能保证计算效率。本文中，首先令K取一个较大的值(K=20)进行搜索，判断搜索到的点是否满足平面性约束，若不满足则说明是复杂表面，此时令K值减半继续搜索，以此类推。这样既可以保证计算速度，又可以保证区域生长结果在多个平面交界处的准确性。

1.1.2   平面性约束

实际中，许多建筑物的表面由连续曲面构成，但是曲面上的不同点在同一张影像上不具备相同的可见性(不考虑其他面的遮挡)。如图 3(a)所示，Γ 为建筑物真实的表面，I₁、I₂、I₃是不同角度的拍摄的影像，p₀ ~p₄为Γ上的点，p₀ ~p₂为I₁的可视范围，p₁ ~p₃为I₂的可视范围，p₂ ~p₄为I₃的可视范围，可见Γ上的点不可能全部投影到同一张影像上，因此需要对其进行平面性约束，用多个平面逼近曲面，如图 3(b)所示。

图  3  平面约束示意图

Figure  3.  Planarity Constraint

下载: 全尺寸图片 幻灯片

设有向点集P(P∈R³)，P的平面度可以通过其协方差矩阵的主成分分析来判断^[13]，对协方差矩阵进行奇异值分解(singular value decomposition,SVD)后得到特征值σ₁ ＜σ₂ ＜σ₃，η₁、η₂、η₃为对应的特征向量，如图 4所示。特征值及其对应的特征向量代表了P在三维空间中的分布情况，σ₁越小P越接近平面，极限情况为σ₁=0。因此，平面性约束可记为：

图  4  SVD分解的几何示意图

Figure  4.  Geometric Schematic View of SVD

下载: 全尺寸图片 幻灯片

式中，σ₂ /σ₁ ＞ξ₁可保证点集P近似为平面，而σ₃ /σ₂ ＜ξ₂则能避免产生过于狭长的条带。本文中采用这种方法作为平面性约束，令ξ₁=45，ξ₂=15，既有效约束了平面的形状，也较好地包容了噪声点。

若P满足上述约束，则可拟合出平面并记n₀为拟合平面的法向量，近似于图 2中建筑物表面Γ的实际法向量n，x为平面上的点。设P中一点p_i的法向量n_i与n₀之间的夹角记为θ(n_i,n₀)，需满足：

由前面对法向量噪声的分析可知，式(2)避免了法向量噪声对平面的影响。式(1)和式(2)共同构成平面性约束，在区域生长时可将连续的曲面及平滑的过渡地带分割为多个平面逼近。

1.1.3   顾及约束的区域生长方法

区域生长以有向三角面片t为基元，采用迭代的策略由种子点向外生长。为了方便计算，将t的几何重心点及其法向量构成有向点p，则全部有向三角面片t的集合S即对应于有向点集P。区域生长需要解决的三个关键问题为种子点的选取，包含进区域的准则以及生长停止的条件。

以P为数据源创建Kd-Tree，记生长出的区域为R，其边界为B，符号⊕(p)表示添加点p，Θ(p)表示从集合中删除点p，并且添加一个点后都需要将它从KD-Tree中删除，以避免重复计算。首先，从P中任选一点p₀作为种子点，R⊕(p₀)、B⊕(p₀)，标记p₀为起始点；以B中第j个标记为起始点的点p_Bj为中心进行K=20的邻近搜索，若搜索到的点{p_new}与R一起满足平面性约束式(1)、式(2)，则R⊕{p_new}、B⊕{p_new}，标记{p_new}为起始点，并且BΘ(p_Bj)；若不满足平面性约束式(1)、式(2)，则K值减半进行搜索，若直到K=1时{p_new}与R一起仍不满足约束条件，则标记p_Bj为终止点；然后重新令K=20，搜索B中第j+1个标记为起始点的点；逐此迭代，直到B中所有点均标记为终止点，或K邻近搜到的结果为空为止，则停止生长。最后得到的R即为所求的连续区域，它拟合的平面的法向量可视为R的法向量n_R，n_R是后面选择投影影像时的关键因素。若KD-Tree不为空，则以剩下的点中任意一点为某个区域生长结束后的种子点，进入下一个区域的生长。

1.2   分块连续区域的整体纹理优选方法

倾斜摄影测量具有多角度、多时相的特点，因此区域R会被多张影像I₁，I₂，…，I_m同时覆盖。R与影像间的方位关系不同，在影像上产生投影畸变的程度也不同；同时由于区域间的遮挡关系，R在不同影像上的可见情况不同。因此，需要选择一张最佳的影像来为R提供整体的纹理。

1.2.1   视角关系判断及区域间遮挡检测

倾斜摄影测量中不同角度影像在空间中的方位是固定的，以5头相机为例， 影像范围覆盖同一区域的相机A、B、C、D、E分布如图 5(a)所示。定义ρ为区域与影像之间的视角关系权重，它与两个角度有关：① 区域R的法向量n_R与每张影像投影反方向n_I之间所成的夹角，记为α；② 以R的中心为起点，连接影像中心，得到向量l，记l与n_R之间的夹角为β，如图 5(b)所示，A₁、A₂、A₃为不同时刻相似A在空中的位置。β越小，则R在影像上的投影越靠近影像中心。

图  5  最佳投影影像

Figure  5.  Selection of the Optimal Image

下载: 全尺寸图片 幻灯片

则ρ的确定方式如下：

当ρ大于0时，区域R在影像上可见(不考虑遮挡和超出影像范围)。为了保证投影的质量，令：

以区域R为整体进行遮挡检测，若R中总三角面片个数为s，被遮挡和超出影像范围的个数为k，记η为R在影像上的遮挡比率：

1.2.2   最佳影像优选方法

区域R整体的纹理优选方法需同时考虑视角关系ρ和遮挡比率η。首先找出所有ρ大于0对应的影像，并从中选取η_min所对应的影像作为R的最佳投影影像I_best。若η_min大于0，则说明R在I_best上不完全可见，此时需要将不可见的部分分割出来作为一个单独的区域R′，再以同样的方法为R′选择最佳投影影像。最后，从每一块区域对应的最佳投影影像中提取纹理，进行纹理映射。

2 实验分析

为了验证上述方法的有效性，本文采用SWDC-5的倾斜摄影影像数据来进行实验。整个测区共被15张影像所覆盖，相机A、B、C、D、E分别各有3张影像，影像覆盖区域内包括道路、建筑物(弧形/非弧形)、操场、植被等多种地物。对这些影像进行多视影像联合匹配后生成点云，再利用构网算法得到三角形网格模型，作为纹理映射的模型基础。

对比实验将三角形格网模型M中的有向三角面片t逐个按照§1.2中的方法选择最佳投影影像，然后再将投影到同一张影像上的相邻三角面片连接为一个区域R。这种逐个三角形纹理映射的方法与本文方法之间的区别在于是否进行了一致性约束的区域生长。图 6(a)为逐个三角形纹理映射的结果；图 6(b)为本文方法进行一致性约束的区域生长后的分割结果。将三角形个数小于一定阈值的区域视为碎片，可看出图 6(a)中碎片化现象严重，而图 6(b)中区域连续一致，地面和立面、立面和屋顶被很好地分割开，并且弧形的建筑物表面被分割为6个连续的近似平面，以保证能够正确地选择投影影像。实验中对一个具有60 000个三角面片的三角形网格模型分别在两种方法下形成的连续区域R进行统计分析，其结果见表 1。可看出，本文方法可将碎片化程度减小到逐个三角形纹理映射方法的5%，而这些碎片主要分布在植被不规则的表面、建筑物内凹形成的坑洞表面以及细小地物的表面等处。

图  6  区域生长前后结果

Figure  6.  Comparison of Results with and Without Region Growing

下载: 全尺寸图片 幻灯片

表  1  区域生长前后碎片化程度对比

Table  1.  Comparison of Fragmentation Degrees of the One-by-one Approach and Our Approach

方法	总连通区域个数	三角形个数＜10的连通区域个数	三角形个数＜5的连通区域个数	三角形个数=1的连通区域个数	平均包含的三角形个数
逐个三角形映射方法	11 755	10 766	9 640	5 748	5.1
一致性约束的区域生长方法	909	541	457	216	66.0

下载: 导出CSV 

| 显示表格

图 7为纹理映射后的对比结果。图 7(a)为Street Factory建模并进行纹理映射的结果。从图 7(a)可看出，虽然Street Factory对纹理进行了匀光处理，但仍存在纹理碎片化的现象；图 7(b)、7(c)分别为同一个三角形网格模型在逐个三角面片纹理映射和一致性约束纹理映射的结果，显然逐个三角面片的纹理映射结果受噪声影响较大，尤其是在水面和植被处的纹理碎片化现象严重；而一致性约束纹理映射结果则有显著改善。

图  7  纹理映射对比结果

Figure  7.  Comparison of Texture Mapping Results

下载: 全尺寸图片 幻灯片

3 结 语

本文提出了一种针对三角形网格模型的局部区域表面一致性约束的纹理映射方法，并使用真实数据与Street Factory等商业软件进行了对比实验。表面一致性约束可大大减小三角形网格模型表面噪声(尤其是法向量噪声)的影响，顾及这种约束的区域生长方法能够将三角形网格模型良好地分割为多个连续的区域，最终为每一个区域选择最优的投影影像提供纹理。这种化零为整的思想对消除纹理碎片化现象具有显著效果。进一步的研究将针对更加复杂的建筑物场景的真实感表达进行，以期消除不同建筑物间的纹理接缝，增强场景的真实感。