-
随着城市多源异构三维模型数据量和复杂程度的剧增,在三维场景浏览时,受限于网络、计算机性能等各种软硬件条件,会出现加载缓慢的情形,无法及时满足用户空间认知[1-2]的需求。目前主要的解决方案是渐进式传输技术,其主要采用对象离散化加载[3]、基于自适应空间划分的分层层次细节模型(hierarchical levels of detail,HLOD)动态调度[4]、基于重要性加载[5]、基于视点移动的集群并行运算[6]、视点依赖下的模型分块展示[7]等方法。
上述方法的原理基本上是构建多分辨率层次模型,实现基于视点移动的整体网格模型从粗略到细节的渐进传输[8],需要用户不得不花费时间等待或者无目的地拖放和漫游加载局部细节数据,使得重要度高、用户关注的局部特征未能优先突出表达;且在当前城市三维模型加载方法的研究中,均未将大范围场景与单体模型进行结合,缺乏多尺度约束,导致一些重要信息缺失。因此,如何充分利用多尺度的空间数据进行传输、表达并提供灵活良好的用户体验是当前需要思考和解决的问题。
本文提出的顾及局部特征的城市三维模型多尺度表达方法,将模型分块分层进行多尺度不规则三角网(triangulated irregular network,TIN)建模,以局部特征度为约束条件构建局部特征度评价模型,针对每层的局部区域数据进行序列加载,解决了当前城市三维模型渐进式传输方法中局部特征数据的绘制相对延后、用户有效等待时间并未缩短等问题,实现了优先加载传输局部特征度高的细节数据及其多尺度表达,用户体验得以优化。
-
城市三维模型多尺度表达的关键是构建细节层次模型。然而,复杂城市三维场景中建筑物具有分布不均衡、高度跨度大、密度大的特性,使得在大范围复杂城区中采取传统基于面区域的划分方法适用性欠佳。四叉树划分结构在处理建筑物空间分布的不规则性方面存在不足,容易造成要素被分割到不同瓦片上。格网划分在建筑物密度方面的考虑程度有待提高,在渲染平面区域时容易造成面片冗余,且又难以对细节特征进行渲染,表达精度低,空间利用率低,效率不高[9]。另外,单一的空间划分方法难以满足多源异构三维数据的要求。相对于地形数据、影像数据,城市建筑物数据的数据量更庞大、结构更复杂,导致在处理三维数据时若采用空间二维划分方法,存在明显的局限性。
相比而言,TIN结构灵活且容易扩展,可以在不同尺度下保留细节和重要特征,有效降低平坦区域的几何冗余,同时也易于与各类地理空间数据无缝集成。
-
多尺度TIN建模有两个关键问题:(1)如何划分多尺度层次[10-11];(2)如何对每一层级进行不规则三角网分块。
多尺度TIN构建过程如下:
1)参照CityGML标准规范,分为5级多细节层次(level of detail,LOD)(见表 1)。
表 1 LOD层次
Table 1. LOD Level
层级 精细程度 LOD 0 地域模型 LOD 1 楼块 LOD 2 粗糙的模型 LOD 3 详细贴图和建模 LOD 4 更精细的建模,包括室内 2)构建TIN。以LOD 0层次下的4个顶点组成的两个三角形为原始Delaunay网,针对金字塔的每一层级,利用贪心插入法不断地向该层的不规则三角网中插入顶点,直到小于该层级规定的误差容差,多尺度TIN建模如图 1所示。
3)TIN分块编码。遍历每一层级中TIN瓦片分块,瓦片关键字采用金字塔常用的层行列编码方式,对切割后的TIN块进行编码输出。
-
本文在多尺度约束下构建局部特征度评价模型,对三维场景进行多角度、多要素评价,在此基础上进行多尺度表达。
-
局部特征度是在三维场景或者单体模型中符合空间认知、最具有代表性的细节特征。空间显著性和复杂度较高、具有线性空间分布特征的三维模型或者密度较大的区域含有更多用户关注和重要度高的细节特征。
-
局部特征度的评价模型主要从宏观尺度下具有线性空间分布特征的城市三维模型分布密度、中观尺度下的城市三维模型包围盒体积、微观尺度下的单体模型的特征复杂度这3个方面进行构建[12],如图 2所示。
-
在三维场景的宏观尺度下,在整体上向浏览者直观地表达出城市模型的分布特征,城市三维模型分布密度越大的区域,往往含有的细节特征信息越多。因此,本文采用空间分布模式作为局部特征度在宏观尺度下的衡量标准。首先,基于道路网分区提取了具有线性特征的三维模型,其次,计算提取的三维模型在TIN分区的分布密度。
提取线性特征三维模型的算法步骤如下:
1)城市三维模型抽象化。考虑到本文重点关注城市三维模型分布在各分区的数量,为了提高运算效率,需要对模型进行抽象化,重点保留三维模型的最小包围盒及其体积、包围矩形。
2)分区连通图构建。以城市道路网为基础,将城市三维模型抽象对象划分为多个区域,然后两个顶点之间的代价以三维模型对象包围矩形中心的欧氏距离作为计算依据。基于此,构建每个区域的对象连通图,并生成分区连通图的邻接矩阵。
3)利用科路斯卡尔算法创建最小生成树,步骤如下:
(1)新建图G,沒有边,但G中节点与原图中相同。
(2)选择原图中所有边,依据权值进行升序排列。
(3)遍历所有的边,若该边连接的两个节点不在图G的同一个连通分量中,则添加这条边到图G中。
(4)重复步骤(3),直至图G中所有的节点都在同一个连通分量中。
4)提取具有线性特征的城市三维模型,并利用TIN分区的面积和该分区中的三维模型数量计算各TIN分区的密度。
-
人类视觉系统在识别出对象时会自动地将其分为目标对象和背景对象两部分。在设计过程中,如果能很容易地将目标对象与背景对象区分开来,就能取得较好的设计效果。基于空间认知科学,考虑到尺寸形状结构明显高于周围其他特征,易于识别,并能满足周围一定区域范围内的定位参考[13],因此按照模型体积这一视觉变量[14]进行排序,将城市三维模型渐进式表达,优先突出用户关注和重要性高的地物信息,减少冗余信息的表达,有利于优化模型渲染时的资源负载均衡和提高模型显示速度,保证三维模型的表达效果。综上,可通过计算模型体积比fsize来进行衡量,计算公式为:
$$ {\mathit{f}_{{\rm{size}}}} = {\rm{}}\frac{V}{{\sum\limits_{i = 1}^k {{V_i}} }} $$ (1) 式中,V为计算的当前三维模型体积;k为三维模型数量;Vi为每个三维模型体积。
-
三维模型特征区域细节特征的明显程度通过顶点曲率来计算。通常,顶点曲率在三维模型的均匀区域较小,在三维模型折痕、拐点等特征区域较大,该顶点的细节特征越明显。
对于一个三角网格,计算顶点的曲率cvi为:
$$ {c_{{v_i}}} = \frac{{\sum\limits_m \alpha \left( {{\mathit{\boldsymbol{n}}_{{v_i}}},{\mathit{\boldsymbol{n}}_i}} \right)}}{m} $$ (2) 式中,m为相关三角面片个数;α (nv,ni)是顶点v的法向量与k个相关三角面片的夹角。
三维模型特征区域的相对面积大小通过局部区域面积加权进行计算。使简化后模型的三角面片合理分布,可以保持原始模型的特征。
网格模型中任一顶点的局部区域面积可表示为:
$$ S\left( v \right) = \mathop \sum \limits_{i = 1}^l {S_i} $$ (3) 式中,l为顶点v邻接三角形的个数;Si为第i个邻接三角形的面积。
综上,局部特征度由顶点曲率和局部区域面积加权综合计算。先计算误差代价与顶点曲率的乘积,再计算乘积与该顶点的邻接局部区域面积之比,结果值越小则局部特征度越小。计算式为:
$$ \Delta v = {v^{\rm{T}}}\left( {\frac{{{c_v}\mathop \Sigma \limits_{p \in P} {K_p}}}{{S\left( v \right)}}} \right)v = {v^{\rm{T}}}Q\left( v \right)v $$ (4) 式中, v = [vx vy vz 1]T;cv为顶点曲率;p ∈ P为所有与顶点v相关的平面;Kp为该平面的二次误差矩阵;$Q\left( v \right) = \frac{{{c_v}\mathop \Sigma \limits_{p \in P} {K_p}}}{{S\left( v \right)}}$为顶点v新的二次误差矩阵。
-
用户关注的模型在渐进式传输过程中往往得不到优先加载,很多模型数据用户并不关注,大量的无用数据占用有限的带宽资源,造成用户等待的时间过长,用户的实时浏览效果不佳[15]。
在本文研究中,基于局部特征度来标记模型加载顺序,采用传输流媒体的实时传输协议(real-time transport protocol,RTP)用于渐进传输,包裹一个或多个实际传输对象的RTP数据包是RTP有效负载的关键点,传输对象是局部特征,对于局部特征度高的局部区域甚至跨层级表达。
-
本文在城市场景中利用遥感影像数据和三维模型数据实现了顾及局部特征的三维模型多尺度表达。其中, 三维模型数据见表 2,表 2中的3Dmax数据经由软件3D Studio Max进行预处理。
表 2 三维模型数据
Table 2. 3D Model Data
数据类型 编号 数据量/GB 倾斜摄影模型 1 4.62 3Dmax 2 11.5 将模型进行分块分层,结合CityGML 5个LOD层级进行多尺度TIN建模,如表 3所示。
表 3 多分辨率细节层次模型
Table 3. Multiresolution Level of Detail Model
数据类型 编号 层级 倾斜摄影模型 1 16 在不同尺度下进行处理。宏观尺度下,利用提取线性特征三维模型的算法,在重点保留三维模型的最小包围盒及其体积、包围矩形的基础上,将空间上呈现线性特征分布的建筑物较好地提取出来,如图 3所示,数据量仅为740 MB,加载帧率均衡在70帧/s左右,然后计算提取的三维模型在各TIN分区的分布密度并排序。
中观尺度下,以根据当前模型体积与总体积计算出的体积比为参考标准进行分区排序。微观尺度下,当尺度缩放到单体模型时,由顶点曲率和局部区域面积加权综合计算局部特征度,以此为参考进行排序。
由如图 4所示的实现效果可见,宏观尺度下优先加载线性特征三维模型密度大的局部区域,中观尺度下优先加载包围盒体积大的模型,微观尺度下优先加载标识性强、重要性高的局部区域。
实践结果中以实时帧率为考察指标,将本文方法与传统方法进行对比分析,结果如图 5所示,可见在本文方法的多尺度约束下数据加载的帧率更高,加载流畅度得以优化,用户体验得以提升。
-
本文提出了顾及局部特征的城市三维模型多尺度表达方法,将模型进行分块分层,构建多尺度TIN模型,以空间认知为依据构建局部特征度评价模型,针对每层的局部区域数据进行序列加载,解决了当前城市三维模型渐进式传输方法中局部特征数据的绘制相对延后、用户有效等待时间并未缩短的问题,实现了优先加载传输局部特征度高的细节数据,甚至跨层级表达,实现模型多尺度表达,用户体验得以优化。在多尺度TIN建模过程中,还要考虑到TIN处理时间、变化数据的更新效率、数据存储和管理等问题,需要进一步研究。
-
摘要: 当前,城市三维模型在可视化过程中多使用渐进式传输方法,在多尺度表达时会出现局部特征表达不突出、绘制相对延后、用户有效等待时间较长等问题。从多尺度不规则三角网(triangulated irregular network,TIN)建模、局部特征度评价、多尺度表达3个方面开展研究,提出了顾及局部特征的城市三维模型多尺度表达方法,实现了城市三维模型多尺度快速加载。首先,将城市三维模型数据分层分块地进行多尺度TIN建模;然后,在多尺度层次下构建局部特征度评价模型;最后,优先加载传输局部特征度高的细节数据,甚至跨层级表达,从而实现多尺度表达。实践结果表明,该方法可切实优化并提升城市三维模型加载传输的效率。Abstract:
Objectives In the study of current city 3D model loading methods, large-scale scenes and single models have not been combined, lack of multi-scale constraints, resulting in the lack of some important information. Therefore, how to make full use of multi-scale spatial data for transmission, expression and provide a flexible and good user experience is the current problem that needs to be considered. Methods From the three aspects of multi-scale TIN(triangulated irregular network) modeling, local feature evaluation, and multi-scale expression, research was carried out, and a multi-scale expression method of urban 3D model that took into account local characteristics was proposed, which realized the multi-scale rapid loading of urban 3D model. First, multi-scale TIN modeling is performed on the city’s three-dimensional model data in layers; then, the local feature evaluation model is constructed at the multi-scale level; finally, priority is given to loading and transmitting detailed data with high local features, even cross-level expression to achieve multi-scale expression. Results It can be seen from the realization effect that local areas with high density of linear feature 3D models are preferentially loaded at the macro scale, models with large volume of the bounding box are preferentially loaded at the meso scale, and local areas with strong identification and high importance are preferentially loaded at the micro scale. The frame rate is used as a reference indicator to compare and analyze this method with the traditional method. The frame rate is maintained at 60 frames per second. It can be seen that the multi-scale constraint of this method makes the loading fluency optimized and the user experience improved. Conclusions The model is divided into layers to construct a multi-scale TIN model. Based on spatial cognition, a local feature degree evaluation model is constructed based on the local area data of each layer sequence loading solves the problem that the drawing of local feature data in the progressive transmission method of the current urban 3D model is relatively delayed, and the user’s effective waiting time is not shortened. It realizes the priority loading and transmission of detailed data with high local feature degree, and even cross-level expression to achieve multi-scale expression of the model and optimize the user experience. In the process of multi-scale TIN modeling, issues such as TIN processing time, update efficiency of changing data, data storage and management also need to be considered. -
Key words:
- 3D city model /
- multi-scale TIN modeling /
- local features /
- level of detail /
- multi-scale expression
-
表 1 LOD层次
Table 1. LOD Level
层级 精细程度 LOD 0 地域模型 LOD 1 楼块 LOD 2 粗糙的模型 LOD 3 详细贴图和建模 LOD 4 更精细的建模,包括室内 表 2 三维模型数据
Table 2. 3D Model Data
数据类型 编号 数据量/GB 倾斜摄影模型 1 4.62 3Dmax 2 11.5 表 3 多分辨率细节层次模型
Table 3. Multiresolution Level of Detail Model
数据类型 编号 层级 倾斜摄影模型 1 16 -
[1] Ballatore A, Bertolotto M. Personalizing Maps[J]. Communications of the ACM, 2015, 58(12):68-74 doi: 10.1145/2756546 [2] 杨乃.基于空间认知的三维地图设计若干问题的研究[D].武汉: 武汉大学, 2010 Yang Nai. Research on Some Problems of 3D Map Design Based on Spatial Cognition[D].Wuhan: Wuhan University, 2010 [3] 吴晨, 朱庆, 张叶廷, 等.顾及用户体验的三维城市模型自适应组织方法[J].武汉大学学报∙信息科学版, 2014, 39(11):1 293-1 297 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=whchkjdxxb201411006 Wu Chen, Zhu Qing, Zhang Yeting, et al. Adaptive Organization Method of 3D City Model Considering User Experience[J]. Geomatics and Information Science of Wuhan University, 2014, 39(11): 1 293-1 297 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=whchkjdxxb201411006 [4] 陈兴旺.视觉感知驱动的复杂三维城市场景数据自适应组织与调度方法[D].成都: 西南交通大学, 2018 Chen Xingwang.Adaptive Organization and Schedu- ling Method of Complex 3D Urban Scene Data Driven by Visual Perception[D]. Chengdu: Southwest Jiaotong University, 2018 [5] Benz S A, Weibel R. Road Network Selection for Medium Scales Using an Extended Stroke-Mesh Combination Algorithm[J]. Cartography and Geographic Information Science, 2014, 41(4):323-339 doi: 10.1080/15230406.2014.928482 [6] 李朝奎, 方军, 方文, 等.集群环境下基于视点移动的三维城市模型快速显示方法[J].测绘通报, 2017(10):74-78 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chtb201710015 Li Chaokui, Fang Jun, Fang Wen, et al. Fast Display Method of 3D City Model Based on Viewpoint Movement in Cluster Environment[J]. Surveying and Mapping Bulletin, 2017(10):74-78 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chtb201710015 [7] 王勇超, 祝凯林, 吴奇轩, 等.基于局部渲染的高精度模型自适应展示技术[J].浙江大学学报(工学版), 2018, 52(8):1 461-1 466 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zjdxxb-gx201808004 Wang Yongchao, Zhu Kailin, Wu Qixuan, et al. High Precision Model Adaptive Display Technology Based on Local Rendering[J]. Journal of Zhejiang University (Engineering Edition), 2018, 52(8): 1 461-1 466 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=zjdxxb-gx201808004 [8] 马啸, 陈飞翔, 彭俊杰.复杂地形三角网格局部渐进传输方法[J].测绘学报, 2015, 44(S1):135-142 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb2015z1021 Ma Xiao, Chen Feixiang, Peng Junjie. Local Progressive Transmission Method of Triangular Mesh in Complex Terrain [J]. Journal of Surveying and Mapping, 2015, 44 (S1): 135-142 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxb2015z1021 [9] 熊汉江, 郑先伟, 龚健雅.面向虚拟地球的海陆地形多尺度TIN建模及可视化方法[J].武汉大学学报∙信息科学版, 2017, 42(11):1 597-1 603 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=whchkjdxxb201711012 Xiong Hanjiang, Zheng Xianwei, Gong Jianya. Multi-scale TIN Modeling and Visualization Method of Land and Sea Terrain for Virtual Earth [J]. Geomatics and Information Science of Wuhan University, 2017, 42(11): 1 597-1 603 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=whchkjdxxb201711012 [10] 张昀昊, 朱庆, 朱军, 等.海量DSM数据的网络轻量化可视化方法[J].测绘科学技术学报, 2017, 34(6):649-653 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxyxb201706020 Zhang Yunhao, Zhu Qing, Zhu Jun, et al. Visualization Method of Network Lightweight for Mass DSM Data [J].Journal of Surveying and Mapping Science and Technology, 2017, 34(6):649-653 http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxyxb201706020 [11] 刘小标.三维地物模型与多尺度地形融合方法研究[D].北京: 中国测绘科学研究院, 2014 Liu Xiaobiao. Research on 3D Terrain Model and Multi-scale Terrain Fusion Method[D]. Beijing: China Academy of Surveying and Mapping, 2014 [12] Ai T, Ai B, Huang Y. Multi-scale Representation of Hydrographic Network Data for Progressive Transmission over Web[C]. The 24th International Cartographic Conference, Santiago, Chile, 2009 [13] 刘洋.地图符号选择与绘制的智能化方法研究[D].武汉: 武汉大学, 2018 Liu Yang. Research on Intelligent Method of Map Symbol Selection and Drawing[D]. Wuhan: Wuhan University, 2018 [14] Li Y, Zhu Q, Fu X, et al.Semantic Visual Variables for Augmented Geovisualization[J]. The Cartographic Journal, 2020, 57(1):1-14 doi: 10.1080/00087041.2018.1533295 [15] Miao R, Song J, Feng M. A Feature Selection Approach Towards Progressive Vector Transmission over the Internet[J]. Computers and Geosciences, 2017, 106: 150-163 doi: 10.1016/j.cageo.2017.06.005 -