留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

空间语义约束的泥石流灾害VR场景融合建模及交互方法

李维炼 朱军 张昀昊 付林 胡亚 尹灵芝 戴义

李维炼, 朱军, 张昀昊, 付林, 胡亚, 尹灵芝, 戴义. 空间语义约束的泥石流灾害VR场景融合建模及交互方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
引用本文: 李维炼, 朱军, 张昀昊, 付林, 胡亚, 尹灵芝, 戴义. 空间语义约束的泥石流灾害VR场景融合建模及交互方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
LI Weilian, ZHU Jun, ZHANG Yunhao, FU Lin, HU Ya, YIN Lingzhi, DAI Yi. A Fusion Modeling and Interaction Method with Spatial Semantic Constraint for Debris Flow VR Scene[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
Citation: LI Weilian, ZHU Jun, ZHANG Yunhao, FU Lin, HU Ya, YIN Lingzhi, DAI Yi. A Fusion Modeling and Interaction Method with Spatial Semantic Constraint for Debris Flow VR Scene[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329

空间语义约束的泥石流灾害VR场景融合建模及交互方法

doi: 10.13203/j.whugis20180329
基金项目: 

国家重点研发计划 2016YFC0803105

国家自然科学基金 41801297

国家自然科学基金 41871289

中央高校基本科研业务费专项资金 2682018CX35

详细信息
    作者简介:

    李维炼, 博士生, 主要从事虚拟地理环境与灾害场景建模研究。vgewilliam@163.com

    通讯作者: 胡亚, 博士, 讲师。huya@home.swjtu.edu.cn
  • 中图分类号: P208

A Fusion Modeling and Interaction Method with Spatial Semantic Constraint for Debris Flow VR Scene

Funds: 

The National Key Research and Development Program of China 2016YFC0803105

the National Natural Science Foundation of China 41801297

the National Natural Science Foundation of China 41871289

the Fundamental Research Funds for the Central Universities 2682018CX35

More Information
    Author Bio:

    LI Weilian, PhD candidate, specializes in virtual geographical environment and disaster scene modeling. E-mail:vgewilliam@163.com

    Corresponding author: HU Ya, PhD, lecturer. E-mail: huya@home.swjtu.edu.cn
图(18) / 表(1)
计量
  • 文章访问数:  612
  • HTML全文浏览量:  183
  • PDF下载量:  56
  • 被引次数: 0
出版历程
  • 收稿日期:  2019-06-02
  • 刊出日期:  2020-07-30

空间语义约束的泥石流灾害VR场景融合建模及交互方法

doi: 10.13203/j.whugis20180329
    基金项目:

    国家重点研发计划 2016YFC0803105

    国家自然科学基金 41801297

    国家自然科学基金 41871289

    中央高校基本科研业务费专项资金 2682018CX35

    作者简介:

    李维炼, 博士生, 主要从事虚拟地理环境与灾害场景建模研究。vgewilliam@163.com

    通讯作者: 胡亚, 博士, 讲师。huya@home.swjtu.edu.cn
  • 中图分类号: P208

摘要: 基于虚拟现实(virtual reality, VR)技术构建泥石流灾害虚拟场景能够为灾害交互查询分析提供一种新方法。但现有的关于灾害场景可视化研究存在VR场景建模效率低下、交互模式单一和查询分析薄弱等问题,因此,提出了一种空间语义约束的泥石流灾害VR场景融合建模及交互方法,重点探讨了场景动态融合建模方法,利用符号增强表达和射线焦点获取技术设计了多种场景交互模式。并构建了原型系统,选择案例区域开展了试验分析。试验结果证明,利用所提出的方法能够实现泥石流VR场景的快速构建,并能够满足用户对灾害场景沉浸式感知以及灾情信息查询分析等需求。

English Abstract

李维炼, 朱军, 张昀昊, 付林, 胡亚, 尹灵芝, 戴义. 空间语义约束的泥石流灾害VR场景融合建模及交互方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
引用本文: 李维炼, 朱军, 张昀昊, 付林, 胡亚, 尹灵芝, 戴义. 空间语义约束的泥石流灾害VR场景融合建模及交互方法[J]. 武汉大学学报 ● 信息科学版, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
LI Weilian, ZHU Jun, ZHANG Yunhao, FU Lin, HU Ya, YIN Lingzhi, DAI Yi. A Fusion Modeling and Interaction Method with Spatial Semantic Constraint for Debris Flow VR Scene[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
Citation: LI Weilian, ZHU Jun, ZHANG Yunhao, FU Lin, HU Ya, YIN Lingzhi, DAI Yi. A Fusion Modeling and Interaction Method with Spatial Semantic Constraint for Debris Flow VR Scene[J]. Geomatics and Information Science of Wuhan University, 2020, 45(7): 1073-1081. doi: 10.13203/j.whugis20180329
  • 泥石流灾害作为一种在山区频发的典型地质灾害,其具有突发性、发生地点不确定性以及危害范围广等特点[1-3]。根据国家统计局发布的近10年地质灾害相关统计数据(http://data.=stats.gov.cn/)以及国土资源部地质灾害应急技术指导中心发布的《全国地质灾害通报》来看,泥石流发生次数所占百分比在地质灾害中仅次于滑坡和崩塌灾害,发生频率高居第3位,严重制约着国家经济的可持续发展。

    加强对泥石流灾害科学问题的研究对于全面提升泥石流灾害的综合防范能力有着极其重要的作用。VR技术的不断发展为泥石流灾害研究提供了新的技术手段与方法,其具有沉浸感、交互性和构想性3个基本特征[4]。与纯粹的虚拟地理环境和传统的三维可视化相比,基于VR技术的虚拟场景可视化与交互分析具有用户体验感强、交互模式多样以及用户主动感知信息等优点[5],能够大大提高用户对泥石流灾害场景的认知与交互效率,快速获取泥石流灾害范围、泥深等灾情信息,从而使用户更快、更好地感知与认知灾害环境[6-8]。灾害应急管理分为预防、预备、响应和恢复4个阶段[9],利用VR技术辅助进行泥石流模拟研究,在预防阶段能够用于泥石流灾害避灾宣传教育,提高公众灾害风险意识;预备阶段用于泥石流灾害应急演练以及逃生路线规划等;响应阶段用于决策者和救援人员沉浸式感知泥石流灾害影响范围,进行科学决策;恢复阶段用于辅助灾后心理疏导以及重建规划等。因此,利用VR技术辅助进行泥石流灾害模拟、分析与规划决策,对于泥石流灾害防灾减灾、应急处置以及提升公众灾害风险意识具有十分重要的意义[10-13]

    目前,VR技术主要应用于教育、游戏、军事、工业以及医学等领域[6, 14]。与其他领域相比,VR技术在灾害领域应用则相对较少,但也取得了一些研究成果。例如,将VR技术应用于火灾逃生模拟[15-18]、地震仿真与救援[19]、交通事故仿真[20]以及防洪减灾[21-23]等典型灾害中;将VR技术用于灾害训练中,从而降低实地训练成本,提高救援和医护人员的救助能力[24-26]

    上述研究在进行灾害场景构建和沉浸式交互可视化时,其场景大都是预先构建,由于泥石流灾害具有突发性以及地点不确定性等特性,导致泥石流灾害场景难以事先构建。此外,泥石流灾害场景涉及范围广、对象多且灾情信息各异,单一的VR交互模式已经难以满足场景中灾情信息查询与分析的需求。

    针对上述问题,本文在VR技术的支撑下,重点研究空间语义约束的泥石流灾害场景动态融合构建和场景多模式交互分析方法,通过场景对象之间的空间语义描述和语义关系,构建空间方位、属性类别、空间拓扑和最优尺度等空间语义约束规则,进而实现虚拟地形场景、专题要素信息以及泥石流模拟信息的动态融合表达;并利用符号增强表达和射线焦点获取技术,设计多种场景交互分析探索模式,以实现多模式下泥石流灾害VR场景交互与泥石流灾情信息查询分析。

    • 泥石流灾害VR场景融合构建总体框架如图 1所示,首先对泥石流灾害现场对象进行分解;其次对其进行抽象化,形成以实体、属性和空间关系组成的概念模型,用以指导整个虚拟场景的构建;然后将建模相关数据按照相应的格式存储,并在软硬件资源以及灾害场景对象构建等关键技术的支撑下对单个场景模型进行恢复;最后在空间语义关系约束下,将各个场景模型进行组合、搭配与调整,实现泥石流灾害虚拟现实表达场景的构建。

      图  1  泥石流灾害VR场景融合构建总体框架

      Figure 1.  Fusion Modeling Framework of Debris Flow VR Scene

    • 由于泥石流灾害VR场景涉及灾害对象众多,本文针对泥石流灾害VR场景进行自上而下的划分,并对灾害场景对象进行抽象和简化,描述属性特征并厘清场景对象之间的空间语义关系,实现对泥石流灾害VR场景建模对象清晰的语义描述(见图 2)。

      图  2  泥石流灾害VR场景概念层次结构

      Figure 2.  Concept-Hierarchy Structure of Debris Flow VR Scene

    • 本文涉及的场景数据均采用文件存储系统进行存储,其中数字高程模型(digital elevation model,DEM)和泥石流模拟结果存储为ASCII文件,专题数据以SHP和文本文件形式存储,遥感影像为TIFF格式。硬件环境主要包括戴尔图形工作站、HTC VIVE等设备,软件环境包括VR主流渲染引擎Unity3D、编译软件Visual Studio、数据处理软件ArcGIS等。

    • 灾害场景对象建模与恢复指将灾害数据构建成场景对象,主要包括虚拟地形场景、专题要素场景以及泥石流过程表达场景。下面对单个建模对象的构建方法进行详细阐述。

    • 以DEM以及遥感影像数据为基础,其主要包括格网单元坐标和高程值。首先,按照式(1)计算格网坐标:

      $$ \left\{ {\begin{array}{*{20}{c}} {X = X' + C \times {G_{{\rm{size}}}}}\\ {Y = Y' + \left( {T - R} \right) \times {G_{{\rm{size}}}}} \end{array}} \right. $$ (1)

      式中,X'Y'分别表示起始点坐标;Gsize表示格网大小;CR分别表示当前格网的列号和行号;T表示总行数。

      然后,存储各个点的坐标与高程值,按照点线面之间的拓扑关系,逆时针遍历每个三角形的顶点坐标,并存储其对应顶点的索引编号(见图 3)。最后,通过读取地形坐标索引数据以及纹理映射,快速构建虚拟地形场景。

      图  3  顶点数据以及索引存储结构

      Figure 3.  Vertex Data and Index Storage Structure

    • 任意时刻的泥石流模拟结果包括泥深值和流速值等信息,以支持泥石流三维动态可视化模拟与演变。为避免数据处理过程缓慢、数据解析复杂以及数据冗余等问题,本文将只有泥深值的格网数据进行存储(见图 4)。

      图  4  泥石流模拟结果构网过程

      Figure 4.  Triangulation Process of Debris Flow Simulation Data

      针对每个有泥深值的格网进行遍历和计算,依据其周围2×2的4个相邻格网单元有无泥深值情况不同,主要分为5种情形进行泥石流表面三角网模型的构建,并采用链表的方式存储泥石流坐标值、泥深值以及索引号。依照上述方法,按照顺时针的方式将格网单元顶点的索引号加入到构建三角网的索引列表中并进行三角形的构建,依次循环即可快速构建泥石流表面三角网模型。

    • 为避免应急过程中响应时间短、数据获取难等问题,本文对专题要素进行符号化建模,并根据用户在应急状态下对颜色和符号的认知能力,以及相应的可视化需求,将专题要素信息根据不同的风险等级进行颜色分级(见图 5),这样用户在场景中能够一目了然地了解灾情信息。

      图  5  专题符号以及颜色分级

      Figure 5.  Thematic Symbols and Color Classification

    • 为了保证所构建的灾害三维场景真实、符合规范,需要考虑各个对象的空间位置、空间姿态、空间拓扑等相关因素。即灾害对象是否处于正确的空间位置、能否以正确的姿态展示空间形态、相互之间能否无缝拼接[27-28]。因此,本文根据灾害场景对象语义描述以及空间语义关系进行场景对象快速融合,主要包括空间方位、属性类别、空间拓扑和最优尺度。其中空间方位处理不同灾害对象之间的地理位置配准;属性类别根据各对象空间位置和从属关系,主要实现灾情数据与模型融合;空间拓扑使得各对象之间的相邻、包含和重叠等空间拓扑关系得到正确表达;最优尺度实现不同尺度模型数据与地形场景的适应性匹配。

      1)空间方位约束。

      空间方位约束根据不同灾害对象的空间坐标信息以及三维姿态信息(俯仰角、偏航角、翻滚角),在统一地理参考坐标系下,实现不同灾害对象之间的空间位置配准以及空间姿态匹配。其中偏航角、俯仰角、翻滚角分别对应将模型绕Z轴(垂直轴)、Y轴(纬度方向)、X轴(经度方向)进行旋转。

      本文以地形格网单元的坐标值为基础,判断格网中是否有泥深值,将有泥深值的格网提取出来,利用有泥深值区域坐标和泥深,采用图 6所示的5种构网方式构建地形三角网以及泥石流表面三角网模型,实现空间方位约束下泥石流位置与地形场景位置的空间映射。风险建筑物模型通过底部中心点坐标以及姿态角,实现模型定位以及空间姿态匹配。

      图  6  基于空间方位约束的场景构建

      Figure 6.  Construction of VR Scene with Spatial Location Constraint

      2)属性类别约束。

      属性类别约束根据灾害对象的空间位置和语义从属关系,可理解为灾情信息为灾害对象的一个属性。将风险等级、风险人口、淹没面积、泥深、流速、到达时间等灾情信息根据分类存储于文本文件中,并根据灾害对象的空间位置和语义从属关系以实现数据与灾害对象融合以及可视化展示(见图 7)。

      图  7  基于属性类别约束的灾情信息融合

      Figure 7.  Fusion of Disaster Information with Attribute Category Constraint

      3)空间拓扑约束。

      与二维空间关系相比,三维场景中的拓扑关系相对比较复杂。本文根据泥石流VR场景构建以及数据的需求,选取了3种拓扑关系作为空间拓扑约束规则:相邻、包含和重叠(见图 8),表达式为:

      图  8  泥石流灾害场景对象空间拓扑关系

      Figure 8.  Spatial Topological Relation of Debris Flow Disaster Scene Objects

      $$ R\left( {A, B} \right) = T\left( {A, B} \right) + E\left( {A, B} \right) + O\left( {A, B} \right) $$ (2)

      式中,R表示模型AB之间的空间拓扑关系;T表示模型A与模型B相邻,即两个模型具有相同的面,但是内部不相交,例如地形表面和泥石流表面、地形表面与建筑物地面等;E表示模型A包含模型B,在本文中指的是完全包含,例如地形场景边界完全包含泥石流表面模型边界;O规定模型之间的贴合顺序,例如泥石流三角网、风险建筑物底面与地形表面自底向上无缝贴合。

      4)最优尺度约束。

      当虚拟地形场景与风险建筑物进行融合时,为了保证风险建筑物底部与地形表面能够无缝组合,需要对风险建筑模型的尺寸按照一定比例进行缩放和底部延伸,并修正模型边缘处的地形,以达到二者的最优尺度融合。

    • 本文设计了俯视鸟瞰、移动行走和自动漫游等多种VR交互模式(见图 9),以支持用户对灾害场景进行详细的浏览与查询分析。

      图  9  多模式用户交互方法

      Figure 9.  Multi-mode User Interaction Method

      1)俯视鸟瞰。

      俯视鸟瞰是指用户从高空位置以俯视视角浏览和感知整个灾害场景。首先通过VR相机方位变化实时获取相机坐标点位、姿态角以及缩放量等参数;然后根据视野变化实时获取水平视场角、垂直视场角以及视野范围等参数;最后通过上述参数的实时动态计算与传输,实现相机方位和视野的实时动态更新。

      2)移动行走。

      移动行走主要聚焦于用户在小范围内从地面对灾害场景进行详尽预览以及查询分析。通过第三人称用户位置、姿态、视角位置的实时获取和动态传输,以及模型与地形表面的碰撞检测,使得用户可以在VR场景中,沿着地形表面,以局部微观视角进行小尺度范围的行走预览与查询分析。

      3)自动漫游。

      自动漫游是指用户无需进行额外操作,即可沿着固定路线自动地以多视角对灾害场景进行动态预览与交互。通过漫游路径的预先设定和动态读取、场景遮挡剔除和VR场景联动,以实现场景的连续平滑过渡,提高场景绘制帧率,进而降低用户眩晕感。

    • 基于VR射线焦点灾情信息交互查询与分析方法,可以用于沉浸式灾害信息的快速查询与分析(见图 10)。首先通过文字、符号和图片与VR手柄按键的适应性匹配,以达到增强提示手柄按键相应功能的目的;其次通过手柄空间坐标实时获取、射线起始位置定位以及焦点对象检测等技术实现VR手柄射线的快速构建与焦点获取;最后通过焦点与灾害对象求交,获取灾情信息,并采用真实感与符号化协同可视化的方法对灾情信息进行适宜性表达。

      图  10  灾情信息交互查询分析方法

      Figure 10.  Disaster Information Query and Analysis Method

    • 本文选择2013-07-11发生于四川省汶川县七盘沟村(30°45'N~31°43'N,102°51'E~103°44'E)的特大泥石流灾害作为案例并开展试验分析。七盘沟村曾发生过多次泥石流灾害,造成周边多家企业与大量居民受到严重的损失,并对G213国道造成过毁灭性的破坏[29]。试验采用的DEM(digital elevation model)、影像、人口、建筑物等数据由四川测绘地理信息局实地采集得到,分辨率为20 m的泥石流模拟结果数据来源于文献[2],其模拟的泥石流淹没范围、泥深和流速与实地调研结果相比,模拟偏差分别为6.4%、10.3%、13.6%。其模拟的准确性能够为用户体验和防灾减灾提供较为可靠的参考信息。

      数据处理将DEM和影像数据进行裁剪,并将坐标换算成WGS84坐标系,将DEM和影像分别以ASCII和TIFF格式存储于相应文件夹内。泥石流模拟数据以ASCII格式存储,房屋和道路以简单拉伸模型表示,人口财产以文本的形式存储(见表 1)。

      表 1  灾害数据分类与处理

      Table 1.  Disaster Data Classification and Processing

      类别 内容 格式
      基础地理数据 多空间分辨率DEM和遥感影像 .tif/.asc
      泥石流模拟数据 泥深、位置和范围等 .asc
      专题统计数据 人口、财产、房屋和道路等 .shp/.txt
    • 本文研发了VR原型系统,以用于泥石流灾害VR场景融合建模与交互探索分析,如图 11所示。

      图  11  泥石流灾害VR场景界面

      Figure 11.  Debris Flow Disaster VR Scene Interface

    • 1)地形场景建模。

      按照§1.3.1所述方法构建地形表面三角网,并且保存顶点数据和对应索引号,得到地形坐标索引数据结构(其中第一行表示存储的索引号,第二行表示顶点坐标)。通过对地形坐标索引数据的实时接入、读取以及纹理映射,快速构建地形场景(见图 12)。

      图  12  地形场景构建

      Figure 12.  Construction of Terrain Scene

      2)泥石流过程动态表达。

      采用§1.3.2所述方法构建泥石流表面三角网模型,为了符合大众对于泥石流灾害的认知且逼真、直观展示泥石流演进过程,采用灰色渐变色系对每个格网泥深值进行渲染。实时调度每个时刻的泥石流文件更新格网的状态值,实现泥石流过程三维动态可视化(见图 13)。

      图  13  泥石流演进过程表达

      Figure 13.  Visualization of Debris Flow Evolution Process

      3)专题要素建模。

      人口、财产、泥深、淹没范围、风险等级等非空间信息按照灾害对象的属性类别关系与其相关联,并存储于数据表中,用于灾情信息查询。风险建筑物在程序中用拉伸的简单体模型表示,并根据高中低受灾等级进行渲染。

      4)场景对象融合建模。

      将虚拟地形场景与虚拟泥石流场景在无任何约束条件下直接叠加,导致泥石流场景与地形场景位置不匹配,空间关系也得不到正确表达,如图 14所示。

      图  14  地形场景与泥石流场景叠加

      Figure 14.  Overlay of Terrain Scene and Debris Flow Scene

      图 15展示了正确的泥石流灾害VR场景效果。为了保证所构建的泥石流灾害VR场景规范且真实,本文采用空间语义约束条件引导场景构建流程。空间方位约束保证地形场景、泥石流场景以及建筑物模型的空间位置以及空间姿态的一致性统一;属性类别约束保证了非空间灾情信息在泥石流灾害VR场景中的正确表达;空间拓扑约束对地形表面、泥石流边界以及建筑物底部进行约束,保证空间关系正确表达;最优尺度通过地形平滑以及建筑物底部延伸,保证模型之间的无缝拼接。

      图  15  泥石流灾害VR场景融合建模展示

      Figure 15.  Fusion Modeling and Visualization of Debris Flow VR Scene

    • 1)多模式泥石流VR场景交互。

      为了使用户在泥石流VR场景中能够快速捕获手柄按键的相应功能,本文采用文字和符号增强等方法,对每个手柄按键相应功能做出提示。通过VR手柄发出的射线焦点选择俯视鸟瞰、自动漫游和移动行走等相应交互模式。通过俯视鸟瞰交互实现用户对泥石流VR场景的宏观预览;自动漫游按照既定路线对泥石流VR场景进行预览,减少用户操作并保持稳定帧率,降低眩晕感;移动行走主要用于泥深、建筑物风险等级等灾情信息交互查询(见图 16)。

      图  16  多模式泥石流VR场景交互

      Figure 16.  Multi-mode Interaction of Debris Flow Disaster VR Scene

      2)泥石流灾害信息交互查询。

      用户可以利用VR手柄射线焦点对泥石流涉及的灾情信息(泥深、坐标信息和建筑物风险等级)进行交互查询分析。

      为了使用户能够沉浸式感知泥石流灾情,以及为救援人员救援路线规划提供参考。本文可通过VR射线与泥石流区域求交,进而查询分析受灾范围内任意一点的泥深值和坐标信息(见图 17)。

      图  17  泥深值和范围查询分析

      Figure 17.  Query Analysis of Mud Depth and Range

      当泥石流灾害发生时,用户往往很关心建筑物的受损情况。本文根据泥石流掩埋深度和建筑物高度,对二者进行叠加分析,从而判定出建筑物整体受灾情况,然后以预警色系延伸红色表示严重受损,橙色表示中度受损,绿色表示轻微受损。用户可以通过VR射线焦点查询每栋房屋的受灾等级以及房屋的属性信息(建筑物名称、高度、占地面积和掩埋深度),如图 18所示。

      图  18  建筑物受灾等级查询与分析

      Figure 18.  Query and Analysis of Risk Degree of Resident Buildings

    • 本文提出了泥石流灾害VR场景动态建模及交互可视化方法,讨论了在基于空间方位、属性类别、空间拓扑和最优尺度等空间语义关系条件引导下,虚拟地形场景、建筑物专题对象数据和泥石流模拟数据的动态融合建模以及俯视鸟瞰、自动漫游和移动行走等多种模式灾害场景交互探索分析。通过构建原型系统,选择案例区域开展了试验。试验结果表明,本文方法能够实现泥石流VR场景的快速构建,并能够满足用户对灾害场景沉浸式感知以及灾情信息查询分析等需求。

参考文献 (29)

目录

    /

    返回文章
    返回