一种虚实融合的数字孪生流体现象模拟方法技术

本公开的实施例公开了一种虚实融合的数字孪生流体现象模拟方法

【技术实现步骤摘要】
一种虚实融合的数字孪生流体现象模拟方法


[0001]本公开的实施例涉及基于混合现实的流体仿真与交互
，具体涉及一种虚实融合的数字孪生流体现象模拟方法
。

技术介绍

[0002]传统基于计算机图形学的流体仿真与交互应用常常完全在虚拟仿真环境中进行，不具备对真实场景的感知和融合能力；同时，受限于物理系统的求解效率和渲染精度，仿真应用多采用离线计算的方式，渲染输出序列图像并生成动画，对于用户的交互反馈和控制能力较弱
。
[0003]相比于复刻场景细致的几何结构，流体交互场景孪生重建更侧重于系统的实时性和鲁棒性，需要在复杂场景中快速实时的抽取仿真边界几何特征，并在低纹理
、
变化光照
、
传感器快速移动的情况下维持跟踪系统的稳定运行，是需要解决的问题；此外，如何在重建中快速准确的跟踪和提取交互平面结构甚至是语义信息，也是支持更加真实智能的流体仿真应用的重要任务
。
在混合现实环境中复现与真实场景行为一致的流体并能实现基于物理的建模与演化仍然面临一系列问题和挑战
。
首先，采用什么手段捕获真实场景的流体数据
、
采集哪些数据，需要根据实际应用场景而定；其次，如何打破传统迭代优化方法从连续表面几何或连续密度场推断速度场的高时耗
、
低精度的局限，即从采集的数据中实时恢复全部流场数据也是一项具有挑战性的难题；最后，如何快速地从观测到的数据中获得影响流体行为的物理属性，进而为基于物理的流体动态演化仿真提供支持，以满足虚拟流体对真实环境的感知与融合需求，需进一步深入研究
。
在基于物理真实性的实时虚实融合交互方面，如何解决用户和场景边界与虚拟物体的近距离实时交互和如何将虚拟场景的交互作用力反馈给用户，进一步增加用户体验的沉浸感与真实感也是重要问题
。
虚实融合环境下大规模流体的实时渲染的问题与挑战同时体现在环境的场景信息获取以及流体渲染的速率与质量上
。
尽管目前已有大量研究用于测定真实场景中的光场，但一个完整的全局光照分布需要建立光场以及场景中对象的紧密关联，如何以更好的方式结合三维场景数字孪生以及光场信息获取是一个关键问题
。
[0004]虚实融合技术的发展对虚拟场景时空一致性以及虚拟对象的自然交互具有较高要求，因此，面向混合现实场景的物理仿真应用应具备的能力包括快速感知与重建仿真环境边界
、
真实流体属性精确获取与动态流体生成
、
可交互可演化的虚拟流体与真实用户行为交互与即时反馈
。
本专利技术围绕虚实融合流体仿真，实现基于深度图像的三维场景快速重建
、
基于物理感知的流体参数获取与演进模拟
、
虚实融合人机交互与控制三方面研究内容，并以此构建典型示范应用场景
。

技术实现思路

[0005]本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述
。
本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必
要特征，也不旨在用于限制所要求的保护的技术方案的范围
。
[0006]本公开的一些实施例提出了虚实融合的数字孪生流体现象模拟方法，来解决以上
技术介绍
部分提到的技术问题中的一项或多项
。
[0007]本公开解决的技术问题是：基于深度图像的三维场景快速重建获取真实空间信息，为虚拟流体仿真与交互提供场景边界，实现基于真实空间特征虚拟流体场景建模；基于物理感知的流体参数获取与演进模拟提高模拟的真实性与效率；虚实融合人机交互控制通过捕获用户的动作信息并反馈给虚拟流体，实现虚拟流体与真实用户的互动，构建虚实贯通的用户
‑
场景
‑
物理现象虚实融合交互，提高虚实交互的体验感
。
[0008]本公开的一些实施例提供了一种虚实融合的数字孪生流体现象模拟方法，包括：采集室内场景深度图和室内场景
RGB
图，以及根据上述室内场景
RGB
图，对上述室内场景深度图进行补全处理，以生成补全后室内场景深度图；根据上述室内场景
RGB
图，对三维场景点云进行重建，以及确定上述三维场景点云的点云语义；基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示
。
[0009]本公开的上述各个实施例中具有如下有益效果：通过本公开的一些实施例的虚实融合的数字孪生流体现象模拟方法，最大程度地保证研究过程的规范性和预期研究目标的可及性，提升了混合场景真实感和沉浸感，实现场景丰富
、
细节逼真
、
实时高效的人机交互
。
附图说明
[0010]结合附图并参考以下具体实施方式，本公开各实施例的上述和其他特征
、
优点及方面将变得更加明显
。
贯穿附图中，相同或相似的附图标记表示相同或相似的元素
。
应当理解附图是示意性的，元件和元素不一定按照比例绘制
。
[0011]图1是根据本公开的虚实融合的数字孪生流体现象模拟方法的一些实施例的流程图
。
[0012]图2是根据本公开的虚实融合的数字孪生流体现象模拟方法的一些实施例的流体参数获取与演进模拟流程图
。
具体实施方式
[0013]下面将参照附图更详细地描述本公开的实施例
。
虽然附图中显示了本公开的某些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例
。
相反，提供这些实施例是为了更加透彻和完整地理解本公开
。
应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围
。
[0014]另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分
。
在不冲突的情况下，本公开中的实施例及实施例中的特征可以相互组合
。
[0015]需要注意，本公开中提及的“第一”、“第二”等概念仅用于对不同的装置
、
模块或单元进行区分，并非用于限定这些装置
、
模块或单元所执行的功能的顺序或者相互依存关系
。
[0016]需要注意，本公开中提及的“一个”、“多个”的修饰是示意性而非限制性的，本领域
技术人员应当理解，除非在上下文另有明确指出，否则应该理解为“一个或多个”。
[0017]本公开实施方式中的多个装置之间所交互的消息或者信息的名称仅用于说明性的目的，而并不是用于对这些消息本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种虚实融合的数字孪生流体现象模拟方法，包括：采集室内场景深度图和室内场景
RGB
图，以及根据所述室内场景
RGB
图，对所述室内场景深度图进行补全处理，以生成补全后室内场景深度图；根据所述室内场景
RGB
图，对三维场景点云进行重建，以及确定所述三维场景点云的点云语义；基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景；根据人体躯干骨骼运动和手部骨骼运动，不断更新地计算追踪帧数据组；控制传感器对真实场景进行测量，获取真实环境颜色信息，以及在孪生流体场景中建立若干虚拟光源以对真实光场信息进行模拟，以进行数字孪生流体场景的展示
。2.
根据权利要求1所述的方法，其中，所述采集室内场景深度图和室内场景
RGB
图，以及根据所述室内场景
RGB
图，对所述室内场景深度图进行补全处理，以生成补全后室内场景深度图，包括：连续采集室内场景的室内场景深度图和室内场景
RGB
图，将室内场景深度图上有效的深度信息作为先验，利用室内场景
RGB
图显示的颜色信息提供的几何范围约束，通过卷积神经网络将特征融合入自编码器的图像重建过程，生成完整补全后的室内场景深度图，以提升深度信息质量
。3.
根据权利要求1所述的方法，其中，所述根据所述室内场景
RGB
图，对三维场景点云进行重建，以及确定所述三维场景点云的点云语义，包括：利用并行计算在室内场景
RGB
图上提取分布合理的
ORB
特征及
ORB
特征的邻域范围，通过二维卷积神经网络，提取多层次
RGB
‑
D
图像对的高维特征；根据补全后室内场景深度图获取特征点和邻域的深度信息，通过特征和邻域几何分布信息对相邻帧特征进行匹配关联，再通过
N
点透视法和最近点迭代法分别计算
2D
‑
3D
和
3D
‑
3D
空间特征匹配情况下的相机位姿，优化函数分别为：空间特征匹配情况下的相机位姿，优化函数分别为：其中，
u
i
是三维特征点
p
i
在图像坐标系下的二维坐标值，是在不同视角下与
p
i
关联的三维特征，
K
为相机内参矩阵，
T
为相机外参矩阵，
T
*
即优化后求得的传感器位姿，为的2‑
范数的平方；根据图像清晰程度和运动范围进行关键图像帧的提取和世界坐标系下的位姿预测，并通过复原的高质量深度信息，将关键帧像素点通过并行计算投影至三维空间构成稠密点云；利用体素滤波的方式并行更新和融合不同视角下的离散表达，得到重建的三维场景点云初始表达；
通过图神经网络模型对初始点云编码几何
‑
语义特征，使用几何补全解码器和语义分类解码器分别预测完整几何信息和点云语义类别
。4.
根据权利要求1所述的方法，其中，所述基于物理感知，对三维流体场景进行逆向孪生构建，以生成孪生流体场景，包括：将流体表面高度场时序序列
h<...

【专利技术属性】
技术研发人员：高阳，刘雪梅，郝爱民，李瑾，
申请(专利权)人：华北水利水电大学，
类型：发明
国别省市：