一种基于多模态视觉识别的数字孪生场景智能生成方法技术

技术编号:40231602 阅读:24 留言:0更新日期:2024-02-02 22:33
本申请公开了一种基于多模态视觉识别的数字孪生场景智能生成方法,通过基于EM‑ICP的动态物体跟踪算法实现对动态物体的实时建模与姿态跟踪,实时的将动态物体和静态场景信息进行融合,得到完整目标场景的三维空间信息。通过单目及多目视觉信息的融合,建立隐式动态神经辐射场模型,通过视觉和几何数据的语义分析实现数字孪生场景中物理实体的快速三维建模和动态更新,具体的,基于EM‑ICP的动态物体跟踪算法实现对动态物体的实时建模与姿态跟踪,实时的将动态物体和静态场景信息进行融合,得到完整目标场景的三维空间信息,能够精确计算场景中物体的运动和变化,合成高准确度和高真实度的可实时跟踪和历史回放的动态三维场景。

【技术实现步骤摘要】

本申请涉及基于多模态视觉识别的数字孪生场景智能生成,特别是涉及一种基于多模态视觉识别的数字孪生场景智能生成方法


技术介绍

1、传统数字孪生底座的建模多采用倾斜摄影、通过gis数据实现半自动建模和专业建模软件人工建模,需要较多的人力成本和时间周期,难以实现对真实场景低成本快速更新,更无法满足场景中动态目标的实施跟踪,已经无法适应数字孪生应用精准映射、同步生长和全生命周期管理需求,影响了数字孪生在智慧城市、公共安全、智能制造、国防军工和建筑设计等领域的深度应用。


技术实现思路

1、本申请提供一种基于多模态视觉识别的数字孪生场景智能生成方法,旨在解决现有技术难以实现对真实场景低成本快速更新,更无法满足场景中动态目标的实施跟踪,已经无法适应数字孪生应用精准映射、同步生长和全生命周期管理需求的问题。

2、一种基于多模态视觉识别的数字孪生场景智能生成方法,所述方法包括:

3、采集目标场景数据,集合所述目标场景gps信息,对所述目标的数字孪生三维场景的快速拼接,利用第三方地理地图,引入联合视觉地理本文档来自技高网...

【技术保护点】

1.一种基于多模态视觉识别的数字孪生场景智能生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述采集目标场景数据,集合所述目标场景GPS信息,对所述目标的数字孪生三维场景的快速拼接,利用第三方地理地图,引入联合视觉地理信息的局部地图,进行局部正射图像的生成,对所述局部正射图像进行实时融合,得到目标全局正射图像,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过分层次的注意力机制网络,提取所述目标全局正射图像中不同层次的信息,同时对所述目标全局正射图像进行局部特征提取和全局上下文信息提取,具体包括:

4.根据权利要...

【技术特征摘要】

1.一种基于多模态视觉识别的数字孪生场景智能生成方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述采集目标场景数据,集合所述目标场景gps信息,对所述目标的数字孪生三维场景的快速拼接,利用第三方地理地图,引入联合视觉地理信息的局部地图,进行局部正射图像的生成,对所述局部正射图像进行实时融合,得到目标全局正射图像,包括:

3.根据权利要求1所述的方法,其特征在于,所述通过分层次的注意力机制网络,提取所述目标全局正射图像中不同层次的信息,同时对所述目标全局正射图像进行局部特征提取和全局上下文信息提取,具体包括:

4.根据权利要求1所述的方法,其特征在于,所述通过多视角图像提取所述目标场景三维点云,并使用ransac算法估计点云平面参数,提取所述目标场景建筑物点云的边缘特征,在提取3d特征线的过程中,引入确定的条件,得到有效的特征线,获得具有明确语义的建筑物表面模型,包括:

5.根据权利要求4所述的方法,其特征在于,所述引入几何驱动的边界优化算法,根据提取的3d特征线生成闭合的建筑物表面模型,降低细粒度语义的存储代价,提高语义表示的自由度,具体包括:

6.根据权利要求1所述的方法,其特征在于,所述通过目标场景的多视角信息的融合和姿态参数回归,对目标场景静态物体和动态目标的重建,包括:

【专利技术属性】
技术研发人员:周旺黎涛雷奇奇孔凡伟郑月玲莫洪源
申请(专利权)人:北京相数科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1