一种实时构建实训数字孪生模型的方法技术

本发明专利技术公开了一种实时构建实训数字孪生模型的方法，包括：通过通用型移动设备的惯性测量单元，利用Visual Inertial Odometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，并建立相应的三维网格模型；通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以去除三维网格模型的杂质；在实训工作中，通过实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分建模，并映射到之前的三维网格模型中。该方法具有普适性、易用性及精确性的优点。

A method of real-time construction of training digital twin model

【技术实现步骤摘要】
一种实时构建实训数字孪生模型的方法
本专利技术涉及三维建模
，尤其涉及一种实时构建实训数字孪生模型的方法。
技术介绍
随着计算机软硬件技术的不断发展，增强现实、虚拟现实、混合现实的不断普及，三维建模的需求量正在呈指数级的增加，这对三维模型的速度、复杂度和真实感提出了新的要求。传统三维建模工具虽然日益改进，但构建比较复杂的、动态的三维模型依然是一件非常耗时的专业工作。现有主流三维建模主要以手工建模及图像点云建模方式实现。1)手工建模方式需要大量具备专业建模素质的人员进行创作，时间周期长，仿真度则根据从业人员能而参差不齐，创作周期长。2)图像点云建模方式则通过专业图像采集设备先进行图像采集，再运用超强算力的计算机和专业软件进行建模，该技术由于受到专业设备限制、算力限制，且成功精度不足等问题，这些建模技术一直未得到有效推广和大众化运用。随着虚拟现实、增强现实技术不断发展，而三维模型又是这些产品中的核心组成要素，所以，怎样快速的、精确的、实时的、动态的建模技术必将推进虚拟现实、增强现实的市场化、产业化进程，并服务于各行各业。
技术实现思路
本专利技术的目的是提供一种实时构建实训数字孪生模型的方法，具有普适性、易用性及精确性的优点。本专利技术的目的是通过以下技术方案实现的：一种实时构建实训数字孪生模型的方法，包括：步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用VisualInertialOdometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。由上述本专利技术提供的技术方案可以看出，可以通过通用型移动设备，对目标对象进行实时动态建模，降低三维建模门槛，能够应用于制造、教育、文化、健康、娱乐等多个领域，促进这些领域的生产力提升。附图说明为了更清楚地说明本专利技术实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。图1为本专利技术实施例提供的一种实时构建实训数字孪生模型的方法的流程图。具体实施方式下面结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术的保护范围。本专利技术实施例提供一种实时构建实训数字孪生模型的方法，如图1所示，该方法主要包括：步骤1、通过通用型移动设备内置的惯性测量单元(InertialMeasurementUnit)采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用VisualInertialOdometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。本专利技术实施例中，所述通用型移动设备为智能手机或者平板电脑。本专利技术实施例中，所述惯性测量单元包括加速度计与陀螺仪。本专利技术实施例中，估算目标物体的三维特征的优选实施方式如下：步骤11、通过通用型移动设备(具体可以是移动端计算程序)根据姿态信息计算每一个连续影像帧拍摄时的位置与旋转角度，同时抽取连续影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，异步构建连续影像帧的特征点数据库。步骤12、判断从目标物体中提取的特征点总数目是否达到要求，若是，则转入步骤15；若否，则转入步骤13。本专利技术实施例中，特征点数目与特征点类型相关，总数目会根据目标物体的不同而发生变化。对于不同目标物体都可以预先标定特征点总数目(具体数值根据情况自行设定)，因此，在步骤12中可以直接比较标定的总数目数值与步骤11中提取出的特征点数目的数值来判断是否达到要求。本专利技术实施例中，拍摄目标物体时可以使用视频拍摄和照片拍摄两种方式，视频拍摄方式采集到的是连续影像帧，照片拍摄方式采集到的为离散影像帧。在拍摄完成后的视频中截取关键帧，因为同一移动设备拍摄的连续影像帧和离散影像帧分辨率会有差距，离散影像帧分辨率要高于连续影像帧分辨率，当连续影像帧的关键帧分辨率过低无法提取足够的特征点时，补充拍摄离散影像帧，用于补偿提取特征点。对于视频拍摄和照片拍摄采集到的每一影像帧，惯性测量单元都会记录相应的姿态信息。步骤13、通过后处理计算程序(可以设置在计算机中)根据姿态信息计算离散影像帧的拍摄时的位置与旋转角度；同时抽取离散影像帧的高维特征点，并计算出目标物体相应特征点的三维坐标，构建离散影像帧的特征点数据库。步骤14、将离散影像帧的特征点数据库与连续影像帧的特征点数据库匹配并合并，获得合并后的特征点数据库。步骤15、通过VisualInertialOdometry技术，结合获得的特征点数据库(也即步骤12或者步骤14的结果)，恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型。步骤2、通过可微渲染器(DifferentiableRenderer)对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型。本专利技术实施例中，通过为三维网格模型进行纹理贴图渲染，可以得到较为逼真的三维模型。步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割(GraphCut)算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型。本专利技术实施例中，构建图割(GraphCut)算法中的代价函数的具体实现过程可参见现有技术，不再赘述。本专利技术实施例中，通过代价函数对所有片面进行判别，以区分所有片面中哪些属于符合要求片面，哪些属于含有杂质的片面，从而去除含有杂质片面。本步骤中，三维网格模型几何信息来自于步骤1中得到的目标物体的实际三维大小，纹理信息也即步骤2中进行纹理贴图时产生的纹理信息。步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之本文档来自技高网...

【技术保护点】
1.一种实时构建实训数字孪生模型的方法，其特征在于，包括：/n步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用Visual Inertial Odometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；/n步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；/n步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；/n步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。/n

【技术特征摘要】
1.一种实时构建实训数字孪生模型的方法，其特征在于，包括：
步骤1、通过通用型移动设备内置的惯性测量单元采集拍摄目标物体时的姿态信息，从而估算目标物体的三维特征，并利用VisualInertialOdometry技术实时恢复目标物体的三维特征，得到目标物体的实际三维大小，进而建立相应的三维网格模型；
步骤2、通过可微渲染器对三维网格模型进行纹理贴图渲染，得到带有纹理信息的三维网格模型；
步骤3、利用三维网格模型几何与纹理信息以及用户交互提供的感兴趣区域信息，构建图割算法中的代价函数，对三维网格模型中的所有面片进行判别，以判别含有杂质的片面，并从三维网格模型中去除，获得优化后的三维网格模型；
步骤4、在实训工作中，通过通用型移动设备实时拍摄采集目标物体，并通过一致性验证来判断是否检测到目标物体的缺失部分，若是，则对缺失部分采用步骤1～步骤3的方式建模，并映射到之前获得的优化后的三维网格模型中。


2.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述通用型移动设备为智能手机或者平板电脑。


3.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述惯性测量单元包括加速度计与陀螺仪。


4.根据权利要求1所述的一种实时构建实训数字孪生模型的方法，其特征在于，所述估算目标物体的三维特征的步骤包括：
步骤11、通过通用型移动设备；根据姿态信息计算每一个连续影像帧拍摄时的位置与旋转角度，同时抽取连续...

【专利技术属性】
技术研发人员：罗军，张筱澍，杨卓，
申请(专利权)人：江西科骏实业有限公司，
类型：发明
国别省市：江西;36