飞行仿真模拟器虚实空间实时融合方法技术

一种飞行仿真模拟器虚实空间实时融合方法，所述方法首先使用Kinect 2摄像头系统实时获取仿真模拟器座舱多个方向的纹理图像和深度图像；然后通过三维模型生成计算机将这些图像数据进行融合，获取仿真模拟器座舱完整的三维立体模型；在仿真过程的每个周期内，仿真计算机将三维模型生成计算机实时生成的仿真模拟器座舱三维立体模型与虚拟环境进行融合并显示在VR头戴式设备上，实现对飞行过程的仿真。本发明专利技术生成的座舱模型跟仿真座舱完全一致，用户在VR头戴式设备中看到的座舱就是用户操作的仿真座舱。本方法有效提高了虚实空间的一致性，可获得理想的飞行仿真模拟效果，特别适用于飞行仿真模拟及其他交互性比较强的领域。

Real-time fusion of virtual and real space for flight simulator

【技术实现步骤摘要】
飞行仿真模拟器虚实空间实时融合方法
本专利技术涉及一种用于飞行仿真模拟的方法，属于教学或演示用具

技术介绍
在混合模拟现实领域，目前应用比较多的是增强现实(AugmentedReality，简称AR)技术，比如微软的holoLens。它采用的技术方法是把虚拟空间融合到现实空间中来，是目前市面上比较接近混合现实的技术。其缺点是存在虚拟空间模型成像模糊不清楚，沉浸感不强等问题，而且虚实空间一致性差。AR技术主要应用在产品介绍、维修使用说明等领域。对于飞行仿真模拟等交互性比较强的领域不太适用。因此，寻求一种适用于飞行仿真模拟器的虚实空间实时融合方法是十分必要的。
技术实现思路
本专利技术的目的在于针对现有技术之弊端，提供一种飞行仿真模拟器虚实空间实时融合方法，以提高虚实空间的一致性，获得理想的飞行仿真模拟效果。本专利技术所述问题是以下述技术方案解决的：一种飞行仿真模拟器虚实空间实时融合方法，所述方法首先使用Kinect2摄像头系统实时获取仿真模拟器座舱多个方向的纹理图像和深度图像；然后通过三维模型生成计算机将这些图像数据进行融合，获取仿真模拟器座舱完整的三维立体模型；在仿真过程的每个周期内，仿真计算机将三维模型生成计算机实时生成的仿真模拟器座舱三维立体模型与虚拟环境进行融合并显示在VR头戴式设备上，实现对飞行过程的仿真。上述飞行仿真模拟器虚实空间实时融合方法，建立飞机仿真模拟器座舱三维立体模型的具体步骤如下：①利用白色的标记带在座舱的外沿做一圈标记，使用4个Kinect2摄像头获取标记带内仿真模拟器座舱360度的图像信息，所述图像信息包括深度信息和颜色信息；②前期处理计算机对深度信息和颜色信息进行畸变校正，并按照时间戳进行配对，然后将处理好的信息发送给三维模型生成计算机；③三维模型生成计算机确定仿真模拟器座舱模型几何三角形的有效纹理：由第二步的深度信息构成的几何模型N，目标颜色信息纹理图像Ik(k＝1，2，3,4)，经过投影变换，找到几何三角形的有效纹理图像；④确定几何三角形在有效纹理图像中的颜色：根据时间戳找到模型与纹理图的对应关系，并用双线性插值法确定几何三角形在有效纹理图像中的RGB颜色；⑤定义纹理图像的权重函数，定义不同视场纹理的法向量、边缘和深度权重，并通过复合权重对纹理图像进行融合处理，平滑物体表面的纹理色彩，消除纹理接缝；⑥生成1:1比例的仿真模拟器座舱模型，并发送相应的mesh和纹理img图像到仿真计算机(即视频图像处理计算机)。上述飞行仿真模拟器虚实空间实时融合方法，所述仿真模拟器座舱三维立体模型与虚拟环境在VR头戴式设备是的显示方法包括以下步骤：a.在飞机三维模型座舱位置设置一个虚拟节点：vitual_cabin，vitual_cabin的默认朝向与重建座舱一致；b.仿真过程中，三维模型生成计算机将生成的机舱mesh和纹理img图像实时发送到仿真计算机上；c.仿真计算机每次刷新界面时，获取vitual_cabin的世界姿态矩阵；d.销毁上一帧的机舱模型；e.使用新得到机舱mesh重新创建机舱模型；f.设置重建的机舱mesh的姿态矩阵为vitual_cabin的姿态矩阵；g.设置重建的机舱纹理图像；h.刷新仿真界面；i.重复b-i的过程，实现虚实空间的一致性显示。上述飞行仿真模拟器虚实空间实时融合方法，所述方法在建立飞机仿真模拟器座舱三维立体模型的过程中采用平面标靶技术寻找有效的纹理。本专利技术生成的座舱模型跟仿真座舱完全一致，用户在VR头戴式设备中看到的座舱就是用户操作的仿真座舱。该方法有效提高了虚实空间的一致性，可获得理想的飞行仿真模拟效果，特别适用于飞行仿真模拟及其他交互性比较强的领域。附图说明下面结合附图对本专利技术作进一步详述。图1为本专利技术的座舱模型实时生成流程；图2为本专利技术的整体流程图；图3(a)和图3(b)为本专利技术的两个整体效果图；图4为本专利技术的架构图。具体实施方式本方法首创了实体三维实时重建技术与虚拟环境结合的方法，本方法需要实时进行座舱重建，还需标定座舱区域，实时地与虚拟环境进行融合。本专利技术采用设备：OculusRift/HTCVive虚拟现实设备，3D深度摄像头：Kinect2(4个摄像头均匀安装在模拟器四周)，三维模型前期处理计算机：处理器为酷睿I73.4Ghz频率、16G内存、两个NVIDIATitanX显卡(4台)，三维模型生成计算机：处理器为酷睿I73.4Ghz频率、16G内存、两个NVIDIATitanX显卡，视频图像处理计算机(即仿真计算机)，本专利技术采用软件：三维引擎：Unigine或Unity本专利技术采用以下流程：一、仿真模拟器座舱实时重建使用白色的标记带在机舱的外沿做一圈标记，使用Kinect2摄像头系统实时获取4个方向的纹理图像和深度图像，该系统获取多视场深度图像利用ICP方法进行匹配，并应用Soucy等方法完成数据融合获取完整的三维模型。本专利技术采用平面靶标对Kinect2相机进行标定，标定相机的内部参数和外部参数，并利用标定获得的参数计算纹理图像Ik和几何模型N之间的精确变换关系Pk(k＝1，2，3,4)，通过如下步骤确定不同视场的权重，并利用定义的复合权重实现仿真模拟器座舱表面纹理色彩的自然过渡，最后由三维重建计算机合成一个1:1大小的、完整的三维立体模型。1.使用4个Kinect2摄像头，获取标记带内仿真模拟器座舱360度的图像信息。2.前期处理计算机对单独采集的深度信息和颜色信息进行畸变校正处理，按照时间戳统一好配对深度和颜色信息。将处理好的深度和颜色信息发送给三维模型生成计算机。3.三维模型生成计算机确定仿真模拟器座舱模型几何三角形的有效纹理，输入几何模型N，目标纹理图像Ik(k＝1，2，3,4)，经过投影变换，找到几何三角形的有效纹理图像。4.确定几何三角形在有效纹理图像中的颜色，根据时间戳找到模型与纹理图的对应关系，并用双线性插值法确定几何三角形在有效纹理图像中的RGB颜色。5.定义纹理图像的权重函数。定义不同视场纹理的法向量、边缘和深度权重，并通过复合权重对纹理图像进行融合处理，平滑物体表面的纹理色彩，消除纹理接缝。6.生成1:1比例的仿真模拟器座舱模型，发送相应的mesh和纹理img图像到视频图像处理计算机。本流程采用4个Kinect2摄像头获取标记带内的座舱模型深度数据和图像信息，采用ICP方法匹配算法、Soucy数据融算法对采集到的的数据进行实时重建，生成1:1的仿真模拟器座舱模型。二、虚实空间一致性显示方法1.在飞机三维模型座舱位置设置一个虚拟节点：vitual_cabin，此虚拟节点是实时重建的座舱模型放置到环境中的基准点。(vitual_cabin的默认朝向与重建座舱一致)2.在仿真过程中，三维模型生成计算机将生成的机舱mesh和纹理img图像实时发送到仿真计算机上。3.仿真计算机每次刷新界面时，获取vitual_cabin的世界姿态矩阵。4.销毁上一帧的机舱模型。5.使用新得到机舱mesh重新创建机舱模型。6.设置重建的机舱mesh的姿态矩阵为vitual_cabin的姿态矩阵(座舱位置重设方法)。7.设置重建的机舱纹理图像。8.刷新仿真界面。后续程序一致重复2-8的过程，就实现了虚实空间一致性的方法，达到混合现实的目标。设本文档来自技高网...

【技术保护点】
1.一种飞行仿真模拟器虚实空间实时融合方法，其特征是，所述方法首先使用Kinect2摄像头系统实时获取仿真模拟器座舱多个方向的纹理图像和深度图像；然后通过三维模型生成计算机将这些图像数据进行融合，获取仿真模拟器座舱完整的三维立体模型；在仿真过程的每个周期内，仿真计算机将三维模型生成计算机实时生成的仿真模拟器座舱三维立体模型与虚拟环境进行融合并显示在VR头戴式设备上，实现对飞行过程的仿真。

【技术特征摘要】
1.一种飞行仿真模拟器虚实空间实时融合方法，其特征是，所述方法首先使用Kinect2摄像头系统实时获取仿真模拟器座舱多个方向的纹理图像和深度图像；然后通过三维模型生成计算机将这些图像数据进行融合，获取仿真模拟器座舱完整的三维立体模型；在仿真过程的每个周期内，仿真计算机将三维模型生成计算机实时生成的仿真模拟器座舱三维立体模型与虚拟环境进行融合并显示在VR头戴式设备上，实现对飞行过程的仿真。2.根据权利要求1所述的飞行仿真模拟器虚实空间实时融合方法，其特征是，建立飞机仿真模拟器座舱三维立体模型的具体步骤如下：①利用白色的标记带在座舱的外沿做一圈标记，使用4个Kinect2摄像头获取标记带内仿真模拟器座舱360度的图像信息，所述图像信息包括深度信息和颜色信息；②前期处理计算机对深度信息和颜色信息进行畸变校正，并按照时间戳进行配对，然后将处理好的信息发送给三维模型生成计算机；③三维模型生成计算机确定仿真模拟器座舱模型几何三角形的有效纹理：由第二步的深度信息构成的几何模型N，目标颜色信息纹理图像Ik(k＝1，2，3,4)，经过投影变换，找到几何三角形的有效纹理图像；④确定几何三角形在有效纹理图像中的颜色：根据时间戳找到模型与纹理图的对应关系，并用双线性插值法确定几何三角形在有效纹理图像中的R...

【专利技术属性】
技术研发人员：许国杰，吴又奎，李晓阳，卢华燕，
申请(专利权)人：中科恒运股份有限公司，
类型：发明
国别省市：河北,13