面向混合现实飞行仿真系统的虚实融合方法技术方案

本发明专利技术是一种面向混合现实飞行仿真系统的虚实融合方法，属于飞行仿真技术领域。本发明专利技术方法包括：离线阶段制作虚拟驾驶舱模型并选取定位点，形成固定位置结构，对应在实体驾驶舱上设置追踪器或选取视觉特征，与定位点建立对应关系；在线阶段实时获取实体驾驶舱上追踪器和视觉特征的三维坐标，进行追踪器定位和视觉特征定位，对两种定位结果经卡尔曼滤波融合，得到虚拟驾驶舱更精确的注册位置；通过与双目相机扫描驾驶舱周围环境的点云形成空间定位模板，实现跨会话重复加载，建立虚实驾驶舱的联系。本发明专利技术计算相对轻量，对实体驾驶舱周围环境依赖小，避免了大量额外图像传输、特征提取和渲染工作，不会出现画面割裂情况，能带来更好的沉浸体验。带来更好的沉浸体验。带来更好的沉浸体验。

【技术实现步骤摘要】
面向混合现实飞行仿真系统的虚实融合方法


[0001]本专利技术属于飞行仿真领域，面向基于混合现实技术的飞行仿真系统提出一种虚实融合方法，具体涉及一种半实体驾驶舱模型的虚实注册技术。

技术介绍

[0002]对于仿真、数字孪生等需要利用数字模型复现真实世界的领域，混合现实技术展现出巨大的优势，其中一个重要的应用方向是飞行仿真。传统的飞行仿真系统主要利用具备各种仪表、操纵杆等的实体驾驶舱作为操作的输入，由计算机处理并实时模拟飞行状态，然后由以传统显示屏幕为主的视景系统等给驾驶员提供信息反馈。但是传统显示屏幕不仅占地面积大，而且视角受限，无法根据驾驶员的身体活动做出相应的视景调整，缺乏沉浸感和更真实的操作体验。随着硬件技术的进步，借助混合现实技术创造沉浸式的飞行仿真体验已经成为可能，对驾驶训练等的效率提高有着极大的推进作用，逐渐成为研究的热点。
[0003]目前国内外已经提出了一些飞行仿真系统的混合现实解决方案，其中相对成熟的一种基于实体驾驶舱交互的方案利用头戴式双目相机采集真实实验环境的影像，通过前景提取、可区分特征识别匹配等方法获得实体驾驶舱在图像中的位姿，与虚拟场景融合渲染后显示，即驾驶员所看到的驾驶舱部分来自真实图像的三维重建结果，驾驶舱以外部分为虚拟飞行环境。该类方案因为直接将真实影像与虚拟场景叠加，对定位精度和渲染质量要求较高，比如驾驶舱定位误差会导致虚实视景融合边缘产生视觉上的割裂感，影响沉浸体验；又比如飞行过程中环境中的大量动态光照，真实影像部分为了保证虚实融合效果需要实时计算光照进行渲染，造成了较大的系统负担。
[0004]上述方案除了所列举出的视觉效果、精度、计算量的问题以外还存在许多其他影响系统实时性、稳定性的问题，存在很大的改进空间。
[0005]具体地，通过双目相机获取图像进行前景提取、可区分特征识别匹配的方法估计驾驶舱在图像中的位姿，然后叠加驾驶舱影像到虚拟环境中渲染的技术方案，存在如下问题：
[0006](1)获取驾驶舱位姿的过程中，对实验环境的复杂程度有较高要求，实验场地环境复杂会导致图像前景提取效果不理想；而且存在大量实时图像传输、特征识别处理、虚实融合渲染，巨大的计算量直接影响了整个系统的实时性。
[0007](2)仅从视觉信息中提取驾驶舱位姿信息进行虚实融合的方法信息来源单一，误差界定困难造成了定位精度不高的问题；另外当相机朝向不存在视觉特征的方向时会导致定位丢失。
[0008](3)如果采取多种传感信息共同提高系统定位精度的策略，一般设计开发混合定位方案的系统难度较大，比如异构传感器数据描述、联合标定、异步数据融合等等常见问题的解决方案都存在算法设计复杂、实现困难的问题。

技术实现思路

[0009]针对现有混合现实技术在飞行仿真领域应用方案中的问题，本专利技术提出了一种使用驾驶舱数字模型进行虚实注册的方案，不直接使用相机获取的影像与虚拟场景叠加，而是从影像和追踪设备中计算驾驶舱的三维位姿信息，利用该信息变换驾驶舱模型注册到正确位置。
[0010]具体地，本专利技术提出了一种面向混合现实飞行仿真系统的虚实融合方法，包括：
[0011](1)离线阶段，预先制作虚拟驾驶舱模型，在驾驶舱上选取定位点，用于追踪实体驾驶舱的位姿；
[0012]首先，在虚拟驾驶舱模型上分别为追踪器和视觉标记选取任意不共线的数量为n的定位点，且各定位点间保持相对位置不变，n≥4；然后，在实体驾驶舱上的对应定位点处设置追踪器或选取视觉特征。选取的定位点形成固定位置结构的注册模板，定位点均以三维坐标表示，并与设置的追踪器和视觉特征建立对应关系。
[0013]在实体驾驶舱上，追踪器利用VR设备的定位系统获取自身的三维点坐标，视觉特征的坐标由双目立体相机拍摄的图像中识别获取。
[0014](2)在线阶段，实时获取实体驾驶舱上追踪器以及视觉特征的三维坐标，对驾驶舱模型的注册位置进行定位。其中包括：
[0015]分别以VR设备和双目立体相机的初始化位置为基准建立基准坐标系和相机坐标系；在基准坐标系下对驾驶舱模型的注册位置进行定位；
[0016]预先将利用相机获取的视觉特征定位点的坐标作为输出值，将利用追踪器估计出的视觉特征定位点的坐标作为输入值，求解用于数据补偿的拟合曲线多项式；
[0017]在利用双目立体相机定位时，将获得的视觉特征坐标利用所述拟合曲线多项式进行数据补偿，然后利用补偿后的三维坐标进行驾驶舱模型注册位置的定位；
[0018]将根据追踪器与视觉特征定位的驾驶舱模型注册位置通过卡尔曼滤波融合，获得驾驶舱模型最终的注册位置。
[0019](3)预先设置驾驶舱周围环境的空间定位模板，在空间定位模板中保存驾驶舱模型的注册位置，对驾驶舱模型加载时，根据所保存的位置将驾驶舱模型注册在虚拟飞行环境中。
[0020]所述步骤(1)中，安装追踪器的定位点在驾驶舱的四周边缘位置选取，视觉特征在驾驶舱内部位置选取。
[0021]所述步骤(2)中，利用追踪器定位时，实时获取追踪器的三维坐标，将驾驶舱模型上的追踪器定位点的三维坐标与对应的实际追踪器三维坐标按欧氏距离和最小进行拟合，获得驾驶舱模型上各追踪器定位点坐标，计算变换矩阵，将变换驾驶舱模型位置。
[0022]所述步骤(2)中，利用视觉特征定位时，从双目立体相机拍摄的实时影像的每帧图像中识别视觉特征，将识别的视觉特征的二维坐标，先使用PnP方法转换为相机坐标系下的三维坐标，再进行坐标变换，转换为在基准坐标系下的三维坐标，然后对转换的三维坐标利用所述拟合曲线多项式进行补偿。将驾驶舱模型上的视觉特征定位点的三维坐标与对应的实际视觉特征三维坐标按欧氏距离和最小进行拟合，获得驾驶舱模型的视觉特征定位点的三维坐标，计算变换矩阵，将变换驾驶舱模型位置。
[0023]所述步骤(3)中，还包括手动调整驾驶舱模型的注册位置。
[0024]本专利技术提出了一种计算相对轻量，对实体驾驶舱周围环境依赖小，融合多传感器信息进行高精度三维注册的面向混合现实飞行仿真系统的虚实融合方法，与现有技术相比，具有如下优点与积极效果：
[0025](1)本专利技术在实体驾驶舱模型上选取定位点，忽略场景中的无用信息，仅对选定的特征进行识别匹配，并且将特征信息简化为点信息处理，能够精确快速地进行特征点匹配实现虚拟驾驶舱模型在真实世界中的三维注册，对实验场地依赖有限；本专利技术仅从图像中计算位姿信息，渲染等工作统一在虚拟环境中进行，避免大量的额外图像传输、特征提取和渲染工作，节约了系统资源，有利于降低系统延迟，不会出现画面割裂情况，带来更好的沉浸体验；
[0026](2)单一传感器无法满足高精度的定位需求，不同传感器的适应场景和精度存在差异，本专利技术融合计算机视觉和硬件传感器的混合注册方法提高了注册精度，同时，本专利技术方法将硬件传感器(追踪器)置于不易获取视觉特征的位置，可以避免因缺少视觉特征导致的定位丢失，与视觉特征定位方案形成互补；
[0027](3)本专利技术方法将异构传感数据统一描本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向混合现实飞行仿真系统的虚实融合方法，其特征在于，包括如下步骤：步骤1：离线阶段，预先制作虚拟驾驶舱模型，在驾驶舱模型上选取定位点；首先，在虚拟驾驶舱模型上分别为追踪器和视觉特征选取任意不共线的数量为n的定位点，且各定位点间保持相对位置不变，定位点均以三维坐标表示，n≥4；然后，在实体驾驶舱上的对应定位点处设置追踪器或选取视觉特征；所选取的定位点形成固定位置结构的注册模板，将各定位点与设置的追踪器或选取的视觉特征建立对应关系；步骤2：在线阶段，利用VR设备获取追踪器位置，通过双目立体相机识别视觉特征，实时获取实体驾驶舱上追踪器以及视觉特征的三维坐标，对驾驶舱模型的注册位置进行定位；其中：分别以VR设备和双目立体相机的初始化位置为基准建立基准坐标系和相机坐标系；定位驾驶舱模型在基准坐标系下的注册位置；预先将利用相机获取的视觉特征定位点的坐标作为输出值，将利用追踪器估计出的视觉特征定位点的坐标作为输入值，求解用于数据补偿的拟合曲线多项式；在利用双目立体相机定位时，将获得的视觉特征坐标利用所述拟合曲线多项式进行数据补偿，然后利用补偿后的三维坐标进行驾驶舱模型注册位置定位；将根据追踪器与视觉特征获取的驾驶舱模型注册位置通过卡尔曼滤波融合，获得驾驶舱模型最终的注册位置；步骤3：预先设置驾驶舱周围环境的空间定位模板，将驾驶舱模型注册位置保存在空间定位模板中，当加载驾驶舱模型时，根据保存位置将驾驶舱模型注册在虚拟飞行环境中。2.根据权利要求1所述的方法，其特征在于，所述的步骤1中，安装追踪器的定位点在驾驶舱的四周边缘的位置选取，视觉特征在驾驶舱内部的位置选取。3.根据权利要求1或2所述的方法，其特征在于，所述的步骤1中，对实体驾驶舱上的视觉特征和追踪器进行校准，包括：由双目立体相机识别视觉特征，获取特征的三维坐标，对双目立体相机进行校准，标定左、右相机各自的内参数和外参数；使用VR设备的定位系统获取追踪器的三维坐标，并标定双目立体相机相对于VR设备的外参数。4.根据权利要求1或2所述的方法，其特征在于，所述的步骤2中，获取追踪器位置，对驾驶舱模型注册位置进行定位，包括：实时获取追踪器的三维坐标，计算坐标集合的质心坐标c1；获取当前驾驶舱模型上的追踪器定位点在基准坐标系下的三维坐标，并计算坐标集合的质心坐标c2；将质心坐标c2与c1匹配，求取驾驶舱模型上各追踪器定位点坐标与对应实际追踪器位置坐标间的欧氏距离的和最小时，所对应的驾驶舱模型上各追踪器定位点坐标，根据所获取的驾驶舱模型上追踪器定位点坐标计算驾驶舱模型到达注册位置的旋转矩阵和位移矩阵。5.根据权利要求1或2所述的方法，其特征在于，所述的步骤2中，获取视觉特征，对驾驶舱模型注册位置进行定位，包括：双目立体相机实时影像，从影像的每帧图像中识别视觉特征；将图像中识别的视觉特征的二维坐标，先使用PnP方法转换为相机坐标系下的三维坐标，再根据相机坐标系到基准坐标系的变换关系，转换为在基准坐标系下的三维坐标；对转换得到的视觉特征三维坐标利用所述拟合曲线多项式进行补偿，获得补偿后的实际视觉特征三维坐标；将驾驶舱模型上的视觉特征定位点的三维坐标与对应的实际视觉特征三维坐标按欧氏距离和最小进行拟合，获得驾驶舱模型的视觉特征定...

【专利技术属性】
技术研发人员：郝天宇，赵永嘉，雷小永，戴树岭，
申请(专利权)人：北京航空航天大学江西研究院，
类型：发明
国别省市：