基于SRWorks视频透视技术的虚实座舱融合方法技术

本发明专利技术公开了一种基于SRWorks视频透视技术的虚实座舱融合方法，包括：搭建虚拟训练场景步骤；实物图像采集步骤；座舱盖视口创建步骤，建立座舱盖模型；动态材质创建步骤，从虚拟训练场景中截取位于人眼视场内的贴图；创建动态材质实例，将贴图制作为动态材质并赋给座舱盖模型；虚实融合步骤包括，在虚幻引擎UE4下建立一张基于Scene Capture 2D类的蓝图，将捕获到的画面绘制到Render Target画布上，并进行纹理参数化，建立Actor类蓝图CockpitCover存放座舱盖模型，CockpitCover中显示虚拟训练场景和座舱仪表盘的融合场景。本发明专利技术的基于SRWorks视频透视技术的虚实座舱融合方法是在自然光环境下，通过视频透视技术将现实场景的座舱叠加到虚拟环境中，实现虚实座舱的融合，提供现实场景融入虚拟环境的方式。提供现实场景融入虚拟环境的方式。提供现实场景融入虚拟环境的方式。

【技术实现步骤摘要】
基于SRWorks视频透视技术的虚实座舱融合方法


[0001]本专利技术属于虚实融合
，具体指一种基于SRWorks视频透视技术的虚实座舱融合方法。

技术介绍

[0002]通过分析国内外虚实融合技术的发展，在视频透视式的虚实融合方面并没有太多系统的研究，现有主要集中在研究增强现实（AR）
，该技术也是MR(Mixed Reality，混合现实)技术的一种，但是该技术是将虚拟的环境通过光学透视原理叠加在现实的场景中。目前虚实融合在模拟训练领域应用的方法较少，一般都是基于绿幕环境下构建的模拟训练系统，该方式首先要搭建包围盒式的绿幕环境，同时还要建立精确的灯光系统，依靠绿幕抠像算法实现虚实场景的融合。
[0003]目前，用于模拟训练用的虚实融合技术多采用桌面级和VR任务训练器，桌面级和VR任务训练器沉浸感差，应用到训练教学中意义不大；全功能模拟器都是使用六自由度运动平台、球形视景投影系统，价格昂贵、需要专门的团队资源对其进行维护保障，占用场地多达数百个平方，因此过于庞大，受场地、资金、人员等因素限制，保障困难、使用维护复杂，造成该技术难以大规模推广应用，能模拟的训练任务也十分有限。另一方面使用模拟座舱和多通道液晶屏拼接成的视觉系统（如典型的三通道、四通道），但是视场角小，沉浸感差，即时增加到六通道，也难以达到人眼自然视场角度，因此该技术方案研制的战术训练系统一直存在视场角小，沉浸感差等问题。
[0004]随着商业头戴式MR显示器制作逐步成熟，跟踪注册、虚实融合、人机交互的技术在工业上的应用发展越来越多，效果越来越好。然而，MR在军事上的应用不多，特别是在飞行模拟训练领域应用极少，当前应用主要是采用光学透视式头戴显示器实现虚拟维修拆装训练，通过前方的光学透镜组允许来自真实和虚拟环境中的光线同时通过，实现虚拟引导信息叠加到现实装备上，实现虚实融合效果。这种方式计算机生成的虚拟物体不能够完全遮挡住真实环境中的物体，使得注册的虚拟物体呈现出半透明的状态，破坏了真实景象与虚拟场景相融合的真实感以及由于遮挡而提供给人们的深度信息，该方式无法应用于飞行模拟训练系统、战术模拟训练系统等，只能用于虚拟维修领域。
[0005]随着MR显示器技术的发展，国内外也开始尝试视频透视技术应用于模拟训练，但都是基于绿幕环境下构建的模拟训练系统，该方式首先要搭建包围盒式的绿幕环境，同时还要建立精确的灯光系统，依靠绿幕抠像算法实现虚实场景的融合；该方式既占用场地，同时也提高了建设成本，而且对光照效果特别敏感。
[0006]本
技术介绍
所公开的上述信息仅仅用于增加对本申请
技术介绍
的理解，因此，其可能包括不构成本领域普通技术人员已知的现有技术。

技术实现思路

[0007]本专利技术针对现有技术中桌面级和VR任务训练器的虚实融合技术存在视场角小、沉
浸感差的技术问题，视频透视式的虚实融合存在需要搭建绿幕环境的技术问题，提出了一种基于SRWorks视频透视技术的虚实座舱融合方法，可以解决上述问题。
[0008]为实现上述专利技术目的，本专利技术采用下述技术方案予以实现：一种基于SRWorks视频透视技术的虚实座舱融合方法，包括：搭建虚拟训练场景步骤，获取训练场景的地形数据；座舱盖视口创建步骤，建立座舱盖模型；实物图像采集步骤，真实摄像头采集实物座舱的图像；虚实融合步骤，包括动态材质创建步骤和融合场景显示步骤；所述动态材质创建步骤包括：实时获取用户的眼部姿态确定人眼视场，从所述训练场景中截取位于人眼视场内的贴图；创建动态材质实例，将所述贴图制作为动态材质，将创建的动态材质实例作为材质赋给所述座舱盖模型；所述融合场景显示步骤包括：创建材质实例；实时获取实物座舱的图像及其参数；将实物座舱的图像赋值给贴图，将所述贴图传递至所述材质实例；调节虚幻引擎UE4中摄像机在虚拟场景中的参数，使其与真实摄像头的参数一致；将所述材质实例赋给所述座舱盖模型，以所述座舱盖模型作为显示窗口显示所述材质实例和动态材质实例。
[0009]本专利技术的一些实施例中，搭建虚拟训练场景步骤中，包括：确定所要虚拟训练场景的地理范围；从地图数据库中下载所确定的地理范围的地形数据文件；将所述地形数据文件转换成HFZ格式；地形图软件World Machine对HFZ格式的地形数据文件进行细节刻画；在虚幻引擎UE4的蓝图中新建一个地图，并赋上初始材质，将地形图软件World Machine处理的地形数据文件和高度图、法线图一起放在文件中导入虚幻引擎UE4的蓝图中，构建出地形模型；在虚幻引擎UE4中对初始材质进行处理，至少包括通过贴图混合使用多个纹理进行画面渲染，通过法线混合优化光线慢反射，对高度图和法线图中的地形尺寸、灰度图海拔高度进行计算调整，并通过画面渲染还原真实地貌。
[0010]本专利技术的一些实施例中，虚幻引擎UE4中还包括对所导入的地形数据文件进行分割，生成多个地形组件，以所述地形组件为单位加载所述地形数据文件。
[0011]本专利技术的一些实施例中，座舱盖视口创建步骤中，建立座舱盖模型的方法为：根据实物座舱的尺寸，建立与其匹配的座舱盖模型；在所述座舱盖模型中划定仪表盘区域，建立仪表盘的正投影模型并显示在所述座舱盖模型的仪表盘区域中；对仪表盘的正投影模型采用布尔运算进行处理，并导入到虚幻引擎UE4中。
[0012]本专利技术的一些实施例中，实物图像采集步骤中，真实摄像头为双目摄像头，其中一
个摄像头用于采集并渲染左眼图像，另外一个摄像头用于采集并渲染右眼图像；还包括获取实物座舱的图像的深度信息，用来生成深度网格；对所获取的图像进行三维重建，得到实物座舱的几何信息，生成拟合曲面曲率的三角剖分组成自适应网格。
[0013]本专利技术的一些实施例中，所述动态材质创建步骤中，还包括在虚幻引擎UE4中建立一张基于Scene Capture 2D类的蓝图，所述蓝图从父类中继承用于捕获画面的摄像机，通过所述摄像机将捕获到的画面绘制到Render Target画布上，所述Render Target画布作为动态材质的基础纹理；调整所述摄像机的角度，保证摄像机的视场与人眼视场一致，根据所述摄像机的视场从所述训练场景中截取贴图；利用虚幻引擎UE4的动态材质功能来实现材质基础纹理的不断切换，创建一个材质作为父材质，对所述贴图进行参数化；建立一张Actor类蓝图CockpitCover用于存放所述座舱盖模型，以及实现显示功能的逻辑，在所述Actor类蓝图CockpitCover中添加Static Mesh组件，并将导入的座舱盖模型作为Mesh赋值给Static Mesh组件。
[0014]本专利技术的一些实施例中，所述融合场景显示步骤中，在所述Actor类蓝图CockpitCover中显示融合场景，即实现了虚实融合场景在座舱盖模型上的实时显示。
[0015]与现有技术相比，本专利技术的优点和积极效果是：本专利技术的基于SRWorks视频透视技术的虚实座舱融合方法是在自然光环境下，通过视频透视技术将现实场景的座舱叠加到虚拟环境中，实现虚实座舱的融合，提供现实场景融入虚拟本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于SRWorks视频透视技术的虚实座舱融合方法，其特征在于，包括：搭建虚拟训练场景步骤，获取训练场景的地形数据；座舱盖视口创建步骤，建立座舱盖模型；实物图像采集步骤，真实摄像头采集实物座舱的图像；虚实融合步骤，包括动态材质创建步骤和融合场景显示步骤；所述动态材质创建步骤包括：实时获取用户的眼部姿态确定人眼视场，从所述训练场景中截取位于人眼视场内的贴图；创建动态材质实例，将所述贴图制作为动态材质，将创建的动态材质实例作为材质赋给所述座舱盖模型；所述融合场景显示步骤包括：创建材质实例；实时获取实物座舱的图像及其参数；将实物座舱的图像赋值给贴图，将所述贴图传递至所述材质实例；调节虚幻引擎UE4中摄像机在虚拟场景中的参数，使其与真实摄像头的参数一致；将所述材质实例赋给所述座舱盖模型，以所述座舱盖模型作为显示窗口显示所述材质实例和动态材质实例。2.根据权利要求1所述的虚实座舱融合方法，其特征在于，搭建虚拟训练场景步骤中，包括：确定所要虚拟训练场景的地理范围；从地图数据库中下载所确定的地理范围的地形数据文件；将所述地形数据文件转换成HFZ格式；地形图软件World Machine对HFZ格式的地形数据文件进行细节刻画；在虚幻引擎UE4的蓝图中新建一个地图，并赋上初始材质，将地形图软件World Machine处理的地形数据文件和高度图、法线图一起放在文件中导入虚幻引擎UE4的蓝图中，构建出地形模型；在虚幻引擎UE4中对初始材质进行处理，至少包括通过贴图混合使用多个纹理进行画面渲染，通过法线混合优化光线慢反射，对高度图和法线图中的地形尺寸、灰度图海拔高度进行计算调整，并通过画面渲染还原真实地貌。3.根据权利要求2所述的虚实座舱融合方法，其特征在于，虚幻引擎UE4中还包括对所导入的地形数据文件进行分割，生成多个地形组件，以所述地形组件为单位加载所述地形数据文件。4.根据权利要求1所述的虚实座舱融合方法，其特征在于，座...

【专利技术属性】
技术研发人员：王志乐，付战平，胡文婷，李浩铭，周秀芝，邹刚，徐霄，
申请(专利权)人：中国人民解放军海军航空大学，
类型：发明
国别省市：