一种具有混合现实功能的模拟飞行座舱系统及其处理方法技术方案

本发明专利技术提供了一种具有混合现实功能的模拟飞行座舱系统，所述系统包括红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景生成模块、虚拟视景与实景融合模块与高清显示模块；所述红外边界立体模式识别、立体图像数字化处理模块与虚拟视景生成模块分别与虚拟视景与实景融合模块相连接，虚拟视景与环境实景的图像信息在同一空间坐标系融合后通过高清显示模块显示；此外还公开了运用该系统的处理方法。该系统和方法能够快速地处理、修正与融合虚拟视景和环境实景的图像信息，使得参训者可以实时地观测到自己的操作动作，提高了图像显示的实时性，也使得图像显示的逼真效果大为提升，同时参训者可以获得更好的舒适度和训练效果。

【技术实现步骤摘要】

本专利技术涉及飞行模拟训练设施
，尤其涉及一种具有混合现实功能的模拟飞行座舱系统及其处理方法。
技术介绍
虚拟现实是多种技术的综合，包括实时三维计算机图形技术，广角(宽视野)立体显示技术，对观察者头、眼和手的跟踪技术，以及触觉/力觉反馈、立体声、网络传输、语音输入输出技术等。随着虚拟现实的显示技术和模式识别的技术发展，体验者可以将现实世界的实际环境视觉和听觉由立体摄像头导入到数字世界中，并通过立体的头戴显示器让人的视觉神经产生出虚拟现实的数字世界。近些年来，虚拟现实技术已经广泛应用在飞行员的飞行模拟训练中，很好地降低训练成本，保证训练效果，且能减少飞行学员等受训人员的驾机培训时间。公开号为CN101034503A的专利申请文件公开了一种轻型飞行模拟器，包括座舱系统和虚拟现实头盔，其中虚拟现实头盔作为视景设备，座舱内取消了仪表盘等所有显示部件的实物，所有可触摸操作的部分与舱内外的视景均通过计算机生成，然后通过虚拟现实头盔进行显示，计算机生成的图像包括座舱仪表板、开关、飞行员手部动作等，的座舱内取消了仪表盘等所有显示部件的实物，使得座舱系统的重量更轻，结构更为简单。但是，在飞行模拟训练中，座舱系统中仪表、操作设备和综合显示系统的真实模拟对提升飞行员训练过程中的真实感和现场感显得尤为重要。不管是上述专利还是目前技术的发展，都没有把座舱内视景和虚拟现实信息结合起来，不能在立体的视觉体验中，精确无差别地融合舱内视景和虚拟现实信息，从而严重影响使用体验，阻碍技术广泛地应用。目前的问题主要体现在：(1)无法实时并同时立体观测和操作现实环境和虚拟数字空间，摄>
像模块捕捉的真实视景信息在与虚拟现实信息结合之前需要通过计算机进行大量的后期处理,有些后期处理工作甚至需要人工参与，从而造成一定的时间延迟，显示的画面和受训者的操作有偏差与延迟，影响训练效果；(2)处理后的最终显示效果不够逼真，摄像模块捕捉的真实视景信息需经过计算机与人工进行后期处理，由于处理时间较短与技术问题，会导致最终图像的合成边沿毛刺噪声严重,严重影响图像的显示质量；(3)受训者获取最终显示效果时，由于距离、拍摄景深等原因，虽然能判断物体的景深,但无法保证其与真实的距离、高度感相一致，影响参训者的正常操作，甚至会产生不安全和不舒适的体验。因此，如何专利技术一种具有逼真的显示效果与较低的延迟时间的模拟飞行座舱系统及处理方法是本领域技术人员有待解决的技术难题。
技术实现思路
本专利技术为要解决的技术问题提供了一种具有混合现实功能的模拟飞行座舱系统及系统的处理方法，该系统和方法能够快速地处理、修正与融合虚拟视景和环境实景的图像信息，参训者可以实时地观测到自己的操作动作，提高了图像显示的实时性，也使得图像显示的逼真效果大为提升，同时具有更好的舒适度和训练效果。为解决上述技术问题，本专利技术所提供的技术方案如下：一种具有混合现实功能的模拟飞行座舱系统，适用于仿真模拟飞行器的座舱，该座舱包括视窗区域与操作区域，所述视窗区域与操作区域之间为作为分隔线的红外边界；该系统至少包括红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景生成模块、虚拟视景与实景融合模块；其中，红外边界立体模式识别模块连接红外摄像头，红外边界立体模式识别模块对红外边界进行识别并上传至虚拟视景与实景融合模块；所述立体图像数字化处理模块连接立体摄像头，立体图像数字化处理模块对环境实景的图像信息进行识别和编码并上传至虚拟视景与实景融合模块；虚拟视景与实景融合模块连接用于生成虚拟视景信息的虚拟视景生
成模块，用于完成所有的虚拟视景和环境实景的图像的修正与后期处理以及在同一空间坐标系的融合。本专利技术的具有混合现实功能的模拟飞行座舱系统，在视窗区域与操作区域之间设置了肉眼无法观测的红外边界，使得虚拟视景和环境实景之间具有明显的分界线，方便后期的图像处理；另外，红外边界作为操作区域的轮廓线，很容易通过建模计算出红外摄像头与操作区域的空间相对位置，对立体摄像头捕捉的环境实景的图像信息进行修正。本专利技术的系统还包括高清显示模块，高清显示模块连接虚拟视景与实景融合模块，经虚拟视景与实景融合模块处理融合后的图像显示在高清显示模块中的显示屏上。为区分视窗区域与操作区域，即形成虚拟视景和环境实景的分隔线，方便图像信息的修正和后期处理，具体方案为，使用若干LED红外灯排布形成红外边界，形成操作区域的轮廓线。为方便图像信息的修正和后期处理，需要增加视窗区域与操作区域的色彩差异度，具体方案为，视窗区域内沿红外边界铺满绿幕。为使参训者的操作体感更接近真实，优选的，操作区域内设有采用1：1的实物座舱模拟仿真的仪表、按键、油门与操纵杆。进一步地，虚拟视景生成模块为计算机，红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景与实景融合模块与高清显示模块集成在基板上，所述基板置于头戴显示器内部，头戴显示器的外表面分别设有两个沿水平向居中的红外摄像头、位于两端的立体摄像头，以及用于安装高清显示模块的显示屏。本专利技术另一方面还提供一种具有混合现实功能的模拟飞行座舱系统的处理方法，包括以下步骤：S100系统各模块初始化；S200捕捉环境实景与红外边界的图像信息，并判断环境实景真实的空间相对位置；S300计算机建立对应的立体的虚拟视景；S400对捕捉的图像信息进行空间相对位置的修正与后期处理，然后
高速混入立体的虚拟视景的图像信息；S500最终将融合了环境实景与虚拟视景的立体图像在显示屏中输出。其中，步骤S400中空间相对位置的修正具体为：红外摄像头捕捉的红外边界图像信息通过红外边界立体模式识别模块识别后，通过建模计算出红外摄像头与操作区域的真实的空间相对位置，对立体摄像头捕捉的环境实景的图像信息进行修正。步骤S400中对捕捉的图像信息进行后期处理具体为：立体摄像头捕捉的图像信息以红外边界作为分隔线分为视窗区域与操作区域两个部分，高速混入对应的立体的虚拟视景的图像信息替换掉视窗区域的图像信息。本专利技术的具有混合现实功能的模拟飞行座舱系统系统的处理方法和现有技术相比具有如下有益效果：(1)视窗区域与操作区域之间设有由LED红外灯组成的红外边界，可以明显的区分虚拟视景和环境实景，不需要人工参与进行后期处理，极大降低了图像的处理时间，解决了现有技术中由于处理时间过长造成的动作与图像不同步的情况，提高了图像的实时性；(2)虚拟视景和环境实景的边界极为明显，在进行图像的后期处理时的技术难度较小，可以很容易的在短时间内获得高质量的图像信息，解决了现有技术中由于处理难度较大或为缩短处理时间而造成的图像质量较差的问题，使得图像的最终显示效果更为逼真；(3)红外边界形成了操作区域的轮廓线，通过红外摄像头进行捕捉测距，解决了现有技术中由于距离、拍摄景深等原因造成的操作区域与实际的距离、高度感不一致的问题，提高了参训者的训练效果和训练时的舒适度；(4)座舱系统内操作区域内的仪表、按键和操纵杆等均采用1：1的实物座舱模拟仿真，使得参训者体感更接近真实效果，提高了参训者的训练效果。附图说明图1为实施例1的处理系统的结构示意图；图2为实施例1的处理系统的结构示意图；图3为实施例1的头盔的结构示意图；图4为实施例1的座舱的结构示意图；图5位本文档来自技高网...

【技术保护点】
一种具有混合现实功能的模拟飞行座舱系统，适用于仿真模拟飞行器的座舱，其特征在于，所述座舱包括视窗区域与操作区域，所述视窗区域与操作区域之间为作为分隔线的红外边界；所述系统至少包括红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景生成模块、虚拟视景与实景融合模块；其中，所述红外边界立体模式识别模块连接红外摄像头，红外边界立体模式识别模块对红外边界进行识别并上传至虚拟视景与实景融合模块；所述立体图像数字化处理模块连接立体摄像头，立体图像数字化处理模块对环境实景的图像信息进行识别和编码并上传至虚拟视景与实景融合模块；所述虚拟视景与实景融合模块连接用于生成虚拟视景信息的虚拟视景生成模块，用于完成所有的虚拟视景和环境实景的图像的修正与后期处理以及在同一空间坐标系的融合。

【技术特征摘要】
1.一种具有混合现实功能的模拟飞行座舱系统，适用于仿真模拟飞行器的座舱，其特征在于，所述座舱包括视窗区域与操作区域，所述视窗区域与操作区域之间为作为分隔线的红外边界；所述系统至少包括红外边界立体模式识别模块、立体图像数字化处理模块、虚拟视景生成模块、虚拟视景与实景融合模块；其中，所述红外边界立体模式识别模块连接红外摄像头，红外边界立体模式识别模块对红外边界进行识别并上传至虚拟视景与实景融合模块；所述立体图像数字化处理模块连接立体摄像头，立体图像数字化处理模块对环境实景的图像信息进行识别和编码并上传至虚拟视景与实景融合模块；所述虚拟视景与实景融合模块连接用于生成虚拟视景信息的虚拟视景生成模块，用于完成所有的虚拟视景和环境实景的图像的修正与后期处理以及在同一空间坐标系的融合。2.如权利要求1所述的所述的具有混合现实功能的模拟飞行座舱系统其特征在于，所述系统还包括高清显示模块，所述高清显示模块连接虚拟视景与实景融合模块，经虚拟视景与实景融合模块处理融合后的图像显示在高清显示模块中的显示屏上。3.如权利要求1所述的具有混合现实功能的模拟飞行座舱系统，其特征在于，所述红外边界由若干LED红外灯排布而成。4.如权利要求1所述的具有混合现实功能的模拟飞行座舱系统，其特征在于，所述视窗区域内沿红外边界铺满绿幕。5.如权利要求1所述的具有混合现实功能的模拟飞行座舱系统，其特征在于，所述操作区域内设有采用1：1的实物座舱模拟仿真的仪表、按键、...

【专利技术属性】
技术研发人员：刘宛平，陈治，
申请(专利权)人：深圳威阿科技有限公司，
类型：发明
国别省市：广东;44