一种基于kinect传感器的飞行模拟器动态视点系统技术方案

本发明专利技术涉及一种基于kinect传感器的飞行模拟器动态视点系统，其特征在于：kinect传感器数据线与电脑主机相连，仪表板的电脑主机与分机通过网络通信线束联机，各分机分别通过3D图形输出线束与上侧电视屏幕、前侧电视屏幕、右侧电视屏幕和左侧电视屏幕相连。其通过飞行模拟器动态视点系统，使得当飞行员的眼睛相对屏幕发生位置改变时，能够实时更新投影矩阵，然后飞行模拟器通过投影矩阵的变化而变化屏幕图像。当飞行员透过窗口观察环境时，应用这种系统能够将实际视线范围内的内容呈现在屏幕上，从而使飞行员有更好的沉浸感和临场感，使飞行员的模拟训练更加贴近实际，提高飞行员的飞行水平。

A dynamic view point system of flight simulator based on Kinect sensor

The invention relates to a dynamic view of flight simulator system based on Kinect sensor, which is characterized in that the Kinect sensor is connected to the data line and the host computer, the host computer and the instrument panel wire harness extension through the network communication online, all subsystems are connected through a wire harness and the upper 3D graphics output TV screen, TV screen, TV screen in front of the right and left the TV screen. Through the flight simulator system makes the dynamic viewpoint, when the pilot's eyes relative position change screen, real-time update the projection matrix, and then the flight simulator by changing the projection matrix and change the screen image. When the pilot through the window to observe the environment, application of this system will be able to view the actual scope of the content presented on the screen, so that the pilots have a better sense of immersion and telepresence, simulation training pilots make more close to the actual, improve the pilot's flight level.

【技术实现步骤摘要】
一种基于kinect传感器的飞行模拟器动态视点系统
本专利技术涉及一种基于kinect飞行模拟器动态视点系统，是关于飞行模拟器的动态视点装置，属于虚拟现实领域，特别涉及一种直升机飞行模拟器视景仿真方面的动态视点装置。
技术介绍
随着国家逐步放开低空领域的管制，国内民用飞行器在近几年获得了快速的发展，使得这方面急需专业的飞行人员。在以前，飞行员培训主要采用的是实飞训练的方式，这种方式存在着危险系数高以及实际飞行环境复杂等诸多问题，给新手飞行员的飞行技能和心理素质都带来了很大的挑战。而最近几年，随着虚拟现实的飞速发展，使用飞行模拟器训练则成为一种新型的飞行员培养方式，它既可以模拟传统的高空飞行，又可以有效地保障飞行员的人身安全，降低培养费用。此外，飞行模拟器还可以有效地降低培养门槛，缩短培养周期，为飞行产业提供充足的飞行人员。目前飞行模拟器在西方已经形成了完整的产业体系。但由于我国起步较晚，导致国内飞行模拟器的研制水平与同期的国外发达国家相比有很大的差距，且关键技术受发达国家垄断，尤其是飞行模拟器的视觉方面。在现实场景中，视线范围呈现的景象会随着头部姿态的变化而发生改变。然而目前国内模拟器的视景是静态的，当飞行员头部姿态变化时，尚不能很好地将实际视线范围内的内容动态显示到屏幕显示器上，也就无法满足实际飞行中飞行员的视觉感受，达不到传统飞行模式的训练效果。鉴于上诉问题，本专利技术提出了基于kinect传感器的飞行模拟器动态视点系统。在该系统中，当飞行员的眼睛相对屏幕发生位置变化时，投影矩阵也发生相应改变，然后通过投影矩阵的变化来改变屏幕上的图像。通过这种系统能够将实际视线范围内的内容呈现在屏幕上，从而给飞行员带来很好的沉浸感和临场感，使飞行模拟器达到非常理想的训练效果。
技术实现思路
本专利技术的目的是提供一种基于kinect传感器的飞行模拟器动态视点系统，其通过飞行模拟器动态视点系统，使得当飞行员的眼睛相对屏幕发生位置改变时，能够实时更新投影矩阵，然后飞行模拟器通过投影矩阵的变化而变化屏幕图像。当飞行员透过窗口观察环境时，应用这种系统能够将实际视线范围内的内容呈现在屏幕上，从而使飞行员有更好的沉浸感和临场感，使飞行员的模拟训练更加贴近实际，提高飞行员的飞行水平。本专利技术的技术方案是这样实现的：一种基于kinect传感器的飞行模拟器动态视点系统，由上侧电视屏幕、前侧电视屏幕、右侧电视屏幕、仪表板、kinect传感器、左侧电视屏幕、固定板、3D图形输出线束、网络通信线束、驾驶舱组成，其特征在于：驾驶舱是参照某武装直升机舱体形状、尺寸进行设计的，模拟驾驶舱内驾驶杆、总距杆、脚踏板及座椅等机构的安装位置均对应真实直升机驾驶舱相对应的位置。电视屏幕与kinect的安装位置：上侧电视屏幕布置在驾驶舱的顶部，前侧电视屏幕布置在驾驶舱的前端，左侧电视屏幕布置在驾驶舱的左侧，右侧电视屏幕布置在驾驶舱的右侧，仪表板位于前侧电视屏幕的下方，仪表板与前侧电视屏幕之间布置kinect传感器，kinect传感器与固定板相连，kinect传感器数据线与电脑主机相连，仪表板的电脑主机与分机通过网络通信线束联机，各分机分别通过3D图形输出线束与上侧电视屏幕、前侧电视屏幕、右侧电视屏幕和左侧电视屏幕相连。具体的运算方法如下：首先采用视点定位技术是对飞行员的眼睛进行定位，其大概过程是先提取出飞行员脸部的区域，再通过眼睛的四个特征点来定位人眼；应用Snake模型提取人脸边界；Snake模型：Einternal表示轮廓的内在能量，Eimage代表图像能量，Econstraint代表约束力能量。脸部的位置对应着该算法的局部最小区域。应用快速贪婪算法得出Snake算法的最小局部区域。最终定位出人脸区域；脸部提取出来后，利用人体的脸部特征来粗略的定位出人眼区域。在人眼区域筛选出四个显著的眼角特征点；在进行眼角特征点探测时，首先对眼部图像进行二值化处理，得到二值化图像。通过不同的阈值分割二值化眼部图像可以得到大量的边缘图像。这些图像中包含着四个眼角点，通过表格法得到大量可能作为C0、C1、C2、C3的点，然后对这些点进行筛选，选取最佳眼角特征点；筛选C0，C1：先通过人体脸部的特征来获取符合C0和C1的点集；利用代价函数：当cost的值最小时，对应的C0，C1就是最佳匹配点。K1，K2分别是两个子项的权重系数，为dy的最大值，|D|为两区域的灰度值差异性，|D|max是|D|的最大值；同理，在筛选C2，C3时，根据C2与C0，C3和C1的位置关系选取点集，然后再通过代价函数筛选出最佳的C2，C3点；通过探测到的四个点的位置，得出眼睛的位置。通过对应的三维点云图得出眼睛的三维坐标，也就是视点的坐标；然后采用动态视点技术，左上角点、左下角点、右下角点、视点在三维空间中坐标是、、、；可得屏幕的次法向量为：切向量为：屏幕的位置为：可得屏幕的法向量为：然后对法向量，切向量，次法向量进行向量归一化处理，分别得到：根据屏幕位置坐标和视点坐标，可得视点相对屏幕的位置为：在透视投影中，有远近裁剪面，设远、近裁剪面到视点的距离为，然后通过视点相对屏幕的位置计算出视点相对于屏幕的调整比例。调整比例为：已知法向量、切向量、法向量各自的归一化向量，然后通过与视点相对屏幕的位置结合计算出视点所看到的视景边界值；将所计算的带入投影矩阵可得：根据公式可得当飞行员相对屏幕的视点发生变化时，投影矩阵将发生变化，从而带动屏幕图像的改变。从而达到更好的模拟效果；同理，可得左、右、上屏幕的动态视点技术。所述的kinect传感器向上倾斜的角度为15°-45°，距离头部垂直距离为15-25cm，水平距离在kinect的测量范围内，kinect传感器5检测人体头部上下转动的角度为0°-45°，左右旋转度数为0°-180°。本专利技术的积极效果是通过基于kinect传感器的飞行模拟器动态视点系统，使得当飞行员的眼睛相对屏幕发生位置改变时，能够实时更新投影矩阵，然后飞行模拟器通过投影矩阵的变化而变化屏幕图像。当飞行员透过窗口观察环境时，应用这种系统能够将实际视线范围内的内容呈现在屏幕上，从而使飞行员有更好的沉浸感和临场感，使飞行员的模拟训练更加贴近实际，提高飞行员的飞行水平。附图说明图1为屏幕与kinect传感器的安装位置。图2传感器的固定方式。图3为人体眼角的四个显著特征点。图4视点相对前侧屏幕示意图。图5整体过程图。具体实施方式下面结合实例对本专利技术做进一步的详细说明：如图1-5所示，一种基于kinect传感器的飞行模拟器动态视点系统，由上侧电视屏幕1、前侧电视屏幕2、右侧电视屏幕3、仪表板4、kinect传感器5、左侧电视屏幕6、固定板7、3D图形输出线束、网络通信线束、驾驶舱组成，其特征在于：驾驶舱是参照某武装直升机舱体形状、尺寸进行设计的，模拟驾驶舱内驾驶杆、总距杆、脚踏板及座椅等机构的安装位置均对应真实直升机驾驶舱相对应的位置。电视屏幕与kinect的安装位置：上侧电视屏幕1布置在驾驶舱的顶部，前侧电视屏幕2布置在驾驶舱的前端，左侧电视屏幕6布置在驾驶舱的左侧，右侧电视屏幕3布置在驾驶舱的右侧，仪表板4位于前侧电视屏幕2的下方，仪表板4与前侧电视屏幕2之间布置kinect传感器5，kinect传感器5与本文档来自技高网...

【技术保护点】
一种基于kinect传感器的飞行模拟器动态视点系统，由上侧电视屏幕、前侧电视屏幕、右侧电视屏幕、仪表板、kinect传感器、左侧电视屏幕、固定板、3D图形输出线束、网络通信线束、驾驶舱组成，其特征在于：驾驶舱是参照某武装直升机舱体形状、尺寸进行设计的，模拟驾驶舱内驾驶杆、总距杆、脚踏板及座椅等机构的安装位置均对应真实直升机驾驶舱相对应的位置，电视屏幕与kinect的安装位置：上侧电视屏幕布置在驾驶舱的顶部，前侧电视屏幕布置在驾驶舱的前端，左侧电视屏幕布置在驾驶舱的左侧，右侧电视屏幕布置在驾驶舱的右侧，仪表板位于前侧电视屏幕的下方，仪表板与前侧电视屏幕之间布置kinect传感器，kinect传感器与固定板相连，kinect传感器数据线与电脑主机相连，仪表板的电脑主机与分机通过网络通信线束联机，各分机分别通过3D图形输出线束与上侧电视屏幕、前侧电视屏幕、右侧电视屏幕和左侧电视屏幕相连；具体的运算方法如下：首先采用视点定位技术是对飞行员的眼睛进行定位，其大概过程是先提取出飞行员脸部的区域，再通过眼睛的四个特征点来定位人眼；应用Snake模型提取人脸边界；Snake模型：

【技术特征摘要】
1.一种基于kinect传感器的飞行模拟器动态视点系统，由上侧电视屏幕、前侧电视屏幕、右侧电视屏幕、仪表板、kinect传感器、左侧电视屏幕、固定板、3D图形输出线束、网络通信线束、驾驶舱组成，其特征在于：驾驶舱是参照某武装直升机舱体形状、尺寸进行设计的，模拟驾驶舱内驾驶杆、总距杆、脚踏板及座椅等机构的安装位置均对应真实直升机驾驶舱相对应的位置，电视屏幕与kinect的安装位置：上侧电视屏幕布置在驾驶舱的顶部，前侧电视屏幕布置在驾驶舱的前端，左侧电视屏幕布置在驾驶舱的左侧，右侧电视屏幕布置在驾驶舱的右侧，仪表板位于前侧电视屏幕的下方，仪表板与前侧电视屏幕之间布置kinect传感器，kinect传感器与固定板相连，kinect传感器数据线与电脑主机相连，仪表板的电脑主机与分机通过网络通信线束联机，各分机分别通过3D图形输出线束与上侧电视屏幕、前侧电视屏幕、右侧电视屏幕和左侧电视屏幕相连；具体的运算方法如下：首先采用视点定位技术是对飞行员的眼睛进行定位，其大概过程是先提取出飞行员脸部的区域，再通过眼睛的四个特征点来定位人眼；应用Snake模型提取人脸边界；Snake模型：Einternal表示轮廓的内在能量，Eimage代表图像能量，Econstraint代表约束力能量，脸部的位置对应着该算法的局部最小区域，应用快速贪婪算法得出Snake算法的最小局部区域，最终定位出人脸区域；脸部提取出来后，利用人体的脸部特征来粗略的定位出人眼区域，在人眼区域筛选出四个显著的眼角特征点；在进行眼角特征点探测时，首先对眼部图像进行二值化处理，得到二值化图像。通过不同的阈值分割二值化眼部图像可以得到大量的边缘图像，这些图像中包含着四个眼角点，通过表格法得到大量可能作为C0、C1、C2、C3...

【专利技术属性】
技术研发人员：张红彦，倪涛，杨艳良，陈胜，陈相显，赵丁选，赵泳嘉，刘香福，舒礼志，常玉清，孙乐，黎锐，
申请(专利权)人：吉林大学，
类型：发明
国别省市：吉林,22