基于眼球追踪的模拟飞行操作测试辅助系统及方法技术方案

本发明专利技术涉及一种基于视线的心理辅助分析系统及方法。该方法包括：进入某一模拟飞行操作模式，向测试设备发送测试指令；接收测试设备发送的第二瞳孔图像；对第二瞳孔图像进行处理形成第二视线轨迹；从本地调取对应模拟飞行操作模式下的第一视线轨迹；对比第一视线轨迹与第二视线轨迹形成测试辅助数据。本发明专利技术实施例，将合格的飞行员在某一驾驶模式或者特定场景下的视线轨迹通过大数据分析的方式形成标准化的视线轨迹范围，与被测试的飞行学员的视线轨迹进行比对，将重合度作为考核飞行学员的指标之一，能够辅助模拟飞行的测试，提高测试效果。

【技术实现步骤摘要】
基于眼球追踪的模拟飞行操作测试辅助系统及方法
本专利技术属于眼球追踪
，具体涉及一种基于眼球追踪的模拟飞行操作测试辅助系统及方法。
技术介绍
模拟飞行是依托计算机硬件和软件技术，应用互联网、局域网环境，进行近似于真实的真飞机(如波音737等)的仿真飞行操作技术的运动。高度仿真和互动性强是模拟飞行最显著的特点，模拟飞行通常运用于民用或军用飞行员的地面飞行训练。飞行模拟器或飞行模拟机，又称为模拟驾驶舱，是一种尽可能真实地再现或模拟航空器驾驶感觉的系统。飞行模拟器包含了从电子游戏，到由液压或电动机驱动，并由最先进的电脑技术所控制的同比例模拟驾驶舱。飞行模拟器已广泛地运用于由航空工业设计和研发，以及为民用和军用飞机做飞行员与机组成员培训。然后，对于飞行员来说，在实际驾驶飞行器前，必须经过严格的训练，在保证安全驾驶的前提下，还需要能够应对各种复杂环境和模式下的应急处理。因此，需要设计一种测试系统和测试方法来确定飞行员的驾驶操作是否合格。
技术实现思路
为了解决现有技术中存在的上述问题，本专利技术提供了一种基于眼球追踪的模拟飞行操作测试辅助系统及方法。本专利技术的一个实施例提供了一种基于眼球追踪的模拟飞行操作测试辅助系统，包括：用于飞行学员进行飞行控制的模拟飞行器和携带于所述飞行学员头部的测试设备，所述测试设备包括通信模块和眼部图像采集模块；其中，在启动某一模拟飞行操作模式时，所述模拟飞行器向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并将所述测试指令发送至所述眼部图像采集模块，由所述眼部图像采集模块采集当前所述飞行学员的第二瞳孔图像并将所述第二瞳孔图像通过所述通信模块回传至所述模拟飞行器，由所述模拟飞行器的处理器对所述第二瞳孔图像进行处理形成第二视线轨迹，并将所述第二视线轨迹与预先存储的第一视线轨迹进行对比形成测试辅助数据。在本专利技术的一个实施例中，所述眼部图像采集模块采集当前所述飞行学员的第二瞳孔图像，包括：所述眼部图像采集模块根据所述测试指令调用对应的图像采集模式，并按照所述图像采集模式设置的时间点控制所述眼部图像采集模块对所述飞行学员的眼部进行图像采集形成所述第二瞳孔图像；或者所述眼部图像采集模块根据所述测试指令实时对所述飞行学员的眼部进行图像采集形成所述第二瞳孔图像，所述测试指令是在对应模拟飞行操作模式下按照设定时间点发送的多个图像采集控制指令。在本专利技术的一个实施例中，所述模拟飞行器的处理器对所述第二瞳孔图像进行处理形成第二视线轨迹，包括：所述处理器根据所述第二瞳孔图像确定第二瞳孔的边缘位置，并由所述边缘位置确定所述第二瞳孔的中心点位置；所述处理器按照所述测试指令在对应模拟飞行操作模式下按照设定时间点将多个所述第二瞳孔的中心点拟合形成所述第二视线轨迹。在本专利技术的一个实施例中，所述处理器根据所述第二瞳孔图像确定第二瞳孔的边缘位置，包括：所述处理器将所述第二瞳孔图像进行灰度化处理形成第二灰度图像；所述处理器在所述第二灰度图像上估算所述第二瞳孔的中心点位置以形成初始中心点；所述处理器以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置。在本专利技术的一个实施例中，所述处理器在所述第二灰度图像上估算所述第二瞳孔的中心点位置以形成初始中心点，包括：所述处理器采用灰度积分法在所述第二灰度图像上估算所述第二瞳孔的中心位置坐标(xmin，ymin)；其中，xmin和ymin的公式为：其中，min表示取最小值运算，sum表示求和运算，f(i,j)表示在坐标(x，y)处图像的灰度值。在本专利技术的一个实施例中，由所述边缘位置确定所述第二瞳孔的中心点位置，包括：所述处理器对多个所述第二瞳孔的边缘位置点进行拟合处理形成类椭圆曲线，以所述类椭圆曲线的中心作为所述第二瞳孔的中心点位置。本专利技术的另一个实施例提供了一种基于眼球追踪的模拟飞行操作测试方法，包括：进入某一模拟飞行操作模式，向测试设备发送测试指令；接收所述测试设备发送的第二瞳孔图像；对所述第二瞳孔图像进行处理形成第二视线轨迹；从本地调取对应模拟飞行操作模式下的第一视线轨迹；对比所述第一视线轨迹与所述第二视线轨迹形成测试辅助数据。在本专利技术的一个实施例中，所述第一视线轨迹的形成步骤包括：在某一模拟飞行操作动作下，采集多个操作者的第一瞳孔图像；根据所述第一瞳孔图像确定第一瞳孔的边缘位置，并由所述边缘位置确定所述第一瞳孔的中心点位置；将每个所述操作者的所述第一瞳孔的中心点拟合形成第一视线曲线；采用大数据分析方式对多个所述第一视线曲线进行拟合形成所述第一视线轨迹。本专利技术的再一个实施例提供了一种基于眼球追踪的模拟飞行操作测试方法，包括：接收模拟飞行器发送的测试指令；根据所述测试指令对飞行学员进行第二瞳孔图像采集；将所述第二瞳孔图像发送至所述模拟飞行器以供所述模拟飞行器根据所述第二瞳孔图像形成第二视线轨迹，以便所述飞行模拟器将所述第二视线轨迹与本地存储的第一视线轨迹进行对比形成测试辅助数据。在本专利技术的一个实施例中，根据所述第二瞳孔图像形成第二视线轨迹，包括：根据所述第二瞳孔图像确定第二瞳孔的边缘位置，并由所述边缘位置确定所述第二瞳孔的中心点位置；按照所述测试指令对应的图像采集模式下设置的时间点将多个所述第二瞳孔的中心点拟合形成所述第二视线轨迹。本专利技术实施例，通过视线轨迹的对比，即将合格的飞行员在某一驾驶模式或者特定场景下的视线轨迹通过大数据分析的方式形成标准化的视线轨迹范围，与被测试的飞行学员的视线轨迹进行比对，将重合度作为考核飞行学员的指标之一，该方式可以有效地对飞行学员进行测试，能够辅助模拟飞行的测试，提高测试效果。附图说明图1为本专利技术实施例提供的一种基于视线轨迹的模拟飞行操作测试系统的结构示意图；图2为本专利技术实施例提供的一种模拟飞行器的外形结构示意图；图3为本专利技术实施例提供的一种测试设备的外形结构示意图；图4为本专利技术实施例提供的另一种模拟飞行器的电路结构示意图；图5为本专利技术实施例提供的一种视线轨迹对比的示意图；图6为本专利技术实施例提供的一种基于视线轨迹的模拟飞行操作测试方法的示意图；图7为本专利技术实施例提供的另一种基于视线轨迹的模拟飞行操作测试方法的示意图；以及图8为本专利技术实施例提供的一种基于视线轨迹的模拟飞行操作测试方法的信令交互示意图。具体实施方式下面结合具体实施例对本专利技术做进一步详细的描述，但本专利技术的实施方式不限于此。实施例一请参见图1及图2，图1为本专利技术实施例提供的一种基于视线轨迹的模拟飞行操作测试系统的结构示意图，图2为本专利技术实施例提供的一种模拟飞行器的外形结构示意图。该系统10包括模拟飞行器11和测试设备13，其中，该模拟飞行器11与测试设备13通信连接以传输测试指令和第二瞳孔图像数据。请参见图3，图3为本专利技术实施例提供的一种测试设备的外形结构示意图，测试设备13的形状可以设置为类似于眼镜的形状，包括镜框131和镜腿133，且在镜框131的内侧缘位置设置采集模块，该采集模块可以为多个瞳孔图像采集器135，且多个瞳孔图像采集器135优选均匀设置于内侧缘位置，当然也可以根据实际设计要求，主要分布在上侧或者下侧，或者为了节省成本也可以设置一个瞳孔图像采集器135，此处不做任何限制本文档来自技高网...

【技术保护点】
一种基于眼球追踪的模拟飞行操作测试辅助系统，其特征在于，包括：用于飞行学员进行飞行控制的模拟飞行器和携带于所述飞行学员头部的测试设备，所述测试设备包括通信模块和眼部图像采集模块；其中，在启动某一模拟飞行操作模式时，所述模拟飞行器向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并将所述测试指令发送至所述眼部图像采集模块，由所述眼部图像采集模块采集当前所述飞行学员的第二瞳孔图像并将所述第二瞳孔图像通过所述通信模块回传至所述模拟飞行器，由所述模拟飞行器的处理器对所述第二瞳孔图像进行处理形成第二视线轨迹，并将所述第二视线轨迹与预先存储的第一视线轨迹进行对比形成测试辅助数据。

【技术特征摘要】
1.一种基于眼球追踪的模拟飞行操作测试辅助系统，其特征在于，包括：用于飞行学员进行飞行控制的模拟飞行器和携带于所述飞行学员头部的测试设备，所述测试设备包括通信模块和眼部图像采集模块；其中，在启动某一模拟飞行操作模式时，所述模拟飞行器向所述测试设备发送测试指令，所述测试设备通过所述通信模块接收所述测试指令并将所述测试指令发送至所述眼部图像采集模块，由所述眼部图像采集模块采集当前所述飞行学员的第二瞳孔图像并将所述第二瞳孔图像通过所述通信模块回传至所述模拟飞行器，由所述模拟飞行器的处理器对所述第二瞳孔图像进行处理形成第二视线轨迹，并将所述第二视线轨迹与预先存储的第一视线轨迹进行对比形成测试辅助数据。2.根据权利要求1所述的系统，其特征在于，所述眼部图像采集模块采集当前所述飞行学员的第二瞳孔图像，包括：所述眼部图像采集模块根据所述测试指令调用对应的图像采集模式，并按照所述图像采集模式设置的时间点控制所述眼部图像采集模块对所述飞行学员的眼部进行图像采集形成所述第二瞳孔图像；或者所述眼部图像采集模块根据所述测试指令实时对所述飞行学员的眼部进行图像采集形成所述第二瞳孔图像，所述测试指令是在对应模拟飞行操作模式下按照设定时间点发送的多个图像采集控制指令。3.根据权利要求1所述的系统，其特征在于，所述模拟飞行器的处理器对所述第二瞳孔图像进行处理形成第二视线轨迹，包括：所述处理器根据所述第二瞳孔图像确定第二瞳孔的边缘位置，并由所述边缘位置确定所述第二瞳孔的中心点位置；所述处理器按照所述测试指令在对应模拟飞行操作模式下按照设定时间点将多个所述第二瞳孔的中心点拟合形成所述第二视线轨迹。4.根据权利要求3所述的系统，其特征在于，所述处理器根据所述第二瞳孔图像确定第二瞳孔的边缘位置，包括：所述处理器将所述第二瞳孔图像进行灰度化处理形成第二灰度图像；所述处理器在所述第二灰度图像上估算所述第二瞳孔的中心点位置以形成初始中心点；所述处理器以所述初始中心点为中心沿指定射线方向在所述第二灰度图像上计算灰度的梯度值，并将梯度值达到最大值时所在的位置确定为所述第二瞳孔的边缘位置。5.根据权利要求4所述的系统，其特征在于，所述处理器在所述第二灰度图像上估算所述第二瞳孔的中心点位置以形成初始中心点，包括：...

【专利技术属性】
技术研发人员：尹晓雪，张捷，单瑚，
申请(专利权)人：西安科锐盛创新科技有限公司，
类型：发明
国别省市：陕西,61