一种无人机飞行员动态行为评估系统技术方案

本发明专利技术公开了一种无人机飞行员动态行为评估系统，通过无人机飞行员在无人机飞行模拟器视景子系统飞行，将多传感器综合测量采集的数据为样本建立特征空间样本库，采用神经网络训练学习算法搭建数据库，建立特征数据样本和结果类型判定之间的映射关系，实现多种特征数据与单一结果判定一一对应的映射关系，给出无人机飞行员的飞行操作动态行为状态评估。本发明专利技术通过引入人工智能态势感知与人因工程理论，研究飞行控制及人因工程相结合的建模技术、模拟飞行训练系统与评估结合的训练矫正技术、无人机飞行员感知觉判断能力全仿真模拟技术，建立模拟飞行训练与评估平台，提高无人机飞行员的飞行操作能力、感知觉判断能力以及处置特情的决策能力。

A dynamic behavior evaluation system for UAV pilots

【技术实现步骤摘要】
一种无人机飞行员动态行为评估系统
本专利技术主要涉及无人机飞行员选拔与人因工程
，具体涉及一种无人机飞行员动态行为评估系统。
技术介绍
近年随着相关技术的发展，军用无人机的性能和可靠性不断提高，但由于功能界面复杂加上在任务、训练中长时间人机分离使操作员缺乏生理体验，无人机人机可靠性方面受到考验，任务中控制失误、决策失误造成的事故不断积累。对无人机操作任务中操作员的认知状态、态势感知进行建模和测量，对无人机操作训练效果评价、选拔无人机操作员对增强无人机人机可靠性有着重要意义。目前，现有已有认知负荷的测量技术还不够完善，不能对认知负荷进行准确、有效地测量；有关飞行员认知负荷量化模型的工作就更加零散不系统。由于我国无人机飞行模拟训练平台/系统发展起步较晚，不是只有飞行图形仿真/再现的功能，就是只有评估和打分的功能，没有提供一套完整的模拟训练辅助系统及评估模拟飞行操作与决策力评估的解决方案，而且模拟器软硬件系统和模拟教学过程结合程度不够紧密，不能够为模拟训练人员提供真正有效方便的系统工具。在这种情况下，我国无人机飞行训练质量评估模式主要是以人为主导的定性评估，培训机构考核训练学员的飞行成绩时主要采取人工评价的方法。然而，人工评价容易受到众多非客观因素的影响，存在客观性不强、评价标准不一致等问题。同时，基于人工评价的飞行训练质量评估还存在效率低下的问题。
技术实现思路
本专利技术所要解决的技术问题在于针对上述现有技术中的不足，提供一种无人机飞行员动态行为评估系统，其通过引入人工智能态势感知与人因工程理论，研究飞行控制及人因工程相结合的建模技术、模拟飞行训练系统与评估结合的训练矫正技术、飞行员感知觉判断能力全仿真模拟技术，建立模拟飞行训练与评估平台，提高无人机飞行员的飞行能力及感知觉判断能力与特情处置决策能力。本专利技术解决其技术问题所采用的技术方案是：一种无人机飞行员动态行为评估系统，包括以下步骤：步骤一：多传感器综合测量心理状态：利用温度传感器检测无人机飞行员的体温，用于监测无人机飞行员不同状态变化下的体温分布情况；利用心率传感器检测无人机飞行员的心率，用于监测无人机飞行员任务操作过程中的不同心率状态，如兴奋、疲劳状态下的心率变化；利用人体动作、姿态检测的图像传感器检测无人机飞行员的姿态行为，用于监测无人机飞行员不同行为状态下的姿态变化；利用面部表情的可见光图像传感器检测无人机飞行员的面部表情，根据面部表情的变化检测无人机飞行员的心情状态；利用眼动仪传感器检测无人机飞行员的眼睛关注度，以及根据眼睛的闭合情况检测眼睛疲劳状态；利用人脑意念传感器检测无人机飞行员是否注意力集中；步骤二：无人机飞行模拟器视景子系统建模：模拟器视景子系统中的建模对无人机训练驾驶员的使用体验及评估质量具有重要的作用，主要是根据研究真实地形、真实任务的特征和构造来建立高度仿真的模型可实现特殊情况下情景模拟，如地形障碍、发动机失效等特情；为了保证仿真的数据的高度仿真性，在地形的表面需要加入特征物，如建筑物、树木、运动的鸟类，进而生成全部的视景数据库；为了特情仿真的真实性，会在不同场景中出现不同的特情，并随着飞行员的不同操作熟悉程度，选择与提升特情的复杂度；步骤三：基于深度学习的数据库搭建：通过无人机飞行员在无人机飞行模拟器视景子系统飞行，将多传感器综合测量采集的数据为样本建立特征空间样本库，并结合真实无人机飞行过程中采集的、统计的飞行状态与指令操作等信息，采用神经网络训练学习算法搭建数据库；步骤四：无人机操作员态势感知与决策水平分析评估算法的智能评估技术：采用基于贝叶斯网络的态势感知水平分析算法和基于梯度提升树的态势感知水平评估算法的组合算法，建立特征数据样本和结果类型判定之间的映射关系，实现多种特征数据与单一结果判定一一对应的映射关系；步骤五：评估结果输出：根据多种特征数据与单一结果判定一一对应的映射关系，给出无人机飞行员的状态评估，估计无人机飞行员当前是否适合该任务，以及对无人机任务控制站任务可做出相应的调整。进一步的是：步骤三包括以下步骤：(1)构建多个维度的特征数据样本库，通过动做采集传感器采集到的无人机飞行员操作数据和视频追踪技术反演出的无人机飞行数据进行融合作为操作状态特征数据；由反映了飞行员关注度的脑电波传感器和眼动仪传感器、反映了飞行员心情的体温和面部表情可见光传感器以及反映了飞行员疲劳程度的心率传感器和姿态动作传感器输出的各个特征数据进行融合作为心理状态的特征数据，以这两种类型的特征数据为样本建立特征空间样本库；(2)设计神经网络训练学习算法，通过不断采集不同试飞行员的特征数据样本，丰富数据样本库的样本内容，强化深度学习能力。进一步的是：步骤四包括以下步骤：(1)基于贝叶斯网络的态势感知水平算法，在训练过程根据无人机操作先验知识对无人机操作员态势感知及态势感知相关要素的逻辑关系定义贝叶斯网络结构，根据无人机操作员态势感知评估实验的实验数据训练网络；在测试、推理过程根据无人机操作员态势感知己知相关因素的观测结果，对未知的相关要素、态势感知水平进行推测；在归因分析的过程中，根据相关要素与态势感知节点关联和概率分布，对态势感知相关因素进行排序，对态势感知形成的原因进行分析；(2)基于梯度提升树的态势感知水平评估算法对未知因素(缺失数据)根据其先验概率分布进行采样，根据采样结果补全对数据维度进行补全，完整的数据输入梯度提升树模型输出态势感知的评估结果；(3)最后两个算法的评估结果基于融合策略进行融合形成最终的无人机操作员态势感知水平评估结果，系统将无人机操作员态势感知水平形成的归因分析结果和无人机操作员态势感知水平的评估结果输出。进一步的是：步骤四中的步骤(1)包含以下步骤：(1.1)对网中节点初始化，证据节点初始化为观察值，非证据节点初始化为随机值；(1.2)遍历图，对每一非证据节点X，使用下式计算在给定其他节点的条件下X的后验概率其中wx表示除X的节点集合，x为节点X的分节点，yi表示X的分节点，α为正规化因子；(1.3)使用上式对节点X的值进行采样，结果作为X的新实例化，反复进行，直到近似收敛(如进行了m次迭代)，最终查询结果根据下式计算：进一步的是：步骤四中的步骤(2)包含以下步骤：(2.1)初始化其中γ是一个常数；(2.2)Form＝1toM:(a)Fori＝1,2,…,N计算(b)建立第m棵树，拟合梯度(c)计算最优的搜索步长ρ*(d)更新模型fm＝ρ*fm其中x态势感知相关因素的量化结果，y为态势感知水平评估结果,fm为x、y之间的映射函数,L(·)表征误差或损失，一般采用平方差函数；在测试阶段，当输入x完整时，直接应用映射关系得到态势感知水平y的推算当量表不完整或量表丢失造成x不完整时，对于数据缺失的维度xi，我们按照xi的先验分布对xi进行N轮采样补全数据本文档来自技高网...

【技术保护点】
1.一种无人机飞行员动态行为评估系统，其特征在于：包括以下步骤：/n步骤一：多传感器综合测量心理状态：/n利用温度传感器检测无人机飞行员的体温，用于监测无人机飞行员不同状态变化下的体温分布情况；利用心率传感器检测无人机飞行员的心率，用于监测无人机飞行员任务操作过程中的不同心率状态，如兴奋、疲劳状态下的心率变化；利用人体动作、姿态检测的图像传感器检测无人机飞行员的姿态行为，用于监测无人机飞行员不同行为状态下的姿态变化；利用面部表情的可见光图像传感器检测无人机飞行员的面部表情，根据面部表情的变化检测无人机飞行员的心情状态；利用眼动仪传感器检测无人机飞行员的眼睛关注度，以及根据眼睛的闭合情况检测眼睛疲劳状态；利用人脑意念传感器检测无人机飞行员是否注意力集中。/n步骤二：无人机飞行模拟器视景子系统建模：/n模拟器视景子系统中的建模对无人机训练驾驶员的使用体验及评估质量具有重要的作用，主要是根据研究真实地形、真实任务的特征和构造来建立高度仿真的模型可实现特殊情况下情景模拟，如地形障碍、发动机失效等特情；为了保证仿真的数据的高度仿真性，在地形的表面需要加入特征物，如建筑物、树木、运动的鸟类，进而生成全部的视景数据库；为了特情仿真的真实性，会在不同场景中出现不同的特情，并随着飞行员的不同操作熟悉程度，选择与提升特情的复杂度；/n步骤三：基于深度学习的数据库搭建：/n通过无人机飞行员在无人机飞行模拟器视景子系统飞行，将多传感器综合测量采集的数据为样本建立特征空间样本库，并结合真实无人机飞行过程中采集的、统计的飞行状态与指令操作等信息，采用神经网络训练学习算法搭建数据库；/n步骤四：无人机操作员态势感知与决策水平分析评估算法的智能评估技术：/n采用基于贝叶斯网络的态势感知水平分析算法和基于梯度提升树的态势感知水平评估算法的组合算法，建立特征数据样本和结果类型判定之间的映射关系，实现多种特征数据与单一结果判定一一对应的映射关系；/n步骤五：评估结果输出：/n根据多种特征数据与单一结果判定一一对应的映射关系，给出无人机飞行员的状态评估，估计无人机飞行员当前是否适合该任务，以及对无人机任务控制站任务可做出相应的调整。/n...

【技术特征摘要】
1.一种无人机飞行员动态行为评估系统，其特征在于：包括以下步骤：
步骤一：多传感器综合测量心理状态：
利用温度传感器检测无人机飞行员的体温，用于监测无人机飞行员不同状态变化下的体温分布情况；利用心率传感器检测无人机飞行员的心率，用于监测无人机飞行员任务操作过程中的不同心率状态，如兴奋、疲劳状态下的心率变化；利用人体动作、姿态检测的图像传感器检测无人机飞行员的姿态行为，用于监测无人机飞行员不同行为状态下的姿态变化；利用面部表情的可见光图像传感器检测无人机飞行员的面部表情，根据面部表情的变化检测无人机飞行员的心情状态；利用眼动仪传感器检测无人机飞行员的眼睛关注度，以及根据眼睛的闭合情况检测眼睛疲劳状态；利用人脑意念传感器检测无人机飞行员是否注意力集中。
步骤二：无人机飞行模拟器视景子系统建模：
模拟器视景子系统中的建模对无人机训练驾驶员的使用体验及评估质量具有重要的作用，主要是根据研究真实地形、真实任务的特征和构造来建立高度仿真的模型可实现特殊情况下情景模拟，如地形障碍、发动机失效等特情；为了保证仿真的数据的高度仿真性，在地形的表面需要加入特征物，如建筑物、树木、运动的鸟类，进而生成全部的视景数据库；为了特情仿真的真实性，会在不同场景中出现不同的特情，并随着飞行员的不同操作熟悉程度，选择与提升特情的复杂度；
步骤三：基于深度学习的数据库搭建：
通过无人机飞行员在无人机飞行模拟器视景子系统飞行，将多传感器综合测量采集的数据为样本建立特征空间样本库，并结合真实无人机飞行过程中采集的、统计的飞行状态与指令操作等信息，采用神经网络训练学习算法搭建数据库；
步骤四：无人机操作员态势感知与决策水平分析评估算法的智能评估技术：
采用基于贝叶斯网络的态势感知水平分析算法和基于梯度提升树的态势感知水平评估算法的组合算法，建立特征数据样本和结果类型判定之间的映射关系，实现多种特征数据与单一结果判定一一对应的映射关系；
步骤五：评估结果输出：
根据多种特征数据与单一结果判定一一对应的映射关系，给出无人机飞行员的状态评估，估计无人机飞行员当前是否适合该任务，以及对无人机任务控制站任务可做出相应的调整。


2.如权利要求1所述的一种无人机飞行员动态行为评估系统，其特征在于：步骤三包括以下步骤：
(1)构建多个维度的特征数据样本库，通过动做采集传感器采集到的无人机飞行员操作数据和视频追踪技术反演出的无人机飞行数据进行融合作为操作状态特征数据；由反映了飞行员关注度的脑电波传感器和眼动仪传感器、反映了飞行员心情的体温和面部表情可见光传感器以及反映了飞行员疲劳程度的心率传感器和姿态动作传感器输出的各个特征数据进行融合作为心理状态的特征数据，以这两种类型的特征数据为样本建立特征空间样本库；
(2)设计神经网络训练学习算法，通过不断采集不同试飞行员的特征数据样本，丰富数据样本库的样本内容，强化深度学习能力。


3.如权利要求1所述的一种无人机飞行员动态行为评估系统，其特征在于：步骤四包括以下步骤：
(1)基于贝叶斯网络的态势感知水平算法，在训练过程根据无人机操作先...

【专利技术属性】
技术研发人员：曹正阳，常明，张明，马煜，
申请(专利权)人：西安爱生无人机技术有限公司，
类型：发明
国别省市：陕西;61