一种基于多模态生理信号的飞行员辅助驾驶方法及系统技术方案

本发明专利技术公开了一种基于多模态生理信号的飞行员辅助驾驶方法及系统，涉及飞行器辅助驾驶技术领域，方法包括：多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，并获取理性动作决策建议，将理性动作决策建议发送至人机协同任务分配决策系统；人机协同任务分配决策系统根据获取到的理性动作决策建议，确定运动指令并发送给控制系统；多模态生理信号识别系统将理性动作决策建议以及环境感知信息发送至硬件视景系统，硬件视景系统通过理性动作决策建议以及环境感知信息确定飞行环境数据，并将飞行环境数据显示给飞行员；数据管理系统存储各系统产生的数据。采用本发明专利技术，可以提高飞行的稳定性、安全性以及高效性。安全性以及高效性。安全性以及高效性。

【技术实现步骤摘要】
一种基于多模态生理信号的飞行员辅助驾驶方法及系统


[0001]本专利技术涉及飞行器辅助驾驶
，特别是指一种基于多模态生理信号的飞行员辅助驾驶方法及系统。

技术介绍

[0002]随着科技水平的不断提高，对飞行器及高技术飞行员的需求正在迅速增长。近年来，随着无人机技术的发展，无人驾驶飞行器能够在战斗中用于执行侦查、监视、设置假目标、骚扰与诱惑和电子干扰等任务，并取得了相当好的战果。然而，目前全部无人化驾驶仍然存在一定的难点问题需要突破。因此，如何使用智能机器人系统辅助飞行员驾驶，突破基于多模态生理特征的飞行员行为意图预测与人机融合的决策智能增强等关键技术是一个亟待解决的问题。

技术实现思路

[0003]为了解决如何使用智能机器人系统辅助飞行员驾驶，突破基于多模态生理特征的飞行员行为意图预测与人机融合的决策智能增强等问题，本专利技术实施例提供了一种基于多模态生理信号的飞行员辅助驾驶方法及系统。
[0004]为解决上述技术问题，本专利技术提供如下所述技术方案如下：
[0005]一方面，提供了一种基于多模态生理信号的飞行员辅助驾驶方法，所述方法由基于多模态生理信号的飞行员辅助驾驶系统实现，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；所述方法包括：
[0006]所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
[0007]所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统，使得所述控制系统通过所述运动指令控制飞行器进行运动；
[0008]所述多模态生理信号识别系统将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
[0009]所述数据管理系统存储各系统产生的数据。
[0010]可选地，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
[0011]所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：
[0012]所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行
为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
[0013]所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
[0014]所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
[0015]可选地，所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，包括：
[0016]所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
[0017]所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
[0018]如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；
[0019]如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。
[0020]可选地，所述飞行环境数据，包括：
[0021]GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
[0022]可选地，所述数据管理系统存储各系统产生的数据，包括：
[0023]所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械臂模块数据。
[0024]另一方面，提供了一种基于多模态生理信号的飞行员辅助驾驶系统，该系统用于实现基于多模态生理信号的飞行员辅助驾驶方法，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；
[0025]所述多模态生理信号识别系统，用于获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；
[0026]所述人机协同任务分配决策系统，用于根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统；
[0027]所述控制系统，用于通过所述运动指令控制飞行器进行运动；
[0028]所述多模态生理信号识别系统，用于将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；
[0029]所述数据管理系统，用于存储各系统产生的数据。
[0030]可选地，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；
[0031]所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送
至所述人机协同任务分配决策系统，包括：
[0032]所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；
[0033]所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；
[0034]所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。
[0035]可选地，所述人机协同任务分配决策系统，进一步用于：
[0036]所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；
[0037]所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；
本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态生理信号的飞行员辅助驾驶方法，其特征在于，所述方法由基于多模态生理信号的飞行员辅助驾驶系统实现，所述系统包括人机协同任务分配决策系统、多模态生理信号识别系统、控制系统、硬件视景系统、数据管理系统；所述方法包括：所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统；所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，将所述运动指令发送给所述控制系统，使得所述控制系统通过所述运动指令控制飞行器进行运动；所述多模态生理信号识别系统将所述理性动作决策建议以及所述环境感知信息发送至所述硬件视景系统，所述硬件视景系统通过所述理性动作决策建议以及所述环境感知信息确定飞行环境数据，并将所述飞行环境数据显示给所述飞行员；所述数据管理系统存储各系统产生的数据。2.根据权利要求1所述的方法，其特征在于，所述多模态生理信号识别系统包括多模态生理特征的行为意图预测模块、人机融合交互决策增强模块以及自主环境感知与态势认知模块；所述多模态生理信号识别系统获取飞行员的生理数据以及环境感知信息，根据所述生理数据以及所述环境感知信息获取理性动作决策建议，将所述理性动作决策建议发送至所述人机协同任务分配决策系统，包括：所述行为意图预测模块实时感知飞行员的指令状态与认知特征模型、以及确定行为与动作决策的预测，将所述飞行员的指令状态与认知特征模型传递至所述人机融合交互决策增强模块，将行为与动作决策的预测传递至所述自主环境感知与态势认知模块；其中，所述生理数据包括指令状态与认知特征模型；所述自主环境感知与态势认知模块将获取的环境感知信息输送至人机融合交互决策增强模块；所述人机融合交互决策增强模块根据所述飞行员的指令状态与认知特征模型、以及所述环境感知信息，得出理性动作决策建议，并将所述理性动作决策建议发送至人机协同任务分配决策系统。3.根据权利要求1所述的方法，其特征在于，所述人机协同任务分配决策系统根据获取到的所述理性动作决策建议，确定运动指令，包括：所述人机协同任务分配决策系统获取飞行器的硬件状态数据以及飞行器内外环境数据；所述人机协同任务分配决策系统通过所述飞行器的硬件状态数据以及飞行器内外环境数据，判断获取到的所述理性动作决策建议是否适合执行；如果判断结果为适合执行，则按照所述理性动作决策建议确定所述运动指令；如果判断结果为不适合执行，则人机协同任务分配决策系统按照所述飞行器的硬件状态数据以及飞行器内外环境数据确定所述运动指令。4.根据权利要求1所述的方法，其特征在于，所述飞行环境数据，包括：GPS数据、飞行轨迹数据、飞行器姿态数据、控制率以及飞行器内外环境模拟数据。
5.根据权利要求1所述的方法，其特征在于，所述数据管理系统存储各系统产生的数据，包括：所述数据管理系统存储态势感知模块数据、硬件视景模块数据、多模态生理特征数据、策略生成模块数据以及多自由度机械...

【专利技术属性】
技术研发人员：马超，郝李子翼，郜夯，晏志超，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：