一种智能化作战的多模态人机智能交互框架、方法和装置制造方法及图纸

本发明专利技术提供一种智能化作战的多模态人机智能交互框架、方法和装置。该框架包括：智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统、多模态人机交互子系统。本发明专利技术提出的多模态人机智能交互框架结合了多模态人机交互技术和智能辅助决策技术，能够基于多模态人机交互技术提供的自然人机接口和高效交互能力，使飞行员可以借助脑电识别、语音识别、手势识别、眼动追踪等技术，在未来多维立体化的作战条件下实现多平台多任务的随意切换和精确控制；基于智能辅助决策技术提供的态势感知和任务规划能力，使飞行员免于直接接触海量的原始信息，只需要对智能辅助决策子系统给出的高级描述进行确认或者提出修改意见。

A Framework, Method and Device of Multi-modal Human-Computer Intelligent Interaction for Intelligent Operations

The invention provides a multi-mode human-computer intelligent interaction framework, method and device for intelligent warfare. The framework includes intelligent decision-making subsystem, human-computer intelligent interaction task management subsystem, integrated display subsystem and multi-mode human-computer interaction subsystem. The multi-modal human-computer intelligent interaction framework proposed by the invention combines multi-modal human-computer interaction technology and intelligent assistant decision-making technology. It can provide natural human-computer interface and high-efficiency interaction capability based on multi-modal human-computer interaction technology, so that pilots can realize it in future multi-dimensional combat conditions by means of EEG recognition, speech recognition, gesture recognition, eye tracking and other technologies. Based on situational awareness and mission planning capabilities provided by intelligent assistant decision-making technology, pilots are free from direct contact with massive original information, and only need to confirm or propose modification suggestions to the advanced description given by intelligent assistant decision-making subsystem.

【技术实现步骤摘要】
一种智能化作战的多模态人机智能交互框架、方法和装置
本专利技术属于机载智能计算领域，提出了一种智能化作战的多模态人机智能交互框架、方法和装置。
技术介绍
多模态人机交互技术是指利用先进的传感器技术捕捉和感知人类丰富的多通道交互数据，再通过计算技术理解人的交互、控制意图并提供符合认知的反馈呈现。多模态信息之间存在互补冗余关系，可以互相补充确认，使表达效率和表达的信息都优于单一模式，更易实现自然和谐的人机交互与控制。根据多模态人机交互的任务特点，主要包括获取、感知、认知三个层面：(1)多模态信息采集，完成多模态信息的数字化；(2)多模态信息融合感知，完成多模态信息的一致性建模与表示；(3)交互控制意图认知与理解，完成多模态信息对应交互、控制原语指令的识别与分类。多模态人机交互技术在人与机器之间构建了一种自然交互通道。面向战场数据的智能辅助决策技术利用计算机去模拟军事专家的智能属性，诸如思维、分析、推理、选择等，从而帮助飞行员进行情况判断，确定作战计划，使得飞行员免于直接接触海量的战场环境观测数据。随着人工智能算法的发展，在目标识别、态势评估、任务规划、武器目标分配等问题上都有不错的智能算本文档来自技高网...

【技术保护点】
1.一种智能化作战的多模态人机智能交互框架，其特征在于,包括：智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统、多模态人机交互子系统；其中，多模态人机交互子系统用于：接收飞行员输入的操作，确定所述操作对应的执行任务指令、修正指令或确认指令，向所述人机智能交互任务管理子系统发送所述任务指令、修正指令或确认指令；所述人机智能交互任务管理子系统用于：接收所述指令，分解所述任务指令，得到任务序列，向所述综合显示子系统和所述智能辅助决策子系统发送所述任务序列，或者向所述智能辅助决策子系统发送所述修正指令或确认指令；所述综合显示子系统用于：接收并显示所述任务序列、修正指令内容或确认指令内容；...

【技术特征摘要】
1.一种智能化作战的多模态人机智能交互框架，其特征在于,包括：智能辅助决策子系统、人机智能交互任务管理子系统、综合显示子系统、多模态人机交互子系统；其中，多模态人机交互子系统用于：接收飞行员输入的操作，确定所述操作对应的执行任务指令、修正指令或确认指令，向所述人机智能交互任务管理子系统发送所述任务指令、修正指令或确认指令；所述人机智能交互任务管理子系统用于：接收所述指令，分解所述任务指令，得到任务序列，向所述综合显示子系统和所述智能辅助决策子系统发送所述任务序列，或者向所述智能辅助决策子系统发送所述修正指令或确认指令；所述综合显示子系统用于：接收并显示所述任务序列、修正指令内容或确认指令内容；所述智能辅助决策子系统用于：接收所述任务序列或所述修正指令或确认指令，根据所述任务序列，确定所述任务的执行方案，所述执行方案包括攻击目标及所述攻击目标的攻击顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的攻击顺序规划的攻击航路，根据所述修改指令，更新所述攻击目标的攻击顺序，或规划不同的攻击航路。2.一种智能化作战的多模态人机智能交互方法，其特征在于，包括：接收飞行员输入的任务指令、修正指令或确认指令；根据所述任务指令所需执行的任务，确定执行所述任务的执行方案；所述执行方案包括攻击目标及所述攻击目标的攻击顺序、攻击所述攻击目标所使用的武器和按照所述攻击目标的攻击顺序规划的攻击航路。根据所述修正指令或确认指令，更新所述攻击目标的攻击顺序，或规划不同的攻击航路。3.根据权利要求2所述的方法，其特征在于，根据所述任务指令所需执行的任务，确定执行所述任务的执行方案，包括：分解所述任务，得到任务序列，所述任务序列包括感知子任务、武器分配子任务和航路子任务；根据所述感知子任务，确定带攻击的至少一个攻击目标及所述攻击目标的威胁程度；根据所述至少一个攻击目标的威胁程度为所述攻击目标排序，得...

【专利技术属性】
技术研发人员：程陶然，文鹏程，白林亭，高泽，刘飞阳，邹昌昊，
申请(专利权)人：中国航空工业集团公司西安航空计算技术研究所，
类型：发明
国别省市：陕西,61