基于多模态自然交互的单操作员多无人机混合主动控制方法技术

本发明专利技术提供一种基于多模态自然交互的单操作员多无人机混合主动控制方法，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。

【技术实现步骤摘要】

本专利技术涉及无人机系统
，具体涉及一种基于多模态自然交互的单操作员多无人机混合主动控制方法。
技术介绍
近年来随着无人机系统技术的迅猛发展，对无人机任务控制站提出了更高的要求，要求其具备集指挥控制、任务规划、通信管理、情报处理等于一体的综合能力，并且任务控制系统不再局限于地面，还可以部署在空中、海面甚至是有人机。未来任务控制站不仅限于控制同型号的单架无人机或无人机群，还将控制不同型号的无人机联合机群，及控制无人机协同有人驾驶飞机完成特定任务，同时向用更少的指挥人员控制更多数量的无人机平台方向发展，达到一人控制多个无人机的目标。虽然近年来无人机已具有较强的智能化水平和自主控制能力，开始由“人在回路中”(man-in-the-loop)的交互控制向“人在回路上”(man-on-the-loop)的监督控制(Supervisory Control)方向发展，但在执行任务过程中任务站操作员仍然拥有操纵无人机的最终决定权，其作战使用离不开人的指挥控制，海量的显示信息及控制需求使地面站操作员的工作负荷和操作难度增大容易导致误判和误操作。公开号为CN100541370，专利号为200810100893.1的专利文献提供了一种无人机多模态控制与切换方法，其依据遥感操作信号对飞行控制系统的作用程度不同，将飞行控制系统划分为五种控制模态，然而遥感操作信号简单不易划分。因此，研究一种基于多模态自主交互的单操作员多无人机混合主动控制方法是非常必要的，这就要求操作员必须以简单、直观的方式与无人机交互，将认知精力集中放在相关的关键活动上(例如：目视检查、精确机动等)，同时依靠无人机自主系统来完成常规化操作与行为(任务分解、路径规划、航点导航、避障等)。在这种情境下，无人机系统架构必须能够管理不同的控制模式：(1)全自主模式，无人机不需要人的介入，对操作员而言处于忽略模式；(2)半自主模式：无人机具备机载任务重规划能力，可以在人给定抽象任务条件下自主完成复杂任务的规划与执行；(3)自主飞控模式：无人机具备离线重规划能力，在人给定导航目标、编队控制指令、飞行路径(由控制站完成重规划)等前提下，进行路径跟踪和飞行控制。(4)手动模式：在手动模式下，人可以直接对各无人机和传感器进行操纵。同时。这四种控制模式是可以动态切换的。
技术实现思路
本专利技术提出了一种基于多模态自然交互的单操作员多无人机混合主动控制方法，操作员可利用语音、眼动、手势、操纵杆、触摸屏等模态与无人机进行自然交互与控制。一种基于多模态自然交互的单操作员多无人机混合主动控制方法，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制。所述语音控制模态用于控制无人机执行特定的任务，包括目标打击、区域探测以及区域的搜索任务，属于任务层控制。所述眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制。所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制。所述操纵杆控制模态用于操纵无人机执行底层控制任务，操作杆是直接接管无人机的控制，包括控制无人机的飞行状态或飞行轨迹，如控制无人机以多少角度向左、右飞行等。所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距，通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为。操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。当一架无人机运行在较高的自主控制等级时，操作员可以将控制权集中到另一架需要干预的无人机上，从而可以保证实现单操作员对多无人机的混合主动控制。进一步地，所述语音控制模态是通过对语音进行识别，然后根据语音识别结果对应相应的无人机指令，如目标打击，区域探测，区域的搜索任务，属于任务层控制，搜索任务的方式有区域搜索、平行线搜索、正方形扩大搜索等。所述眼动控制模态是指无人机实时跟踪眼睛所观测到的目标，其跟踪过程如下，首先检测眼睛相对于眼睛检测设备的坐标为(Xw,Yw,Zw)，然后利用眼睛检测设备到触摸屏坐标的转换矩阵R转化到触摸屏坐标(Xp,Yp,1)即(Xw,Yw,Zw)＝R*(Xp,Yp,1)，最后转换为机载传感器采集的图像中的像素坐标，无人机实时跟踪该像素坐标下的目标。该方法主要是为减少图像目标识别的区域，为后续的图像目标区域模板匹配、直方图匹配、特征点匹配等方法减少模板图像的匹配区域，同时当目标丢失后再次利用眼动检测重新跟踪目标。所述手势控制模态是通过对单手或者双手姿态的识别，根据识别到的手指向以及手方向信号实现对单架无人机进行飞行导引，对多架无人机的编队进行控制。单一手势命令可以控制单无人机操作，如离开指令，无人机向目标相反方向移动，靠近指令，无人机向目标方向移动等。双手手势可以控制多无人机做出相应的编队飞行控制，如一字形、人字形等指令。环境的复杂程度是根据机载传感器采集的图像，然后对图像做显著性检测或者边缘检测，根据显著性检测或边缘检测结果判断图像中目标的数目，当环境复杂度提高时，显著性的区域增加或边缘区域明显，则提示操作员向底层控制切换，如采用操纵杆等操作。任务的复杂程度：操作员将任务分解为一系列子任务，对于每个子任务，根据操作员在处理该子任务时付出的时间，赋予一个数字值表示该子任务的工作量。设当前包含个N任务，这些任务构成集合I。对于任务i,i∈I依据操作员完全手动处理该任务时付出的时间，赋予任务i的工作量数字值为wi。设在t时刻需要操作员处理的任务集合其中m≤N,则t时刻操作员的工作量为： w = Σ i ∈ E w i ]]>利用上式每隔一段时间计算一次操作员的工作量，计算的结果作为这段时间的工作量；当操作员的工作量大时，任务的复杂程度增加，此时无人机任务控制站处于最高层的全自主控制状态。任务复杂度为w，环境复杂度为ξ，无人机自主控制等级为P，三者的关系如下： P = λ w + γ ξ ]]>当P＞T1时全自主控制，当T2＜P≤T1时半自主控制、当T3＜P≤T2时自主飞行控制，当P≤T2时手动控制。本专利技术通过整合不同控制模态，人与无人机系统之间可实现自然、灵活、鲁棒的交互，实现单操作员对多无人机的混合主动控制，为无人机系统完成使命任务奠定基础。附图说明图1为多模态自然交互的单操作员多无人机混合主动控制示意图；图2为本专利技术的流程图；图3(a)为手位置测量模型的示意图，图3(b)为手势识别实物图；图4为执行搜索任务的无人机搜索策略示意图，图5为环境的复杂性检测，其中图5(a)为原始图像，图5(b)为显著性检测的图像。图6为在不需重规划条件下人为干预路径图；图7为在不同控制模式下成功探测到目标的概率图。具体实施方式下面结本文档来自技高网...

【技术保护点】
一种基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制；所述语音控制模态用于控制无人机执行特定的任务，包括目标打击、区域探测以及区域的搜索任务，属于任务层控制；所述眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制；所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制；所述操纵杆控制模态用于操纵无人机执行底层控制任务，包括控制无人机的飞行状态或飞行轨迹；所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距，通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为；操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。

【技术特征摘要】
1.一种基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于，无人机操作员可利用语音控制模态、眼动控制模态、手势控制模态、操作杆控制模态以及触摸屏控制模态与无人机进行自然交互与控制；所述语音控制模态用于控制无人机执行特定的任务，包括目标打击、区域探测以及区域的搜索任务，属于任务层控制；所述眼动控制模态用于控制无人机实时跟踪目标，属于任务层控制；所述手势控制模态用于无人机飞行方向引导、编队避碰、编队变换等，属于导航层控制；所述操纵杆控制模态用于操纵无人机执行底层控制任务，包括控制无人机的飞行状态或飞行轨迹；所述触摸屏控制模态是无人机操作员利用触摸屏改变机载传感器视角、焦距，通过触摸屏掌握无人机的状态、当前任务、以文本/图形形式显示的当前环境与操作状态的反馈、路径规划、航点导航以及避障行为；操作员依据环境和任务的复杂程度，操作员能够在最高层的全自主控制、任务层控制、导航层控制以及最底层的运动层控制之间切换，对应无人机运行的控制等级在全自主控制、半自主控制、自主飞行控制以及手动控制之间滑动切换。2.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：所述语音控制模态是通过对语音进行识别，然后根据语音识别结果对应相应的无人机指令。3.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：所述眼动控制模态是指无人机实时跟踪眼睛所观测到的目标，其跟踪过程如下，首先检测眼睛相对于眼睛检测设备的坐标为(Xw,Yw,Zw)，然后利用眼睛检测设备到触摸屏坐标的转换矩阵R转化到触摸屏坐标(Xp,Yp,1)即(Xw,Yw,Zw)＝R*(Xp,Yp,1)，最后转换为机载传感器采集的图像中的像素坐标，无人机实时跟踪该像素坐标下的目标。4.根据权利要求1所述的基于多模态自然交互的单操作员多无人机混合主动控制方法，其特征在于：所述手势控制模态是通过对单手或者双手姿态的识别，根据识别到的手指向以及手方向信号实现对单架无人...

【专利技术属性】
技术研发人员：牛轶峰，钟志伟，李杰，相晓嘉，尹栋，王祥科，王菖，贾圣德，
申请(专利权)人：中国人民解放军国防科学技术大学，
类型：发明
国别省市：湖南;43