面向无人机的群控交互方法技术

本发明专利技术公开了一种面向无人机的群控交互方法，该方法包括以下步骤：通过增强现实技术显示无人机群系统虚拟场景，用户在感知现实环境同时获取虚拟场景辅助信息；用户使用手势交互方式选择虚拟场景中抽象无人机群体中的子群或个体，被选中的无人机高亮显示；使用手势交互的方式对被选中无人机进行任务控制，在虚拟场景中设定投影地图任务航点、区域或者绘制任务航迹；相应的无人机任务指令发送至现实无人机群处执行。本发明专利技术提供一种适用于一定数量无人机群场景的交互方法，实现以人为中心的思想，自然直观，降低学习成本，提高了交互效率。

An interactive method of group control for UAV

The invention discloses a group control interactive method for UAV. The method includes the following steps: the virtual scene of the UAV group system is displayed by the augmented reality technology, and the user gets the auxiliary information of the virtual scene at the same time in the real environment, and the user selects the abstract UAVs group in the virtual scene using the gesture interaction. The selected subgroup or individual, the selected unmanned aerial vehicle (UAV) is highlighted; the selected unmanned aerial vehicle is controlled by hand gesture interaction, the projecting map task navigation point, the area or the mission track are set in the virtual scene, and the corresponding UAV mission instructions are sent to the real UAV group. The invention provides an interactive method for a certain number of unmanned aerial vehicles (UAV) scene, realizing the idea of human centered, natural intuition, reducing the learning cost and improving the interaction efficiency.

【技术实现步骤摘要】
面向无人机的群控交互方法
本专利技术涉及人机交互
，具体涉及一种面向无人机的群控交互方法。
技术介绍
自2015年9月18日，美国50架无人机集群飞行开始；2016年11月7日，中国67架无人机集群飞行；2017年1月21日，美国103架无人机集群飞行；2017年1月27日，美国防高级研究计划局(DARPA)公布“进攻性蜂群战术”(OFFSET)项目；2017年6月10日，中国成功完成了119架固定翼无人机集群飞行试验。关于无人机集群系统的研究获得了突飞猛进的发展。相比单架无人机有限的作业能力和作业时长，无人机群在性能上体现出群体性的优势。具备了群体智能的无人机机群系统能够在复杂环境下协同作业，共同完成目标任务。与之俱来的是，适用于无人机集群系统的人机交互方式将会变得更加复杂。庞大的无人机数量对无人机系统信息的呈现方式、无人机系统任务控制方式提出了更高的要求。现有的无人机交互方式多为遥控器或者图形化交互界面，无法实现同时展示大规模无人机集群的状态信息；不仅如此，在大量的无人机中准确选择需要执行任务的特定的无人机子群或者个体具有一定难度；而无人机任务指令的下达则需要大量的专业训练，具有较高的学习成本。总而言之，传统的无人机人机交互方式无法很好地满足无人机集群系统的需要，无人机群大量的信息无法很好地组织和展示，人机交互操作不够自然直观，需要大量的训练，而且交互效率较低，具有较高的交互难度。
技术实现思路
本专利技术的目的是为了解决现有技术中的上述缺陷，提供一种面向无人机的群控交互方法。本专利技术的目的可以通过采取如下技术方案达到：一种面向无人机群控交互方法，该交互方法包括以下步骤：S1、无人机群系统虚拟场景通过增强现实技术显示，用户在感知现实环境同时获取虚拟场景辅助信息。在步骤S1中增强现实技术显示的无人机群系统虚拟场景包括：投影地图、抽象无人机、无人机群系统综合状态和无人机个体状态。抽象无人机依附于投影地图，无人机个体状态依附于对应抽象无人机。其有益效果包括：投影地图实时显示无人机集群的工作区域，是所有抽象无人机依附的父对象，抽象无人机在投影地图中的位置根据现实无人机的经纬度坐标信息确定。投影地图同时也是手势交互的交互基础，用户手势的输入与投影地图之间发生作用，最后得到交互的结果；抽象无人机是现实无人机在虚拟场景中的表现，存在于投影地图之上，现实无人机的位置、姿态和行为等信息的变化体现在抽象无人机上，用户能够通过直接观察抽象无人机的表现形态直观自然地掌握特定无人机的状态信息。同时，抽象无人机也是手势交互的对象，是手势选择交互的基本单位；无人机群系统综合状态显示无人机集群的综合状态信息，如任务完成情况、预计完成时间和任务列表等总体情况；无人机个体状态则实时显示对应无人机的个体状态，如剩余电量、经纬度和下一任务航点等个体情况，其总是依附于对应的抽象无人机。在步骤S1中的无人机群系统虚拟场景信息显示方法包括：抬头显示，信息对象跟随头部移动；锚定显示，信息对象在锚点位置固定显示。其有益效果包括：重要的信息采用抬头显示的方式，与战斗机飞行员头盔的信息显示方式一致，确保信息时刻处于可见状态；场景中不需要移动的信息采用锚定显示的方式，保持信息展示的稳定性。在步骤S1中的投影地图包括：二维地图、二维地形图、三维地形图。其有益效果包括：可以在不同的地图显示方式中灵活切换，以适应不同的应用场景。二维地图适合城市区域的应用场景；二维地形图适合多山地区的应用场景；而三维地形图可以借助增强现实技术在虚拟场景中从不同角度观察控制，扩展信息的维度，提供更加直观的交互方式。在步骤S1中的无人机群系统综合状态按照抬头显示方法显示；投影地图按照锚定显示方法显示。抽象无人机、无人机个体状态依附于投影地图，按照锚定显示方法显示。其有益效果包括：基于增强现实技术，可以通过不同角度观察和虚拟场景中的对象，投影地图锚定显示于平面，抽象无人机显示于投影地图之上，按照现实无人机位置等状态信息还原。增强现实虚拟场景将无人机集群工作所在的大规模场景缩放到用户面前，以更加自然直观的方式展示整个无人机集群系统。进一步地，S1中的锚定显示方式由三维注册技术实现，实现方法如下：使用标定板测量增强现实设备摄像机内参数，实时捕捉视觉标记，最后根据锚点设置的位置计算出增强现实三维注册的坐标转换关系。根据三维注册技术坐标转换关系有：其中，[uv1]T为图像平面坐标，[xyz1]T为真实空间坐标。为真实空间坐标系与观察空间坐标系之间的欧几里德变换，R为旋转矩阵，t为平移矩阵。O4*4为虚拟空间与真实空间坐标系之间的转换关系。为摄像机坐标系与图像平面坐标系之间的变换，其中ax＝f×dpu′，ay＝f×dpv′，ax，ay，u0，v0为摄像机的内参数。根据张氏标定法，平面标定板与摄像机成像图像之间的单应性映射关系如下：其中H为单应性矩阵，s为缩放因子，为世界坐标系平面，为成像平面。将旋转矩阵约束代入式(2)映射关系可得到：采用摄像机拍摄三张标定板照片，根据式(3)计算得到所需摄像机内参数，最终得到摄像机坐标系与图像平面坐标系之间的关系P3*4。根据摄像机透视投影模型的透视投影方程有：其中x′y′z′为摄像机坐标，u′v′为图像坐标。通过坐标变换C4*4将世界坐标系代入式(4)，得到：u′(rzxx+rzyy+rzzz+tz)-f(rxxx+rxyy+rxzz+tx)＝0(5)u′(rzxx+rzyy+rzzz+tz)-f(ryxx+ryyy+ryzz+ty)＝0根据旋转矩阵的正交性，得到约束式(6)：rxyrxx+ryyryx+rzyrzx＝0rxxrxz+ryxryz+rzzrzz＝0rxyrxz+ryyryz+rzzrzy＝0根据式(5)与式(6)，需要摄像机拍摄视觉标志的3个特征即可计算出所有未知量，最终得到变换C4*4。又由于虚拟空间坐标系与真实空间坐标系之间的关系O4*4由应用程序定义，为已知参数。P3*4、C4*4、O4*4已知，则能算出式三维注册坐标转换关系。S2、用户使用手势交互方式选择虚拟场景中抽象无人机群体中的子群或者个体，被选中的抽象无人机高亮显示。在步骤S2中的使用手势交互方式选择虚拟场景中抽象无人机群体中子群或者个体，其手势交互方法包括：预定义手势识别和手势画圈选择。预定义手势识别，通过与手势库中手势模板相似度比较，识别用户手势，进而执行手势库中该与手势映射的行为。通常将手势画圈选择的起始和结束与特定手势映射，用以控制手势画圈选择的交互起始与终止；手势画圈选择，使用手在需要选择的目标抽象无人机周围画手势轨迹，所画手势轨迹在虚拟场景显示，若手势轨迹闭合形成一个闭合圈，所包围的抽象无人机即为选中状态。其有益效果包括：用户从不同角度获取无人机群的状态信息后，无需借助任何外部工具，直接采用手画一个圈的方式完成选择操作。该方式自然直观、最符合人类基本感官体验，大幅提升交互友好度和交互效率。进一步地，S2与S3中的预定义手势识别采用模板匹配方法，其实现步骤如下：提取手势数据中的特征值，生成M维特征向量。使用训练手势训练模板得到模板的特征向量T＝{T(1),T(2),T(3),…T(M)}，接着在识别阶段提取待识别手势的特征同样得到M维向量R＝{R(1),R(2本文档来自技高网...

【技术保护点】
1.一种面向无人机的群控交互方法，其特征在于，所述的群控交互方法包括下列步骤：S1、通过增强现实技术显示无人机群系统虚拟场景，用户在感知现实环境同时获取虚拟场景辅助信息；S2、用户使用手势交互方式选择虚拟场景中抽象无人机群体中的子群或者个体，被选中的抽象无人机高亮显示；S3、使用手势交互的方式对被选中无人机进行任务控制，在虚拟场景中设定投影地图任务航点、区域或绘制任务航迹；S4、相应的无人机任务指令将发送至现实无人机群处执行。

【技术特征摘要】
1.一种面向无人机的群控交互方法，其特征在于，所述的群控交互方法包括下列步骤：S1、通过增强现实技术显示无人机群系统虚拟场景，用户在感知现实环境同时获取虚拟场景辅助信息；S2、用户使用手势交互方式选择虚拟场景中抽象无人机群体中的子群或者个体，被选中的抽象无人机高亮显示；S3、使用手势交互的方式对被选中无人机进行任务控制，在虚拟场景中设定投影地图任务航点、区域或绘制任务航迹；S4、相应的无人机任务指令将发送至现实无人机群处执行。2.根据权利要求1所述的面向无人机的群控交互方法，其特征在于，所述的步骤S1中增强现实技术显示的无人机群系统虚拟场景包括：投影地图、抽象无人机、无人机群系统综合状态和无人机个体状态，其中，抽象无人机依附于投影地图，无人机个体状态依附于对应抽象无人机；所述的投影地图包括：二维地图、二维地形图和三维地形图。3.根据权利要求1所述的面向无人机的群控交互方法，其特征在于，所述的无人机群系统虚拟场景的信息显示方法包括：抬头显示，信息对象跟随头部移动；锚定显示，信息对象在锚点位置固定显示。4.根据权利要求3所述的面向无人机的群控交互方法，其特征在于，所述的锚定显示方式由三维注册技术实现，实现方法如下：使用标定板测量增强现实设备摄像机内参数，实时捕捉视觉标记，最后根据锚点设置的位置计算出增强现实三维注册的坐标转换关系；根据三维注册技术坐标转换关系有：其中，[uv1]T为图像平面坐标，[xyz1]T为真实空间坐标，为真实空间坐标系与观察空间坐标系之间的欧几里德变换，R为旋转矩阵，t为平移矩阵，O4*4为虚拟空间与真实空间坐标系之间的转换关系，为摄像机坐标系与图像平面坐标系之间的变换，其中ax＝f×dpu′，ay＝f×dpv′，ax，ay，u0，v0为摄像机的内参数；根据张氏标定法，平面标定板与摄像机成像图像之间的单应性映射关系如下：其中H为单应性矩阵，s为缩放因子，为世界坐标系平面，为成像平面；将旋转矩阵约束代入式(2)映射关系可得到：采用摄像机拍摄三张标定板照片，根据式(3)计算得到所需摄像机内参数，最终得到摄像机坐标系与图像平面坐标系之间的关系P3*4；根据摄像机透视投影模型的透视投影方程有：其中x′y′z′为摄像机坐标，u′v′为图像坐标，通过坐标变换C4*4将世界坐标系代入式(4)，得到：u′(rzxx+rzyy+rzzz+tz)-f(rxxx+rxyy+rxzz+tx)＝0(5)u′(rzxx+rzyy+rzzz+tz)-f(ryxx+ryyy+ryzz+ty)＝0根据旋转矩阵的正交性，得到约束式(6)：根据式(5)与式(6)，需要摄像机拍摄视觉标志的3个特征即可计算出所有未知量，最终得到变换C4*4；又由于虚拟空间坐标系与真实空间坐标系之间的关系O4*4由应用程序定义，为已知参数，P3*4、C4*4、O4*4为已知参数，则能算出式三维注册坐标转换关系。...

【专利技术属性】
技术研发人员：张平，陈晓丹，杜广龙，
申请(专利权)人：华南理工大学，
类型：发明
国别省市：广东,44