本发明专利技术涉及一种基于视觉目标行为意图预测的空地集群协同方法，属集群空地协同领域，解决了空地协同方法中无人机与无人车协同方式效率低人工设计困难的问题。包括获得无人机和无人车的经验数据集；从经验数据集中随机选取经验数据，将经验数据输入至双价值网络得到无人机和无人车的Q值，并基于无人机和无人车的Q值分别计算无人机和无人车的目标值，基于无人机和无人车的目标值和Q值构建损失函数对空地协同模型权重更新，达到预定训练迭代次数后得到训练好的空地协同模型；在真实环境中将实时采集的无人机和无人车图像预处理后作为状态输入训练好的空地协同模型，模型输出的无人机无人车的动作控制无人机无人车运动。实现空地协同模型适应能力。
1、视觉预测是无人平台感知环境和认知的一种重要手段，且与其他传感器(如激光雷达、毫米波雷达、红外摄像头等)相比，价格低廉，感知的信息具有更丰富的特征，已成为各种无人平台广泛搭载的传感器之一。除此之外，基于视觉的目标行为意图理解与预测，不受场景中通信、定位设备的影响，形成效率更高的基于视觉的空地协同系统。
3、现有的空地协同方法主要通过空中无人机的高视角优势获得地面场景和障碍物信息，辅助地面无人车进行目标定位与路径规划，但是在不同场景下，缺少研究无人机飞行高度和位置拍摄的图像与无人车任务协同时是否是最优的，现有的空地集群协同方法中，空中无人机的飞行高度都是人工设定的，通过人工寻找最优的空地协同方式存在更大的困难，并且无人机需要根据无人车的实时位置与场景自主确定飞行动作。
1、鉴于上述的分析，本专利技术实施例旨在提供一种基于视觉的目标行为意图预测的空地集群协同方法，用以解决现有空地协同方法中无人机与无人车协同方式效率低、人工设计困难的技术问题，以便提升空地协同模型在不同场景的适应能力，扩大使用范围。
>3、对无人机和无人车采集的图像进行预处理，将预处理后的图像作为状态输入空地协同模型得到无人机和无人车动作，将所述无人机和无人车动作作用于无人机和无人车得到下一状态及与环境交互的奖励，将所述状态、动作、奖励和下一状态作为一条经验，从而得到经验数据集；4、从所述经验数据集中随机选取经验数据，将所述经验数据输入至双价值网络得到无人机和无人车的q值，并基于所述无人机和无人车的q值分别计算无人机和无人车的目标值，基于所述无人机和无人车的目标值和q值构建损失函数对所述空地协同模型权重更新，达到预定训练迭代次数后得到训练好的空地协同模型；
5、与真实环境交互，将实时采集的无人机和无人车图像预处理后作为状态输入所述训练好的空地协同模型，所述空地协同模型输出的无人机和无人车的动作控制无人机和无人车运动。
6、进一步地，所述无人机的采集的图像包括无人机感知的周向图像和对地图像；
7、所述无人车采集的图像为无人车感知到的周向图像。
8、进一步地，所述空地协同模型包括无人机周向感知与地面场景预测模型和无人车周向感知与目标区域搜索模型，两个模型分别通过深度强化神经网络构建；
9、所述无人机周向感知与地面场景预测模型的输入状态为预处理后的所述无人机感知的周向图像和对地图像，输出为无人机的动作；
10、所述无人车周向感知与目标区域搜索模型的输入状态为预处理后的所述无人机感知的对地图像和无人车感知的周向图像，输出为无人车的动作。
11、进一步地，所述一条经验还包括是否为当前回合中的最后一个时间步的标志end，多条经验累积构成经验数据集；
12、每个时间步的一条经验数据ei，如下：
13、
14、
15、其中，为无人机周向状态和对地状态，为无人车周向状态，为无人机和无人车动作，riuav、riugv为无人机和无人车奖励，为无人机周向状态和对地状态的下一状态，为无人机周向状态的下一状态；
16、所述经验数据集为e＝{e0,e1,...,ei,...}；
17、所述一个回合是指从第一个状态开始至无人机或无人车发生碰撞、或无人车达到目标区域，每个回合包括多个时间步，每个时间步对应一条经验。
18、进一步地，所述基于所述无人机q值计算无人机的目标值包括：
19、如果end是当前回合的最后一个时间步，则无人机的目标值yiuav，如下：
20、yiuav＝riuav+riugv
21、否则，如果end不是当前回合的最后一个时间步，无人机的目标值如下：
22、
23、
24、其中，γ为折扣因子，q()为某个状态下采取具体动作的期望值，为使得q值最大的动作，为第i个时间步无人机周向感知与地面场景预测模型的参数，为双价值网络中目标网络的参数。
25、进一步地，所述基于双价值网络计算所述无人车目标值包括：
26、如果end是当前回合的最后一个时间步，则无人车的目标值yiugv，如下：
27、yiugv＝riugv
28、否则，如果end不是当前回合的最后一个时间步，则无人车的目标值yiugv，如下：
29、
30、
31、其中，为第i个时间步无人车周向感知与目标区域搜索模型的参数，为双价值网络中目标网络的参数。
32、进一步地，无人机的损失函数如下：
33、
34、基于该损失函数利用梯度下降训练更新所述无人机周向感知与地面场景预测模型的权重。
35、进一步地，无人车的损失函数如下：
36、
37、基于该损失函数利用梯度下降训练更新所述无人车周向感知与目标区域搜索模型的权重。
38、进一步地，所述无人机发生碰撞奖励为-1，不发生碰撞奖励为0；
39、所述无人车发生碰撞奖励设置为-1，到达目标位置奖励设置为1；
40、所述无人机动作包括前进、左转、右转、上升、下降和悬停6个动作；
41、所述无人车的动作包括前进、左转、右转和停止4个动作。
42、进一步地，所述无人机周向感知与地面场景预测模型和所述无人车周向感知与目标区域搜索模型分别包括：
43、两个输入层，分别用于接收一种图像，并将图像处理为张量；
44、两个特征提取模块，用于分别提取一种图像的特征；
45、特征融合层，用于将两种图像的特征进行拼接，得到完整特征；
46、全连接层，接收所述完整特征，输出动作。
47、与现有技术相比，本专利技术至少可实现如下有益效果之一：
48、1、提出了一种基于视觉目标行为意图预测的空地集群协同方法，不依赖于场景中的定位信号，通过感知预测周边其他无人平台的行为意图，实现空地集群协同；
49、2、无人机通过周向感知，实现无人机与其他障碍物之间的避障；
50、3、无人机通过对地方向感知，实现对地面无人车行为意图的理解与预测；
51、4、无人机通过周向感知与对地方向感知相结合，并将无人车的奖励与无人机的奖励相叠加，实现与地面无人车更好的协同方式，包括无人机飞行位置和高度；
52、5、地面无人车通过周向感知，实现无人车与其他障碍物之间的避障；...
【技术保护点】
1.一种基于视觉的目标行为意图预测的空地集群协同方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述无人机的采集的图像包括无人机感知的周向图像和对地图像；
3.根据权利要求2所述的方法，其特征在于，所述空地协同模型包括无人机周向感知与地面场景预测模型和无人车周向感知与目标区域搜索模型，两个模型分别通过深度强化神经网络构建；
4.根据权利要求3所述的方法，其特征在于，所述一条经验还包括是否为当前回合中的最后一个时间步的标志end，多条经验累积构成经验数据集；
5.根据权利要求4所述的方法，其特征在于，所述基于所述无人机Q值计算无人机的目标值包括：
6.根据权利要求5所述的方法，其特征在于，所述基于双价值网络计算所述无人车目标值包括：
7.根据权利要求6所述的方法，其特征在于，无人机的损失函数如下：
8.根据权利要求7所述的方法，其特征在于，无人车的损失函数如下：
9.根据权利要求1-8任一项所述的方法，其特征在于，所述无人机发生碰撞奖励为-1，不发生碰撞奖励为0；
10.根据权利要求9所述的方法，其特征在于，所述无人机周向感知与地面场景预测模型和所述无人车周向感知与目标区域搜索模型均包括：
...
【技术特征摘要】
1.一种基于视觉的目标行为意图预测的空地集群协同方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的方法，其特征在于，所述无人机的采集的图像包括无人机感知的周向图像和对地图像；
3.根据权利要求2所述的方法，其特征在于，所述空地协同模型包括无人机周向感知与地面场景预测模型和无人车周向感知与目标区域搜索模型，两个模型分别通过深度强化神经网络构建；
4.根据权利要求3所述的方法，其特征在于，所述一条经验还包括是否为当前回合中的最后一个时间步的标志end，多条经验累积构成经验数据集；
5.根据权利要求4所述的方法，其...
【专利技术属性】
技术研发人员：王迪，党睿娜，苏波，冀翰钰，李天明，张美迪，贾一飞，吴哲旭，孙禹启，张馨元，尹俭芳，银丹，杨婷婷，赵春青，
申请(专利权)人：中兵智能创新研究院有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。