一种基于深度强化学习的机器人追逃博弈方法技术

本发明专利技术公开了一种基于深度强化学习的机器人追逃博弈方法，包括：确定追逃双方智能体在含障碍物的追逃博弈场景中的约束条件；分别构建追逃双方智能体的回报函数；引入深度Q网络算法，并结合约束条件和回报函数，分别构建追逃双方智能体的初始追逃博弈模型；结合课程学习机制和自我对弈机制分别对追逃双方智能体的初始追逃博弈模型进行训练，并利用训练过程中的交互数据不断对追逃双方智能体的深度Q网络进行更新，得到追逃双方智能体的最终追逃博弈模型。本发明专利技术基于DQN的动作空间离散的追逃博弈算法，并结合自我对弈和课程学习的机制同时训练追捕者和逃跑者智能体，很大程度上优化了追捕者和逃跑者的输出策略。化了追捕者和逃跑者的输出策略。化了追捕者和逃跑者的输出策略。

【技术实现步骤摘要】
一种基于深度强化学习的机器人追逃博弈方法


[0001]本专利技术涉及智能体追逃博弈
，更具体的说是涉及一种基于深度强化学习的机器人追逃博弈方法。

技术介绍

[0002]追逃博弈问题由于其在军事对抗、搜救任务、计算机游戏等问题中的应用而成为研究的热点之一。在机器人领域中，有两种解决追逃博弈的主要方法：即“对抗性搜索”和“单侧搜索”。其中“对抗性搜索”主要有两种方法：微分(differential)和组合(combinatorial)。前一种方法的优势在于，可以将物理约束(如转弯速度或加速度的边界)以微分约束的形式表示。但缺点是，由于生成的方程相当复杂(尤其是在复杂的环境中)，它们的解通常是数值解，仅局部有效或基于启发式，而不是全局最优的。组合方法是将环境用几何形式(例如，用多边形)表示，研究相应的追捕或逃跑策略。“单侧搜索”则假设目标没有响应搜索者的行为，目标通常是使捕获的可能性最大化或使搜索的成本(或时间)最小化。
[0003]上述方法虽然处理了有障碍物的情况，但大多限制在较简单的形状(如多边形)，或者将环境用图的形式表示，当环境本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的机器人追逃博弈方法，其特征在于，包括：构建包含障碍物的虚拟追逃博弈场景；确定追逃双方智能体在所述追逃博弈场景中的非完整运动约束条件和环境范围约束条件；追逃双方智能体包括追捕者和逃跑者；分别构建追逃双方智能体的回报函数；回报函数用于评估追逃双方智能体在某一特定状态下对某一动作的执行情况，并输出回报值；引入深度Q网络算法，并结合所述非完整运动约束条件、所述环境范围约束条件和所述回报函数，分别构建追逃双方智能体的初始追逃博弈模型；结合课程学习机制和自我对弈机制分别对追逃双方智能体的初始追逃博弈模型进行训练，获得训练过程中的交互数据；利用训练过程中的交互数据不断对追逃双方智能体的深度Q网络进行更新，并实时改变各自深度Q网络的自身策略，得到追逃双方智能体的最终追逃博弈模型；基于追捕者的最终追逃博弈模型实时输出追捕策略；或基于逃跑者的最终追逃博弈模型实时输出逃跑策略。2.根据权利要求1所述的一种基于深度强化学习的机器人追逃博弈方法，其特征在于，追逃双方智能体的非完整运动约束条件均一致，表达式如下：x＝vcosθ；y＝vsinθ；v＝u1；θ＝u2；A＝[u1，u2]；u1＝{
‑
u
1max
，0，u
1max
}；u2＝{
‑
u
2max
，0，u
2max
}；上式中，x、y表示追逃双方智能体的位置，u1表示线加速度，u2表示角速度；A表示追逃双方智能体中任一智能体的动作空间，u
1max
和u
2max
分别表示最大线加速度和最大角速度。3.根据权利要求1所述的一种基于深度强化学习的机器人追逃博弈方法，其特征在于，所述环境范围约束条件的表达式为：x
l
≤x
p
≤x
u
；y
l
≤y
p
≤y
u
；x
l
≤x
e
≤x
u
；y
l
≤y
e
≤y
u
；其中，[x
l
，y
l
，x
u
，y
u
]为环境的边界，(x
p
，y
p
)为追捕者的位置；(x
e
，y
e
)为逃跑者的位置，在博弈的过程中某一方超出边界或撞到障碍物，则算作其任务失败，当追逃双方智能体之间的距离小于某一阈值时，则认为追捕者成功捕获逃跑者。4.根据权利要求1所述的一种基于深度强化学习的机器人追逃博弈方法，其特征在于，所述回报函数包括追捕者的回报函数和逃跑者的回报函数，其中追捕者的回报函数的表达式...

【专利技术属性】
技术研发人员：张雪波，戚琪，赵铭慧，古明阳，
申请(专利权)人：南开大学，
类型：发明
国别省市：