一种基于深度Double-Q网络的Nao机器人路径规划方法技术

本发明专利技术涉及一种基于深度Double

【技术实现步骤摘要】
一种基于深度Double
‑
Q网络的Nao机器人路径规划方法


[0001]本专利技术属于深度强化学习、路径规划领域，涉及一种基于深度Double
‑
Q网络的Nao机器人路径规划方法。

技术介绍

[0002]路径规划是指在具有障碍物的环境内按照一定的评价标准，寻找一条从起始状态(包括位置和姿态)到达目标状态(包括位置和姿态)的无碰路径的技术。
[0003]目前路径规划算法可大致分为：经典算法和人工智能算法。传统的路径规划算法主要有：模拟退火算法、人工势场算法、禁忌搜索算法等。随着人工智能的兴起，因其具有一定的自我学习，自我更新和记忆能力，很多基于人工智能的路径规划算法被提出，典型的有：蚁群算法、神经网络算法、遗传算法等。上述算法大多需要对机器人周围环境信息有充分了解，然后基于某种规则进行导航规划，虽然这些方法也都取得了不错的效果，但是由于机器人所处的工作环境较为复杂，环境状态多变，多数实际应用环境变化较多，不具备完全获取环境信息的条件，所以需要机器人能够从未知的环境中识别路线，能够应对不同的工作场景，完本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度Double
‑
Q网络的Nao机器人路径规划方法，其特征在于步骤如下：步骤1、虚拟环境信息预处理：以Choregraphe软件中Naoqi平台作为训练Nao机器人的虚拟环境，对虚拟环境中的信息做预处理：1、面向障碍物时，计算Nao机器人相对障碍物的夹角其中DX
relative
，DY
relative
，是X，Y方向机器人与障碍物之间的相对距离，再计算反正切函数即可得到相对夹角；2、根据偏航角和相对距离，对偏航角进行划分，推算虚拟环境的超声波信息：其中Sonar_info为推算声纳信息；left为左侧声纳推算，right为右侧声纳推算距离；D
r
为虚拟环境中Nao机器人与障碍物之间的距离；传感器中的脚底缓冲器在虚拟环境中设置为[0,0]；步骤2、深度Double
‑
Q网络虚拟仿真环境实验：设定马尔可夫模型和奖励函数：S＝[pos_x
agent
,pos_y
agent
,pos_θ
agent
,Δx,Δy,distance,Sensor_info]其中pos_x
agent
，pos_y
agent
，pos_θ
agent
代表机器人的x,y坐标和偏航角；Δx,Δy代表机器人与目标点x,y方向的差值；distance为机器人与目标点之间的距离；Senor_info为机器人的一些传感器信息即胸口超声波及脚前部的缓冲器；动作空间选取为：Act...

【专利技术属性】
技术研发人员：赵佳玮，张利军，
申请(专利权)人：西北工业大学，
类型：发明
国别省市：