一种基于改进DQN算法的室内巡逻机器人自主导航方法技术

本发明专利技术涉及DQN算法技术领域，尤其涉及一种基于改进DQN算法的室内巡逻机器人自主导航方法，包括S1、巡逻机器人感知自身周围的环境信息，并结合自身的位置信息和将到达的目标点组成一个状态空间，在状态空间中依次设置若干目标点，并作为DQN算法的输入；S2、对DQN算法的目标函数进行改进，使目标点不断变起始点，直到最后一个目标点；S3、通过对奖惩函数r进行改进，提高DQN算法收敛速度。本发明专利技术对DQN算法进行改进，避免算法陷入死循环的问题；将机器人行驶的路径分段化，大大减少了DQN算法的迭代次数；通过改进奖惩函数，使DQN算法收敛速度加快，从而完成室内巡逻机器人自主导航的任务。从而完成室内巡逻机器人自主导航的任务。从而完成室内巡逻机器人自主导航的任务。

An autonomous navigation method of indoor patrol robot based on improved dqn algorithm

【技术实现步骤摘要】
一种基于改进DQN算法的室内巡逻机器人自主导航方法


[0001]本专利技术涉及DQN算法
，尤其涉及一种基于改进DQN算法的室内 巡逻机器人自主导航方法。

技术介绍

[0002]传统的安防体系是“人防+物防”来实现。可随着人口老龄化加重、劳动 力成本飙升、安保人员流失率高等问题，已经难以适应现代安防需求，安防巡 逻机器人产业迎来新的发展契机。安防巡逻机器人还处于起步阶段，但巨大的 安防市场需求下，其发展潜力和未来前景广阔。由于深度强化学习中的深度Q 网络(deep Q network/DQN)算法在Q
‑
learning的基础上利用神经网络进行融 合，从而克服因Q
‑
learning存储数据消耗的内存过大而导致的“维数灾难”问 题的缺陷，使得搜索过程不断收敛，最终逼近最优解，已经被广泛应用于解决 机器人的自主导航问题中；而室内巡逻机器人又与普通机器人不同，它们的巡 逻路径相对统一，且当路径中有障碍出现应优先避开障碍。
[0003]Mnih等提出第一个深度强化学习模型，即深度Q网络(DQN)，该网本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进DQN算法的室内巡逻机器人自主导航方法，其特征在于，包括以下步骤：S1、巡逻机器人感知自身周围的环境信息，并结合自身的位置信息和将到达的目标点组成一个状态空间，在状态空间中依次设置若干目标点，并作为DQN算法的输入；S2、通过对DQN算法的目标函数进行改进，使巡逻机器人以当前位置和速度作为下一步动作的输出，当到达第一目标点后，以第一个目标点为起始点寻找下一个目标点，依次不断循环，直至找到最后一个目标点；S3、改进DQN算法的奖惩函数r，提高DQN...

【专利技术属性】
技术研发人员：毛树人，郑剑锋，周海翔，吴振裕，孔鹏程，
申请(专利权)人：常州大学，
类型：发明
国别省市：