一种基于深度强化学习的移动机器人自主探索方法技术

本发明专利技术公开了一种基于深度强化学习的移动机器人自主探索方法，所述方法包括在未知的环境中，开启激光雷达设备，计算单元以及移动机器人本体电源，通过激光雷达采集当前环境的点云数据；基于互补孔洞结构存储点云数据，构建三维点云地图并进行投影后构建二维占栅地图；基于二维占栅地图构建信息图，并采用双向A*算法对信息图进行稀疏化形成稀疏信息图；构建强化学习策略网络，设计强化学习策略网络的目标函数，所述强化学习网络的输入为稀疏信息图，输出为下一时刻的目标路径点；路径规划器根据目标路径点生成无碰撞的路径，局部规划器根据无碰撞路径生成当前机器人的线速度和角速度值；机器人的运动控制器根据速度值生成运动命令，控制移动机器人到达目标路径点，重复以上步骤直到完成基于深度强化学习的机器人自主探索任务；本发明专利技术的优点在于：采用无模型深度强化学习技术在仿真系统中学习探索策略，可无缝移植到真实物理环境中，能够实现更高效率的自主探索，且对环境的适应性强，应用场景更广，为实现移动机器人的完全自主作业奠定基础。

【技术实现步骤摘要】

本专利技术属于移动机器人自主探索和深度强化学习，具体涉及一种基于深度强化学习的移动机器人自主探索方法。

技术介绍

1、在未知环境中的自主机器人探索长期以来一直吸引着机器人学界的关注，这在城市搜索和救援中可以广泛使用。利用移动机器人进行自主探索的好处在于减轻了救援人员的工作量，提高了在时间紧迫任务期间对受害者的搜索效率。而自主移动机器人探索涉及到在不确定性下的定位和导航，因此需要建立对周围环境的模型。

2、为了解决未知环境下的自主探索问题，移动机器人需要合理规划他们的探索路径，以构建更完整的环境地图。slam方法已经被开发出来，在机器人探索时实现自我定位和地图绘制。自主机器人探索也被称为主动slam，它规划了一条非近视的路径，平衡了利用周围环境和探索未知区域之间的权衡关系。

3、用于移动机器人自主探索的最常见方法是基于前沿的探索方法。该方法生成多条候选路径，每条路径覆盖一个前沿，并贪心地选择具有最大收益的路径。然而，随着环境的探索范围增加，识别前沿的计算需求很高，这使得总体规划时间过长，无法满足实时要求。近年来，随着机器学习技术在机器本文档来自技高网...

【技术保护点】

1.一种基于深度强化学习的移动机器人自主探索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，所述步骤S2的过程为：

3.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，所述步骤S3的过程为：

4.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，其步骤S4所述的构建强化学习策略网络的过程为：

5.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，所提出优化的奖励函数的构建过程为：>

6.根据权利...

【技术特征摘要】

1.一种基于深度强化学习的移动机器人自主探索方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，所述步骤s2的过程为：

3.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，所述步骤s3的过程为：

4.根据权利要求1所述的基于深度强化学习的移动机器人自主探索方法，其特征在于，其步骤s4所述的构建强化学习策略网络的过程为：<...

【专利技术属性】
技术研发人员：张驰洲，陈明松，蔺永诚，王冠强，李泽浩，王秋，申礼瑞，
申请(专利权)人：中南大学，
类型：发明
国别省市：