一种机器人路径学习方法技术

本发明专利技术公开了一种机器人路径学习方法，包括以下步骤：机器人探测，通过机器人自身携带的声呐传感器，获得机器人的周围环境信息；其次，将机器人所经过的区域作为已探测区域，将机器人未经过的区域标记为未探测区域，直至完成完全探测结束；虚拟场所生成步骤，根据S1中探测的结果，得到机器人需要行进的实际场所生成对应的虚拟场所。本发明专利技术通过目标机器人探测区域构建虚拟场所，不需要像现有方法那样使机器人放置于实际场所中进行路径学习，而是通过虚拟出对应与该智能机器人的虚拟机器人，并利用该虚拟机器人在一对应于实际场所的虚拟场所中行进来获得路径策略。所中行进来获得路径策略。所中行进来获得路径策略。

【技术实现步骤摘要】
一种机器人路径学习方法


[0001]本专利技术涉及机器人路径学习
，尤其涉及一种机器人路径学习方法。

技术介绍

[0002]随着机器人技术的发展和人工智能研究的不断深入，智能机器人在人类生活中扮演越来越重要的角色。作为常见生活机器人的一种，室内移动机器人作为服务人员的代替者多用于室内移动展会，家庭服务，酒店大厅引导等复杂动态环境。在这类环境中，环境信息非结构化，静态动态障碍物交错存在，环境信息变化明显，这些因素对室内移动机器人的工作能力提出了极大的挑战和要求。为较好地完成服务任务，室内移动机器人需要具有探测障碍物，区分识别障碍物，实时规划可行路径，稳定控制行动的能力。随着传感器技术、计算机技术和网络通信技术的不断发展，实时路径规划作为智能机器人的大脑成为室内移动机器人研究的重中之重。
[0003]目前对在对机器人路径进行训练时都是在实际场所，不仅操作麻烦，并且还增加了训练的成本，因此，亟需重新设计一种机器人路径学习方法。

技术实现思路

[0004]本专利技术的目的是为了解决现有技术中存在的缺点，而提出的一种机器人路径学习方法。
[0005]为了实现上述目的，本专利技术采用了如下技术方案：
[0006]一种机器人路径学习方法，包括以下步骤：
[0007]S1：机器人探测，通过机器人自身携带的声呐传感器，获得机器人的周围环境信息；其次，将机器人所经过的区域作为已探测区域，将机器人未经过的区域标记为未探测区域，直至完成完全探测结束；
[0008]S2：虚拟场所生成步骤，根据S1中探测的结果，得到机器人需要行进的实际场所生成对应的虚拟场所；
[0009]S3：确定起始点和目标点，初始化随机扩展树，并将所述起始点作为所述随机扩展树的根节点，在自由空间中选取第一节点，在所述随机扩展树中确定与所述第一节点距离最近的第二节点，在所述第一节点与所述第二节点的连线上确定与所述第二节点的距离为预设值的第三节点，利用训练完成的智能体生成所述第二节点与所述第三节点之间的路径，当所述路径上不存在障碍物时，将所述第三节点添加至所述随机扩展树中，当所述随机扩展树的节点包含所述目标点或所述节点进入目标区域时，通过回溯节点的方式在所述随机扩展树中确定所述起始点与所述目标点之间的路径；
[0010]S4：路径信息生成步骤，生成对应于机器人的虚拟机器人，获取在虚拟场所中设定的虚拟机器人行进过程中需要经过的点，生成虚拟机器人在所述虚拟场所需要行进的路径信息；
[0011]S5：路径策略生成步骤，控制所述虚拟机器人依据所述路径信息在所述虚拟场所
中行进并生成路径策略，并将所述路径策略传输至目标机器人；
[0012]S6：机器人路径训练，把目标机器人按照生成的路径和步骤进行模拟移动，至少完成模拟三次，若中间出现路径偏移或者步骤卡顿，则需要重新回到S4，直至完成上述所有步骤即为学习完成。
[0013]作为本专利技术的进一步技术方案，所述虚拟场所包括二维虚拟场所和三维虚拟场所，所述二维虚拟场所是通过对所述实际场所平面图进行缩放得到的，所述三维虚拟场所用于显示实际环境特征。
[0014]作为本专利技术的进一步技术方案，所述S5中，当虚拟机器人依据所述路径信息在所述二维虚拟场所行进时，获取所述虚拟机器人与所述二维虚拟场所轮廓的距离，结合所述三维虚拟场所中的实际环境特征，得到所述路径策略。
[0015]作为本专利技术的进一步技术方案，所述虚拟场所生成模块，其用于根据目标智能机器人需要行进的实际场所生成对应的虚拟场所，所述虚拟场所包括二维虚拟场所和三维虚拟场所。
[0016]作为本专利技术的进一步技术方案，所述路径信息生成模块，其用于生成对应于所述目标智能机器人的虚拟机器人，获取在所述二维虚拟场所中设定的所述虚拟机器人行进过程中需要经过的点，生成所述虚拟机器人在所述虚拟场所需要行进的路径信息。
[0017]作为本专利技术的进一步技术方案，所述路径策略生成模块，其用于控制所述虚拟机器人依据所述路径信息在所述虚拟场所中行进并生成路径策略，并将所述路径策略传输至所述接入端口。
[0018]作为本专利技术的进一步技术方案，所述S3中利用深度确定性策略梯度训练智能体，得到训练完成的智能体，所述利用深度确定性策略梯度训练智能体，得到训练完成的智能体，包括：初始化所述深度确定性策略梯度中的参数；在预设训练回合数内利用所述深度确定性策略梯度训练所述智能体，确定最优策略参数，使得所述智能体累计回报的期望最大，得到训练完成的智能体。
[0019]本专利技术的有益效果：
[0020]1.一种机器人路径学习方法，通过目标机器人探测区域构建虚拟场所，不需要像现有方法那样使机器人放置于实际场所中进行路径学习，而是通过虚拟出对应与该智能机器人的虚拟机器人，并利用该虚拟机器人在一对应于实际场所的虚拟场所中行进来获得路径策略。相较于现有方法，本专利技术所提供的方法能够有效简化智能机器人进行路径学习的过程以及成本，有助于提高智能机器人的实用性和产品竞争力。
[0021]2.一种机器人路径学习方法，使用训练完成的智能体来确定构形空间中点对点之间的连通性，进而构建随机扩展树，而不是传统快速探索随机树法中仅仅通过简单的两点间直线连接来确定连通性。训练好的智能体能够始终如一地执行在构形空间中点对点任务并且沿着生成的两点间轨迹不与障碍物发生碰撞的情况下才连接这两个点，并将其中的新节点添加到随机扩展树中。由此可见，本申请提供的路径规划方法，能够同时满足规划效率、机器人动力学和任务约束，在面对的环境变化时具有较强的鲁棒性。
附图说明
[0022]图1是根据本专利技术的一种机器人路径学习方法的结构示意图。
具体实施方式
[0023]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。
[0024]参照图1，一种机器人路径学习方法，包括以下步骤：
[0025]S1：机器人探测，通过机器人自身携带的声呐传感器，获得机器人的周围环境信息；其次，将机器人所经过的区域作为已探测区域，将机器人未经过的区域标记为未探测区域，直至完成完全探测结束；
[0026]S2：虚拟场所生成步骤，根据S1中探测的结果，得到机器人需要行进的实际场所生成对应的虚拟场所；
[0027]S3：确定起始点和目标点，初始化随机扩展树，并将起始点作为随机扩展树的根节点，在自由空间中选取第一节点，在随机扩展树中确定与第一节点距离最近的第二节点，在第一节点与第二节点的连线上确定与第二节点的距离为预设值的第三节点，利用训练完成的智能体生成第二节点与第三节点之间的路径，当路径上不存在障碍物时，将第三节点添加至随机扩展树中，当随机扩展树的节点包含目标点或节点进入目标区域时，通过回溯节点的方式在随机扩展树中确定起始点与目标点之间的路径；
[0028]S4：路径信息生成步骤，生成对应于机器人的虚拟机器人，获取在虚拟场所中设定本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种机器人路径学习方法，其特征在于，包括以下步骤：S1：机器人探测，通过机器人自身携带的声呐传感器，获得机器人的周围环境信息；其次，将机器人所经过的区域作为已探测区域，将机器人未经过的区域标记为未探测区域，直至完成完全探测结束；S2：虚拟场所生成步骤，根据S1中探测的结果，得到机器人需要行进的实际场所生成对应的虚拟场所；S3：确定起始点和目标点，初始化随机扩展树，并将所述起始点作为所述随机扩展树的根节点，在自由空间中选取第一节点，在所述随机扩展树中确定与所述第一节点距离最近的第二节点，在所述第一节点与所述第二节点的连线上确定与所述第二节点的距离为预设值的第三节点，利用训练完成的智能体生成所述第二节点与所述第三节点之间的路径，当所述路径上不存在障碍物时，将所述第三节点添加至所述随机扩展树中，当所述随机扩展树的节点包含所述目标点或所述节点进入目标区域时，通过回溯节点的方式在所述随机扩展树中确定所述起始点与所述目标点之间的路径；S4：路径信息生成步骤，生成对应于机器人的虚拟机器人，获取在虚拟场所中设定的虚拟机器人行进过程中需要经过的点，生成虚拟机器人在所述虚拟场所需要行进的路径信息；S5：路径策略生成步骤，控制所述虚拟机器人依据所述路径信息在所述虚拟场所中行进并生成路径策略，并将所述路径策略传输至目标机器人；S6：机器人路径训练，把目标机器人按照生成的路径和步骤进行模拟移动，至少完成模拟三次，若中间出现路径偏移或者步骤卡顿，则需要重新回到S4，直至完成上述所有步骤即为学习完成。2.根据权利要求1所述的一种机器人路径学习方法，其特征在于，所述虚拟场所包括二...

【专利技术属性】
技术研发人员：李忠双，
申请(专利权)人：深圳市博茨科技有限公司，
类型：发明
国别省市：