一种基于数字孪生与强化学习的机器人运动规划方法技术

本发明专利技术公开了一种基于数字孪生与强化学习的机器人运动规划方法，包括：S1、利用数字孪生技术构造一个与真实场景一一对应的虚拟场景；S2、构建完成虚拟场景后，在虚拟场景中进行强化学习的训练过程；S3、在虚拟场景中进行训练得到局部路径规划和避障算法，利用真实场景和虚拟场景进行映射，来完成真实场景中无人车的运动规划任务以及更新虚拟场景；S4、训练完成后，联合虚拟和现实空间中的无人车观测到的信息，通过步骤S2得到控制无人车运动的路径及线速度和角速度信息。根据本发明专利技术，充分利用虚拟空间的仿真特性，并利用真实空间的数据变化来更新虚拟空间，来达到虚实充分融合的效果。来达到虚实充分融合的效果。来达到虚实充分融合的效果。

【技术实现步骤摘要】
一种基于数字孪生与强化学习的机器人运动规划方法


[0001]本专利技术涉及数字孪生和无人车运动规划的
，特别涉及一种基于数字孪生与强化学习的机器人运动规划方法。

技术介绍

[0002]数字孪生是个普遍适应的理论技术体系，可以在众多领域应用，在产品设计、产品制造、医学分析、工程建设等领域应用较多。在国内应用最深入的是工程建设领域，关注度最高、研究最热的是智能制造领域。例如对于一座城市进行仿真建模，可以从全局观测到城市的各种信息，还可以根据构建的模型对城市进行仿真，例如增加外界干扰因素来观测城市的反应情况，从而找到此城市存在的问题，进行提前预防。
[0003]无人车的自主导航是其一项基本能力。它可以被粗略地描述为在不与障碍物发生碰撞的情况下，从当前位置规划并遵循路径或输出实时策略到所需目标的能力。传统的方法在某种程度上是零散的；导航部分更关注运动规划，它在工作空间中寻求无碰撞的路径。运动规划方法依赖于精确的环境几何模型和完美的定位，限制了这些方法的使用。无地图环境下的无人车导航是移动机器人的基本问题和挑战之一。深度强化学习是解决无地图导航任务的一种很有前途的技术。
[0004]传统的机器人导航算法例如A*、RRT、DWA和Dijkstra等存在一个共同的缺陷：即需要提前建立环境地图，即通过现有的地图规划出一个全局路径，然后基于局部路径规划算法进行规划，当外界环境出现变化时，机器人无法根据原有的地图规划出合理的路径，导致导航任务失败。并且，传统的运动规划算法为了规避障碍物和快速到达目标点或者未对速度的变化率做出控制，通常会出现线速度和角速度突变的情况，导致机器人的运动不够平稳。

技术实现思路

[0005]针对现有技术中存在的不足之处，本专利技术的目的是提供一种基于数字孪生与强化学习的机器人运动规划方法，充分利用虚拟空间的仿真特性，并利用真实空间的数据变化来更新虚拟空间，来达到虚实充分融合的效果。为了实现根据本专利技术的上述目的和其他优点，提供了一种基于数字孪生与强化学习的机器人运动规划方法，包括：
[0006]S1、利用数字孪生技术构造一个与真实场景一一对应的虚拟场景；
[0007]S2、构建完成虚拟场景后，在虚拟场景中进行强化学习的训练过程；
[0008]S3、在虚拟场景中进行训练得到局部路径规划和避障算法，利用真实场景和虚拟场景进行映射，来完成真实场景中无人车的运动规划任务以及更新虚拟场景；
[0009]S4、训练完成后，联合虚拟和现实空间中的无人车观测到的信息，通过步骤S2得到控制无人车运动的路径及线速度和角速度信息。
[0010]优选的，步骤S1中在建立场景过程中，可以在真实场景放置传感器，根据传感器信息实时更新虚拟场景，以达到虚拟场景和真实场景同步的效果。
[0011]优选的，步骤S2中，通过模拟无人车承载的传感器信息，以图像、点云数据、无人车位置以及目标点位置信息为输入，来训练无人车，其中输出为是无人车连续的角速度和线速度信息，或者是经过离散化之后的信息。
[0012]优选的，强化学习算法中的奖励函数包括碰撞奖励、到达目标点奖励、接近目标点的潜在奖励和松弛奖励。
[0013]优选的，在虚拟场景中可随时分析机器人左右轮的转速信息，然后根据机器人车轮半径、机器人尺寸和转速信息对于其运动轨迹做出计算并对其轨迹做出预测，将预测得到的轨迹输入到强化学习的算法中，获取对应的奖励值，可以在预测轨迹中选取奖励最大的作为。
[0014]优选的，步骤S3中在虚拟场景中训练完成后的算法可部署到真实的无人车上，并且要将真实场景和虚拟场景中的无人车进行同步和映射，所述同步和映射包括在虚实场景中的位置信息、角度信息、图像输入和运动信息。
[0015]本专利技术与现有技术相比，其有益效果是：本专利技术将数字孪生和深度强化学习相结合，训练出可以让无人车实现自主导航的算法，同时无人车装配传感器得到的信息反过来用于更新虚拟场景，并且通过虚拟场景就可以在线实时监测真实场景中无人车的位置、速度、状态等信息。
附图说明
[0016]图1为根据本专利技术的基于数字孪生与强化学习的机器人运动规划方法的流程框图；
[0017]图2为根据本专利技术的基于数字孪生与强化学习的机器人运动规划方法的机器人运动建模图；
[0018]图3为根据本专利技术的基于数字孪生与强化学习的机器人运动规划方法的机器人运动方式图；
[0019]图4为根据本专利技术的基于数字孪生与强化学习的机器人运动规划方法的Actor
‑
Critic网络结构图。
具体实施方式
[0020]下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。
[0021]参照图1
‑
4，一种基于数字孪生与强化学习的机器人运动规划方法，数字孪生虚拟环境的创建、机器人的定位与映射、强化学习算法的训练和虚实空间信息的交互，通过在虚拟空间中生成路径规划和运动规划参数来控制真实场景中无人车的运动，来完成导航任务，具体包括以下步骤：S1、利用数字孪生技术构造一个与真实场景一一对应的虚拟场景；
[0022]S2、构建完成虚拟场景后，在虚拟场景中进行强化学习的训练过程，在虚拟场景中，利用无人车传感器接收到的如图像、GPS、IMU和雷达的信息作为输入，通过现有的深度强化学习算法，输出得到控制无人车的线速度和角速度等信息；
[0023]S3、在虚拟场景中进行训练得到局部路径规划和避障算法，利用真实场景和虚拟场景进行映射，来完成真实场景中无人车的运动规划任务以及更新虚拟场景；将数字孪生虚拟场景中的无人车定位与运动映射到真实的场景中，然后在虚拟场景中对机器人的运动模型进行分析，得到机器人的运行状态；运动模型的建模分析如下：首先将轮式差速机器人进行简化建模，得到如图所示的结构，此时对于机器人运动时的线速度、加速度和角速度都由两个左右两个轮子的转速来控制，定义其左右驱动轮的中心分别为W1和W2，且车体坐标系中这两点在惯性坐标系下移动的线速度为V1和V2，理想情况下即为左右轮转动时做圆周运动的线速度。该值可以通过电机驱动接口输出的角速度和驱动轮的半径r求得，即：
[0024]V1＝r*φ1
[0025]差速驱动方式，即V1和V2间存在的速度差关系决定了其具备不同的三种运动状态，如图所示：当V1＝V2时，机器人做曲线运动；当V1>V2时，机器人做直线运动；当V1＝
‑
V2时，机器以左右轮中心点做原地旋转。
[0026]在机器人的运动控制中，以线速度和角速度作为控制信号输入给机器人，即可实现机器人的运动控制。因此，要以图像、机器人位置信息、机器人当前速度和加速度等信息作为输入，得到下一时刻机器人的控制信号。
[0027]本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于数字孪生与强化学习的机器人运动规划方法，其特征在于，包括以下步骤：S1、利用数字孪生技术构造一个与真实场景一一对应的虚拟场景；S2、构建完成虚拟场景后，在虚拟场景中进行强化学习的训练过程；S3、在虚拟场景中进行训练得到局部路径规划和避障算法，利用真实场景和虚拟场景进行映射，来完成真实场景中无人车的运动规划任务以及更新虚拟场景；S4、训练完成后，联合虚拟和现实空间中的无人车观测到的信息，通过步骤S2得到控制无人车运动的路径及线速度和角速度信息。2.如权利要求1所述的一种基于数字孪生与强化学习的机器人运动规划方法，其特征在于，步骤S1中在建立场景过程中，可以在真实场景放置传感器，根据传感器信息实时更新虚拟场景，以达到虚拟场景和真实场景同步的效果。3.如权利要求2所述的一种基于数字孪生与强化学习的机器人运动规划方法，其特征在于，步骤S2中，通过模拟无人车承载的传感器信息，以图像、点云数据、无人车位置以及目标点位置信息为输入，...

【专利技术属性】
技术研发人员：何斌，耿书城，陆萍，周艳敏，李刚，王志鹏，李鑫，
申请(专利权)人：同济大学，
类型：发明
国别省市：