一种基于深度强化学习的无人车的导航方法技术

本发明专利技术提供一种基于深度强化学习的无人车的导航方法，包括通过无人车上的深度相机获取深度图像,对获取的深度图像进行采样，再进行二次线性插值处理组成深度图像矩阵；在深度图像矩阵中，通过无人车的轮速里程计计算与起点的相对定位，形成代表无人车状态的第二深度图像矩阵；对第二深度图像矩阵内的逐个数值进行比较，计算出某个值的最小值，与设定的阈值进行对比，大于设定的阈值时，通过运动学的方式控制无人车的运动，小于设定的阈值时，则将第二深度图像输入深度学习网络中，随机或是依据深度学习网络决定下一个动作。本发明专利技术能使网络学习效率更高，误差收敛的值更小，使得实现未知环境的避障效果更好，提高地图的采集效率。率。率。

【技术实现步骤摘要】
一种基于深度强化学习的无人车的导航方法


[0001]本专利技术涉及无人车
，特别是涉及一种基于深度强化学习的无人车的导航方法。

技术介绍

[0002]无人车的导航是各种避免障碍和达到目标位置的技术，然而在未知的环境中航行比已知的环境要困难得多，当环境未知时，机器人的运动极度地依赖于从传感器收集的数据以及算法的效率，以此来找到一条好的路径，位于移动机器人上的传感器将帮助检测障碍物，并在导航时绘制出环境地图，用来导航到目标位置。将深度强化学习方法的应用于导航问题的研究时，一个成功的训练模型高度依赖于训练集信息，所以不可避免的需要大量时间地进行训练数据的采集，如何有效的减少训练时间也成为了该领域的研究重点。
[0003]现有专利技术有以视觉作为输入的，有两个明显的缺点，1.受光照的影响较大，不同光照条件下图像识别效果差；2.相对于深度图像的输入，对环境的适应能力较差，从训练环境到另一个未知环境中的普适性差；所需训练时间较长。

技术实现思路

[0004]本专利技术实施例提供一种基于深度强化学习的无人车的导航方法，以解决现有的无人车导航方法对环境的适应能力较差，从训练环境到另一个未知环境中的普适性差，所需训练时间较长的技术问题。
[0005]本专利技术的一方面，提供一种基于深度强化学习的无人车的导航方法，包括：
[0006]步骤S1,通过无人车上的RGBD深度相机获取Depth深度图像,对获取的深度图像进行采样，获得分辨率为160*120的图像，再进行二次线性插值处理获得尺寸为80*80*1的深度图像，由所有尺寸为80*80*1的深度图像组成深度图像矩阵；
[0007]步骤S2,在深度图像矩阵中，通过无人车的轮速里程计计算与起点的相对定位，将定位x坐标作为第二深度图像的第一行，y坐标作为第二深度图像的第一列，进一步集合所述第二深度图像形成代表无人车状态的第二深度图像矩阵；
[0008]步骤S3,对第二深度图像矩阵内的逐个数值进行比较，利用快速排序算法计算出第二深度像素矩阵中的某个值的最小值，将最小值与设定的阈值进行对比，当最小值大于设定的阈值时，通过运动学的方式控制无人车的运动，当最小值小于设定的阈值时，则将第二深度图像输入深度学习网络中，构建马尔科夫状态空间，随机或是依据深度学习网络决定下一个动作，再次比对最小值与阈值的大小，直到最小值大于设定的阈值。
[0009]进一步，在步骤S1中，所述对获取的深度图像进行采样，获得分辨率为160*120的图像，再进行二次线性插值处理获得尺寸为80*80*1的深度图像具体过程为，利用高斯金字塔算法平滑处理图像，保留图像的所有边界特征的，通过梯度下采样获得分辨率160*120的图像，然后通过图像二次线性插值法处理降采样后的160*120图像，得到尺寸为80*80*1的深度图像。
[0010]进一步，
[0011]所述图像二次线性插值法处理降采样后的160*120图像，得到尺寸为80*80*1的深度图像具体过程为，根据以下公式对像素在图像矩阵中一个方向上进行线性插值，然后在另一个方向上进行线性插值：
[0012][0013]其中，x为像素在图像矩阵中x轴的坐标系数，y为像素在图像矩阵中y轴的坐标系数。
[0014]进一步在步骤S3中，所述设定的阈值根据实际车速进行调整，当无人车的转弯半径变大时，则将设定的阈值调大，当无人车的转弯半径变小时，则将设定的阈值调小；如果设定的阈值过大，则训练时间变长，如果设定的阈值过小，则与障碍物的碰撞。
[0015]进一步，
[0016]所述通过运动学约束的方式控制无人车的运动具体计算过程为根据以下公式进行计算：
[0017][0018]其中，x
g
和y
g
为目标点在笛卡尔坐标系中的坐标，K为第一比例系数；
[0019]ω＝K
ω
(θ
g
Θθ)
[0020]其中，θ
g
为目标点的方向，θ为当前点的方向，Θ为目标点和当前点的两个角度的差，K
ω
为第二比例系数。
[0021]进一步
[0022]在步骤S3中，所述深度学习网络为包括四层卷积层和两层全连接层的卷积神经网络，所述深度学习网络根据以下公式对策略函数π
θ
(s,a)进行梯度下降处理：
[0023][0024]其中，θ为神经网络的参数，A(s)为评价策略梯度更新的优势函数，π为圆周率；
[0025]所述深度学习网络根据以下公式对评价函数V(s,θ
v
)的进行梯度下降处理：
[0026][0027]其中，R为对应的奖励值，γ为贪婪系数，V为状态价值函数，v为无人车的速度值。
[0028]进一步，所述奖惩值R为靠近障碍物的惩罚值，单回合的最终的惩罚值为所有惩罚值之和，所述惩罚值具体包括碰撞惩罚值、直行或拐弯的惩罚值、驶向目标点的惩罚值、背离目标点的惩罚值、靠近障碍物的惩罚值。
[0029]进一步，
[0030]所述直行或拐弯的惩罚值根据以下公式计算：
[0031](0.1*v)/(|ω|+0.1)
[0032]其中，v为无人车的速度取值，ω为无人车的角速度；
[0033]所述靠近障碍物的惩罚值根据以下公式计算：
[0034]-1/(x-0.4)
[0035]其中，x
·
为第二深度图像矩阵内的最小值。
[0036]进一步，在步骤S3中，所述马尔科夫状态空间由多个数组组成，单个所述数组内至少包括无人车本次状态数据、无人车本次动作数据、无人车本次对应的奖励值数据、下无人车下次的状态数据。
[0037]进一步，在步骤S1中，该方法还包括对深度图像进行预处理以降低图像中黑白相间的亮暗点噪声，所述预处理至少包括中值滤波、图像裁剪、快速行进修复。
[0038]综上，实施本专利技术的实施例，具有如下的有益效果：
[0039]本专利技术提供的基于深度强化学习的无人车的导航方法，结合运动学约束模型优化机器人在前期的状态空间构建，在相同的训练时间下，基于本文提出的训练模式构建的状态空间更加合理有效，能使网络学习效率更高，误差收敛的值更小，使得实现未知环境的避障效果更好；
[0040]解决目前在未知的环境下无人车导航的问题，免去使用地图的端到端的运动决策的导航方式；，同时，使用本专利技术进行未知环境下的建图工作，免去人为的控制设备进行地图采集的麻烦，提高地图的采集效率。
附图说明
[0041]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，根据这些附图获得其他的附图仍属于本专利技术的范畴。
[0042]图1为本专利技术提供的基于深度强化学习的无人车的导航方法的运动决策模本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于深度强化学习的无人车的导航方法，其特征在于，包括以下步骤：步骤S1，通过无人车上的RGBD深度相机获取第一深度图像，对获取的第一深度图像进行采样和二次线性插值处理后，获得第一深度图像矩阵；步骤S2，在所述第一深度图像矩阵中，通过无人车的轮速里程计计算与起点的相对定位，将定位x坐标作为第二深度图像的第一行，y坐标作为第二深度图像的第一列，进一步集合所述第二深度图像形成代表无人车状态的第二深度图像矩阵；步骤S3，遍历第二深度图像矩阵，计算出第二深度像素矩阵中的某个值的最小值，将最小值与设定的阈值进行对比，当最小值大于设定的阈值时，通过运动学的方式控制无人车的运动，当最小值小于设定的阈值时，则将第二深度图像输入深度学习网络中，构建马尔科夫状态空间，随机或是依据深度学习网络决定下一个动作，重复比对最小值与阈值的大小，直到最小值大于设定的阈值。2.如权利要求1所述的方法，其特征在于，在步骤S1中，所述对获取的深度图像进行采样，再进行二次线性插值处理获得深度图像具体过程为，利用高斯金字塔算法平滑处理图像，保留图像的所有边界特征值，通过梯度下采样获得分辨率160*120的图像，然后通过图像二次线性插值法处理降采样后的160*120图像，得到尺寸为80*80*1的深度图像。3.如权利要求2所述的方法，其特征在于，所述图像二次线性插值法处理降采样的具体过程为，根据以下公式对像素在图像矩阵中一个方向上进行线性插值，然后在另一个方向上进行线性插值：其中，x为像素在图像矩阵中x轴的坐标系数，y为像素在图像矩阵中y轴的坐标系数。4.如权利要求1所述的方法，其特征在于，在步骤S3中，所述设定的阈值根据实际车速进行调整，当无人车的转弯半径变大时，则将设定的阈值调大，当无人车的转弯半径变小时，则将设定的阈值调小。5.如权利要求4所述的方法，其特征在于，所述通过运动学约束的方式控制无人车的运动具体为，利用运动学约束的方式控制机器人从当前点平滑地向目标点运动，进一步根据以下公式对目标点到当前点的运动参数进行计算：...

【专利技术属性】
技术研发人员：卜祥津，许松枝，苗成生，修彩靖，钟国旗，
申请(专利权)人：广州汽车集团股份有限公司，
类型：发明
国别省市：