一种基于深度学习与强化学习的车辆识别方法技术

本发明专利技术公开了一种基于深度学习与强化学习的车辆识别方法，在利用深度网络的结构特点上，提供一种深度学习与强化学习结合的方法，将强化学习中的Q‑学习算法应用到深度学习网络中，训练过程仍然使用随机梯度下降算法，提高了深度网络对车辆的识别的能力；其次，加入了基于错分样本学习的强化学习技术，克服了深度学习网络在车辆识别领域现有的技术不足，提升车辆识别性能的同时，也提高了网络的训练效率。

【技术实现步骤摘要】

本专利技术属于模式识别
，更为具体地讲，涉及一种基于深度学习与强化学习的车辆识别方法。
技术介绍
车辆识别是智能交通领域的一个重要课题，设计一个可靠的车辆识别系统主要难点在于车辆间的差异性。深度学习网络由于模拟人的大脑，相比传统的方法对车辆部分遮挡有更强的识别鲁棒性。在现有技术中，常用的方法是通过深层结构来提取抽象特征，再通过抽象特征对车辆进行识别。然而在深度学习网络的训练过程中，常常有如下的问题：与训练传统的三层神经网络相比，深度学习网络由于计算量大以及需要更新的参数更多，导致时间成本增加。其次，深度学习网络在输出误差变化不大时，训练过程会变慢，需要时间过长。本专利技术针对上述问题，引入强化学习的相关技术，克服这些缺点，实现更快速、更高准确率的车辆识别。
技术实现思路
本专利技术的目的在于克服现有技术的不足，提供一种基于深度学习与强化学习的车辆识别方法，通过加入基于错分样本学习的强化学习技术，提升车辆识别的性能，同时也加快了网络的训练速度为实现上述专利技术目的，本专利技术一种基于深度学习与强化学习的车辆识别方法，其特征在于，包括以下步骤：(1)、图像预处理从车辆样本库中提取车辆图像样本，再将提取的车辆图像样本转换为灰度图，并归一化，再对归一化后的每一幅车辆图像样本添加数值标签，即：不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”；(2)、计算第t个车辆图像样本的期望最大回报值(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt，对应的数值标签表述为at，at∈[0,3]；(2.2)、按照Q-学习理论，计算出第t个车辆图像样本的未来回报rt为：rt=Σt′=tTγt′-trt′]]>其中，T是车辆图像样本的总量，γt′-t表示第t个样本对t′个样本的奖励折扣系数；(2.3)、利用最优动作-值函数Q*(x,a)计算出第t个车辆图像样本的期望最大回报值；Qt*(xt,at)＝maxπE[rt|xt＝x,at＝a,π]其中，x泛指车辆图像样本，a泛指数值标签，π是车辆图像样本和数值标签的映射函数，通过选择不同的数值标签at∈a来计算奖励的期望，期望值最大时对应的数值标签即为该车辆图像样本的数值标签；(3)、构建深度学习网络的权值更新方程(3.1)、计算第t个车辆图像样本的目标输出ytyt=E[rt+γmaxat-1Qt-1*(xt-1,at-1;θt-1)|x,a]]]>其中，θt-1表示第t-1个图像样本时的权值参数，γ为折扣系数；(3.2)、通过最小化损失函数Lt(θt)来更新深度学习网络的权值参数Lt(θt)=Ext,at~ρ(·)[(yt-Qt*(xt,at;θt))2]]]>其中，ρ(x,a)是图像样本x和标签a的概率分布，E[·]为求期望；(3.3)、损失函数Lt(θt)对权重θt求导，得到深度学习网络的权值更新方程，并更新权值▿θtLt(θt)=Ext,at~ρ(·)[(rt+γmaxat-1Qt-1*(xt-1,at-1;θt-1)-Qt*(xt,at;θt))▿θtQt*(xt,at;θt)]]]>其中，表示括号内式子对权重θt的求导数；(4)、训练深度学习网络(4.1)、将车辆样本库中的车辆图像样本作为训练样本，将训练样本分为N份，且每一个训练样本均处理成行向量xt，并作为深度学习网络的输入，设置四个输出神经元；(4.2)、根据先验知识确定出训练样本中车辆类别，再以第一份训练样本的行向量xt为输入，输出分别为“1000”，样本中不含车辆；输出为“0100”，样本中为小汽车；输出为“0010”，样本中为卡车；输出为“0001”，样本中为大巴车；通过权值更新方程调节深度学习网络模型中的权值，第一次训练深度学习网络；(4.3)、找出第一份训练样本中实际输出与先验知识不同的训练样本，设共找出n个不同的训练样本，再将该n个训练样本分别进行逆时针旋转2°以及加入σ＝0.2的高斯噪音；(4.4)、在第二份训练样本中随机抽取出n个训练样本，并用步骤(4.3)中处理后的n个训练样本补齐到第二份训练样本中，再用新得到的第二份训练样本按照步骤(4.2)所述方法进行第二次深度学习网络的训练；(4.5)、以此类推，直到第N份训练样本完成深度学习网络的训练，得到最终的深度学习网络；(5)、利用训练好的深度学习网络来识别车辆将待检测的车辆样本图像处理成行向量xt，再输入到训练完毕的深度学习网络，根据深度学习网络的输出结果识别出图像中的车辆情况。本专利技术的专利技术目的是这样实现的：本专利技术一种基于深度学习与强化学习的车辆识别方法，在利用深度网络的结构特点上，提供一种深度学习与强化学习结合的方法，将强化学习中的Q-学习算法应用到深度学习网络中，训练过程仍然使用随机梯度下降算法，提高了深度网络对车辆的识别的能力；其次，加入了基于错分样本学习的强化学习技术，克服了深度学习网络在车辆识别领域现有的技术不足，提升车辆识别性能的同时，也提高了网络的训练效率。附图说明图1是本专利技术基于深度学习与强化学习的车辆识别方法流程图；图2是图像预处理好的车辆样本；图3是深度学习网络的结构模型；图4是对错分样的处理示意图；图5是本专利技术方法与传统三层网络识别效果均方误差对比曲线；图6是利用本专利技术进行车辆识别实例图。具体实施方式下面结合附图对本专利技术的具体实施方式进行描述，以便本领域的技术人员更好地理解本专利技术。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本专利技术的主要内容时，这些描述在这里将被忽略。实施例图1是本专利技术基于深度学习与强化学习的车辆识别方法流程图。在本实施例中，如图1所示，本专利技术一种基于深度学习与强化学习的车辆识别方法，包括以下步骤：(1)、图像预处理在本实施例中，车辆样本库中保存的车辆图像样本主要是使用数码相机以及互联网搜集两种方法得来，采集的车辆图像样本包括多种类型车的不同视角图像，其大小缩放为统一大小28×28。从车辆样本库中提取的车辆图像样本转换为灰度图，并归一化，再对归一化后的每一幅车辆图像样本添加数值标签，即：不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”；如图2所示，按上述方法处理制作好的车辆图像样本，图中左侧三列表示小汽车、卡车、大巴车的图片；右侧三列是不包含车辆的图片；(2)、计算第t个车辆图像样本的期望最大回报值(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt，对应的数值标签表述为at，at∈[0,3]；(2.2)、按照Q-学习理论，计算出第t个车辆图像样本的未来回报rt为：rt=Σt′=tTγt′-trt′]]>其中，T是车辆图像样本的总量，γt′-t表示第t个本文档来自技高网...

【技术保护点】
一种基于深度学习与强化学习的车辆识别方法，其特征在于，包括以下步骤：(1)、图像预处理从车辆样本库中提取车辆图像样本，再将提取的车辆图像样本转换为灰度图，并归一化，再对归一化后的每一幅车辆图像样本添加数值标签，即：不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”；(2)、计算第t个车辆图像样本的期望最大回报值(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt，对应的数值标签表述为at，at∈[0,3]；(2.2)、按照Q‑学习理论，计算出第t个车辆图像样本的未来回报rt为：rt=Σt′=tTγt′-trt′]]>其中，T是车辆图像样本的总量，γt′‑t表示第t个样本对t′个样本的奖励折扣系数；(2.3)、利用最优动作‑值函数Q*(x,a)计算出第t个车辆图像样本的期望最大回报值；Qt*(xt,at)＝maxπE[rt|xt＝x,at＝a,π]其中，x泛指车辆图像样本，a泛指数值标签，π是车辆图像样本和数值标签的映射函数，通过选择不同的数值标签at∈a来计算奖励的期，期望值最大时对应的数值标签即为该车辆图像样本的数值标签；(3)、构建深度学习网络的权值更新方程(3.1)、计算第t个车辆图像样本的目标输出yyt=E[rt+γmaxat-1Qt-1*(xt-1,at-1;θt-1)|x,a]]]>其中，θt‑1表示第t‑1个图像样本时的权值参数，γ为折扣系数；(3.2)、通过最小化损失函数Lt(θt)来更新深度学习网络的权值参数Lt(θt)=Ext,at~ρ(·)[(yt-Qt*(xt,at;θt))2]]]>其中，ρ(x,a)是图像样本x和标签a的概率分布，E[·]为求期望；(3.3)、损失函数Lt(θt)对权重θt求导，得到深度学习网络的权值更新方程，并更新权值▿θtLt(θt)=Ext,at~ρ(·)[(rt+γmaxat-1Qt-1*(xt-1,at-1;θt-1)-Qt*(xt,at;θt))▿θtQt*(xt,at;θt)]]]>其中，表示括号内式子对权重θt的求导数；(4)、训练深度学习网络(4.1)、将车辆样本库中的车辆图像样本作为训练样本，将训练样本分为N份，且每一个训练样本均处理成行向量xt，并作为深度学习网络的输入，设置四个输出神经元；(4.2)、根据先验知识确定出训练样本中车辆类别，再以第一份训练样本的行向量xt为输入，输出分别为“1000”，样本中不含车辆；输出为“0100”，样本中为小汽车；输出为“0010”，样本中为卡车；输出为“0001”，样本中为大巴车；通过权值更新方程调节深度学习网络模型中的权值，第一次训练深度学习网络；(4.3)、找出第一份训练样本中实际输出与先验知识不同的训练样本，设共找出n个不同的训练样本，再将该n个训练样本分别进行逆时针旋转2°以及加入σ＝0.2的高斯噪音；(4.4)、在第二份训练样本中随机抽取出n个训练样本，并用步骤(4.3)中处理后的n个训练样本补齐到第二份训练样本中，再用新得到的第二份训练样本按照步骤(4.2)所述方法进行第二次深度学习网络的训练；(4.5)、以此类推，直到第N份训练样本完成深度学习网络的训练，得到最终的深度学习网络；(5)、利用训练好的深度学习网络来识别车辆将待检测的车辆样本图像处理成行向量xt，再输入到训练完毕的深度学习网络，根据深度学习网络的输出结果识别出图像中的车辆情况。...

【技术特征摘要】
1.一种基于深度学习与强化学习的车辆识别方法，其特征在于，包括以下步骤：(1)、图像预处理从车辆样本库中提取车辆图像样本，再将提取的车辆图像样本转换为灰度图，并归一化，再对归一化后的每一幅车辆图像样本添加数值标签，即：不含车辆的图像添加数值“0”、含小汽车的图像添加数值“1”、含卡车的图像添加数值“2”、含大巴车的图像添加数值“3”；(2)、计算第t个车辆图像样本的期望最大回报值(2.1)、将第t个车辆图像样本按照原始像素值组成的行向量xt，对应的数值标签表述为at，at∈[0,3]；(2.2)、按照Q-学习理论，计算出第t个车辆图像样本的未来回报rt为：rt=Σt′=tTγt′-trt′]]>其中，T是车辆图像样本的总量，γt′-t表示第t个样本对t′个样本的奖励折扣系数；(2.3)、利用最优动作-值函数Q*(x,a)计算出第t个车辆图像样本的期望最大回报值；Qt*(xt,at)＝maxπE[rt|xt＝x,at＝a,π]其中，x泛指车辆图像样本，a泛指数值标签，π是车辆图像样本和数值标签的映射函数，通过选择不同的数值标签at∈a来计算奖励的期，期望值最大时对应的数值标签即为该车辆图像样本的数值标签；(3)、构建深度学习网络的权值更新方程(3.1)、计算第t个车辆图像样本的目标输出yyt=E[rt+γmaxat-1Qt-1*(xt-1,at-1;θt-1)|x,a]]]>其中，θt-1表示第t-1个图像样本时的权值参数，γ为折扣系数；(3.2)、通过最小化损失函数Lt(θt)来更新深度学习网络的权值参数Lt(θt)=Ext,at~ρ(·)[(yt-Qt*(xt,at;θt))2]]]>其中，ρ(x,a)是图像样本x和标签a的概率分布，E[·]为求期望；(3.3)、损失函...

【专利技术属性】
技术研发人员：孟继成，丁乐乐，
申请(专利权)人：电子科技大学，
类型：发明
国别省市：四川;51