基于强化学习的车型识别方法技术

本发明专利技术公开了一种基于强化学习的车型识别方法，旨在充分挖掘CNN在特征提取和分类识别方面的优势，为实现准确鲁棒的车型精细化识别提供解决方案。其特征在于模仿人类视觉注意机制，设计基于分类显著性强的视觉注意模型和视点自动选择方法，视觉注意模型特征在于构建注意映射矩阵和视点聚焦模板，视点自动选择模型特征在于利用基于SARSA的强化学习算法进行视点的自主选择，使得模型能够自适应地选择最佳图像识别区域，取得最佳车型识别效果。本发明专利技术方法不仅能克服传统人工提取特征算法无法适应车辆在图像中位置、尺度和轮廓发生变化的弊端，而且能有效应对摄像机拍摄角度改变和车辆遮挡带来的挑战。

Vehicle recognition method based on Reinforcement Learning

【技术实现步骤摘要】
基于强化学习的车型识别方法
本专利技术涉及计算机视觉
，特别涉及一种基于强化学习的车型识别方法。
技术介绍
人类获取信息的主要途径是通过视觉实现的，随着计算机技术的研究和发展，人们开始用计算机来模拟人类视觉的功能，来代替人眼及大脑对景物环境进行感知、解释和理解，由此产生了计算机视觉这一门学科。计算机视觉是人工智能领域的热门学科，它融合了信号处理、模式识别、应用数学、神经生理学等学科的领域的研究方法与成果，是一门综合性的学科。在计算机视觉领域中，车型识别是一个基础性的问题，而车型识别主要在于识别车辆显著性特征。在车辆显著性特征的选择方面，心理学实验已经证明：视觉神经节细胞层的神经元主要携带有关颜色、纹理、形状和视差等初级特征信息。人们仅仅依靠初级视觉特征无法完成认知世界的任务，因此在视觉认知过程中还涉及复杂的处理机制来深入加工这些初级视觉特征，形成对视觉分类起作用的深度特征。借鉴人脑的视觉特征处理机制，基于CNN充分挖掘车辆特征的多样性和分类显著性，并对生成的车辆特征进行优化联合形成互补特征，将提高车辆特征的表达能力。本专利技术旨在模仿人类视觉认知过程中的视觉注意机制，在视觉注意机制的引导下增强计算机视觉学习和识别的针对性，并且充分挖掘CNN在特征提取和分类识别方面的优势，研究旨在提高车型精细化识别能力的车辆显著性特征优化联合方法和显著性部件区域自动选择模型，为实现准确鲁棒的车型精细化在线识别提供解决方案。
技术实现思路
专利技术目的：本专利技术的目的是提供一种基于强化学习的车型识别方法，主要针对摄像机拍摄角度改变和车辆遮挡带来的挑战和人工经验方法无法适应车辆在图像中的位置、尺度和轮廓的变化，提供了一种基于强化学习的车型识别方法。技术方案：本专利技术所述的基于强化学习的车型识别方法，包括以下步骤：步骤1：采用由监控摄像头拍摄的车辆图片组成数据集，并且从数据集中按次序读取输入图像X；步骤2：构建一个视点聚焦器，视点聚焦器包括两个部分，即一个映射聚焦函数和一个聚焦模板集，其中映射聚焦函数计算公式如下：Xf＝fd(X,φ)＝φ⊙X(1)在这里，和是原始图像和聚焦图像的像素矩阵，M和N是一幅图像的高度和宽度，是视点权重矩阵并且⊙定义了逐个元素相乘；聚焦模板集是指视点确定后所得到的不同形状清晰图像的范围的集合；视点聚焦器的作用是将原始图像X变换到聚焦图像Xf，使图像中的感兴趣部位清晰，其他部位模糊；步骤3：初始化原始图像X的一个视觉聚焦点，并将原始图像X输入到视点聚焦器中得到聚焦图像Xf，并将初始区域加到关键区域集合；步骤4：采用改进的VGG16作为检测模型，将VGG16模型中最后一层全连接层fc8层去掉，采用输出是5类的新的全连接层fc8'，并将数据集输入从而来对整个网络的参数进行训练，得到最终的检测模型；步骤5：利用检测模型即改进的VGG16模型输出属于每种车型的概率Pc，定义作为模型的概率预测分布，C是所有车型的数量，pc表示输入的聚焦图像属于C类的可能性，采用Pc最大的值作为输入图像的最后分类，如下面公式表示：步骤6：计算当前聚焦图像Xf的分类概率P的信息熵H(P)，利用信息熵作为评价指标来评价聚焦图像结果的可信度，信息熵的计算公式如下：用常量因子归一化信息熵，有：步骤7：利用强化学习来建立视点自主选择模型，由信息熵的变化来表征当前状态的奖赏值，设计一个奖赏函数Ra(s,s')来映射每个状态到一个标量，以表达状态的内在期望；视点聚焦器把当前状态s和奖励r反馈到基于SARSA算法的视点自动选择模型中选择下一个视点，接着利用轮盘赌法从聚焦模板集中选取一个模板，，该模板集有不同形状特性的模板组成，从而产生原始图像X的另一幅聚焦图像X'f；步骤8：循环步骤4、5以及6，不断地叠加搜索关键区域，找到所有对车型识别有效的关键区域，当检测网络输出的结果比阈值有更高的可信度或者被发现的关键区域比给定的阈值多，停止搜索关键区域；步骤9：在原始图像X上标注出所有关键区域，得到车辆显著性部件区域，使检测模型输出可信度高的分类结果，最终的车型分类类别用公式2表示。有益效果：本专利技术的基于强化学习SARSA算法的车型识别方法模仿人类注意机制，研究基于分类显著性强的视点自动选择方法和视觉注意模型，提高车型精细化识别的准确性和鲁棒性；本专利技术充分挖掘CNN在特征提取和分类识别方面的优势，研究旨在提高车型精细化识别能力的车辆显著性特征优化联合方法和显著性部件区域自动选择模型，为实现准确鲁棒的车型精细化在线识别提供解决方案；本专利技术通过构建基于注意映射矩阵的视觉注意模型和基于强化学习SARSA算法的视点选择模型能有效应对摄像机拍摄角度改变和车辆遮挡带来的挑战和改善依靠传统人工算法确定的关键部件区域在在后续的识别过程中无法适应车辆在图像中的位置、尺度和轮廓的变化的缺点。附图说明图1是本专利技术的车型识别方法流程图；图2是原始图像；图3是聚焦图像。具体实施方式如图1所示，一种基于强化学习的车型识别方法，包括以下步骤：步骤1：由监控摄像头拍摄的车辆图片组成数据集，数据集中的所有车辆总共分为5种车型，分别是sedan,van,truck,SUV,coach。并且从数据集中按次序读取输入图像X，输入图像的格式为JPEG,尺寸为150×150；步骤2：构建一个视点聚焦器，即通过构造一个映射聚焦函数和一个聚焦模板集将原始图像X变换到聚焦图像Xf，使图像中的感兴趣部位清晰，其他部位模糊；(1)映射聚焦函数计算公式如下：Xf＝fd(X,φ)＝φ⊙X在这里，和是原始图像和聚焦图像的像素矩阵，M和N是一幅图像的高度和宽度，是视点权重矩阵并且⊙定义了逐个元素相乘。视点权重矩阵φ与给定的聚焦点(u,v)以及(u,v)和图像中的另一个点(i,j)的距离r相联系起来。(2)视点权重矩阵中的元素φij被认为是图像在位置(i,j)的像素上的注意比例，元素φij用来计算，这在实际执行过程中是被设置为随机选择的。在其中调节参数α和β决定了函数的形状，通过训练来修正。当α＝-0.0446，β＝60时，有最好的验证准确率和恰当的训练时间。(3)聚焦模板集是指视点确定后所得到的不同形状清晰图像的范围的集合，模板集具体包括尺寸为80×60像素的原始矩形框，80×80像素的原始正方形框，80像素为直径的原始圆形框；以及这些原始框经过1.2倍和1.6倍放大后的框，在自主选定视点后，再选取一个模板，从而将原始图像转化成聚焦图像；步骤3：随机选择一幅输入图像的一个视觉注意点作为初始化输入，基于这个视觉注意点通过映射注意函数将原始图像X变换到聚焦图像Xf，并作为初始关键区域加入到关键区域集合；步骤4：采用模型微调的方式改进的VGG16作为检测模型，(1)将VGG16中的fc8层去掉，采用输出是5类的新的层fc8'；(2)并将数据集输入从而对整个网络的参数进行训练，得到最终的检测模型；步骤5：采用ResNet101作为检测模型，模型输出的是属于每种车型的概率Pc，定义作为模型的概率预测分布，C是所有车型的数量，pc表示输入的聚焦图像属于C类的可能性，采用Pc最大的值作为输入图像的最后分类，如下面公式表示：(1)读取输入的聚焦图像Xf，调用深度学习框架中keras中的内置函数ImageDataGenerator本文档来自技高网...

【技术保护点】
1.一种基于强化学习的车型识别方法，其特征在于以下步骤：步骤1：采用由监控摄像头拍摄的车辆图片组成数据集，并且从数据集中按次序读取输入图像X；步骤2：构建一个视点聚焦器，视点聚焦器包括两个部分，即一个映射聚焦函数和一个聚焦模板集，其中映射聚焦函数计算公式如下：Xf＝fd(X,φ)＝φ⊙X                            (1)在这里，

【技术特征摘要】
1.一种基于强化学习的车型识别方法，其特征在于以下步骤：步骤1：采用由监控摄像头拍摄的车辆图片组成数据集，并且从数据集中按次序读取输入图像X；步骤2：构建一个视点聚焦器，视点聚焦器包括两个部分，即一个映射聚焦函数和一个聚焦模板集，其中映射聚焦函数计算公式如下：Xf＝fd(X,φ)＝φ⊙X(1)在这里，和是原始图像和聚焦图像的像素矩阵，M和N是一幅图像的高度和宽度，是视点权重矩阵并且⊙定义了逐个元素相乘；聚焦模板集是指视点确定后所得到的不同形状清晰图像的范围的集合；视点聚焦器的作用是将原始图像X变换到聚焦图像Xf，使图像中的感兴趣部位清晰，其他部位模糊；步骤3：初始化原始图像X的一个视觉聚焦点，并将原始图像X输入到视点聚焦器中得到聚焦图像Xf，并将初始区域加到关键区域集合；步骤4：采用改进的VGG16作为检测模型，将VGG16模型中最后一层全连接层fc8层去掉，采用输出是5类的新的全连接层fc8'，并将数据集输入从而来对整个网络的参数进行训练，得到最终的检测模型；步骤5：利用检测模型即改进的VGG16模型输出属于每种车型的概率Pc，定义作为模型的概率预测分布，C是所有车型的数量，pc表示输入的聚焦图像属于C类的可能性，采用Pc最大的值作为输入图像的最后分类，如下面公式表示：步骤6：计算当前聚焦图像Xf的分类概率P的信息熵H(P)，利用信息熵作为评价指标来评价聚焦图像结果的可信度，信息熵的计算公式如下：用常量因子归一化信息熵，有：步骤7：利用强化学习来建立视点自主选择模型，由信息熵的变化来表征当前状态的奖赏值，设计一个奖赏函数Ra(s,s')来映射每个状态到一个标量，以表达状态的内在期望；视点聚焦器把当前状态s和奖励r反馈到基于SARSA算法的视点自动选择模型中选择下一个视点，接着利用轮盘赌法从聚焦模板集中选取一个模板，该模板集有不同形状特性的模板组成，从而产生原始图像X的另一幅聚焦图像X'f；步骤8：循环步骤4、5以及6，不断地叠加搜索关键区域，找到所有对车型识别有效的关键区域，当检测网络输出的结果比阈值有更高的可信度或者被发现的关键区域比给定的阈值多，停止搜索关键区域；步骤9：在原始图像X上标注出所有关键区域，得到车辆显著性部件区域，使检测模型输出可信度高的分类结果，最终的车型分类类别用公式2表示。2.根据权利要求1所述的基于强化学习的车型识别方法，其特征在于在步骤2中，视点聚焦器中的权重矩阵φ与给定的聚焦点(u,v)以及(u,v)和图像中的另一个...

【专利技术属性】
技术研发人员：孙伟，张国策，张小瑞，张旭，孙敏，
申请(专利权)人：南京信息工程大学，
类型：发明
国别省市：江苏,32