一种基于resnet-50改进的车型识别方法技术

本发明专利技术提出基于改进resnet

【技术实现步骤摘要】
一种基于resnet
‑
50改进的车型识别方法


[0001]本专利技术提出一种基于resnet
‑
50改进的车型识别网络，下文称为EMRnet，提高对细粒度识别的精确度，通过可视化界面对输入图片进行预测。属于细粒度识别领域。

技术介绍

[0002]在交通识别应用中，车型识别是研究的关键问题之一。车型识别技术能够和车牌识别技术进行互补，以达到对套牌车辆的打击，因此准确的车型识别的研究意义也更加突出。
[0003]细粒度算法的准确度提升的关键在于是否能在图像中准确定位特征信息。对于常规的数据集，可以进行人为地标明出图像的边界框和特征部分的注释，但是在数据集较大的情况下会耗费大量的人力物力。另一种方法是通过引入注意力机制进行无监督学习，但是这种方法的难点在于如何引导注意力关注到能够区分图像的特征模块。本文专利技术主要针对神经网络resnet
‑
50的改良，通过引入注意力模块，将resnet
‑
50的输出进行修改，采取多分支结构，最后，通过可视化界面对输入图像进行类别预测。

技术实现思路

[0004]针对上述问题，本专利技术的是一种基于改进resnet
‑
50的车型细粒度方法，通过添加ECA注意力模块，在不破坏通道间依赖性的情况下添加通道注意力。同时对resnet
‑
50进行改良，去除resnet
‑
50的最后一层fc，并将layer4经过avgpool 和dropout前后的输出进行训练，分别构成原始分支和对象分支，整体损失函数为原始分支、对象分支和滑动窗口的部分分支的损失之和，最后，使用训练好的模型对细粒度类别之内的图像进行预测，并且分别通过pyqt界面和flask网页端展示出来。
[0005]本专利技术采取如下技术方案：一种基于改进resnet
‑
50的车型细粒度识别的网络EMRnet包括如下步骤：
[0006]1)通过transforms对输入图片进行数据增强的预处理。
[0007]2)向resnet
‑
50网络的Bottleneck块中添加ECA注意力模块，解决了SE 模块降维过程中破坏通道之间依赖性的问题。
[0008]3)对resnet
‑
50网络的输出进行修改，去除最后一个fc层，将经过layer4 裁剪后的输出记为conv5_b，再经过一次layer4得到fm，对fm进行avgpool和 dropout得到embeeding，返回这3个值。
[0009]4)引入注意力定位模块AOLM，对每一个特征图F∈R
C
×
W
×
H
进行叠加，得到激活图计算激活图平均激活值遍历激活图，只保留大于激活值的像素点，从而构成激活定位图。对3)中的conv5_b和 fm同时采用AOLM方法，将它们产生的激活定位图的交集作为最终的激活定位图。
[0010]使用滑动窗口的方法对特征图进行采集，减少计算量，采用极大值抑制法(NMS)，
选取能够表征整体特征的注意力框。
[0011]使用训练好的模型对细粒度类别之内的图像进行预测，并且分别通过pyqt 界面和flask网页端展示出来。
[0012]本专利技术由于采取以上方法，其具有以下优点：
[0013]1、通过使用transforms对输入图片进行数据增强，增强输入图片的鲁棒性。
[0014]2、向resnet中嵌入ECA注意力模块，在不破坏通道之间的依赖性的情况下添加通道注意力。
[0015]3、采用注意力定位同时对fm和conv5_b进行激活定位图的求解，提升注意力定位的准确性。
[0016]4、使用滑动窗口的方法对特征图进行采集，减少计算量。
[0017]5、设计可视化的图形界面，提升用户友好性。
附图说明
[0018]图1本专利技术基本流程图。
[0019]图2特征提取网络EMRnet结构。
[0020]图3本专利技术网络检测过程。
[0021]图4本专利技术网络整体改进后识别效果。
[0022]图5本专利技术网络实现图像预测算法。
[0023]图6，7，8，9本专利技术实现的pyqt预测界面。
[0024]图10，11，12，13本专利技术实现的Web预测界面。
具体实施方式
[0025]下面结合说明书附图通过一个实例对本专利技术做进一步说明，本实例仅为本专利技术其中的一种应用实例。
[0026]步骤1)获取StanfordCars数据集的16185张图像，其中分为训练集8144, 张和测试集8041张，将实验数据集使用transforms进行随机水平垂直翻转，随即遮挡，正则化等数据增强操作。
[0027]本专利技术的特征提取网络EMRnet是在原始resnet
‑
50的基础上改进，如图2 所示，具体步骤为：
[0028]S11)向resnet
‑
50的Bottleneck块中添加ECA注意力模块。
[0029]S12)去除最后一个fc层，将经过layer4裁剪后的输出记为conv5_b，再经过一次layer4得到fm，对fm进行avgpool和dropout得到embeeding，返回这3个值。
[0030]S13)将注意力定位模块AOLM引入到注意力定位中，对每一个特征图进行叠加，得到一个激活图，求激活图的平均值，得到一个激活阈值，通过阈值定位像素点是否应该被激活。
[0031]S14)使用滑动窗口的方法对特征图进行采集，减少计算量，采用极大值抑制法(NMS)，选取能够表征整体特征的注意力框；。
[0032]使用不同的网络结构对数据集StanfordCars进行预测，使用相同的数据增强方法，实验结果如图4所示，经过消融实验，可以判断出对于该数据集ECA 注意力模块是最优
的。
[0033]将训练好的模型保存下来，对于一个预测图片，将其输入到模型当中，通过交叉熵判断出最可能的类型，预测图像的方法如图5所示。
[0034]使用pyqt编程对预测的结果进行可视化的输出，实验结果如图6、7、8、 9所示。
[0035]使用flask编程对预测的结果进行可视化的输出，实验结果如图10、11、 12、13所示。使用CMD执行“运行Web.txt”代码，用IE浏览器打开，且要启用“将本地文件上载至服务器时包含本地目录选项”。
[0036]本专利技术设置的最大迭代次数为50次，初始化学习率为0.01，batch_size 设置为5，使用tesla p100进行训练，在本地进行预测时需要将batch_size设置为1。
[0037]本专利技术的保护范围也并不局限于此，任何熟悉本
的技术人员在本专利技术披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本专利技术的保护范围之内。因此，本专利技术的保护范围应该以权本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进resnet
‑
50的车型细粒度识别方法，包含如下步骤：1)通过transforms对数据集进行数据增强的预处理。2)向resnet网络中添加ECA模块，解决了SE模块降维过程中破坏了通道之间依赖性的问题，提升了通道注意力准确性。3)去除resnet的最后一层fc，并将layer4经过avgpool和dropout前后的输出进行训练，分别构成原始分支和对象分支，整体损失函数为原始分支、对象分支和滑动窗口的部分分支的损失之和。4)引入注意力定位模块，将每一个特征图进行叠加，得到一个激活图，求激活图的平均值，得到一个激活阈值，通过阈值定位像素点是否应该被激活。5)使用滑动窗口的方法对特征图进行采集，减少计算量，采用极大值抑制法(NMS)，选取能够表征整体特征的注意力框。6)使用训练好的模型对细粒度类别之内的图像进行预测，并且分别通过pyqt界面和flask网页端展示出来。2.如权利要求1所述的一种基于改进resnet
‑
50的车型细粒度识别方法及系统，其特征在于：所述步骤1)，具体步骤为：将输入图片裁剪为448
×
448的图片，并且通过随机水平垂直翻转，随机遮挡，正则化等方法...

【专利技术属性】
技术研发人员：郑秋梅，黄昱焜，
申请(专利权)人：中国石油大学华东，
类型：发明
国别省市：