一种车辆检测方法、装置、边缘设备和存储介质制造方法及图纸

技术编号:33289585 阅读:22 留言:0更新日期:2022-05-01 00:05
本发明专利技术实施例提出一种车辆检测方法、装置、边缘设备和存储介质。所述方法由边缘设备执行,包括:基于包含车辆的原始图像提取第一图像特征图;基于所述第一图像特征图生成第二图像特征图,其中所述第二图像特征图的感受野大于所述第一图像特征图的感受野;对所述第一图像特征图和所述第二图像特征图执行特征融合处理,以生成特征融合处理后的第三图像特征图;基于所述第三图像特征图检测所述车辆。本发明专利技术实施方式融合不同层次的网络特征,优化网络结构以有利于边缘侧,显著减少了参数量和运行速度,适用于算力资源有限的边缘设备。适用于算力资源有限的边缘设备。适用于算力资源有限的边缘设备。

【技术实现步骤摘要】
一种车辆检测方法、装置、边缘设备和存储介质


[0001]本专利技术属于人工智能
,特别是涉及一种车辆检测方法、装置、边缘设备和存储介质。

技术介绍

[0002]人工智能技术已经与人们的日常生活息息相关。在交通监控系统中,车辆检测与车辆重识别已经变成了非常重要的基础任务。车辆检测可以从图像中检测出车辆,车辆重识别可以起到对目标车辆进行定位、监管的作用。车辆重识别的应用广泛,如目标车辆搜索、跨境车辆跟踪、交通行为分析、自动收费系统、停车场入口、车辆计数等等。随着深度神经网络的兴起和大型数据集的提出,提升车辆重识别的准确度成为近年来计算机视觉和多媒体领域的研究热点。
[0003]在目前实际应用中,车辆检测及其相关应用(比如车辆重识别)的网络结构具有参数量大和运行速度慢的特点,并不适用于算力资源有限的边缘设备(比如摄像头)。

技术实现思路

[0004]本专利技术实施例提出一种车辆检测方法、装置、边缘设备和存储介质。
[0005]本专利技术实施例的技术方案如下:
[0006]一种车辆检测方法,所述方法由边缘设备执行,包括:
[0007]基于包含车辆的原始图像提取第一图像特征图;
[0008]基于所述第一图像特征图生成第二图像特征图,其中所述第二图像特征图的感受野大于所述第一图像特征图的感受野;
[0009]对所述第一图像特征图和所述第二图像特征图执行特征融合处理,以生成特征融合处理后的第三图像特征图;
[0010]基于所述第三图像特征图检测所述车辆。
[0011]在一种示范性实施例中,所述基于所述第一图像特征图生成第二图像特征图包括:
[0012]将所述第一图像特征图输入空间金字塔池化网络以生成所述第二图像特征图,所述金字塔池化网络包含多个卷积核以及拼接部分,其中每个卷积核适配于将所述第一图像特征图转换为具有各自的感受野的各自的图像特征图,所述拼接部分适配于将所述多个卷积核各自提供的、所述各自的图像特征图和所述第一图像特征图拼接为所述第二图像特征图。
[0013]在一种示范性实施例中,所述对所述第一图像特征图和所述第二图像特征图执行特征融合处理包括:
[0014]将所述第一图像特征图和所述第二图像特征图输入特征金字塔网络以执行特征融合操作,所述特征金字塔网络包含下采样部分和上采样部分,其中所述下采样部分和所述上采样部分之间具有横向连接,所述下采样部分适配于对所述第一图像特征图和所述第
二图像特征图执行下采样处理以生成包含高层特征的特征层,所述上采样部分适配于对所述特征层执行上采样处理。
[0015]在一种示范性实施例中,所述基于所述第三图像特征图检测所述车辆包括:基于所述第三图像特征图,输出所述车辆的中心点的位置。
[0016]在一种示范性实施例中,所述方法还包括下列中的至少一个:
[0017]对所述中心点的位置进行校准;
[0018]预测以所述校准后的中心点为中心的检测框的宽度和高度;
[0019]确定适配于重识别所述车辆的车辆特征。
[0020]在一种示范性实施例中,所述基于所述第三图像特征图检测所述车辆为:在网络输出层的第一部分中,基于所述第三图像特征图输出所述车辆的中心点的位置;
[0021]所述方法还包括:
[0022]在所述网络输出层的第二部分中,对所述中心点的位置进行校准;
[0023]在所述网络输出层的第三部分中,预测以所述校准后的中心点为中心的检测框的宽度和高度;
[0024]在所述网络输出层的第四部分中,确定适配于重识别所述车辆的车辆特征;
[0025]其中基于损失函数L
total
对包含所述金字塔池化网络、所述特征金字塔网络和所述网络输出层的整体网络进行训练,其中网络输出层的整体网络进行训练,其中
[0026]其中L
heat
为中心点损失函数;L
off
为中心点校准损失函数;L
size
为检测框的宽度和高度的损失函数;L
th
为确定车辆特征的损失函数;e是自然对数的底数;w1为第一预设权值,w2为第二预设权值。
[0027]一种车辆检测装置,所述装置包含在边缘设备中,包括:
[0028]提取模块,被配置为基于包含车辆的原始图像提取第一图像特征图;
[0029]生成模块,被配置为基于所述第一图像特征图生成第二图像特征图,其中所述第二图像特征图的感受野大于所述第一图像特征图的感受野;
[0030]融合模块,被配置为对所述第一图像特征图和所述第二图像特征图执行特征融合处理,以生成特征融合处理后的第三图像特征图;
[0031]检测模块,被配置为基于所述第三图像特征图检测所述车辆。
[0032]在一种示范性实施例中,所述生成模块,被配置为将所述第一图像特征图输入空间金字塔池化网络以生成所述第二图像特征图,所述金字塔池化网络包含多个卷积核以及拼接部分,其中每个卷积核适配于将所述第一图像特征图转换为具有各自的感受野的各自的图像特征图,所述拼接部分适配于将所述多个卷积核各自提供的、所述各自的图像特征图和所述第一图像特征图拼接为所述第二图像特征图。
[0033]在一种示范性实施例中,所述融合模块,被配置为将所述第一图像特征图和所述第二图像特征图输入特征金字塔网络以执行特征融合操作,所述特征金字塔网络包含下采样部分和上采样部分,其中所述下采样部分和所述上采样部分之间具有横向连接,所述下采样部分适配于对所述第一图像特征图和所述第二图像特征图执行下采样处理以生成包
含高层特征的特征层,所述上采样部分适配于对所述特征层执行上采样处理。
[0034]在一种示范性实施例中,所述检测模块,被配置为基于所述第三图像特征图,输出所述车辆的中心点的位置。
[0035]在一种示范性实施例中,所述检测模块,还被配置为执行下列中的至少一个:
[0036]对所述中心点的位置进行校准;
[0037]预测以所述校准后的中心点为中心的检测框的宽度和高度;
[0038]确定适配于重识别所述车辆的车辆特征。
[0039]在一种示范性实施例中,所述检测模块,被配置为在网络输出层的第一部分中,基于所述第三图像特征图输出所述车辆的中心点的位置;在所述网络输出层的第二部分中,对所述中心点的位置进行校准;在所述网络输出层的第三部分中,预测以所述校准后的中心点为中心的检测框的宽度和高度;在所述网络输出层的第四部分中,确定适配于重识别所述车辆的车辆特征;该装置还包括:
[0040]训练模块,被配置为基于损失函数L
total
对包含所述金字塔池化网络、所述特征金字塔网络和所述网络输出层的整体网络进行训练,其中字塔网络和所述网络输出层的整体网络进行训练,其中
[0041]其中L
heat
为中心点损失函数;L
off
为中心点校准损失函数;L...

【技术保护点】

【技术特征摘要】
1.一种车辆检测方法,其特征在于,所述方法由边缘设备执行,包括:基于包含车辆的原始图像提取第一图像特征图;基于所述第一图像特征图生成第二图像特征图,其中所述第二图像特征图的感受野大于所述第一图像特征图的感受野;对所述第一图像特征图和所述第二图像特征图执行特征融合处理,以生成特征融合处理后的第三图像特征图;基于所述第三图像特征图检测所述车辆。2.根据权利要求1所述的车辆检测方法,其特征在于,所述基于所述第一图像特征图生成第二图像特征图包括:将所述第一图像特征图输入空间金字塔池化网络以生成所述第二图像特征图,所述金字塔池化网络包含多个卷积核以及拼接部分,其中每个卷积核适配于将所述第一图像特征图转换为具有各自的感受野的各自的图像特征图,所述拼接部分适配于将所述多个卷积核各自提供的、所述各自的图像特征图和所述第一图像特征图拼接为所述第二图像特征图。3.根据权利要求2所述的车辆检测方法,其特征在于,所述对所述第一图像特征图和所述第二图像特征图执行特征融合处理包括:将所述第一图像特征图和所述第二图像特征图输入特征金字塔网络以执行特征融合操作,所述特征金字塔网络包含下采样部分和上采样部分,其中所述下采样部分和所述上采样部分之间具有横向连接,所述下采样部分适配于对所述第一图像特征图和所述第二图像特征图执行下采样处理以生成包含高层特征的特征层,所述上采样部分适配于对所述特征层执行上采样处理。4.根据权利要求3所述的车辆检测方法,其特征在于,所述基于所述第三图像特征图检测所述车辆包括:基于所述第三图像特征图,输出所述车辆的中心点的位置。5.根据权利要求4所述的车辆检测方法,其特征在于,所述方法还包括下列中的至少一个:对所述中心点的位置进行校准;预测以所述校准后的中心点为中心的检测框的宽度和高度;确定适配于重识别所述车辆的车辆特征。6.根据权利要求4所述的车辆检测方法,其特征在于,所述基于所述第三图像特征图检测所述车辆为:在网络输出层的第一部分中,基于所述第三图像特征图输出所述车辆的中心点的位置;所述方法还包括:在所述网络输出层的第二部分中,对所述中心点的位置进行校准;在所述网络输出层的第三部分中,预测以所述校准后的中心点为中心的检测框的宽度和高度;在所述网络输出层的第四部分中,确定适配于重识别所述车辆的车辆特征;其中基于损失函数L
total
对包含所述金字塔池化网络、所述特征金字塔网络和所述网络输出层的整体网络进行训练,其中
其中L
heat
为中心点损失函数;L
off
为中心点校准损失函数;L
size
为检测框的宽度和高度的损失函数;L
th
为确定车辆特征的损失函数;e是自然对数的底数;w1为第一预设权值,w2为第二预设权值。7.一种车辆检测装置,其特征在于,所述装置包含在边缘设备中,包括:提取模块,被配置为基于包含车辆的原始图像提取第一图像特征图;生成模块,被配置为基于所述第一图像...

【专利技术属性】
技术研发人员:王振亚艾国杨作兴房汝明向志宏
申请(专利权)人:杭州研极微电子有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1