车载图像目标检测方法、系统及计算机可读存储介质技术方案

本发明专利技术公开了一种基于车载AI芯片的城市目标检测的深度学习方法、系统及计算机可读存储介质，涉及计算机视觉中的目标检测领域。方法包括以下步骤：对训练后的所述深度卷积神经网络进行模型转换与量化处理，生成车载端芯片支持的WK格式文件；车载端芯片读取、加载所述WK格式文件，并初始化NNIE对象；读取待检测的目标图像，使用所述NNIE对象对所述目标图像进行转化并将数据转移到所述车载端芯片中进行推理，获得推理的多维向量数组；对所述多维向量数组进行NMS处理，去除冗余框，得到最终结果。可以解决现有的车载目标检测方法对于复杂场景，难以满足实时使用的问题。难以满足实时使用的问题。难以满足实时使用的问题。

【技术实现步骤摘要】
车载图像目标检测方法、系统及计算机可读存储介质


[0001]本专利技术涉及计算机视觉中的目标检测领域，具体是涉及一种车载图像目标检测方法、系统及计算机可读存储介质。

技术介绍

[0002]随着社会经济的发展及城市化进程的加快，机动车保有量逐年激增，行人运动轨迹复杂，导致城市道路承载能力逐渐无法满足机动车无限增长的需求，交通拥堵、交通违章以及交通事故等问题亦随之不断衍生。从交通管理部门的人力资源配置与行车安全角度出发，一方面，车辆与行人的智能检测与感知以及行为分析在保证检测准确率与实时性的同时，可以极大程度地减少交通管理部门人力资源的浪费以及工作人员的压力；另一方面，智能化检测方法的不断提高，可以有效地阻止车祸发生率。从规范化管理与合理调度的角度出发，车辆与行人的智能检测可以获得车辆的类别、位置信息，并依据该信息进一步计算交通流量，分析当前路段的行车状况以及估计车辆行为以方便管理部门从全局的视角统一管理、合理调度，从而保证道路的通行能力。长久以来，车辆的检测与分析之所以成为智能交通领域的研究热点与难点，正是由场景的复杂性以及车辆行为的随机性所导致。雨、雾、拥堵、光照等都会造成车辆的漏检率高且鲁棒性差，为了提高复杂场景下车载车辆检测的准确性、实时性与鲁棒性，对交通管制、行为分析以及智能城市管理具有重要的研究价值，实现通用可移植的车载端边缘计算的智能车辆以及行人的目标检测是一个十分迫切的需求。

技术实现思路

[0003]本专利技术的目的是为了克服上述
技术介绍
的不足，提供一种车载图像目标检测方法、系统及计算机可读存储介质，用于解决现有的车载目标检测方法对于复杂场景检测过程中出现的目标重度遮挡、快速移动、大雨大雾恶劣天气等情况下，容易导致检测准确率低、虚警率高、检测时间长、难以满足实时使用的问题。
[0004]第一方面，提供一种车载图像目标检测方法，包括以下步骤：
[0005]使用测试场景相同的数据作为训练集，设定检测的目标类别数，对预设的深度卷积神经网络进行训练；
[0006]对训练后的所述深度卷积神经网络进行模型转换与量化处理，生成车载端芯片支持的WK格式文件；
[0007]车载端芯片读取、加载所述WK格式文件，并初始化NNIE对象；
[0008]读取待检测的目标图像，使用所述NNIE对象对所述目标图像进行转化并将数据转移到所述车载端芯片中进行推理，获得推理的多维向量数组；
[0009]对所述多维向量数组进行NMS处理，去除冗余框，得到最终结果。
[0010]在第一方面的一种可能实施例中，所述深度卷积神经网络包括基于darknet53的YOLO V3神经网络模型。
[0011]在第一方面的一种可能实施例中，所述对训练后的所述深度卷积神经网络进行模
型转换与量化处理的步骤包括：
[0012]将训练好的YOLO V3神经网络模型利用darknet2caffe工具，转换为caffemodel；
[0013]利用RuyiStudio工具，对caffemodel进行量化操作，将所述YOLO V3神经网络模型量化为所述车载端芯片支持的8bit的WK格式文件。
[0014]在第一方面的一种可能实施例中，所述对所述多维向量数组进行NMS处理，去除冗余框，得到最终结果的步骤包括：
[0015]对所述多维向量数组进行后处理，使用预设的anchor在三种尺度的feature map上进行候选框估计与分数计算，筛选出分数最高的作为选择框，对选择框进行NMS处理，过滤掉多余的框，得到最终的检测框，得到最终结果。
[0016]在第一方面的一种可能实施例中，所述YOLO V3神经网络模型包括YOLOV3
‑
SPP深度网络模型，所述YOLOV3
‑
SPP深度网络模型包括多层卷积计算层和设置在相邻层卷积计算层之间的SPP模块。
[0017]在第一方面的一种可能实施例中，所述卷积计算层至少包括第五层卷积计算层和第六层卷积计算层，所述SPP模块设置在所述第五层卷积计算层和所述第六层卷积计算层之间。
[0018]在第一方面的一种可能实施例中，所述SPP模块包括四个并行的分支模块，所述四个并行的分支模块分别为一个跳跃连接模块和三个最大池化层模块，三个所述最大池化层模块的池化核大小分别为3
×
3、9
×
9、13
×
13。
[0019]第二方面，提供一种车载图像目标检测系统，包括：
[0020]训练模块，用于根据设定检测的目标类别数，并使用测试场景相同的数据作为训练集，对预设的深度卷积神经网络进行训练；
[0021]转化与量化模块，用于对训练后的所述深度卷积神经网络进行模型转换与量化处理，生成车载端芯片支持的WK格式文件；
[0022]车载端芯片，用于读取、加载所述WK格式文件，还用于读取待检测的目标图像；
[0023]NNIE对象，用于对所述目标图像进行转化并将数据转移到所述车载端芯片中进行推理，获得推理的多维向量数组；
[0024]处理模块，用于对所述多维向量数组进行NMS处理，去除冗余框，得到最终结果。
[0025]在第二方面的一种可能实施例中，所述深度卷积神经网络包括基于darknet53的YOLO V3神经网络模型。
[0026]第三方面，提供一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现所述车载图像目标检测方法的所有方法步骤。
[0027]与现有技术相比，本专利技术的优点如下：通过对预设的深度卷积神经网络进行训练，并在训练后进行模型转换与量化处理，生成车载端芯片支持的WK格式文件，以便于读取和加载，使用NNIE对象进行前向推理，并对推理结束的多维向量数组进行NMS处理，实现了多类目标检测算法，可以解决现有的车载目标检测方法对于复杂场景检测过程中出现的目标重度遮挡、快速移动、大雨大雾恶劣天气等情况下，容易导致检测准确率低、虚警率高、检测时间长、难以满足实时使用的问题。
附图说明
[0028]图1是本专利技术车载图像目标检测方法的步骤示意图。
[0029]图2是本专利技术车载图像目标检测系统的SPP模块的可视化网络结构图。
[0030]图3是本专利技术车载图像目标检测系统的YOLO V3
‑
SPP深度网络模型的网络结构图。
[0031]图4是本专利技术车载图像目标检测系统的DBL模块的网络结构图。
[0032]图5是本专利技术车载图像目标检测系统的Res Unit模块的网络结构图。
[0033]图6是本专利技术车载图像目标检测系统的Resn模块的网络结构图。
[0034]图7是本专利技术车载图像目标检测系统使用NNIE对象进行板端神经网络移植与开发的流程图。
具体实施方式
[0035]现在将详细参照本专利技术的具体实施例，在附图中例示了本专利技术的例子。尽管将结合具体实施例描述本专利技术，但将理解，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种车载图像目标检测方法，其特征在于，包括以下步骤：使用测试场景相同的数据作为训练集，设定检测的目标类别数，对预设的深度卷积神经网络进行训练；对训练后的所述深度卷积神经网络进行模型转换与量化处理，生成车载端芯片支持的WK格式文件；车载端芯片读取、加载所述WK格式文件，并初始化NNIE对象；读取待检测的目标图像，使用所述NNIE对象对所述目标图像进行转化并将数据转移到所述车载端芯片中进行推理，获得推理的多维向量数组；对所述多维向量数组进行NMS处理，去除冗余框，得到最终结果。2.如权利要求1所述的车载图像目标检测方法，其特征在于，所述深度卷积神经网络包括基于darknet53的YOLO V3神经网络模型。3.如权利要求2所述的车载图像目标检测方法，其特征在于，所述对训练后的所述深度卷积神经网络进行模型转换与量化处理的步骤包括：将训练好的YOLO V3神经网络模型利用darknet2caffe工具，转换为caffemodel；利用RuyiStudio工具，对caffemodel进行量化操作，将所述YOLO V3神经网络模型量化为所述车载端芯片支持的8bit的WK格式文件。4.如权利要求3所述的车载图像目标检测方法，其特征在于，所述对所述多维向量数组进行NMS处理，去除冗余框，得到最终结果的步骤包括：对所述多维向量数组进行后处理，使用预设的anchor在三种尺度的feature map上进行候选框估计与分数计算，筛选出分数最高的作为选择框，对选择框进行NMS处理，过滤掉多余的框，得到最终的检测框，得到最终结果。5.如权利要求2所述的车载图像目标检测方法，其特征在于，所述YOLO V3神经网络模型包括YOLOV3
‑
SPP深度网络...

【专利技术属性】
技术研发人员：樊盛华，瞿涛，郑昱津，陈曦，汪鼎文，
申请(专利权)人：武汉大学，
类型：发明
国别省市：