一种图像目标检测方法及系统技术方案

本发明专利技术涉及机器视觉技术领域，提出一种图像目标检测方法及系统，包括以下步骤：构建用于图像目标检测的第一网络模型、第二网络模型和第三网络模型；其中，第一网络模型、第二网络模型和第三网络模型中包括特征提取模块、特征融合模块和输出模块；其中，第一网络模型中的特征提取模块经过网络压缩得到，第二网络模型中的特征提取模块引入瓶颈结构，第三网络模型中的特征提取模块和特征融合模块采用FPN结构；根据第一网络模型、第二网络模型和第三网络模型分别生成相应的IP核，然后将IP核经过设计后搭载在硬件系统上；获取待检测的图像并对其进行预处理，根据图像的规格调用硬件系统上适配的IP核执行图像目标检测，输出得到目标检测结果。测结果。测结果。

【技术实现步骤摘要】
一种图像目标检测方法及系统


[0001]本专利技术涉及机器视觉
，更具体地，涉及一种图像目标检测方法及系统。

技术介绍

[0002]图像处理是信息时代的一项关键技术，它为电子系统提供了感知、分析和塑造世界的能力。传统的图像处理技术主要集中在某些数学算法或特征描述符上，自本世纪初以来，受生物启发的深度神经网络(DNN)获得广泛青睐。作为机器视觉领域的基本方向之一，目标检测技术经过几十年的发展，已获得大量成熟且完善的研究成果。
[0003]当前的图像目标检测方法主要是通过神经网络进行深度学习，用于目标检测的神经网络算法领域近年来产生了较多标志性的网络，具有代表性的YOLO系列算法就在测试速度和准确率两个重要指标上均展现了良好的成效。而目前对深度学习进行加速的计算平台绝大多数是采用GPU，虽然能够实现实时处理，但同时也存在着功耗高和资源利用率低的弊端。对于大尺寸的图像目标检测处理，YOLO系列算法需要使用更多层数的卷积层进行特征提取，随着网络深度的增加，需要逐步提取中层次特征以及高层次综合特征，每一尺寸的特征提取需要的卷积层数达到了三层甚至更高的层数，因此目前的目标检测的神经网络算法难以满足一些实际场合(如网络边缘和移动应用场景)低成本与低功耗的需求。

技术实现思路

[0004]本专利技术为克服上述现有技术中用于图像目标检测的神经网络算法计算成本高、功耗高的缺陷，提供一种图像目标检测方法及系统。
[0005]为解决上述技术问题，本专利技术的技术方案如下：
[0006]一种图像目标检测方法，包括以下步骤：
[0007]S1、构建用于图像目标检测的第一网络模型、第二网络模型和第三网络模型；所述第一网络模型、第二网络模型和第三网络模型中包括特征提取模块、特征融合模块和输出模块；其中，所述第一网络模型和第二网络模型中的特征提取模块均包含轻量型特征提取主干网；所述第二网络模型中的特征提取模块在所述轻量型特征提取主干网上引入瓶颈结构，所述第三网络模型中的特征提取模块和特征融合模块采用FPN结构；
[0008]S2、根据所述第一网络模型、第二网络模型和第三网络模型分别生成相应的数字集成电路IP核，然后将所述数字集成电路IP核搭载在硬件系统上；
[0009]S3、获取待进行目标检测的图像并对其进行预处理，根据所述图像的规格调用所述硬件系统上适配的数字集成电路IP核执行图像目标检测运算，输出得到目标检测结果。
[0010]进一步地，本专利技术还提出了一种图像目标检测系统，应用于上述技术方案提出的图像目标检测方法。图像目标检测系统包括搭载有数字集成电路IP核的硬件系统，用于对输入的图像进行图像目标检测；所述数字集成电路IP核中包括基于第一网络模型、第二网络模型和第三网络模型中任一模型的经过数字电路连接设计的计算模块；其中，所述第一网络模型和第二网络模型中的特征提取模块均包含轻量型特征提取主干网；所述第二网络
模型中的特征提取模块在所述轻量型特征提取主干网上引入瓶颈结构，所述第三网络模型中的特征提取模块和特征融合模块采用FPN结构。
[0011]与现有技术相比，本专利技术技术方案的有益效果是：本专利技术通过构建轻量化的用于图像目标检测的网络模型，针对软件算法部分进行加速优化，并将其移植到低功耗低成本的异构平台加速设备上，以降低图像目标检测的神经网络算法计算成本及功耗；本专利技术还通过对硬件设计方式实现计算加速，在资源受限的嵌入式开发板上实现低计算成本、低功耗的实时目标检测。
附图说明
[0012]图1为本专利技术的图像目标检测方法的流程图。
[0013]图2为本专利技术的第一网络模型Lite
‑
1的架构图。
[0014]图3为本专利技术的第二网络模型Lite
‑
2的架构图。
[0015]图4为本专利技术的第三网络模型Lite
‑
3的架构图。
[0016]图5为实施例1中第一网络模型与第二网络模型的性能对比图。
[0017]图6为实施例1中第一网络模型和第二网络模型的速度与精度对比图。
[0018]图7为实施例2中目标检测系统软硬件整体设计的流程图。
[0019]图8为实施例2中软件控制程序设计流程图。
[0020]图9为实施例2中硬件系统的架构图。
[0021]图10为实施例2中ARM+FPGA的异构计算平台的内部资源分布架构图。
[0022]图11～图13为实施例2中纯软件平台与搭载第三网络模型的异构平台的检测结果对比图。
[0023]图14为实施例3中基于HLS和网口访问设计的硬件系统的整体架构及设计流程图。
[0024]图15为实施例3中目标检测硬件系统的综合电路结构。
[0025]图16为实施例3中PL逻辑运算顶层设计与外部存储DDR的连接示意图。
[0026]图17为实施例3中目标检测硬件加速IP核内部功能模块及其连接关系示意图。
[0027]图18为实施例3中目标检测硬件加速IP核内部结构及其和与外部IP核的连接示意图。
具体实施方式
[0028]附图仅用于示例性说明，不能理解为对本专利的限制；
[0029]对于本领域技术人员来说，附图中某些公知结构及其说明的可能的省略是可以理解的。
[0030]下面结合附图和实施例对本专利技术的技术方案做进一步的说明。
[0031]实施例1
[0032]本实施例提出一种图像目标检测方法，如图1所示，为本实施例的图像目标检测方法的流程图。
[0033]本实施例提出的图像目标检测方法中，包括以下步骤：
[0034]S1、构建用于图像目标检测的第一网络模型Lite
‑
1、第二网络模型Lite
‑
2和第三网络模型Lite
‑
3。
[0035]S2、将所述第一网络模型、第二网络模型和第三网络模型分别通过HLS工具设计相应的计算模块并生成IP核，然后将所述IP核经过设计后搭载在硬件系统上。
[0036]S3、获取待进行目标检测的图像并对其进行预处理，根据所述图像的规格调用所述硬件系统上适配的运算IP核执行图像目标检测，输出得到目标检测结果。
[0037]本实施例中，所述第一网络模型和第二网络模型中的特征提取模块均包含轻量型特征提取主干网；所述第二网络模型中的特征提取模块在所述轻量型特征提取主干网上引入瓶颈结构，所述第三网络模型中的特征提取模块和特征融合模块采用FPN结构。
[0038]在一具体实施例中，所述第一网络模型为经过网络压缩的YOLO v2神经网络，所述第二网络模型为引入瓶颈结构的YOLO v2神经网络，所述第三网络模型为采用FPN结构的YOLO v4神经网络。如图2～4所示，分别为第一网络模型、第二网络模型和第三网络模型的架构图。
[0039]传统的YOLO v2神经网络对于图片的特征提取操作主要由Darknet
‑
19网络实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像目标检测方法，其特征在于，包括以下步骤：S1、构建用于图像目标检测的第一网络模型、第二网络模型和第三网络模型；所述第一网络模型、第二网络模型和第三网络模型中包括特征提取模块、特征融合模块和输出模块；其中，所述第一网络模型和第二网络模型中的特征提取模块均包含轻量型特征提取主干网；所述第二网络模型中的特征提取模块在所述轻量型特征提取主干网上引入瓶颈结构，所述第三网络模型中的特征提取模块和特征融合模块采用FPN结构；S2、根据所述第一网络模型、第二网络模型和第三网络模型分别生成相应的数字集成电路IP核，然后将所述数字集成电路IP核搭载在硬件系统上；S3、获取待进行目标检测的图像并对其进行预处理，根据所述图像的规格调用所述硬件系统上适配的数字集成电路IP核执行图像目标检测运算，输出得到目标检测结果。2.根据权利要求1所述的图像目标检测方法，其特征在于，所述轻量型特征提取主干网中包括若干特征提取卷积层，其中所有分辨率尺寸的特征提取卷积层压缩为1层。3.根据权利要求1所述的图像目标检测方法，其特征在于，所述第三网络模型中的FPN结构包含一个自底向上的特征提取路径和一个自顶向下的特征融合路径；所述特征提取模块设置在所述特征提取路径上对尺寸递减的特征图进行特征提取和抽样，所述特征融合模块设置在所述特征融合路径上对尺寸递增的特征图进行特征融合。4.根据权利要求1所述的图像目标检测方法，其特征在于，所述特征提取模块包括Conv基本卷积单元和ResBlock残差单元；所述输出模块包括多个并行的输出端结构，用于生成对应尺寸的特征图解码信息以实现目标预测；所述输出端结构至少包括依次连接的特征图通道数调整层、归一化层、非线性转换层和特征整合层；所述输出模块通过将多个所述输出端结构输出的所述特征图解码信息进行融合判断得到最终目标检测结果。5.根据权利要求1所述的图像目标检测方法，其特征在于，所述S3步骤中，所述硬件系统运行时执行以下步骤：(1)数据导入：导入比特流文件，读取所述硬件配置文件，并为即将使用的权重、图像、偏置数据申请内存；(2)图像预处理：对读取的图片数据进行加工与重组，将任意尺寸的图片按比例缩放为预设的尺寸大小后储存为数组；并将用于储存图片数据的数组由三维空间变量压缩为一维变量，同时进行数值变换，将浮点数变换为硬件可计算的无符号整型数；(3)搭建网络及参数设置：基于所述第一网络模型、第二网络模型和第三网络模型中各模块进行硬件层次调用以及网络运行所需的参数设置，所述参数包括层数、层类型、特征图输入输出尺寸以及硬件资源地址访问信息；(4)特征提取：根据所述第一网络模型、第二网络模型和第三网络模型以及设置的参数对预处理图片的卷积与池化操作，得到图像待检测目标分类与定位信息；(5)图像后处理：对图像待检测目标分类与定位信息的数据结果进行分析，消除重合度较高的冗余预测框；根据图像待检测目标分类与定位信息，计算预测框的预测值，并根据所述预测值进行修正，得到检测目标的精确定位，并在图像中显示检测框。6.根据权利要求1～5任一项所述的图像目标检测方法，其特征在于，所述S2步骤包括：根据所述第一网络模型、第二网络模型和/或第三网络模型，分别进行数字硬件电路设计，在完成硬件电路设计后综合成数字集成电路IP核；
导入生成的数字集成电路IP核并构建相应的数字电路计算单元，创建顶层文件以及添加计算资源约束后进行综合仿真，最终生成目标检测硬件电路的比特流文件；根据所述比特流文件进行系统环境配置，包括创建计算资源支持包并建立应用工程进行功能开发与测试，生成可执行文件；将所述比特流文件和所述可执行文件下载到板载芯片上，得到用于图像目标检测的硬件系统。7.根据权利要求6所述的图像目标检测方法，其特征在于，所述硬件系统包括用于数据传输以及分...

【专利技术属性】
技术研发人员：骆爱文，李媛，路畅，刘旭彬，陈之奂，郑烨，易清明，
申请(专利权)人：暨南大学，
类型：发明
国别省市：