一种面向嵌入式平台的轻量化目标检测方法技术

本发明专利技术为一种面向嵌入式平台的轻量化目标检测方法，其克服了现有技术中存在的网络参数量大、检测速度慢、精度指标较差的问题。本发明专利技术不仅解决解决目前检测方法在嵌入式设备部署中存在速度慢、精确度低等问题，并且从硬件层面上针对特定算子进行计算图优化，使受限资源设备上能够实现快速精准的目标检测。本发明专利技术包括以下步骤：步骤1：获取基础数据并制作数据集；步骤2：数据增强预处理；步骤3：构建基准网络模型并进行预训练；步骤4：搭建轻量化检测网络模型；步骤5：对整体的网络结构进行重参数化操作并剪枝；步骤6：知识蒸馏恢复精度；步骤7：嵌入式平台的部署与加速。嵌入式平台的部署与加速。嵌入式平台的部署与加速。

【技术实现步骤摘要】
一种面向嵌入式平台的轻量化目标检测方法

：
[0001]本专利技术属于计算机视觉与嵌入式开发
，涉及一种面向嵌入式平台的轻量化目标检测方法。

技术介绍
：
[0002]目标检测是近年来的前沿技术，属于计算机视觉的一个研究分支，具有很好的泛化性、准确性。例如：在水利领域的污染及异物检测、以及在密集人群异常检测方面具有很大的应用价值。它能够在大量的训练数据中提取对象的特征，为实现目标检测及嵌入式平台的硬件加速成为可能。
[0003]当前，目标检测算法绝大多数是以服务器为主要的模型训练及正向推理的平台，嵌入式设备受限于自身的算力及体积功耗等相关的因素，大多存在难以部署在嵌入式设备、或部署后精度及速度指标较差的问题。因此，在嵌入式平台上开发和部署一套快速的目标检测算法，能够有效提高水利场景下的巡检、以及密集人群下的异常检测自动化程度。

技术实现思路
：
[0004]本专利技术的目的在于提供一种面向嵌入式平台的轻量化目标检测方法，其克服了现有技术中存在的网络参数量大、检测速度慢、精度指标较差的问题。本专利技术不仅解决解决目前检测方法中存在速度慢、精确度低等问题，并且从硬件层面上针对特定算子进行计算图优化，使受限资源设备上能够实现快速精准的目标检测。
[0005]为实现上述目的，本专利技术采用的技术方案为：
[0006]1、一种面向嵌入式平台的轻量化目标检测方法，其特征在于：包括以下步骤：
[0007]步骤1：获取基础数据并制作数据集；
[0008]步骤2：数据增强预处理；
[0009]步骤3：构建基准网络模型并进行预训练；
[0010]步骤4：搭建轻量化检测网络模型；
[0011]步骤5：对整体的网络结构进行重参数化操作并剪枝；
[0012]步骤6：知识蒸馏恢复精度；
[0013]步骤7：嵌入式平台的部署与加速。
[0014]步骤4中
[0015]轻量化检测网络模型包括骨干网络、颈部网络和检测头三个部分；
[0016]骨干网络部分采用改进的ResNet50结构，过程是：输入416
×
416分辨率的图像，通过图像增强等预处理后输入网络，依次生成52
×
52,26
×
26,13
×
13大小的特征图，采用了步长为二的卷积操作对特征图进行下采样，每一层级的特征提取采用多个基本残差块为基础单元叠加的形式，将所述的ResNet50骨干中的残差单元，用1*1卷积代替3*3卷积网络；
[0017]对送入颈部网络的特征层的通道数进行减半，同时将分辨率进行匹配的方式，构建所述骨干网络。
[0018]所述颈部网络采用双特征金字塔结构，进行多尺度特征融合，采用自顶向下和自底向上的方式将语义、定位特征增强，提取出更有效的特征，得到三个不同尺度输出；
[0019]所述检测头部分通过对所述颈部网络的三个不同尺度输出分别进行卷积操作，对目标的类别和位置进行预测；
[0020]利用所述轻量化网络模型进行训练，得到轻量级权重文件。
[0021]步骤5中
[0022]采取在剪枝前先对所述轻量化网络结构进行重参数化的操作，再针对重参化的网络结构进行剪枝、知识蒸馏得到最终网络结构；重参数化是针对所述轻量化网络结构中存在的跳跃连接进行参数优化,得到重参网络结构，包括以下步骤：
[0023]首先在卷积层、批归一化层以及激活函数层对输入的特征图进行保留，具体是对卷积层进行恒等映射插入相同数量的通道数、批归一化层利用数学的近似保证经过这一层得到的与输入相同的一个输出、激活函数层对于跳连接输入的值进行保留；其次，将上一步保留的特征图合并到输出特征图中；
[0024]剪枝是针对所述重参网络结构中每一层的权重进行分区域剪枝，在结构相似的区域内部进行结构裁剪，区域之间进行非结构性剪枝；利用批归一化层中的缩放因子作为判断依据，对于缩放因子小的代表通道的重要性低，将对应的通道进行裁剪，最后对剪枝后的权重进行微调，得到剪枝权重文件。
[0025]步骤7包括以下步骤：
[0026]7.1采用OPEN AI LAB推出的AI推理框架Tengine在RK3399PRO嵌入式开发平台进行网络模型的部署；
[0027]7.2首先在主控板上烧录Ubuntu系统镜像；
[0028]7.3在系统上利用下载工具下载Tengine源码，安装依赖包，配置环境、编译源码；
[0029]7.4初始化Tengine，完成所述最终检测模型的加载与转换；
[0030]7.5利用该框架进行计算图的优化，具体为对所述最终检测模型进一步优化算子，利用数学的近似方式，将包含线性关系的公式进行迭代，使得尽可能的减少数据的加载、存储的中间过程；算子优化前，卷积、批归一化、激活函数推理过程如下：
[0031]y
Conv
＝w*x+b
[0032][0033]y0＝SiLU(y
bn
)
[0034]其中y
Conv
为卷积输出结果，y
bn
为批归一化输出结果，y0为经过激活函数后输出结果，w为原始权重，x为特征变量，b为偏置，SiLU为激活函数，γ为放缩系数，β为平移系数，ε为常数，μ为均值，σ为标准差；
[0035]算子优化后，卷积块推理过程如下：
[0036][0037][0038]y
bn
＝w
′
*x+b
′
[0039]y
o
＝SiLU(w
′
*x+b
′
)
[0040]其中w
′
为近似后权重，x为特征变量，b
′
为近似后偏置；
[0041]7.6获取所述计算图的输入张量，并进行设置张量的大小；
[0042]7.7Tengine框架根据所述计算图以及张量进行自动切图处理；
[0043]7.8运行计算图，Tengine的异构加速计算库对RK3399PRO内部多个CPU、GPU进行异构并行计算，尽可能的将每个芯片的性能发挥到最大；
[0044]7.9完成模型推理，获取检测结果并释放资源。
[0045]与现有技术相比，本专利技术具有的优点和效果如下：
[0046]1、本专利技术通过在神经网络算法和硬件设备两个层面进行同时优化，在保证检测精度的基础上，提高了目标检测的速度，同时能够在嵌入式平台进行部署。解决了检测过程的精度低，识别速度慢的问题。
[0047]2、本专利技术提高了传统方式下的目标检测速度：通过构建原始的网络模型，并在此基础上进行网络的剪枝压缩、以及知识蒸馏恢复精度，减少了神经网络模型的参数量以及运算量，在保证精度下降很小的情况下提高了网络的推理速度。
[0048]3、本专利技术在嵌入式平台上对部分算子进行优化：将得到的轻量化的神经网络部署在嵌入式设备上，并且结合嵌入式硬本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向嵌入式平台的轻量化目标检测方法，其特征在于：包括以下步骤：步骤1：获取基础数据并制作数据集；步骤2：数据增强预处理；步骤3：构建基准网络模型并进行预训练；步骤4：搭建轻量化检测网络模型；步骤5：对整体的网络结构进行重参数化操作并剪枝；步骤6：知识蒸馏恢复精度；步骤7：嵌入式平台的部署与加速。2.根据权利要求1所述的一种面向嵌入式平台的轻量化目标检测方法，其特征在于：步骤4中轻量化检测网络模型包括骨干网络、颈部网络和检测头三个部分；骨干网络部分采用改进的ResNet50结构，过程是：输入416
×
416分辨率的图像，通过图像增强等预处理后输入网络，依次生成52
×
52,26
×
26,13
×
13大小的特征图，采用了步长为二的卷积操作对特征图进行下采样，每一层级的特征提取采用多个基本残差块为基础单元叠加的形式，将所述的ResNet50骨干中的残差单元，用1*1卷积代替3*3卷积网络；对送入颈部网络的特征层的通道数进行减半，同时将分辨率进行匹配的方式，构建所述骨干网络。所述颈部网络采用双特征金字塔结构，进行多尺度特征融合，采用自顶向下和自底向上的方式将语义、定位特征增强，提取出更有效的特征，得到三个不同尺度输出；所述检测头部分通过对所述颈部网络的三个不同尺度输出分别进行卷积操作，对目标的类别和位置进行预测；利用所述轻量化网络模型进行训练，得到轻量级权重文件。3.根据权利要求1所述的一种面向嵌入式平台的轻量化目标检测方法，其特征在于：步骤5中采取在剪枝前先对所述轻量化网络结构进行重参数化的操作，再针对重参化的网络结构进行剪枝、知识蒸馏得到最终网络结构；重参数化是针对所述轻量化网络结构中存在的跳跃连接进行参数优化,得到重参网络结构，包括以下步骤：首先在卷积层、批归一化层以及激活函数层对输入的特征图进行保留，具体是对卷积层进行恒等映射插入相同数量的通道数、批归一化层利用数学的近似保证经过这一层得到的与输入相同的一个输出、激活函数层对于跳连接输入的值进行保留；其次，将上一步保留的特征图合并到输出特征图中；剪枝是针对所述重参网络结构中每一层的权重进行分区域剪枝，在结构相似的...

【专利技术属性】
技术研发人员：郜辉，杨爽昕，王鹏，吕志刚，张伟，董绵绵，邸若海，李晓艳，
申请(专利权)人：西安工业大学，
类型：发明
国别省市：