HarDNet-Lite在嵌入式平台的优化方法技术

本发明专利技术公开了一种HarDNet‑Lite在嵌入式平台的优化方法，用以解决现有的目标检测网络过于复杂、运算量大、在嵌入式平台推理速度慢与定位精度低的问题。该方法包括以下步骤：1)搭建轻量级的HarDNet‑Lite特征提取网络；2)采用加权FPN结构融合不同尺度的特征图，使丰富的底层细节信息与高层的语义信息充分融合；3)生成YOLO检测头，在不同大小的特征图上面放置通过k‑means聚类生成的锚框，用以检测不同尺度大小的目标；4)使用分类与回归损失函数进行端到端的训练模型；5)将训练完成的模型部署于嵌入式平台，进行目标检测。本发明专利技术的有益效果是，提高了HarDNet‑Lite目标检测网络在嵌入式平台的推理速度与目标检测精度。

【技术实现步骤摘要】
HarDNet-Lite在嵌入式平台的优化方法
本专利技术属于目标检测
，具体地说是一种HarDNet-Lite在嵌入式平台的优化方法。
技术介绍
目标检测是计算机视觉的一个重要分支，在现实中的应用很广泛，比如视频监控、工业检测、人脸检测等诸多领域，通过计算机视觉可以减少对人力成本的消耗，具有很强的现实应用意义。自从2012年以来，卷积神经网络开始快速发展，一些性能更强的网络结构不断的被提出来，比如Vgg,GoogleNet,ResNet,ResNext,DenseNet等。为了获得更优的性能，网络的层数不断地增加，参数量也变得越来越大，通过这样的方式，尽管网络的性能得到了提高，但随之而来的就是效率的问题，效率问题主要体现在两个方面：一是模型的存储问题，二是模型进行推理的速度问题。(1)存储问题:随着网络结构的加深，网络中保存着大量的卷积核权重，让模型本身占用的存储空间变得越来越大，甚至高达几百兆字节，而嵌入式设备本身的存储空间和内存就比较有限，过大的网络模型往往无法载入运行；(2)速度问题：在实际应用中，一般要求模型的前向推理速度在毫秒数量级，如果网络模型过于复杂，计算量也会增大，而嵌入式设备的计算能力都比较弱，会导致模型前向推理的速度变得很慢，从几秒到十几秒，无法达到接近实时的实用要求。如果能够解决卷积神经网络的效率问题，就能够让卷积神经网络更广泛地应用于嵌入式设备中，为了减小卷积神经网络模型的大小，提高网络的前向推理速度，现有的方法主要包括模型的蒸馏、压缩、量化等方法，而设计轻量化的模型结构则是另辟蹊径，主要思想是设计更高效、通用的网络结构，使网络的存储空间和参数量减少的同时，不降低网络的性能。
技术实现思路
本专利技术的目的在于针对上述现有技术的不足，提供了一种HarDNet-Lite在嵌入式平台的优化方法。本专利技术采用如下技术方案来实现的：HarDNet-Lite在嵌入式平台的优化方法，包括以下步骤：1)利用HarDNet-Lite网络结构对原始的彩色图片进行特征提取；2)对提取到的不同层次的特征，采用加权FPN结构进行特征融合；3)在特征融合后的不同尺度大小的特征图上放置通过聚类生成的锚框，形成检测头；4)对HarDNet-Lite主干网络结构和检测头，采用分类与回归损失函数进行端到端的训练；5)训练结束后，将生成的权重文件和HarDNet-Lite网络结构配置文件部署到嵌入式平台，进行目标检测。本专利技术进一步的改进在于，步骤1)的具体实现方法如下：101)HarDNet-Lite网络结构在HarDNet网络结构的基础上，进行网络深度和宽度两个方面同时进行裁剪，形成HarDNet-Lite轻量级的网络结构；102)原始的彩色图片采用高清摄像头采集的行人、车辆的原始图片，对采集到的样本集进行人工标注并按照9:1的比例，划分为训练集和验证集。本专利技术进一步的改进在于，步骤2)的具体实现方法如下：201)加权FPN结构是在FPN结构的基础上添加了自适应权重结构，生成与原特征图大小一致的权重特征图，权重取值在[0,1]范围之间；202)特征融合的具体做法是：首先对原始特征图采用加权FPN结构生成权重特征图，下来将原始特征图与权重特征图进行逐元素的乘积，下一步需要将不同尺度的特征图分别进行上采样，并与自身上一层的特征图在通道方向进行拼接，得到融合后的特征图。本专利技术进一步的改进在于，步骤3)的具体实现方法如下：301)锚框的生成是采用k-means算法对图片中的标注框进行聚类，一共生成6个不同大小和尺度的锚框；302)检测头的生成是将6个锚框每3个划分为一组，放置到融合后特征图的每个像素点上面，分辨率大的特征图感受野小对应小尺寸的锚框来检测小物体，分辨率小的特征图感受野大对应大尺寸的锚框来检测大物体。本专利技术进一步的改进在于，步骤4)的具体实现方法如下：401)对HarDNet-Lite主干网络结构和检测头进行端到端的训练，采用Darknet深度学习框架来完成，训练的时候分类损失函数采用FocalLoss，回归损失函数采用CIoULoss来进行训练；402)此外训练时还包括对训练集的数据进行增强处理，包括随机翻转、裁剪、亮度的变化，目标类别数和初始学习率的设定，学习率衰减的方法以及总的迭代次数。本专利技术进一步的改进在于，步骤5)的具体实现方法如下：网络模型优化完成后，将生成的权重文件和HarDNet-Lite网络结构的配置文件部署到NVIDIA的JetsonNano嵌入式设备上面，并配置运行时环境，利用外接摄像头或者本地图片进行行人、车辆目标的检测。本专利技术至少具有如下有益的技术效果：本专利技术提供的HarDNet-Lite在嵌入式平台的优化方法，该方法通过HarDNet-Lite在嵌入式平台的优化，从深度和宽度(卷积核数量)两个方面同时对网络结构进行裁剪优化，不仅降低了网络模型本身的复杂性，而且极大地缩减了模型的参数量，能够提高目标检测时的推理速度、降低模型的体积大小，此外采用加权FPN结构对不同尺度的特征图进行融合，生成具有丰富语义信息且有判别性的特征图，下来在不同尺度的特征图上进行目标检测，能够提高目标检测时的精度。进一步，HarDNet-Lite轻量级网络结构是在HarDNet网络结构的基础上，进行网络深度和宽度(卷积核数量)两个方面同时进行裁剪优化，这样可以降低网络中通道与参数的数量，减少模型计算时的运算量，进而加快模型检测时的速度，同时由于参数量的减少也会让模型的体积变小。进一步，采用加权的FPN结构对输出的不同层次的特征图进行加权融合，这样生成的特征图具有丰富的语义信息，能够知道图像中是否存在需要检测的目标，同时对特征图在通道方向进行拼接后，能够让特征图具有丰富的细节特征，定位出具体的物体在哪里，提升目标检测时的精度。进一步，在不同尺度的特征图上面放置不同大小的锚框，大的特征图感受野小用小的锚框来检测小目标，小的特征图感受野大用大的锚框来检测大目标，能够实现对不同大小的目标都能够检测出来。进一步，在训练HarDNet-Lite主干网络结构和检测头时采用分类损失函数FocalLoss，能够解决正负样本与难易样本数量不平衡之间的问题，回归损失函数CIoULoss在回归检测框的时候考虑到预测框的大小与标注框之间的距离，可以让预测框回归地更加准确。附图说明图1为本专利技术的整体流程；图2为本专利技术的HarDBlock；图3为本专利技术的DenseBlock；图4为本专利技术的加权FPN结构；图5为本专利技术的YOLO目标检测头。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术的技术方案进行清楚、完整地描述。如图1所示，HarDNet-Lite在嵌入式平台的优化方法，包括如下5个步骤：1.搭建HarDNet-Lite本文档来自技高网...

【技术保护点】
1.HarDNet-Lite在嵌入式平台的优化方法，其特征在于，包括以下步骤：/n1)利用HarDNet-Lite网络结构对原始的彩色图片进行特征提取；/n2)对提取到的不同层次的特征，采用加权FPN结构进行特征融合；/n3)在特征融合后的不同尺度大小的特征图上放置通过聚类生成的锚框，形成检测头；/n4)对HarDNet-Lite主干网络结构和检测头，采用分类与回归损失函数进行端到端的训练；/n5)训练结束后，将生成的权重文件和HarDNet-Lite网络结构配置文件部署到嵌入式平台，进行目标检测。/n

【技术特征摘要】
1.HarDNet-Lite在嵌入式平台的优化方法，其特征在于，包括以下步骤：
1)利用HarDNet-Lite网络结构对原始的彩色图片进行特征提取；
2)对提取到的不同层次的特征，采用加权FPN结构进行特征融合；
3)在特征融合后的不同尺度大小的特征图上放置通过聚类生成的锚框，形成检测头；
4)对HarDNet-Lite主干网络结构和检测头，采用分类与回归损失函数进行端到端的训练；
5)训练结束后，将生成的权重文件和HarDNet-Lite网络结构配置文件部署到嵌入式平台，进行目标检测。


2.根据权利要求1所述的HarDNet-Lite在嵌入式平台的优化方法，其特征在于，步骤1)的具体实现方法如下：
101)HarDNet-Lite网络结构在HarDNet网络结构的基础上，进行网络深度和宽度两个方面同时进行裁剪，形成HarDNet-Lite轻量级的网络结构；
102)原始的彩色图片采用高清摄像头采集的行人、车辆的原始图片，对采集到的样本集进行人工标注并按照9:1的比例，划分为训练集和验证集。


3.根据权利要求2所述的HarDNet-Lite在嵌入式平台的优化方法，其特征在于，步骤2)的具体实现方法如下：
201)加权FPN结构是在FPN结构的基础上添加了自适应权重结构，生成与原特征图大小一致的权重特征图，权重取值在[0,1]范围之间；
202)特征融合的具体做法是：首先对原始特征图采用加权FPN结构生成权重特征图，下来将原始特征图与权重特征图进行逐元素的乘积，下一步需要将...

【专利技术属性】
技术研发人员：黄文丽，杨省，高子昂，胡鹏，程金平，解伟荣，
申请(专利权)人：浙江凌图科技有限公司，
类型：发明
国别省市：浙江;33