【技术实现步骤摘要】
本专利技术属于计算机视觉目标检测，模型量化压缩，涉及一种基于二值神经网络的快速目标检测网络、训练及应用方法。
技术介绍
1、随着深度学习的发展，深度神经网络在计算机视觉领域取得了长足的进步，目标检测是计算机视觉领域的重要任务之一，它在许多实际应用中起着至关重要的作用。
2、目前主流的目标检测方法分为两阶段算法和单阶段算法。如he等人在文献“faster r-cnn: towards real-time object detection with region proposalnetworks. in proceedings of advances in neural information processingsystems，2015，pp. 91-99.”中公开了一种两阶段的目标检测方法。两阶段网络首先在图像中生成稀疏的候选区域，然后对这些候选区域进行二分类和初步定位。接下来，将筛选后的候选区域送入分类和回归网络，进行更精确的物体分类和定位。这种两阶段的设计可以提高目标检测的准确性和效率。
3、redmon 等人在文献“you only look once: unified，real-time objectdetection. inproceedings of the ieee conference on computer vision andpattern recognition，pp. 779-788，2016.”中公开了一种单阶段的目标检测方法。单阶段目标检测直接从图像中预测物体位置和类别，不需要
4、虽然深度学习模型在目标检测领域中表现良好，但其模型需要占用大量计算资源和空间存储，不适合在资源有效的边缘计算设备上部署。
技术实现思路
1、要解决的技术问题
2、为了避免现有技术的不足之处，本专利技术提出一种基于二值神经网络的快速目标检测网络、训练及应用方法，解决现有深度目标检测模型计算量、参数量大，难以在资源受限的嵌入式设备上部署的问题。
3、为了解决上述技术问题，本专利技术采用的技术方案为：
4、一种基于二值神经网络的快速目标检测网络，其特征在于包括顺序连接的骨干网络backbone，瓶颈网络neck和检测网络head；所述骨干网络backbone先采用全精度的3×3卷积模块进行特征提取，后面跟一个batch norm层，然后通过连续的3×3与1×1二值卷积模块进一步调整通道数，所述二值卷积模块后面跟一个batch norm层，并使用残差连接；随后连接多个堆叠的basic-block，basic-block的构建操作为每个二值卷积模块后面跟一个batch norm层，用连续的残差连接包围上述结构，重复四次；最后一个basic-block后串联spp结构与csp结构；所述瓶颈网络neck采用pan+fpn的结构，以二值卷积替换pan的下采样过程中与其他加强信息提取的卷积处的全精度卷积，骨干网络最后csp结构的输出与瓶颈网络neck的一个二值卷积单元连接，其余的多个堆叠的basic-block的输出端与瓶颈网络neck输入端的concat的连接，瓶颈网络neck的多个csp与多个检测网络head连接。
5、所述瓶颈网络neck部分采用pan+fpn的结构。
6、所述spp结构和csp结构采用全精度权重卷积，以保留特征信息。
7、所述二值卷积模块：在前向传播时:通过1bit卷积操作前，将上层激活值与权重通过sign函数进行二值量化，通过后续的 batch norm和prelu层调整二进制卷积的输出分布，接下来使用一个short-cut 实现主支路的输入输出融合，输出随后通过一个se支路，se支路通过全局池化和量化全连接层，自适应调整输出分布。
8、一种所述基于二值神经网络的快速目标检测网络的训练方法，其特征在于：采用优化训练策略，在输入方面采用mosaic增强；正样本制作时将大于iou阈值的anchor box，视作正样本即多正样本选择；损失函数的设置为预测框的损失采用giou损失函数。
9、所述预测框的损失采用giou损失函数是：首先根据网络预测的tx，ty和tw，th去获得网络预测的bbox参数，然后计算预测框和目标框之间的giou，值域为-1到1，当giou等于1的时候，表明两个框完全重合；在全精度的低比特量化时将二值卷积以外的全连接层和卷积层参数做了不同程度的8-bit、4-bit量化；在优化器选择时采用适合bnn的优化器的adam优化器。
10、所述计算预测框和目标框之间的giou的其公式如下：
11、。
12、所述训练过程中，模型中加入了多尺度训练，即在训练过程中，不断随机改变输入图像的大小，随着图像大小的改变，那图像中的物体大小也会跟着发生变化，能让模型能够见到更多尺度的物体，缓解模型对尺度变化不敏感的问题。
13、一种所述训练方法得到的快速目标检测网络的应用方法，其特征在于：用于快速目标检测。
14、所述快速目标检测时，模型的输入图像尺寸为416×416，通过二值化骨干网络对其进行特征提取后，输出三个不同阶段的特征图；随后neck结构对三个特征图通过多次自上至下与自下至上的多尺度特征融合，提升模型对于空间布局和物体变性的鲁棒性，并将更具语义信息的特征图传递给检测网络；检测网络采用耦合式检测头，即由一层卷积层将neck部分输出的特征图进行通道数的降维和特征图的缩放，输出类别概率、置信度和边界框位置三部分的预测。
15、本专利技术的有益效果在于：
16、本专利技术提出的一种基于二值神经网络的快速目标检测网络、训练及应用方法，提供的基于二值神经网络的目标检测器能够极大地节省存储和计算成本解决上述问题。二值量化方法可以将神经网络的权重与激活参数从32-bit量化为1-bit，降低模型访问推理过程中的内存访问时间，并用轻量级的按位xnor运算和位计数运算来实现推理加速，提升检测效率。但由于参数二值化造成了严重的信息丢失，导致检测的精确度下降，需要相应网络结构设计来丰富信息流，并提出合理的优化方案。为了在精确度和实时性方面达到更好的提升，本专利技术提出了一种新的二值化单阶段目标检测模型。
17、本专利技术相对于以往的参数二值化单阶段目标检测方法有以下优点：
18、1.基于逆向残差结构的二值卷积模块设计充分考虑了二值单元输入与输出间的特征差距，并避免了完全基于输入信息的次优分布校准，且通过引入额外的bn层与 prelu层可有效解决邻接卷积间的信息瓶颈问题，进一步丰富信息流。
19、2.基于二值卷积模块设计了有效二值化的同时保持一定精度的网络结构，neck部分采用pan+fpn的结构，在通过几次上采样与下采样更好地融合、提取骨干网络给出的特征图，从而提高网络的性能。
20、本文档来自技高网...
【技术保护点】
1.一种基于二值神经网络的快速目标检测网络，其特征在于包括顺序连接的骨干网络BackBone，瓶颈网络Neck和检测网络Head；所述骨干网络BackBone先采用全精度的3×3卷积模块进行特征提取，后面跟一个Batch Norm层，然后通过连续的3×3与1×1二值卷积模块进一步调整通道数，所述二值卷积模块后面跟一个Batch Norm层，并使用残差连接；随后连接多个堆叠的Basic-block，Basic-block的构建操作为每个二值卷积模块后面跟一个Batch Norm层，用连续的残差连接包围上述结构，重复四次；最后一个Basic-block后串联SPP结构与CSP结构；所述瓶颈网络Neck采用PAN+FPN的结构，以二值卷积替换PAN的下采样过程中与其他加强信息提取的卷积处的全精度卷积，骨干网络最后CSP结构的输出与瓶颈网络Neck的一个二值卷积单元连接，其余的多个堆叠的Basic-block的输出端与瓶颈网络Neck输入端的concat的连接，瓶颈网络Neck的多个CSP与多个检测网络Head连接。
2.根据权利要求1所述基于二值神经网络的快速目标检测网络，
3.根据权利要求1所述基于二值神经网络的快速目标检测网络，其特征在于：所述SPP结构和CSP结构采用全精度权重卷积，以保留特征信息。
4.根据权利要求1所述基于二值神经网络的快速目标检测网络，其特征在于：所述二值卷积模块：在前向传播时:通过1bit卷积操作前，将上层激活值与权重通过sign函数进行二值量化，通过后续的Batch Norm和PReLU层调整二进制卷积的输出分布，接下来使用一个short-cut实现主支路的输入输出融合，输出随后通过一个SE支路，SE支路通过全局池化和量化全连接层，自适应调整输出分布。
5.一种权利要求1～4任一项所述基于二值神经网络的快速目标检测网络的训练方法，其特征在于：采用优化训练策略，在输入方面采用Mosaic增强；正样本制作时将大于IoU阈值的Anchor Box，视作正样本即多正样本选择；损失函数的设置为预测框的损失采用GIoU损失函数。
6.根据权利要求5所述的训练方法，其特征在于：所述预测框的损失采用GIoU损失函数是：首先根据网络预测的tx，ty和tw，th去获得网络预测的bbox参数，然后计算预测框和目标框之间的GIoU，值域为-1到1，当GIoU等于1的时候，表明两个框完全重合；在全精度的低比特量化时将二值卷积以外的全连接层和卷积层参数做了不同程度的8-bit、4-bit量化；在优化器选择时采用适合BNN的优化器的ADAM优化器。
7.根据权利要求5或6所述的训练方法，其特征在于：所述计算预测框和目标框之间的GIoU的其公式如下：
8.根据权利要求5或6所述的训练方法，其特征在于：所述训练过程中，模型中加入了多尺度训练，即在训练过程中，不断随机改变输入图像的大小，随着图像大小的改变，那图像中的物体大小也会跟着发生变化，能让模型能够见到更多尺度的物体，缓解模型对尺度变化不敏感的问题。
9.一种权利要求1～4任一项所述基于二值神经网络的快速目标检测网络以及权利要求5～8任一项所述训练方法得到的快速目标检测网络的应用方法，其特征在于：用于快速目标检测。
10.根据权利要求9所述基于二值神经网络的快速目标检测网络的应用方法，其特征在于：所述快速目标检测时，模型的输入图像尺寸为416×416，通过二值化骨干网络对其进行特征提取后，输出三个不同阶段的特征图；随后Neck结构对三个特征图通过多次自上至下与自下至上的多尺度特征融合，提升模型对于空间布局和物体变性的鲁棒性，并将更具语义信息的特征图传递给检测网络；检测网络采用耦合式检测头，即由一层卷积层将Neck部分输出的特征图进行通道数的降维和特征图的缩放，输出类别概率、置信度和边界框位置三部分的预测。
...【技术特征摘要】
1.一种基于二值神经网络的快速目标检测网络，其特征在于包括顺序连接的骨干网络backbone，瓶颈网络neck和检测网络head；所述骨干网络backbone先采用全精度的3×3卷积模块进行特征提取，后面跟一个batch norm层，然后通过连续的3×3与1×1二值卷积模块进一步调整通道数，所述二值卷积模块后面跟一个batch norm层，并使用残差连接；随后连接多个堆叠的basic-block，basic-block的构建操作为每个二值卷积模块后面跟一个batch norm层，用连续的残差连接包围上述结构，重复四次；最后一个basic-block后串联spp结构与csp结构；所述瓶颈网络neck采用pan+fpn的结构，以二值卷积替换pan的下采样过程中与其他加强信息提取的卷积处的全精度卷积，骨干网络最后csp结构的输出与瓶颈网络neck的一个二值卷积单元连接，其余的多个堆叠的basic-block的输出端与瓶颈网络neck输入端的concat的连接，瓶颈网络neck的多个csp与多个检测网络head连接。
2.根据权利要求1所述基于二值神经网络的快速目标检测网络，其特征在于：所述瓶颈网络neck部分采用pan+fpn的结构。
3.根据权利要求1所述基于二值神经网络的快速目标检测网络，其特征在于：所述spp结构和csp结构采用全精度权重卷积，以保留特征信息。
4.根据权利要求1所述基于二值神经网络的快速目标检测网络，其特征在于：所述二值卷积模块：在前向传播时:通过1bit卷积操作前，将上层激活值与权重通过sign函数进行二值量化，通过后续的batch norm和prelu层调整二进制卷积的输出分布，接下来使用一个short-cut实现主支路的输入输出融合，输出随后通过一个se支路，se支路通过全局池化和量化全连接层，自适应调整输出分布。
5.一种权利要求1～4任一项所述基于二值神经网络的快速目标检测网络的训练方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。