一种基于轻量化深度神经网络的建造物料视觉盘存方法技术

本发明专利技术涉及计算机视觉技术领域，具体涉及一种基于轻量化深度神经网络的建造物料视觉盘存方法，包括：采集建筑物物料数据集，通过人工结合半自动标注对钢筋数据集进行标注，并将钢筋数据集划分为训练集与测试集；基于

【技术实现步骤摘要】
一种基于轻量化深度神经网络的建造物料视觉盘存方法


[0001]本专利技术涉及计算机视觉
，具体涉及一种基于轻量化深度神经网络的建造物料视觉盘存方法
。

技术介绍

[0002]目前，建造物料的盘存主要是基于传统人工与视觉盘存，其中视觉盘存分为基于传统图像处理和基于深度学习的视觉盘存
。
传统的建造物料的盘存主要采用称重或人工方式，存在效率低
、
出错率高和成本高等诸多问题
。
因此，急需开发一种能够自动
、
快速和准确的对密集建筑物料进行检测计数的新方法，以将工人从这种繁琐且不熟练的任务中解放出来，并提高建造物料的接收效率
。
[0003]在传统图像处理方法中，本领域技术人员提供了以下现有技术：对粘连的钢筋端面图像进行研究，根据最大内切圆算法获得正常钢筋的半径，然后利用修正后的梯度
Hough
变换和一系列相应的算子来定位钢筋；通过模板匹配和变阈值分割对钢筋截面中心定位，完成对钢筋的跟踪计数；提出基于模板覆盖的捆绑式钢筋计数算法，以获得钢筋捆绑数量的统计信息；提出基于准圆形假设的模式识别方法，计数过程中只使用加
、
减和逻辑运算，可实现钢筋的实时计数；提出基于模板的算法，可支持矩形和圆形钢管计数，并且取得了良好的精度；提出将钢筋区域与背景分离实现钢筋计数，通过钢筋区域提取器输出二进制的钢筋和背景图像，并利用钢筋检测器检测图像中的钢筋
。
可见，传统图像处理的建筑物料视觉盘存算法主要可概括为基于面积和模板的算法，两种算法都可行，但都存在很大的缺点，基于面积的算法的结果不能直接定位计数结果中的钢筋，给算法的误差分析带来很大不便，模板匹配法的效果基本上受限于模板和目标物的形状，适应能力很有限
。
[0004]在深度学习方法中，本领域技术人员提供了以下现有技术：针对钢管数量多
、
尺寸不一致和堆叠不整齐等问题，在
YOLOv3
的基础上设计了
BMC
‑
YOLO
模型，在检测颈部采用三联体注意力模块，使网络聚焦于钢管图像中的钢管目标区域，该模型能够通过钢管图像快速准确的识别密集钢管；通过
Soft
‑
IOU
层对真实框与预测框的交并比进行评估得到检测质量分数，并结合基于
EM
算法的
GMM
聚类，有效避免钢筋的误检和漏检；对特征提取网络
ResNeXt101
网络改进，提出基于级联式目标候选头网络的静态图片钢筋计数算法；提出一个
CNN
‑
DC
模型，利用深度卷积神经网络
(CNN)
检测候选中心点，再通过距离聚类算法
(DC)
对候选中心点进行聚类并定位钢筋的真实中心位置；提出一种基于
Inception
‑
RFB
‑
FPN
的钢筋检测算法，采用滑动窗口数据增强
(SWDA)
，弥补了钢筋数据较少问题；提出基于无
anchor
和
NMS
的弱监督多模态注释分割
(WSMA
‑
Seg)
模型，通过深度学习语义分割实现钢筋计数
。
但是，通常的深度学习模型大，参数多，对处理器计算能力要求高，难以在移动端部署
。

技术实现思路

[0005]本专利技术提供一种基于轻量化深度神经网络的建造物料视觉盘存方法，解决了现有技术难以在移动端部署的技术问题
。
[0006]本专利技术提供的基础方案为：一种基于轻量化深度神经网络的建造物料视觉盘存方法，包括：
[0007]S1、
采集建筑物物料数据集，通过人工结合半自动标注对钢筋数据集进行标注，并将钢筋数据集划分为训练集与测试集；
[0008]S2、
基于
Improved ShufflNet v2
设计轻量化神经网络模型；
[0009]S3、
利用构建的训练集对轻量化神经网络模型进行训练，并用测试集对轻量化神经网络模型性能进行初步测试；
[0010]S4、
对训练后的轻量化神经网络模型基于
BN
层进行通道剪枝，简化轻量化神经网络模型，并再次用测试集测试剪枝后的轻量化神经网络模型性能；
[0011]S5、
利用训练后并剪枝的轻量化神经网络模型对钢筋图像进行检测，得到钢筋数量
。
[0012]本专利技术的工作原理及优点在于：基于深度学习实现建造物料视觉盘点，相对传统人工方法来说，不需要人员参与盘点，效率以及准确率大幅提升；相对于传统图像处理方法来说，检测效果不受限于模板和目标物形状，泛化性大幅上升；与此同时，基于改进
ShuffleNetV2
搭建轻量化深度神经网络，相对于普通深度神经网络来说，模型参数量降低，提升了实时检测速度，易于实现模型部署，接着基于
BN
层通道剪枝精简模型，去除了深度神经网络中的冗余通道，使模型更为精简，从而降低对处理器计算能力要求高，使其可以在移动端部署
。
[0013]本专利技术使得模型精简，降低对处理器计算能力要求，使其可以在移动端部署
。
[0014]进一步，
S2
中，采用轻量化模块
ShuffleNetV2
对
YOLOv5s
原有复杂主干网络
New CSP
‑
Darknet
进行替换，调整
ShuffleNetV2
网络结构中基本单元1的堆叠数量，同时，采用激活函数
H
‑
Swish
替换原有激活函数
ReLU
，将
ShuffleNetV2
基本单元1中的深度卷积替换为空洞卷积
。
[0015]有益效果在于：通过调整
ShuffleNetV2
网络结构中基本单元1的堆叠数量，减少网络深度；将
ShuffleNetV2
基本单元1中的深度卷积替换为空洞卷积，可以提升模型的检测性能
。
[0016]进一步，
S2
中，在
ShuffleNetV2
的基本单元1中采用空洞卷积替换深度卷积
。
[0017]有益效果在于：一方面可以扩大
ShuffleNetV2
在特征提取过程的感受野，另外一方面，能够避免特征信息丢失和网络参数量增长过多；在参数量和计算量不变的情况下，空洞卷积不仅扩大了感受野，而且还能保持输入输出特征图的大小不变
。
[0018]进一步，
S4
，通过稀疏训练，使网络中
BN
层的
γ
参数逐步的变小；通本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种基于轻量化深度神经网络的建造物料视觉盘存方法，其特征在于，包括如下步骤：
S1、
采集建筑条形物料截面的照片或视频，解析照片或视频形成图像数据，多个图像数据作为物料数据集，将物料数据集划分为训练集与测试集；
S2、
设计物料采集的基础神经网络模型；所述基础神经网络模型为
Yolov5s
结构，包括输入层
、Backbone
层
、Neck
层与
Head
层，其中，
Backbone
为骨干层，
Neck
为特征传递层，
Head
为检测层；输入层包括分辨率调整与光照调整预处理网络，输入为图像数据看，输入图像数据的分辨率为
512*512
；
Backbone
包括各个卷积模块，基于卷积网络提取输入图像数据的图像特征，针对
Backbone
优化其参数量；
Neck
层采用经典
PANET
对
Backbone
提取的图像特征进行降维与融合操作，将操作后的图像特征送入
Head
中进行预测；
Head
层得到操作后的图像特征，基于
YOLO
检测头预测钢筋目标的位置以及钢筋目标的数量；
S3、
对基础网络神经模型进行训练，利用训练集对基础神经网络模型进行训练，得到初步优化神经网络模型；用测试集对初步优化神经网络模型的性能进行初步测试，测试的参数包括：
FLOPs、Params
以及
Map@0.5
，
Map
的的计算公式分别如下：
AP
＝
∫
01
p(r)dr
其中，
p
为准确率，
r
为召回率，
C
为类别数，
mAP
有
mAP@0.5
和
mAP@0.5:0.95
两种形式，
mAP@0.5
表示
IOU
阈值＝
0.5
时，计算目标的平均精度，
mAP@0.5:0.95
表示
IOU
阈值分别为
0.5,...,0.95
情况下求取
mAP
，然后再取所有
mAP
的平均值；
FLOPs
指浮点运算数即计算量，用于衡量神经网络模型的复杂度，在不考虑激活函数的运算时，其计算公式如下所示：
(2
×
C
i
×
K2)
×
H
×
W
×
C
out
其中，
H
和
W
为输出特征图的尺寸大小，
C
i
和
C
out
分别为输入通道数和输出通道数，
K
为卷积核的大小；
Params
用于计算神经网络模型的参数量，其计算公式如下所示：
Params
＝
C
out
×
(C
i
×
K
w
×
K
h
+1)
其中，
K
w
与
K
h
分别是卷积核的宽和高；测试其性能是否满足以下条件，其性能参数范围值：
Flops<
＝
8GFLOPs
，
Params<
＝
3.7M
，
mAP@0.5>
＝
0.975
；
S4、
对初步优化神经网络模型的
BN
层进行通道剪枝，采用测试集对正在通道剪枝的初步优化神经网络模型进行性能的动态测试，当初步优化神经网络模型的输出性能满足以下条件时，停止
BN
层的通道剪枝，得到轻量化神经网络模型；其中，
BN
层为批量归一化层，性能满足以下条件，性能参数范围值如下：
Flops<
＝
6GFLOPs
，
Params<
＝
3.1M
，
mAP@0.5>
＝
0.975
；
S5、
将
S4
中得到的轻量化神经网络模型编译成软件产品植入到智能设备中；
S6、
通过智能设备的图像或视频采集部件对需要计数的物料进行数据采集；
S7、
通过
S5
中已经形成软件产品的轻量化神经网络模型对物料图像进行分析，从而得到钢筋数量
。2.
如权利要求1所述的一种基于轻量化深度神经网络的建造物料视觉盘存方法，其特征在于，
S1
中，解析照片或视频的方法为：如果是视频，截取视频最清晰的关键帧形成图片，
将拍摄的照片或解析的图片形对初始图像数据，然后对初始图像数据进行优化...

【专利技术属性】
技术研发人员：邓曦，刘寿松，王楷，钱琪，杨应铭，曹馨雨，刘健，
申请(专利权)人：中国建筑技术集团有限公司重庆大学，
类型：发明
国别省市：