【技术实现步骤摘要】
本专利技术涉及计算机视觉应用的，特别涉及一种基于旋转框定位的施工物料目标检测方法。
技术介绍
1、在施工作业面中，通常堆放有钢筋、木枋、模板等施工物料目标，工人需要利用这些施工物料目标进行施工。为了提升施工效率，通常要求作业面上的物料在当天使用完，做到日清日结。因此，需要对作业面上的物料进行检测。为了实现物料检测，可采用人工巡检或人工查看监控的方式，但该方式存在耗时费力，且容易出错的缺陷。得益于计算机视觉技术的快速发展，深度学习技术为实现智能化及自动化物料检测提供了新的研究视角。深度神经网络通过提取和学习目标的特征，可实现对目标的自动识别和检测，检测出目标的类别和位置信息。当前已有不少研究将深度神经网络应用与建筑施工场景，如安全帽佩戴检测、裂缝检测、施工车辆检测等，取得了良好的效果。但目前尚未发现存在采用计算机视觉技术对施工物料目标进行检测的案例，物料检测的效率有待提升。此外，施工物料目标在作业面中通常呈任意角度分布，给物料的检测带来一定的困难，该问题有待解决。
技术实现思路
1、针对现有技术中存在的不足之处，本专利技术的目的是提供一种基于旋转框定位的施工物料目标检测方法，实现了对于呈任意角度分布的施工物料目标的自动检测，得到最贴合目标的预测框，减小了预测误差。为了实现根据本专利技术的上述目的和其他优点，提供了一种基于旋转框定位的施工物料目标检测方法，包括：
2、s1、构建具有交并比liou、旋转角度损失函数、旋转非极大值抑制算法及增加预测层的输出维度，将角度检测分支引
3、s2、通过施工物料目标数据集对步骤s1中的网络模型进行训练；
4、s3、通过已经训练的网络模型对输入的待检测图象进行推理与检测，获取施工物料目标的类别与位置信息。
5、优选的，步骤s1中还包括特征提取网络与特征融合网络，特征提取网络包括卷积模块、c3模块以及空间金字塔池化模块，卷积模块包括卷积层、批量归一化层及自门控激活函数(swish)，c3模块包括第一支路与第二支路，其中第一支路由n个残差模块构成，第二支路由卷积层构成，采用通道拼接法(concat)将两路的特征信息进行融合；自门控激活函数(swish)如下式所示：
6、式中x表示输入的数值。
7、优选的，步骤s1中特征融合网络通过采用pfn与pan结合的方式，构造自上而下、自下而上的双向通道，对来自主干网络不同尺度的信息，在不同尺度间进行融合时通过上采样和下采样统一特征分辨率尺度，并在同一特征的原始输入和输出节点之间添加横向连接，将浅层特征和深层特征信息进行融合。
8、优选的，步骤s1中施工物料目标检测算法还包括定义物料旋转标注方式，在传统水平检测框标注的基础上加入角度信息、设计交并比liou、旋转角度损失函数及旋转非极大值抑制算法，其中对于物料旋转标注方式的定义具体为在传统水平检测框标注(x,y,w,h)的基础上，加入一个角度信息θ，得到新的标注方式，如(x,y,w,h，θ)，其中θ的取值范围为[-π/2,π/2],(x，y)表示目标框的中心坐标，w为目标框的最长边，h为目标框的短边(即w的临边)，θ为x轴旋转到w边的角度。
9、优选的，现有原始的检测层y的输出维度为3×(c+5)，其中3表示每个网格会预设3种长宽比例的锚框，每个锚框负责预测c个类别与目标框信息(x,y,w,h,p)，p表示该预测框的前景置信度；
10、通过获取施工物料目标的角度信息实现旋转目标的检测，具体的是将旋转角度θ参数引入检测层y，其输出维度变为3×(c+6)，每个锚框多出来的一个预测框通道表示回归旋转角度θ。
11、优选的，对于交并比liou的设计具体为将真实框与预测框相较所形成的多边形分割成n个三角形，计算该n个三角形的面积和sn，最后基于重叠区域面积sn与合并区域面积su，计算交并比liou，如下：
12、
13、优选的，对于旋转角度损失函数设计，具体如下:
14、
15、式中：s×s表示输入图像被为划分网格的数量，b表示单个网格预测边界框数量，表示当第i个网格预测的第j个边界框检测到某个目标时，取值为1，否则为0，θi表示第i个网格中目标的预测角度，表示第i个网格中目标的真实角度。
16、模型总损失函数由定位损失、角度损失、类别损失、置信度损失构成:
17、
18、式中：表示实际的边界框中第i个网格的置信度，ci表示预测的边界框中第i个网格的置信度，表示第i个网格检测到某个目标时，该目标属于类别c的实际概率，表示第i个网格检测到某个目标时，该目标属于类别c的预测概率。
19、优选的，对于旋转非极大值抑制算法，具体为根据交并比liou设计旋转非极大值抑制算法nms，剔除掉多余的预测框，具体的将每个类别的预测框按得分从高到低进行排序，其次将得分最高的预测框作为基准，与其他预测框计算liou值，将大于阈值的框剔除；随后在剩余的预测框中选取得分最高的预测框作为基准，重复以上步骤，直至所以预测框处理完毕，输出唯一的预测框。
20、本专利技术与现有技术相比，其有益效果是：通过施工物料目标检测算法的搭建，实现了对作业面施工物料目标的自动检测，提高了检测效率，同时对于呈任意角度分布的施工物料目标，具有良好的检测效果，减小了检测误差。
本文档来自技高网...【技术保护点】
1.一种基于旋转框定位的施工物料目标检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，步骤S1中还包括特征提取网络与特征融合网络，其中特征提取网络包括卷积模块、C3模块以及空间金字塔池化模块，卷积模块包括卷积层、批量归一化层及自门控激活函数(swish)，C3模块包括第一支路与第二支路，其中第一支路由n个残差模块构成，第二支路由卷积层构成，采用通道拼接法(concat)将两路的特征信息进行融合；自门控激活函数(swish)如下式所示：
3.如权利要求2所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，步骤S1中特征融合网络通过采用PFN与PAN结合的方式，构造自上而下、自下而上的双向通道，对来自主干网络不同尺度的信息，在不同尺度间进行融合时通过上采样和下采样统一特征分辨率尺度，并在同一特征的原始输入和输出节点之间添加横向连接，将浅层特征和深层特征信息进行融合。
4.如权利要求3所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，步骤S1中施工物料目标检测算法还包括
5.如权利要求4所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，现有原始的检测层Y的输出维度为3×(C+5)，其中3表示每个网格会预设3种长宽比例的锚框，每个锚框负责预测C个类别与目标框信息(x,y,w,h,p)，p表示该预测框的前景置信度；
6.如权利要求1所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，对于交并比LIoU的设计具体为将真实框与预测框相较所形成的多边形分割成n个三角形，计算该n个三角形的面积和Sn，最后基于重叠区域面积Sn与合并区域面积Su，计算交并比LIoU，如下：
7.如权利要求1所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，对于旋转角度损失函数设计，具体如下:
8.如权利要求1所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，对于旋转非极大值抑制算法，具体为根据交并比LIoU设计旋转非极大值抑制算法NMS，剔除掉多余的预测框，具体的将每个类别的预测框按得分从高到低进行排序，其次将得分最高的预测框作为基准，与其他预测框计算LIoU值，将大于阈值的框剔除；随后在剩余的预测框中选取得分最高的预测框作为基准，重复以上步骤，直至所以预测框处理完毕，输出唯一的预测框。
...【技术特征摘要】
1.一种基于旋转框定位的施工物料目标检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，步骤s1中还包括特征提取网络与特征融合网络，其中特征提取网络包括卷积模块、c3模块以及空间金字塔池化模块，卷积模块包括卷积层、批量归一化层及自门控激活函数(swish)，c3模块包括第一支路与第二支路，其中第一支路由n个残差模块构成，第二支路由卷积层构成，采用通道拼接法(concat)将两路的特征信息进行融合；自门控激活函数(swish)如下式所示：
3.如权利要求2所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，步骤s1中特征融合网络通过采用pfn与pan结合的方式，构造自上而下、自下而上的双向通道，对来自主干网络不同尺度的信息，在不同尺度间进行融合时通过上采样和下采样统一特征分辨率尺度，并在同一特征的原始输入和输出节点之间添加横向连接，将浅层特征和深层特征信息进行融合。
4.如权利要求3所述的一种基于旋转框定位的施工物料目标检测方法，其特征在于，步骤s1中施工物料目标检测算法还包括定义物料旋转标注方式，在传统水平检测框标注的基础上加入角度信息、设计交并比liou、旋转角度损失函数及旋转非极大值抑制算法，其中对于物料旋转标注方式的定义具体为在传统水平检测框标注(x,y,w,h)的基础上，加入一个角度信息θ，得到新的标注方式，如(x,y,w...
【专利技术属性】
技术研发人员：李宗照，卢昱杰，农元君，候守超，张鹏，夏雨，刘博，李东永，
申请(专利权)人：金茂数字智慧珠海发展有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。