一种基于视觉的弹孔检测方法及系统技术方案

本发明专利技术公开了一种基于视觉的弹孔检测方法及系统，方法包括：S1，获取打靶弹孔图像数据集并进行弹孔标注；S2，构造一种卷积特征与纹理特征深度融合的超轻量化网络，并基于弹孔图像数据，进行模型训练得到检测模型；S3，基于训练得到的检测模型进行推理，获取单帧弹孔检测结果；S4，基于多帧检测结果，构建当前帧的弹孔积分图；S5，基于当前帧弹孔积分图与前一帧的弹孔积分图，进行匹配和帧差，获取当前帧的新增弹孔；系统包括：聚焦层、嵌套瓶颈层、卷积层，以及由单尺度目标回归子网络、纹理特征提取单元、特征融合与优选模块构成的特征融合与单尺度目标回归模块；本发明专利技术降低了资源消耗，且检测准确度、鲁棒性好。鲁棒性好。鲁棒性好。

【技术实现步骤摘要】
一种基于视觉的弹孔检测方法及系统


[0001]本专利技术涉及图像识别
，尤其是涉及一种基于视觉的弹孔检测方法及系统。

技术介绍

[0002]在射击训练报靶设备
，传统的报靶方式主要有人工报靶，光电传感器报靶以及近来使用较多的基于图像的报靶系统。
[0003]人工报靶效率极低，且大部分情况下无法实时报靶；光电传感器报靶方式虽然精度较高但其成本较高，且日常维护较为复杂；因此目前业界普遍使用基于视觉算法的报靶方式。基于视觉报靶方案的核心问题为如何精确地对新增的射击弹孔进行检测。目前主流的弹孔检测方案均是使用帧差法或者多帧帧差法，该方法运算资源消耗较小，但是其对光照、抖动等干扰因子较敏感，导致基于帧差法的弹孔检测准确率较低。基于深度学习的弹孔检测获得了较好的准确率，但是由于大部分的检测网络深度较大，消耗大量的计算资源，导致实际部署中需要配套成本较高的GPU或者其他AI计算硬件。
[0004]基于此，需要提供一种资源消耗较小且准确率、鲁棒性较高的弹孔检测方法。

技术实现思路

[0005]为解决现有方法的检测率低本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于视觉的弹孔检测方法，其特征在于包括如下步骤：S1，获取打靶弹孔图像数据集，并标注弹孔；S2，构造卷积特征与纹理特征深度融合网络并进行训练，包括如下步骤：S21，对打靶图像的图像张量进行多层划片，然后重新组合；S22，将重新组合的图像张量，输入类残差结构，进行高层语义信息的提取；S23，采用单尺度目标回归子网络，通过回归得到的坐标，得到疑似弹孔区域，对疑似弹孔区域提取纹理特征，并与输入单尺度目标回归子网络后的卷积特征进行融合，经过通道注意力机制进行特征优选，将优选后的特征进行弹孔和非弹孔二分类，通过二分类结果与标注弹孔，进行深度融合网络的训练；S3，基于训练好的深度融合网络进行推理，获取单帧图像弹孔检测结果；S4，基于多帧图像的检测结果构建当前帧图像的弹孔积分图；S5，基于所述的当前帧图像弹孔积分图与前一帧图像的弹孔积分图进行配准并进行帧差，最终获取当前帧的新增弹孔。2.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S1中使用矩形框对打靶图像的弹孔进行标注；所述S23中的单尺度目标回归子网络，通过回归得到的坐标，确定疑似弹孔目标框(X,Y,W,H)，其中X，Y分别表示疑似弹孔目标框的中心坐标，W，H分别表示疑似弹孔目标框的宽和高；对疑似弹孔目标框提取纹理特征；将优选后的特征进行二分类，得到弹孔和非弹孔的二分类置信度，通过二分类结果得到的预测弹孔目标框与标注弹孔矩形框，进行深度融合网络的训练。3.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S23中，对得到的疑似弹孔区域进行扩充裁剪，对裁剪的疑似弹孔区域提取纹理特征，裁剪后的疑似弹孔区域的图像用f(x,y),[x∈(0,M
‑
1)；y∈(0,N
‑
1)]表示，其中M为该区域的像素宽度，N为该区域的像素高度，该区域的灰度共生矩阵用P(i,j,d,θ)表示，其中i表示灰度共生矩阵的x轴下标，j表示灰度共生矩阵的y轴下标，d表示两个像素的距离，θ表示两个像素的夹角；提取纹理特征，包括：提取纹理角二阶矩、纹理熵、对比度、均匀性、X轴梯度、Y轴梯度；纹理角二阶矩表示为纹理熵表示为对比度表示为均匀性用逆差分矩阵表示；该区域的X轴梯度用f5表示，Y轴梯度用f6表示；将提取的纹理特征拍扁到一维度并进行拼接，得到该区域的纹理特征矩阵f＝[f1,f2,f3,f4,f5,f6]。4.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S23中，采用GIOULoss作为弹孔区域的损失函数，采用交叉熵损失函数L来评价弹孔的分类：
其中，A和B分别表示预测的弹孔区域和真实的弹孔区域，C表示能包住A与B的最小矩形，N表示样本个数，y
i
表示第i个样本的分类类别，p
i
表示第i个样本的预测正确概率，最后总的损失函数为两个损失函数之和。5.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S2中，将打靶图像缩放至固定尺寸，并进行3通道灰度归一化，再将打靶图像的图像张量从RBG空间转换为RGBP空间，并将转换后的图像张量作为S21的输入。6.根据权利要求1所述的一种基于视觉的弹孔检测方法，其特征在于所述S4中，针对视频中多帧图像的检测结果，构建弹孔积分图，弹孔积分图由当前帧与前几帧的结果量化累加得到，初始化时，基于输入图像构建网格化图，每个网络初始值为0，每帧检测到的弹孔中心点坐标量化后落在相应的网格内，则该网格数值加1，网格积分图为当前帧与前一组帧的结果累加和，如果当前帧号小于前l帧...

【专利技术属性】
技术研发人员：张文广，余新洲，陈雨杭，徐晓刚，王军，
申请(专利权)人：浙江工商大学，
类型：发明
国别省市：