【技术实现步骤摘要】
本专利技术涉及计算机视觉中的图像处理领域，尤其涉及一种基于旋转框定位的目标检测方法，更进一步集中在仓储箱体视觉定位领域。
技术介绍
1、近年来，随着智慧物流创新发展，仓储货物拆垛和运输场景日益增多，融合视觉技术的自动仓储成为国内外的一个研究热点。箱体作为仓储领域中常见对象，其检测精度与速度对于提升物流效率具有重要作用。工业箱体常见为纸箱、编织袋、集装箱等物体，受生产过程与相机拍摄角度影响，大部分箱体存在倾斜角度，俯视视角下呈现密集堆叠、角度随机的特点。光照、扬尘，箱体表面纹理、胶带反光等外界环境因素也对箱体精确定位造成困难。
2、随着计算机视觉的发展，目标检测和实例分割等深度学习技术已广泛应用于各类工业场景。仓储箱体拆垛场景中需要高精度的边界信息，基于水平矩形框的目标检测方法具有较强的鲁棒性，能检测训练集中未出现的箱体，然而使用水平框回归箱体边界会包含背景与邻近箱体信息，容易出现检测框重合面积过大而被抑制的现象，并且水平框无法预测箱体的旋转角度；关键点检测算法可以直接得到箱体顶层区域矩形的4个关键点坐标，再通过复杂的后处理方式求解箱体中心点坐标与角度信息，算法的耗时成本增加，并且检测密集对象时容易造成漏检；实例分割方法通过预测目标位置以及生成掩码的方式，对目标进行像素级的分割得到单个实例，监督信息来自于实例的高质量掩膜，然而仓储箱体堆垛中箱体密集排列且纹理相似，邻近实例边界模糊，容易出现将邻近仓储箱体识别为一个实例的问题，可旋转边界框可以精确表示任意角度的目标位置，相比水平框检测多了角度参数预测，因此可以更加精确地贴
3、以上基于水平边框或分割掩码进行仓储箱体检测的方法尽管可以取得不错的检测效果，但大部分箱体的方向不是水平且具有不同的旋转角度，这些方法的鲁棒性差，不能很好地适应仓储箱体拆垛复杂场景下的精确定位任务；另外，现有的目标检测算法不能精确定位仓储箱体，检测性能有待提高；现有技术中的旋转框回归损失计算方式，对角度参数单独计算损失，存在角度周期性导致的损失突变问题，影响模型训练效果，造成检测结果不准确。因此，提供一种定位精度更高，检测速度更快的仓储箱体检测算法是本领域技术人员必须解决的问题。
技术实现思路
1、本专利技术的目的在于提供一种基于旋转框定位的仓储箱体目标检测方法，从而解决现有技术中存在的前述问题。
2、为实现上述目的，本专利技术采用的技术方案如下：本专利技术提供了一种基于旋转框定位的仓储箱体精确检测方法，包括以下步骤：
3、步骤1：采集仓储箱体图像制作箱体数据集：将采集到的每一张仓储箱体图像进行旋转框标注，得到箱体数据集；
4、步骤2：仓储箱体图像预处理：将箱体数据集按比例随机划分为训练集、验证集和测试集，将训练集数据进行数据增强处理以扩充数据集；
5、步骤3：通过引入kld损失函数、fsm特征选择模块、ca注意力机制、深度可变形卷积构建基于改进yolov7的旋转目标检测模型；
6、步骤4：将步骤2的训练集输入到基于改进yolov7的旋转目标检测模型中进行参数训练，得到训练好的旋转目标检测模型。
7、步骤5：将步骤2的测试集输入到步骤4训练好的旋转目标检测模型中进行检测，得到精度评价指标以及由旋转框表示的结果图像。
8、优选的，所述步骤1中，使用rolabelimg工具进行旋转框标注，将采集到的每一张仓储箱体图像中的无遮挡箱体顶层区域进行旋转框标注，生成标注后的目标框中心点坐标、宽、高以及角度信息的标签，构建箱体数据集。
9、优选的，所述步骤2中数据增强操作包括：
10、1)随机以一定概率改变图像的亮度、对比度，以模拟在不同时间段采集箱体的图像差异；
11、2)随机以一定概率将图像及标注信息随机旋转不同角度，得到包含不同角度箱体的图像；
12、3)随机以一定概率将图像及标注信息进行翻转、裁剪，进一步扩充数据集；
13、将经过以上数据增强处理的图像通过0像素进行填充，得到扩充后的箱体数据集。
14、优选的，所述步骤3中采用的深度可变形卷积具体如下：
15、在标准卷积操作的基础上引入可学习偏移量形成深度可变形卷积，深度可变形卷积的计算公式如下：
16、
17、其中p0为输入特征图上任意一点，pn为标准卷积核中每一点相对于中心点的偏移量{(-1,-1),(-1,0),...,(0,0),...,(1,0),(1,1)}，δpn表示学习到的偏移量，w(pn)为卷积核对应位置权重，x(p0+pn+δpn)为输入特征图上对应位置的元素值，y(p0)为输出特征图上p0处的元素值，即深度可变形卷积结果。
18、优选的，所述步骤3中引入fsm特征选择模块具体包括：
19、首先使用大小为1×1的标准卷积调整输入通道数，然后利用三个并行的大小为3×3、3×1、1×3可变形卷积分支对输入特征图进行处理，每个分支负责不同的感受野，提取多尺度特征信息，得到不同分支特征图，接着将不同分支特征图在通道维度拼接起来，然后采用空间注意力模块以及softmax操作得到不同分支的归一化特征软权重，并与相应分支特征图进行乘法加权计算，最后通过concate操作得到聚合位置和通道信息的特征图作为整个特征选择模块的输出，实现特征选择。
20、优选的，所述步骤3中引入ca注意力机制分为位置信息嵌入和坐标权重生成两部分：在位置信息嵌入阶段中，在输入特征图上分别沿水平和垂直方向进行平均池化操作，获取一对具有方向感知的特征图，这种变换分别沿两个空间方向获取特征图的长程依赖与位置信息，有助于旋转目标检测模型能更准确地定位目标位置；在坐标权重生成阶段中，将上述具有方向感知的特征图聚合，经过大小为1×1的标准卷积降维，并再次沿水平和垂直方向分解，然后使用大小为1×1的标准卷积升维得到与原始通道数一样的特征图fw∈rc×h×1和fh∈rc×1×w，经过sigmoid函数得到h和w方向上的注意力权重gh和gw，最后与输入特征图进行乘法加权，得到聚合位置与通道信息的输出特征图，fw∈rc×h×1中的c表示ca注意力机制原始输入特征通道数。
21、优选的，所述步骤3中引入kld损失函数具体包括：
22、首先将任意旋转矩形框(x,y,w,h,θ)近似成一个二维的高斯分布n(μ,σ)，x,y,w,h,θ表示旋转框的中心坐标、宽度、高度和旋转角度，将旋转框的中心点坐标作为二维高斯分布的位置信息，使用旋转矩阵将旋转框的宽高以及角度信息作为二维高斯分布的尺度信息，转化公式如下：
23、μ＝(x,y)t
24、
25、其中r代表旋转矩阵，λ代表对角矩阵；
26、通过高斯分布之间的kld作为回归损失，真实框和预测框二维高斯分布的kl散度计算公式如下：
27、
28、其中μp、μt分别表示预测框与真实框二维高斯分布的位置信息，∑p、∑本文档来自技高网...
【技术保护点】
1.一种基于旋转框定位的仓储箱体目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤1中，使用roLabelimg工具进行旋转框标注，将采集到的每一张仓储箱体图像中的无遮挡箱体顶层区域进行旋转框标注，生成标注后的目标框中心点坐标、宽、高以及角度信息的标签，构建箱体数据集。
3.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤2中，数据增强处理包括：
4.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中采用的深度可变形卷积具体如下：
5.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中引入FSM特征选择模块具体包括：
6.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中引入CA注意力机制分为位置信息嵌入和坐标权重生成两部分：在位置信息嵌入阶段中，在输入特征图上分别沿水平和垂直方向进行平均池化操作，获取一对具有方向感知的特征
7.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中引入KLD损失函数具体包括：
8.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤5中精度指标评价包括旋转框交并比RIOU、精确率P、召回率R、平均精确率AP、平均角度误差AOE和中心点平均距离误差ADE，计算过程如下：
...【技术特征摘要】
1.一种基于旋转框定位的仓储箱体目标检测方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤1中，使用rolabelimg工具进行旋转框标注，将采集到的每一张仓储箱体图像中的无遮挡箱体顶层区域进行旋转框标注，生成标注后的目标框中心点坐标、宽、高以及角度信息的标签，构建箱体数据集。
3.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤2中，数据增强处理包括：
4.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中采用的深度可变形卷积具体如下：
5.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中引入fsm特征选择模块具体包括：
6.根据权利要求1所述的基于旋转框定位的仓储箱体目标检测方法，其特征在于：所述步骤3中引入ca注意力机制分为位置信息嵌入和坐标权重生成两部分：在位置信息嵌入阶段中，在输入特征图上分别沿...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。