基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法技术

本发明专利技术公开了一种基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，涉及钢桶运输轨迹领域，旨在解决现有技术中人工成本高、图像去噪不佳的问题，采用的技术方案是，通过摄像头获取钢桶运输轨迹视频；将获取的视频利用网格流运动网络模型进行去噪处理；将获得的去噪后的视频输入到已经训练完成的多尺度目标检测网络中，得到钢桶运输轨迹是否正常的判断；通过采集不同背景下钢桶图像，对其进行运输轨迹检测，根据检测结果来监测钢桶运输情况。相比采用人工的方式节省了大量的人力、物力和财力。基于网格流运动网络可以有效地对视频噪声进行去除，而训练完成的多尺度目标检测网络可以提高钢桶运输轨迹的检测效率。网络可以提高钢桶运输轨迹的检测效率。网络可以提高钢桶运输轨迹的检测效率。

【技术实现步骤摘要】
基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法


[0001]本专利技术涉及钢桶运输轨迹领域，具体为一种基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法。

技术介绍

[0002]钢桶因其体积、质量较大，使用人工搬运的成本很高而效率不高，因此，工厂大量的钢桶一般采用自动化设备进行运输。而在工厂在大量运输钢桶的过程中会因为运输带的一些缺陷或者因为钢桶本身由于磕碰产生一些形变导致运输不稳定甚至导致钢桶脱离运输带。
[0003]传统的钢桶运输一般为人工对其进行监视和判断，虽然使用人力对其检测的精确度较高，但需要人工有一定的经验、经过一定的培训。其次，人工长时间保持较强的专注度比较困难。相对于使用人工对钢桶运输进行监视，使用一些基础的图像处理方法对钢桶运输轨迹进行检测，可以降低人工成本，但是基础的图像处理方法对视频中的一些光照、阴影等噪声的去除效果不佳。
[0004]中国专利CN202111391364.3公开了一种使用卷积神经网络和双向匹配算法的视频多目标跟踪方法，采用的技术方案是，在无锚框目标检测方法的卷积神经网络的基础上，增加了针对目标的双向运动预测分支，并基于双向运动信息设计了对应的多目标跟踪匹配算法，从而通过多帧视频信息的输入，完成对目标的双向跟踪匹配，并通过搁浅区的设计缓解因目标短时遮挡导致的跟踪间断。
[0005]中国专利CN202210296395.9公开了一种基于多尺度信息融合的海面小目标检测方法、电子设备及计算机可读介质，采用的技术方案是，构建海面小目标仿真数据集；构建深度学习网络模型；利用小目标仿真数据集对构建的深度学习模型进行训练；在训练过程中，通过transformer模块解码和检测出海面小目标的位置和类别信息；利用训练好的模型进行其他场景下的海面小目标检测。
[0006]两现有专利分别是基于无锚框的卷积神经网络和应用transformer模块进行解码预测边界框，其包含信息少，精度差。
[0007]因此，本专利技术提出一种网格流运动网络来对视频去除噪声，使用多尺度目标检测网络来对钢桶运输轨迹进行检测。

技术实现思路

[0008]鉴于现有技术中所存在的人工成本高、基础图像处理对噪声去除效果差的问题，本专利技术公开了基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，通过网格流运动网络来对视频去除噪声，使用多尺度目标检测网络来对钢桶运输轨迹进行检测。
[0009]为实现上述目的，本专利技术先公开了一种基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，采用的技术方案是，包括以下步骤：
[0010]步骤1，通过摄像头获取钢桶运输轨迹视频；
[0011]步骤2，将所述步骤1中获取的视频利用网格流运动网络模型进行去噪处理；
[0012]步骤3，将所述步骤2中获得的去噪后的视频输入到已经训练完成的多尺度目标检测网络中，得到钢桶运输轨迹是否正常的判断，使用训练完成的多尺度目标检测网络能够进一步提高准确性。
[0013]作为本专利技术的一种优选技术方案，所述步骤2中，利用离散的Laplacian算子和Laplacian矩阵将所述步骤1中获取的视频进行去噪处理。
[0014]作为本专利技术的一种优选技术方案，所述步骤3中，多尺度目标检测网络的训练包括以下步骤：
[0015]步骤a，构建训练数据集，所述训练数据集包括在不同背景下钢桶图像，将所述钢桶图像在不同的背景中标注出来；
[0016]步骤b，将所述钢桶图像输入到待训练的多尺度目标检测网络中，得到生成多尺度的锚框，并为锚框预测类别和偏移量；
[0017]步骤c，基于所述预测类别和偏移量及标注值，计算联合损失函数；
[0018]若所述多尺度目标检测网络的联合损失函数收敛，则以最新的多尺度目标检测网络作为训练完成的多尺度目标检测网络。
[0019]作为本专利技术的一种优选技术方案，所述步骤c中，计算联合损失函数包括：
[0020]将所述锚框类别的损失使用交叉熵损失函数来计算，所述交叉熵损失函数公式为：
[0021][0022]其中，N代表样本总数，代表真实值，代表预测值；
[0023]将所述锚框偏移量的损失使用平滑范数损失函数来计算，所述平滑范数损失函数公式为：
[0024][0025]其中超参数用来控制平滑区域。
[0026]作为本专利技术的一种优选技术方案，所述步骤3中，将摄像头所获取的视频输入到已经训练完成的多尺度网络中，得到钢桶运输轨迹是否正常判断的步骤包括：
[0027]步骤i，将所述去噪处理之后的视频输入到所述多尺度目标检测训练模型中；
[0028]步骤ii，在所述多尺度目标检测训练模型的前向传播过程中生成多尺度锚框，得到预测边界框并预测其类别和偏移量；
[0029]步骤iii，将所述生成的锚框根据标签信息标记类别和偏移量，根据所述类别和偏移量的预测和标注值计算出距离，得到钢桶运输轨迹是否正常判断。
[0030]作为本专利技术的一种优选技术方案，所述步骤iii中，计算距离的公式为：
[0031][0032][0033]其中，代表预测的锚框中左边框的横坐标值，代表设置的左边界线的横坐标值，代表预测的锚框中右边框的横坐标值，代表设置的右边界线的横坐标值，、分别为代表左右边界线与预测锚框的距离。
[0034]作为本专利技术的一种优选技术方案，所述多尺度目标检测网络包括基本网络块和高宽减半网络块组成，其中，所述基本网络块包括串联的多个高宽减半网络块；
[0035]所述高宽减半网络块采用多个卷积层和最大汇聚层将特征图将输入的特征图的高和宽减少一半，扩大每个单元在其输出特征图中的感受野。
[0036]本专利技术还公开基于上述检测方法的一种基于网格流去噪和多尺度目标网络的钢桶轨迹检测装置，采用的技术方案是，包括以下模块：
[0037]处理模块，用于将摄像头获取的视频利用网格流运动网络进行去噪处理，将所述去噪处理后的视频输入到训练完成的多尺度目标检测网络中，得到对钢桶运输轨迹检测是否正常的判断；
[0038]训练模块，用于构建训练数据集，所述训练数据集包括在不同背景下钢桶图像，将所述钢桶图像在不同的背景中标注出来；所述钢桶图像输入到待训练的多尺度目标检测网络中，得到生成多尺度的锚框，并为锚框预测类别和偏移量；
[0039]计算模块，用于计算锚框类别的损失使用交叉熵损失函数、锚框偏移量的损失使用平滑范数损失函数、平滑范数损失函数。
[0040]为实现上述目的，本专利技术还公开了一种可读存储介质，采用的技术方案是，存储介质上存储有基于网格流去噪和多尺度目标网络的钢桶轨迹检测程序，所述基于网格流去噪和多尺度目标网络的钢桶轨迹检测程序被处理器执行时实现基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法。
[0041]为实现上述目的，本专利技术还公开了一种基于网格流去噪和多尺度目标网络的钢桶轨迹检测设备，采用的技术方案是，包括处理器、摄像头、用户接口、网络接口、通信模块、存储器，其中，所述处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，其特征在于，包括以下步骤：步骤1，获取钢桶运输轨迹视频；步骤2，将所述步骤1中获取的视频利用网格流运动网络模型进行去噪处理；步骤3，将所述步骤2中获得的去噪后的视频输入到已经训练完成的多尺度目标检测网络中，得到钢桶运输轨迹是否正常的判断；所述步骤3中，多尺度目标检测网络的训练包括以下步骤：步骤a，构建训练数据集，所述训练数据集包括在不同背景下钢桶图像，将所述钢桶图像在不同的背景中标注出来；步骤b，将所述钢桶图像输入到待训练的多尺度目标检测网络中，得到生成多尺度的锚框，并为锚框预测类别和偏移量；步骤c，基于所述预测类别和偏移量及标注值，计算联合损失函数；若所述多尺度目标检测网络的联合损失函数收敛，则以最新的多尺度目标检测网络作为训练完成的多尺度目标检测网络。2.根据权利要求1所述的基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，其特征在于：所述步骤2中，利用离散的Laplacian算子和Laplacian矩阵将所述步骤1中获取的视频进行去噪处理。3.根据权利要求1所述的基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，其特征在于：所述步骤c中，计算联合损失函数包括：将所述锚框类别的损失使用交叉熵损失函数来计算，所述交叉熵损失函数公式为：其中，N代表样本总数，代表真实值，代表预测值；将所述锚框偏移量的损失使用平滑范数损失函数来计算，所述平滑范数损失函数公式为：其中超参数用来控制平滑区域。4.根据权利要求1或3所述的基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，其特征在于：所述步骤3中，将摄像头所获取的视频输入到已经训练完成的多尺度网络中，得到钢桶运输轨迹是否正常判断的步骤包括：步骤i，将所述去噪处理之后的视频输入到所述多尺度目标检测训练模型中；步骤ii，在所述多尺度目标检测训练模型的前向传播过程中生成多尺度锚框，得到预测边界框并预测其类别和偏移量；步骤iii，将所述生成的锚框根据标签信息标记类别和偏移量，根据所述类别和偏移量的预测和标注值计算出距离，得到钢桶运输轨迹是否正常判断。5.根据权利要求4所述的基于网格流去噪和多尺度目标网络的钢桶轨迹检测方法，其特征在于：所述步骤iii中，计算距离的公式为：特征在于：所述步骤iii中，计算距离的公式为：其中，...

【专利技术属性】
技术研发人员：荆晓远，刘飞，王广宁，韩光信，朱冠华，陈俊均，姚永芳，
申请(专利权)人：茂名华检实验科技有限公司，
类型：发明
国别省市：