输送带跑偏视觉检测方法、装置、电子设备及存储介质制造方法及图纸

本发明专利技术涉及一种输送带跑偏视觉检测方法、装置、电子设备及存储介质，其方法包括：获取输送带实时运输图像；将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。提高了检测精度与安全性。提高了检测精度与安全性。提高了检测精度与安全性。

【技术实现步骤摘要】
输送带跑偏视觉检测方法、装置、电子设备及存储介质


[0001]本专利技术涉及图像识别
，尤其涉及一种输送带跑偏视觉检测方法、装置、电子设备及存储介质。

技术介绍

[0002]现代化运输生产中，带式输送机是一种适用于散装物料连续运输的设备，它的优点是运输量大、运输距离远、运输能耗小、装卸方便等优点，广泛运用于矿山、冶金、电力、化工、粮食等领域。随着生产需求的不断扩大，输送带的运载量不断增加，为物料运输行业带来了巨大的经济效益，但作为带式输送机的牵引和承载的关键部件，输送带占带式输送机全部成本的40％～60％，输送长度最高可达数千米，其运行状态直接影响整个生产流程的稳定性。
[0003]输送带跑偏是带式输送机在实际运行过程中最常见的故障之一，主要包括：局部跑偏、整体跑偏、间歇性跑偏等。由于输送带长期磨损发生变形老化，输送带上物料分布不均匀等问题，容易导致输送带在运行过程中内部应力分布不对称状况，从而造成输送带偏离原有的纵向中心线的现象，即输送带跑偏。在带式输送机高速运转期间，轻度的输送带跑偏容易造成机器老化变形和偏置磨损状况；中度的输送带跑偏容易导致物料溢出，加剧输送带支撑托辊摩擦损伤，同时增加清理成本；重度的输送带跑偏可能引发大面积输送带撕裂，整条输送线停工、更换，甚至造成人员伤亡。
[0004]当前在企业生产过程中，一般采用人工定期巡检的方法检测输送带跑偏，但检测人员估计的输送状态不足以形成可靠数据，且无法对生产过程的安全状态进行统计分析；同时人工巡检存在危险高、效率低、劳动强度大和缺少实时检测功能等缺陷，长期的重复性机械工作也对工作人员造成巨大的工作疲劳，当检测人员发现输送带发生故障时，已经造成了输送带大面积撕裂等严重事故。此外，检测人员需要长期投入培训，人员和管理成本不断上升。因此，如何对输送带跑偏进行实时检测，以提供可靠的传送数据是一个亟待解决的问题。

技术实现思路

[0005]有鉴于此，有必要提供一种输送带跑偏视觉检测方法、装置、电子设备及存储介质，用以实时检测输送带偏移距离，提高运输安全。
[0006]为了实现上述目的，第一方面本专利技术提供一种输送带跑偏视觉检测方法，包括：
[0007]获取输送带实时运输图像；
[0008]将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
[0009]确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；
[0010]基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。
[0011]进一步的，所述训练完备的图像分割模型是基于改进型YOLACT网络进行训练的，所述训练完备的图像分割模型的训练过程，包括：
[0012]采集输送带历史运输图像，对所述历史运输图像进行标注，并基于标注后的图像构建训练集和测试集；
[0013]将所述训练集输入改进型YOLACT网络中的主干网络中提取初始特征信息；
[0014]结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息；
[0015]联合计算所述有效特征信息中的第一有效特征信息及第二有效特征信息，输出第一覆盖输送带边界曲线图像；
[0016]利用所述第一覆盖输送带边界曲线图像与验证集中的第二覆盖输送带边界曲线图像进行损失计算，若损失函数达到预设损失条件，所述图像分割模型训练完备。
[0017]进一步的，所述结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息，包括：
[0018]对所述初始特征信息基于自上而下的融合方式进行融合，得到中间特征信息；
[0019]将所述初始特征信息中的第一初始特征信息作为自底而上融合的基底，并结合所述中间特征信息进行自下而上的融合，得到所述有效特征信息。
[0020]进一步的，所述覆盖输送带边界曲线图像的第一中心线为输送带机器中心线；
[0021]确定所述覆盖输送带边界曲线图像的第二中心线，包括：
[0022]以所述覆盖输送带边界曲线图像的中心为原点，以所述第一中心线为第一方向坐标轴建立图像坐标系；
[0023]确定所述覆盖输送带边界曲线图像在所述图像坐标系第二方向上的输送带宽度，并将所述输送带宽度的中心点坐标集合作为所述第二中心线。
[0024]进一步的，所述计算所述第一中心线与第二中心线之间的像素距离，包括：
[0025]分别确定第一中心线与第二中心线在所述图像坐标系下的像素坐标，并根据所述像素坐标确定所述第一中心线与所述第二中心线之间的像素距离。
[0026]进一步的，所述预设的坐标转换关系包括图像坐标系、相机坐标系及世界坐标系之间的转换关系。
[0027]进一步的，所述基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离，包括：
[0028]基于所述预设坐标转换关系包括的比例关系确定所述像素距离对应的输送带偏移距离，其中，所述比例关系由相机距传送带的高度、相机参数、像素宽度及像素长度确定。
[0029]第二方面，本专利技术还提供一种输送带跑偏视觉检测装置，包括：
[0030]获取模块，用于获取输送带实时运输图像；
[0031]提取模块，用于将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；
[0032]计算模块，用于确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；
[0033]确定模块，用于基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。
[0034]第三方面，本专利技术还提供一种电子设备，包括存储器、处理器以及存储在存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现上述输送带跑偏视觉检测方法中的步骤。
[0035]第四方面，本专利技术还提供一种计算机存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如上述输送带跑偏视觉检测方法中的步骤。
[0036]本专利技术可以通过训练完备的图像分割模型分割出覆盖输送带边界的图像，便于对输送带的整体偏移进行把控；并且通过提取覆盖输送带边界曲线图像的两条中心线，然后利用坐标转换关系确定输送带的偏移距离，实现了实时精准检测，还保障了检测的安全性。
附图说明
[0037]图1为本专利技术提供的一种输送带跑偏视觉检测方法的一实施例的流程示意图；
[0038]图2为本专利技术一实施例提供的一种覆盖输送带边界曲线图像的参考图；
[0039]图3为本专利技术一实施例提供的图像分割模型训练过程的流程示意图；
[0040]图4为本专利技术一实施例提供的图像分割模型的结构示意图；
[0041]图5为本专利技术一实施例提供的FPN计算过程图；
[0042]图6为本专利技术一实施例提供的相机坐标本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种输送带跑偏视觉检测方法，其特征在于，包括：获取输送带实时运输图像；将所述输送带实时运输图像输入训练完备的图像分割模型中，提取覆盖输送带边界曲线图像；确定所述覆盖输送带边界曲线图像的第一中心线与第二中心线，并计算所述第一中心线与第二中心线之间的像素距离；基于预设的坐标转换关系，确定所述像素距离对应的输送带偏移距离。2.根据权利要求1所述的输送带跑偏视觉检测方法，其特征在于，所述训练完备的图像分割模型是基于改进型YOLACT网络进行训练的，所述训练完备的图像分割模型的训练过程，包括：采集输送带历史运输图像，对所述历史运输图像进行标注，并基于标注后的图像构建训练集和测试集；将所述训练集输入改进型YOLACT网络中的主干网络中提取初始特征信息；结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息；联合计算所述有效特征信息中的第一有效特征信息及第二有效特征信息，输出第一覆盖输送带边界曲线图像；利用所述第一覆盖输送带边界曲线图像与验证集中的第二覆盖输送带边界曲线图像进行损失计算，若损失函数达到预设损失条件，所述图像分割模型训练完备。3.根据权利要求2所述的输送带跑偏视觉检测方法，其特征在于，所述结合主干网络和改进FPN特征金字塔结构，对所述初始特征信息基于预设的融合方式进行融合，得到有效特征信息，包括：对所述初始特征信息基于自上而下的融合方式进行融合，得到中间特征信息；将所述初始特征信息中的第一初始特征信息作为自底而上融合的基底，并结合所述中间特征信息进行自底而上的融合，得到所述有效特征信息。4.根据权利要求1所述的输送带跑偏视觉检测方法，其特征在于，所述覆盖输送带边界曲线图像的第一中心线为输送带机器中心线；确定所述覆盖输送带边界曲线图像的第二中心线，包括：以所述覆盖输送带边界曲线图像的中心为原点，以所述第一中心线为第一方向坐标...

【专利技术属性】
技术研发人员：袁建明，姚瑞阳，闫家豪，胡志辉，沈嘉禾，
申请(专利权)人：武汉理工大学，
类型：发明
国别省市：