表面缺陷检测方法、终端及计算机可读存储介质技术

本发明专利技术提供一种表面缺陷检测方法、终端及计算机可读存储介质，表面缺陷检测方法包括获取当前视频帧，当前视频帧包含目标对象；目标对象包括绳状物体；对目标对象进行表面检测，得到目标对象的表面信息；对当前视频帧进行语义分割，得到目标对象的宽度检测信息；基于目标对象对应的表面信息和宽度检测信息，确定当前视频帧中目标对象是否存在缺陷。本申请通过对当前视频帧中的目标对象进行表面检测，得到目标对象的表面信息，通过对当前视频帧进行语义分割，确定各目标对象的宽度检测信息，根据目标对象的表面信息和宽度检测信息确定目标对象是否存在缺陷，进而提高目标对象的检测准确率。确率。确率。

【技术实现步骤摘要】
表面缺陷检测方法、终端及计算机可读存储介质


[0001]本专利技术涉及图像处理
，特别是涉及一种表面缺陷检测方法、终端及计算机可读存储介质。

技术介绍

[0002]在电梯领域，牵引钢丝绳索是一个重要的牵引工具，电梯的钢丝绳索的状态对电梯的运行有着极大的影响。
[0003]当钢丝绳索在工作过程中会遭受各种应力，产生各种危险情况。例如，钢丝绳在不断受拉力的情况下，其直径会变得越来越小；钢丝绳被暴露在空气中很长时间，水分会对钢丝绳表面产生氧化反应，或者表面产生油泥；牵引钢丝绳内部断丝等。因此定期检查电梯牵引钢丝绳索的任务就显得尤为重要。

技术实现思路

[0004]本专利技术主要解决的技术问题是提供一种表面缺陷检测方法、终端及计算机可读存储介质，解决现有技术中曳引电梯的钢丝绳索的检测准确率比较低的问题。
[0005]为解决上述技术问题，本专利技术采用的第一个技术方案是：提供一种表面缺陷检测方法，表面缺陷检测方法包括：
[0006]获取当前视频帧，当前视频帧包含目标对象；目标对象包括绳状物体；
[0007]对目标对象进行表面检测，得到目标对象的表面信息；
[0008]对当前视频帧进行语义分割，得到目标对象的宽度检测信息；
[0009]基于目标对象对应的表面信息和宽度检测信息，确定当前视频帧中目标对象是否存在缺陷。
[0010]其中，表面信息包括油泥检测信息、断丝检测信息、锈蚀检测信息和磨损检测信息中的至少一种；
[0011]对目标对象进行表面检测，得到目标对象的表面信息，包括：
[0012]通过目标检测网络对当前视频帧中的目标对象进行表面检测，得到目标对象的检测框、检测置信度和表面信息；其中，目标检测网络为YOLOX网络结构。
[0013]其中，对当前视频帧进行语义分割，得到目标对象的宽度检测信息，包括：
[0014]通过语义分割网络对当前视频帧进行语义分割，得到当前视频帧的掩码图像；
[0015]基于掩码图像，确定当前视频帧中目标对象的宽度检测信息。
[0016]其中，语义分割网络包括分块模块、至少两个特征提取模块、池化层，分块模块与至少两个特征提取模块依次级联，
[0017]通过语义分割网络对当前视频帧进行语义分割，得到当前视频帧的掩码图像，包括：
[0018]通过分块模块对当前视频帧进行分块操作，得到当前视频帧对应的区域块；
[0019]通过至少两个特征提取模块中的特征提取模块依次对区域块进行特征提取并进
行特征融合，得到特征图；
[0020]通过池化层对特征图进行池化操作，得到校正特征图；
[0021]对校正特征图进行上采样处理和插值处理，得到当前视频帧的掩码图像。
[0022]其中，至少两个特征提取模块包括第一特征提取模块和第二特征提取模块；
[0023]通过至少两个特征提取模块中的特征提取模块依次对区域块进行特征提取并进行特征融合，得到特征图，包括：
[0024]通过第一特征提取模块对区域块进行特征提取，得到第一特征图；
[0025]通过第二特征提取模块对第一特征图进行特征提取，得到第二特征图；
[0026]将第二特征图进行上采样处理并与第一特征图进行特征融合，得到特征图。
[0027]其中，基于掩码图像，确定当前视频帧中目标对象的宽度检测信息，包括：
[0028]将掩码图像中目标对象调整至参考方向；
[0029]基于目标对象在参考方向各高度位置的宽度信息，确定目标对象对应的宽度直方图；
[0030]基于宽度直方图，计算目标对象的各预设步长对应的宽度信息；
[0031]基于各预设步长对应的宽度信息，确定目标对象的宽度检测信息。
[0032]其中，基于目标对象对应的表面信息和宽度检测信息，确定当前视频帧中目标对象是否存在缺陷，包括：
[0033]基于目标对象的表面信息和宽度检测信息，确定目标对象的检测类别；检测类别包括正常、油泥、断丝、锈蚀、磨损和变细中的至少一种；
[0034]响应于目标对象的检测类别为油泥、断丝、锈蚀、磨损和变细中的任意一种，则确定当前视频帧中目标对象的表面存在缺陷。
[0035]其中，当前视频帧包括至少两个目标对象；
[0036]表面缺陷检测方法，还包括：
[0037]基于Sinkhorn算法将当前视频帧中与当前视频帧之前的历史视频帧中同一目标对象进行关联；
[0038]响应于目标对象的表面存在缺陷的视频帧的数量达到预设数量，则发出警报并显示目标对象的检测信息。
[0039]为解决上述技术问题，本专利技术采用的第二个技术方案是：提供一种终端，该终端包括存储器、处理器以及存储于存储器中并在处理器上运行的计算机程序，处理器用于执行程序数据以实现上述表面缺陷检测方法中的步骤。
[0040]为解决上述技术问题，本专利技术采用的第三个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现上述表面缺陷检测方法中的步骤。
[0041]本专利技术的有益效果是：区别于现有技术的情况，提供的一种表面缺陷检测方法、终端及计算机可读存储介质，表面缺陷检测方法包括获取当前视频帧，当前视频帧包含目标对象；目标对象包括绳状物体；对目标对象进行表面检测，得到目标对象的表面信息；对当前视频帧进行语义分割，得到目标对象的宽度检测信息；基于目标对象对应的表面信息和宽度检测信息，确定当前视频帧中目标对象是否存在缺陷。本申请通过对当前视频帧中的目标对象进行表面检测，得到目标对象的表面信息，通过对当前视频帧进行语义分割，确定
各目标对象的宽度检测信息，根据目标对象的表面信息和宽度检测信息确定目标对象是否存在缺陷，进而提高目标对象的检测准确率。
附图说明
[0042]为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
[0043]图1是本专利技术提供的表面缺陷检测方法的流程示意图；
[0044]图2是本专利技术提供的表面缺陷检测方法一实施例的流程示意图；
[0045]图3是图2提供的表面缺陷检测方法中步骤S21一具体实施例的流程示意图；
[0046]图4是本专利技术提供的目标检测网络一具体实施例的结构示意图；
[0047]图5是图2提供的表面缺陷检测方法中步骤S22一具体实施例的流程示意图；
[0048]图6是本专利技术提供的语义分割网络一具体实施例的结构示意图；
[0049]图7是本专利技术提供的当前视频帧一具体实施例的结构示意图；
[0050]图8是本专利技术提供的表面缺陷检测方法一具体实施例的流程示意图；
[0051]图9(a)是本专利技术提供的包含目标对象的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种表面缺陷检测方法，其特征在于，所述表面缺陷检测方法包括：获取当前视频帧，所述当前视频帧包含目标对象；所述目标对象包括绳状物体；对所述目标对象进行表面检测，得到所述目标对象的表面信息；对所述当前视频帧进行语义分割，得到所述目标对象的宽度检测信息；基于所述目标对象对应的所述表面信息和所述宽度检测信息，确定所述当前视频帧中所述目标对象是否存在缺陷。2.根据权利要求1所述的表面缺陷检测方法，其特征在于，所述表面信息包括油泥检测信息、断丝检测信息、锈蚀检测信息和磨损检测信息中的至少一种；所述对所述目标对象进行表面检测，得到所述目标对象的表面信息，包括：通过目标检测网络对所述当前视频帧中的所述目标对象进行表面检测，得到所述目标对象的检测框、检测置信度和所述表面信息；其中，所述目标检测网络为YOLOX网络结构。3.根据权利要求1所述的表面缺陷检测方法，其特征在于，所述对所述当前视频帧进行语义分割，得到所述目标对象的宽度检测信息，包括：通过语义分割网络对所述当前视频帧进行语义分割，得到所述当前视频帧的掩码图像；基于所述掩码图像，确定所述当前视频帧中所述目标对象的宽度检测信息。4.根据权利要求3所述的表面缺陷检测方法，其特征在于，所述语义分割网络包括分块模块、至少两个特征提取模块、池化层，所述分块模块与所述至少两个特征提取模块依次级联，所述通过语义分割网络对所述当前视频帧进行语义分割，得到所述当前视频帧的掩码图像，包括：通过所述分块模块对所述当前视频帧进行分块操作，得到所述当前视频帧对应的区域块；通过所述至少两个特征提取模块中的特征提取模块依次对所述区域块进行特征提取并进行特征融合，得到特征图；通过所述池化层对所述特征图进行池化操作，得到校正特征图；对所述校正特征图进行上采样处理和插值处理，得到所述当前视频帧的掩码图像。5.根据权利要求4所述的表面缺陷检测方法，其特征在于，所述至少两个特征提取模块包括第一特征提取模块和第二特征提取模块；所述通过所述至少两个特征提取模块中的特征提取模块依次对所述区域块进行特征提取并进行特征融合，得到特征...

【专利技术属性】
技术研发人员：黄积晟，任宇鹏，崔婵婕，李乾坤，周宏宾，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：