一种用于玻璃缺陷检测的检测网络制造技术

本发明专利技术公开了一种用于玻璃缺陷检测的检测网络，包括收集视频数据，并进行半监督标签，得到视频信息与标签信息；将视频信息与标签信息输入神经网络进行训练，得到训练后的网络；将待测视频输入训练后的网络，获得缺陷的边框信息及缺陷类别信息，将缺陷的边框信息及缺陷类别信息按照预定的方式进行输出显示，本申请采用双流网络，空间流注重图像特征，时间流注重变化特征，模拟人眼在变化光源和角度抓住轻微缺陷的变化信息辅助网络的训练，提升网络精度。度。度。

【技术实现步骤摘要】
一种用于玻璃缺陷检测的检测网络


[0001]本专利技术涉及机器视觉领域，具体涉及一种用于玻璃缺陷检测的检测网络。

技术介绍

[0002]在缺陷检测领域，深度学习正在起到越来越重要的作用。在实际工业场景中，透明物体的检测一直是一个巨大挑战。固定的一套光源及镜头，难以将复杂多变的透明物体中的轻微缺陷清楚成像。只有模拟人眼，透明物体中的轻微缺陷在特定的光源，特定的角度才能清楚成像，用来做后续的深度学习缺陷检测。
[0003]在工业缺陷检测上，现在的技术一般将工业相机拍摄的高分辨率图片作为监督信号，以此来训练深度学习模型，达到检测出图片中缺陷的目的。但是，有限的光源和工业镜头角度，与复杂多变的缺陷存在巨大鸿沟，往往使得缺陷检测项目变得异常艰难，最直观的判断就是，人肉眼能否通过图片进行精准判断。如果存在模棱两可的部分，那么它也将成为算法模棱两可的地方，固定的打光方式，镜头拍摄产品的角度永远是固定的，使其在特性上无法匹配瞬息万变的缺陷场景。现有的固定点位拍摄技术，很大可能就没把缺陷成像出来。现有的技术难以满足特定场景缺陷检测的高指标要求。

技术实现思路

[0004]本专利技术的专利技术目的是提供一种用于玻璃缺陷检测的检测网络，包括：S1，收集视频数据，并进行半监督标签，得到视频信息与标签信息；S2，将视频信息与标签信息输入神经网络进行训练，得到训练后的网络；S3，将待测视频输入训练后的网络，获得缺陷的边框信息及缺陷类别信息；S4，将缺陷的边框信息及缺陷类别信息按照预定的方式进行输出显示。
[0005]优选地，收集视频任务具体包括：将玻璃产品放在暗箱中，屏蔽其余光源的污染，使用一个旋转的光源围绕玻璃提供360度的打光方案，用视频镜头采集30帧的视频信息用于后续的缺陷检测任务。
[0006]进一步的，步骤S1中还包括制作原始缺陷数据的标签图像，其制作方法包括：使用图像标注工具制作对应的标签图像，用标注软件LabelImg为视频帧打上缺陷的边框和类别信息，生成标注信息。
[0007]优选地，标注信息的方法采用半监督学习方式，通过标注一小部分的玻璃缺陷图片，训练神经网络来检测剩余的玻璃缺陷，将检测出来的缺陷边框信息和类别信息转化成标注信息，其余标注将自动生成，经过人工的审核，加入训练集，训练出可供使用的模型。
[0008]优选地，模型为双流神经网络模型，双流神经网络包括空间流网络与时间流网络。
[0009]优选地，双流神经网络模型的训练方法如下：空间流网络输入一个RGB图像，时间流网络使用TVL one去抽取光流来代表视频的运动信息；采用DarkNet作为主干网提取特征，并在Neck部分使用FPN+PAN融合高低层信息；
抓取缺陷属于低语义特征的特点在低层特征进行融合；将融合后的特征进一步卷积提取特征，进行第二次融合；将提取到的特征进行特征加强，获取到一个融合RGB信息、视频运动信息、高低层特征信息的高层语义特征；在上述特征层上添加检测头进行目标检测任务，最终获得缺陷的边框信息和类别信息。
[0010]由于上述技术方案运用，本专利技术与现有技术相比具有下列优点：（1）本申请相比较于传统的缺陷检测方法，本申请采用双流网络，空间流注重图像特征，时间流注重变化特征，模拟人眼在变化光源和角度抓住轻微缺陷的变化信息辅助网络的训练，提升网络精度。
[0011]（2）本申请抓住缺陷特征多为纹理信息属于低层特征的特点，双分支在低层特征图上进行融合，实现了低层信息的交互。
[0012]（3）本申请使用半监督对玻璃缺陷进行标注，大部分标注将自动生成，大大降低了人工标注的难度。
附图说明
[0013]图1为本专利技术的检测网络进行玻璃缺陷检测的流程框图。
具体实施方式
[0014]为了使本申请领域的人员更好地理解本说明书中的技术方案，下面将结合本说明书实施例中的附图，对本说明书实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本说明书保护的范围。
[0015]实施例1如图1所示，本专利技术公开了一种用于玻璃缺陷检测的检测网络，包括：S1，收集视频数据，并进行半监督标签，得到视频信息与标签信息；进一步的，制作原始缺陷数据的标签图像，其制作方法包括：使用图像标注工具制作对应的标签图像，用标注软件LabelImg为视频帧打上缺陷的边框和类别信息，生成标注信息。
[0016]进一步的，LabelImg是一个标注图像的工具，标注好的数据将作为GT（ground truth）提供给网络监督信号，监督网络的反向传播训练。
[0017]其中，标注信息的格式为txt、json或xml格式的标注。
[0018]进一步的, 收集视频任务具体包括：将玻璃产品放在暗箱中，屏蔽其余光源的污染，使用一个旋转的光源围绕玻璃提供360度的打光方案，用视频镜头采集30帧的视频信息用于后续的缺陷检测任务。
[0019]进一步的，玻璃缺陷检测长视频检测方案：当你对玻璃缺陷进行拍摄时，你会发现连续的视频帧是高度冗余的，玻璃缺陷的变化信息，帧之间都是高度相似的。也就是说，即使我们可以使用稀疏采样，即使抽出来的这些帧表面上看起来有些不一样，但它其实最高
层的语义信息，描述的是一个东西，我们可以对整个长视频建模，之前只能一小段一小段送入网络中，当检测视频超过20S，往往是我们的算力无法承受的，本专利技术突破时间限制，将原视频切为3段即能检测60S，满足工业对缺陷检测的时间要求，本专利技术会在稀疏采样的片段运算，每个小片段会预测这个片段的边框类别信息，然后根据所有的小片段的预测结果，会变成这个视频的缺陷预测。
[0020]进一步的，因为数据集中的视频时长比较短，训练和测试时都是随机抽一张视频帧作为输入，空间流负责提取静态帧的外观特征，光流加入弥补了神经网络难以捕捉时序运动信息的缺陷，直接提供给了模型帧之间的运动信息，使得识别任务更加容易。
[0021]稀疏采样：我们10帧图片中只取1帧代表当前切片的语义空间特征。单帧图片缺少对上下文的运动变化信息的理解，我们用这10帧图片的光流信息进行以上方法的光流训练。
[0022]给定一个视频V，我们把它等间隔分成K段{S1，S2，
···
，Sk}，时间段网络对片段序列进行建模这里（T1，T2，
……
Tk）是一个片段序列。每个片段Tk从其对应的片段Sk中随机抽样。 F（Tk；W） 是一个函数，参数为W，表示ConvNet，它对短片段Tk进行操作，并为所有类生成类分数。分段一致性函数将来自多个短片段的输出组合在一起，以获得其中类假设的一致性。基于此共识，预测函数H预测整个视频中每个动作类的概率。在这里我们为H选择了广泛使用Softmax函数。结合标准分类交叉熵损失，关于分段一致性G=ζ(F(T1；W)，F(T2；W)，F(Tk；W)) 的最终损失本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于玻璃缺陷检测的检测网络，其特征在于，包括：S1，收集视频数据，并进行半监督标签，得到视频信息与标签信息；S2，将视频信息与标签信息输入神经网络进行训练，得到训练后的网络；S3，将待测视频输入训练后的网络，获得缺陷的边框信息及缺陷类别信息，S4，将缺陷的边框信息及缺陷类别信息按照预定的方式进行输出显示；收集视频任务具体包括：将玻璃产品放在暗箱中，屏蔽其余光源的污染，使用一个旋转的光源围绕玻璃提供360度的打光方案，用视频镜头采集30帧的视频信息用于后续的缺陷检测任务；步骤S1中还包括制作原始缺陷数据的标签图像，其制作方法包括：使用图像标注工具制作对应的标签图像，用标注软件LabelImg为视频帧打上缺陷的边框和类别信息，生成标注信息；标注信息的方法采用半监督学习方式，通过标注一小部分的玻璃缺陷图片，训练神经网络来检测剩余的玻璃缺陷，将检测出来的缺陷边框信息和类别信息转化成标注信息，其余标注将自动生成，经过人工的审核，加入训练集，训练出可供使用的模型；模型为双流神经网络模型，双流神经网络包括空间流网络与时间流网络；双流神经网络模型的训练方法如下：空间流网络输入一个RGB图像，时间流网络使用TVL one抽取光流代表缺陷的变化信息；采用DarkNet作为主干网提取特征，并在Neck部分使用FPN+PAN融合高低层信息，使高低层特征信息具备交互的能力；抓取缺陷属于低语义特征，该特征在低层特征层进行融合，有利于网络对低层特征的有效利用...

【专利技术属性】
技术研发人员：李浩程，胡秋桂，王远扬，王宗辉，方正，
申请(专利权)人：苏州鼎纳自动化技术有限公司，
类型：发明
国别省市：