一种基于动态视觉传感器的缺陷检测方法和系统技术方案

本发明专利技术涉及一种基于动态视觉传感器的缺陷检测方法和系统，该系统包括：数据采集模块、缺陷检测模块、数据过滤模块和数据可视化模块；数据采集模块，用于采集检测图像，得到灰度信息变化数据，合成得到事件帧图像；缺陷检测模块，通过预训练完成的缺陷检测模型，对事件帧图像进行检测，得到缺陷检测结果；数据过滤模块，用于对缺陷检测结果排序，确定最终检测结果；数据可视化模块，进行可视化处理，输出缺陷的种类、置信度和坐标。本发明专利技术通过动态视觉处理器将一定数量事件合成一张事件帧后再输入至卷积神经网络，再通过特征提取和特征融合，进一步降低了卷积神经网络的计算量，使系统具有更好的性能。统具有更好的性能。统具有更好的性能。

【技术实现步骤摘要】
一种基于动态视觉传感器的缺陷检测方法和系统


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于动态视觉传感器的缺陷检测方法和系统。

技术介绍

[0002]在制造产品的过程中，往往不可避免的在产品表面产生加工缺陷，如在加工过程中因各种原因产生的变形、毛刺、划伤以及油渍等。产品表面缺陷不仅影响产品的美观，也会影响产品的使用性能，因此针对产品表面进行缺陷检测是十分重要的。对产品表面进行缺陷检测不仅可以有效的控制产品质量，还可以根据检测结果分析产生缺陷的原因，进而改进生产工艺，减少缺陷品的产生。
[0003]传统的表面检测方法是基于人眼的人工检测，该方法效率低、实时性差、准确率低、受主观因素影响大，且对细微缺陷存在严重的少减、漏检问题，难以满足实际生产需要。基于机器视觉的检测方法可以很大程度上克服以上弊端。但对于某些场景，基于传统相机的机器视觉检测也存在一些问题，如传统相机数据量大，易发生运动模糊且存在大量的信息冗余，因信息冗余产生的庞大数据量对后端算法和硬件提出了更高的要求。动态视觉传感器具有低功耗、低延时和高动态范围等优点，可以降低传统相机在复杂背景下检测并识别目标的难度。动态视觉传感器也具备对关键信息进行筛选的功能，能够从前端减少冗余数据，大大提高运算效率，减轻后端整体模组负担。
[0004]随着深度学习技术的逐渐成熟，基于深度学习的缺陷检测技术成为研究热点，该技术结合动态视觉传感器形成的缺陷检测系统，通过对图像进行特征提取，生成特征图进行缺陷检测，在工业品表面缺陷检测领域具有更强的竞争力。Marco Cannici等人在论文“A Differentiable Recurrent Surface for Asynchronous Event
‑
Based Data”(2020arXiv.org)中提出了一种利用长短期记忆网络对动态视觉传感器的输出事件流进行特征提取，并用卷积神经网络对特征提取结果进行目标识别的方法，进一步提升了图像处理的速度与准确性。然而，该方法仍然具有不足之处：在其对动态视觉传感器输出的事件流进行特征提取的过程中，是对所有事件依次进行的特征提取，在这一过程中，需要引入冗余信息，大大增加了卷积神经网络的计算量。

技术实现思路

[0005]为了解决现有技术中存在的上述问题，本专利技术提供了一种基于动态视觉传感器的缺陷检测方法和系统。本专利技术要解决的技术问题通过以下技术方案实现：
[0006]本专利技术提供了一种基于动态视觉传感器的缺陷检测方法，包括：
[0007]采集被检测样品在一个运动周期内的多张检测图像；
[0008]根据所述多张检测图像得到对应的灰度信息变化数据；
[0009]将所述灰度信息变化数据合成得到对应的事件帧图像；
[0010]将所述事件帧图像输入至预训练完成的缺陷检测模型中，得到对应的缺陷检测结
果；
[0011]根据所有事件帧图像对应的缺陷检测结果，确定所述被检测样品的最终检测结果，并进行可视化处理。
[0012]在本专利技术的一个实施例中，所述缺陷检测模型的预训练包括：
[0013](a)获取缺陷训练数据集T1：
[0014]将采集到的事件帧图像S，分为训练集和测试集进行缺陷的标注，得到缺陷数据集T1；
[0015](b)构建包含特征提取模块、特征融合模块和检测识别模块的卷积神经网络F；
[0016](c)从缺陷数据集T1中，随机选取训练集中标注好的事件帧图像作为卷积神经网络的输入，卷积神经网络的损失值为：
[0017]Loss＝Loss
box
+Loss
obj
+Loss
cls
；
[0018]其中，Loss为卷积神经网络的损失值，Loss
box
为预测框部分带来的误差，Loss
obj
为置信度带来的误差，Loss
cls
为类别带来的误差；
[0019](d)用梯度下降法通过卷积神经网络的损失值Loss对卷积神经网络F的参数进行更新，参数更新公式为：
[0020][0021][0022]其中，ω
u
表示更新前卷积层的参数，ω
u+1
表示更新后的卷积层的参数，θ
u
表示更新前全连接层的参数，θ
u+1
表示更新后的全连接层的参数；
[0023](4e)卷积神经网络F通过迭代训练,得到预训练完成的缺陷检测模型。
[0024]在本专利技术的一个实施例中，所述特征融合模块，用于对所述特征提取模块输出的不同尺度的特征图F
a1
、F
a2
、F
a3
进行特征融合，将高层的特征信息，先通过上采样的方式进行传递融合，再通过下采样方式进行融合，得到预测的特征图F
b1
、F
b2
、F
b3
。
[0025]在本专利技术的一个实施例中，根据所有事件帧图像对应的缺陷检测结果，确定所述被检测样品的最终检测结果，并进行可视化处理，包括：
[0026]对被检测样品在一个运动周期内的缺陷检测结果进行存储，对预测类别序列进行统计，取数量最多的某一类别作为最终检测类别，对此类别中，取置信度最大的那帧图像作为最终检测结果，并进行可视化显示。
[0027]本专利技术还提供了一种基于动态视觉传感器的缺陷检测系统，包括：数据采集模块、缺陷检测模块、数据过滤模块和数据可视化模块；
[0028]所述数据采集模块，用于采集被检测样品在一个运动周期内的多张检测图像，得到对应的灰度信息变化数据，并将所述灰度信息变化数据合成得到对应的事件帧图像；
[0029]所述缺陷检测模块，通过预训练完成的缺陷检测模型，对所述事件帧图像进行检测，得到对应的所述缺陷检测结果；
[0030]所述数据过滤模块，对一个周期内的所述缺陷检测结果进行排序，确定所述被检测样品的最终检测结果；
[0031]所述数据可视化模块，用于对所述最终检测结果进行可视化处理，输出识别出的缺陷的种类、置信度和坐标。
[0032]在本专利技术的一个实施例中，所述数据采集模块包括：机械臂、动态视觉传感器和动态视觉处理器；
[0033]其中，所述动态视觉传感器用于采集图像，对图像的灰度信息进行比较并输出灰度信息变化数据；
[0034]所述机械臂用于夹取被检测样品，在所述动态视觉传感器前进行周期往返运动；
[0035]所述动态视觉处理器用于对所述灰度信息变化数据进行解析，将其合成为事件帧图像。
[0036]与现有技术相比，本专利技术的有益效果在于：
[0037]1.本专利技术的基于动态视觉传感器的缺陷检测方法和系统，采用动态视觉传感器，避免了传统相机因信息冗余存在的过爆现象，通过数据流压缩成事件帧，大大减少了输入网络的数据量，提高了检测速度，同时针对复杂光照场景，具有鲁棒性。
...

【技术保护点】

【技术特征摘要】
1.一种基于动态视觉传感器的缺陷检测方法，其特征在于，包括：采集被检测样品在一个运动周期内的多张检测图像；根据所述多张检测图像得到对应的灰度信息变化数据；将所述灰度信息变化数据合成得到对应的事件帧图像；将所述事件帧图像输入至预训练完成的缺陷检测模型中，得到对应的缺陷检测结果；根据所有事件帧图像对应的缺陷检测结果，确定所述被检测样品的最终检测结果，并进行可视化处理。2.根据权利要求1所述的基于动态视觉传感器的缺陷检测系统的缺陷检测方法，其特征在于，所述缺陷检测模型的预训练包括：(a)获取缺陷训练数据集T1：将采集到的事件帧图像S，分为训练集和测试集进行缺陷的标注，得到缺陷数据集T1；(b)构建包含特征提取模块、特征融合模块和检测识别模块的卷积神经网络F；(c)从缺陷数据集T1中，随机选取训练集中标注好的事件帧图像作为卷积神经网络的输入，卷积神经网络的损失值为：Loss＝Loss
box
+Loss
obj
+Loss
cls
；其中，Loss为卷积神经网络的损失值，Loss
box
为预测框部分带来的误差，Loss
obj
为置信度带来的误差，Loss
cls
为类别带来的误差；(d)用梯度下降法通过卷积神经网络的损失值Loss对卷积神经网络F的参数进行更新，参数更新公式为：参数更新公式为：其中，ω
u
表示更新前卷积层的参数，ω
u+1
表示更新后的卷积层的参数，θ
u
表示更新前全连接层的参数，θ
u+1
表示更新后的全连接层的参数；(4e)卷积神经网络F通过迭代训练,得到预训练完成的缺陷检测模型。3.根据权利要求2所述的基于动态视觉传感器的缺陷检测系统的缺陷检测方法，其特征在于，所述特征融合模块，用于对所述特征提取模块输出的不同尺度的特征图F

【专利技术属性】
技术研发人员：吴金建，贾耀强，马居坡，石光明，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：