一种基于多模态特征融合的玻璃缺陷检测方法及系统技术方案

本发明专利技术公开了一种基于多模态特征融合的玻璃缺陷检测方法及系统，包括：S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像；S2：提取预处理后的玻璃图像的边缘特征和深度特征；S3：对提取出的边缘特征和深度特征进行融合，获得融合特征；S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。本发明专利技术提供一种高效、准确且自动化的玻璃缺陷检测方法，应用于工业生产中，帮助生产企业提高产品质量和竞争力。帮助生产企业提高产品质量和竞争力。帮助生产企业提高产品质量和竞争力。

【技术实现步骤摘要】
一种基于多模态特征融合的玻璃缺陷检测方法及系统


[0001]本专利技术涉及玻璃缺陷检测的
，尤其涉及一种基于多模态特征融合的玻璃缺陷检测方法及系统。

技术介绍

[0002]芯片加工工艺中，通常采用玻璃基板涂覆光刻胶进行蚀刻，因此对玻璃基板的要求特别高，玻璃基板在生产加工过程中可能会出现各种缺陷，如平整度、气泡、划痕、裂纹、白斑、白边等，这些缺陷会降低产品质量并影响其使用，等级较低的玻璃基板则在精度较差的加工艺中使用，价格也相应低很多。传统的玻璃缺陷检测方法主要依赖于人工视觉检查，这种方式费时费力且容易受到主观因素的影响，特别是当对玻璃基板的等级要求高时，肉眼是很难检测出其微小缺陷的。随着深度学习技术的发展，基于图像处理和深度学习的玻璃缺陷检测方法逐渐受到关注。传统方法大多依赖人工设计的特征，如边缘、形状、颜色等特征。这需要专业的领域知识，且不同的特征对各种缺陷的区分能力不同，扩展性差，不适用于新类型缺陷的检测。现有方法主要依赖单一模态的特征，如仅使用边缘特征或表面特征，容易导致漏检和误检。同时，单一特征难以全面描述复杂的缺陷模式。

技术实现思路

[0003]有鉴于此，本专利技术提供一种基于多模态特征融合的玻璃缺陷检测方法及系统，目的在于克服传统方法在玻璃缺陷检测中存在的单一特征提取、特征融合困难和参数优化困难等缺点，提供一种高效、准确且自动化的玻璃缺陷检测方法，应用于工业生产中，帮助生产企业提高产品质量和竞争力。
[0004]实现上述目的，本专利技术提供的一种基于多模态特征融合的玻璃缺陷检测方法，包括以下步骤：S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像；S2：提取预处理后的玻璃图像的边缘特征和深度特征；S3：对提取出的边缘特征和深度特征进行融合，获得融合特征；S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。
[0005]作为本专利技术的进一步改进方法：可选地，所述S1步骤中获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像，包括：S11：计算玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：玻璃图像的低亮度区阈值和高亮度区阈值的计算公式为：；
；其中，和分别表示玻璃图像的最大值和最小值；和分别表示玻璃图像的低亮度区阈值和高亮度区阈值；为参考调整值，计算方式为：；其中，M和N分别表示玻璃图像的长和宽；，，表示玻璃图像在像素坐标处的像素值；；基于计算得到的玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：；其中，，和分别代表玻璃图像的低、中、高亮度区域；S12：对玻璃图像的三个亮度区域分别进行均衡化处理：；其中，，和分别代表均衡化后的玻璃图像的低、中、高亮度区域；，和分别代表玻璃图像的低、中、高亮度区域的最大值；，和分别代表低、中、高亮度区域的均衡系数；合并均衡化后的三个亮度区域得到预处理后的玻璃图像：；其中，表示集合合并操作。
[0006]可选地，所述S2步骤中提取预处理后的玻璃图像的边缘特征和深度特征，包括：S21： 边缘特征提取：对预处理后的玻璃图像上的每一个像素，边缘特征的计算方式为：；
其中，表示预处理后的玻璃图像以为中心范围内的像素值，表示以为中心范围内的像素的序号；表示预处理后的玻璃图像在像素坐标处的像素值；的计算方式为：；S22：深度特征提取：利用ImageNet上训练过的VGG16模型作为深度学习特征提取器，获得预处理后的玻璃图像的深度特征图：；对深度特征图进行采样，使其尺寸与预处理后的玻璃图像保持一致，获得提取出的深度特征，所述采样的计算方式为：；其中，为深度特征图的像素坐标，，，和由下式计算得到：。
[0007]可选地，所述S3步骤中对提取出的边缘特征和深度特征进行融合，获得融合特征，包括：对提取出的边缘特征和深度特征进行多模态融合，所述多模态融合的计算方式为：；；；其中，表示向量拼接操作，e为自然数。
[0008]可选地，所述S4步骤中构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标，包括：S41：构建玻璃缺陷检测网络：
基于Faster
‑
RCNN框架构建玻璃缺陷检测网络，将S3中获得的多模态融合特征输入构建的网络中，得到网络预测的缺陷位置和缺陷类别：；其中，为构建的玻璃缺陷检测网络；为玻璃缺陷检测网络包含的参数；；表示玻璃缺陷检测网络检测出的不同缺陷的概率，为缺陷的种类数目；表示玻璃缺陷检测网络检测出的缺陷所在位置参数，，决定了缺陷所在位置的中心和外包围盒的长宽；S42：设定玻璃缺陷检测网络的优化目标：玻璃缺陷检测网络的优化目标由两部分构成，第一部分优化玻璃缺陷检测网络检测缺陷种类的能力：；其中，；为当前检测出的缺陷的真实缺陷类别，若玻璃缺陷检测网络检测出的缺陷类别与真实缺陷类别相同则为1，否则为0；第二部分优化玻璃缺陷检测网络定位缺陷位置的能力：；其中，为缺陷所在真实的位置参数；的计算方式为： ；最终的优化目标表示为：。
[0009]可选地，所述S5步骤中基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数，包括：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数，所述改进的梯度下降方法为：；其中，为参数更新次数；为控制权重；，和的计算方式分别为：；；
；其中，，和为前序参考权重；表示第次更新参数时的梯度，计算方式为：；完成玻璃缺陷检测网络参数的训练后，输入待检测玻璃图片，玻璃缺陷检测网络输出检测出的缺陷种类和位置。
[0010]本专利技术还公开了一种基于多模态特征融合的玻璃缺陷检测系统，包括：图像预处理模块：获取玻璃图像，并对其进行均衡化；特征提取模块模块：提取预处理后的玻璃图像的边缘特征和深度特征；特征融合模块模块：对提取出的边缘特征和深度特征进行融合，获得融合特征；网络构建模块：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；网络训练模块：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。
有益效果
[0011]本专利技术采用边缘特征和深度特征相结合的方式进行特征融合。使用多模态特征可以充分挖掘图像中不同层次的信息，提高了玻璃缺陷检测的准确性和鲁棒性。
[0012]本专利技术使用改进的梯度下降方法和优化目标训练网络参数，实现了自动化的玻璃缺陷检测。用户无需手动调整特征提取和算法参数，降低了使用门槛，节省了人力和时间成本。
[0013]本专利技术通过综合边缘特征和深度特征的融合，并利用深度学习网络进行综合检测，能够对玻璃缺陷进行更全面、准确的检测和评估，提高了产品质量控制效率。
[0014]由于采用深度学习技术，本专利技术在进行特征提取和检测时能够高效处理大规模的图像数据，实现了快速的缺陷检测，适用于工业生产中高产量的场景。
[0015]本专利技术采用基于深度学习的特征提取和融合方式，相较于传统方法，在处理复杂图像和多样化缺陷时具备更高的技术先进性和检测精度。
[0016]综上所述，本专利技术的玻璃缺陷检测方法能够实现多本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，包括以下步骤：S1：获取玻璃图像，并对其进行均衡化，获得预处理后的玻璃图像；S2：提取预处理后的玻璃图像的边缘特征和深度特征；S3：对提取出的边缘特征和深度特征进行融合，获得融合特征；S4：构建玻璃缺陷检测网络，设定网络的输入、输出以及优化目标；S5：基于改进的梯度下降方法和优化目标训练玻璃缺陷检测网络参数。2.根据权利要求1所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S1中，包括：S11：计算玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：玻璃图像的低亮度区阈值和高亮度区阈值的计算公式为：；；其中，和分别表示玻璃图像的最大值和最小值；和分别表示玻璃图像的低亮度区阈值和高亮度区阈值；为参考调整值，计算方式为：；其中，M和N分别表示玻璃图像的长和宽；，，表示玻璃图像在像素坐标处的像素值；；基于计算得到的玻璃图像的低亮度区阈值和高亮度区阈值，将玻璃图像分为三个亮度区域：；其中，，和分别代表玻璃图像的低、中、高亮度区域；S12：对玻璃图像的三个亮度区域分别进行均衡化处理：；其中，，和分别代表均衡化后的玻璃图像的低、中、高亮度区域；，
和分别代表玻璃图像的低、中、高亮度区域的最大值；，和分别代表低、中、高亮度区域的均衡系数；合并均衡化后的三个亮度区域得到预处理后的玻璃图像：；其中，表示集合合并操作。3.根据权利要求2所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，所述步骤S2中，包括：S21： 边缘特征提取：对预处理后的玻璃图像上的每一个像素，边缘特征的计算方式为：；其中，表示预处理后的玻璃图像以为中心范围内的像素值，表示以为中心范围内的像素的序号；表示预处理后的玻璃图像在像素坐标处的像素值；的计算方式为：；S22：深度特征提取：利用ImageNet上训练过的VGG16模型作为深度学习特征提取器，获得预处理后的玻璃图像的深度特征图：；对深度特征图进行采样，使其尺寸与预处理后的玻璃图像保持一致，获得提取出的深度特征，所述采样的计算方式为：；其中，为深度特征图的像素坐标，，，和由下式计算得到：。4.根据权利要求3所述的一种基于多模态特征融合的玻璃缺陷检测方法，其特征在于，
所述步...

【专利技术属性】
技术研发人员：李弋舟，
申请(专利权)人：长沙韶光芯材科技有限公司，
类型：发明
国别省市：