一种基于多传感器数据融合与分类的玻璃缺陷监测方法技术

本发明专利技术公开了一种基于多传感器数据融合与分类的玻璃缺陷监测方法，包括如下步骤：S1、通过两种以上的传感器收集玻璃的检测信号，并将所述两种以上传感器收集的检测信号进行深度学习融合；S2、通过经训练的神经网络，根据融合后的检测信号判断缺陷有无，以及在判断有缺陷时确定缺陷类型的类型和位置。结合多个传感器的检测信息进行深度学习融合来对玻璃缺陷进行检测与定位，可提供关于缺陷位置、类型等多维度信息，其适应性强，在不同环境和应用场景下具有较好的稳定性和可靠性，能够提供更加精准和完整的玻璃缺陷检测和定位。精准和完整的玻璃缺陷检测和定位。精准和完整的玻璃缺陷检测和定位。

【技术实现步骤摘要】
一种基于多传感器数据融合与分类的玻璃缺陷监测方法


[0001]本专利技术涉及的玻璃监测的
，特别是涉及一种基于多传感器数据融合与分类的玻璃缺陷监测方法。

技术介绍

[0002]玻璃作为一种广泛应用的材料，其质量对于许多应用场景至关重要。玻璃缺陷可能导致结构弱化、光学性能降低以及美观问题，因此对玻璃进行缺陷检测具有重要意义。现有的玻璃缺陷检测方法主要依赖于传统的光学成像技术和机器视觉算法。这些方法通常需要借助透镜进行成像，并依赖外部光源提供光照。然而，这些方法存在以下问题。
[0003]对光源和成像设备的依赖：传统的检测方法需要依赖外部光源和成像设备，这会增加系统的复杂性和成本。同时，这种依赖性导致了对环境光照变化的敏感性，从而影响检测效果(对光照条件敏感、设备昂贵)。
[0004]检测维度有限：现有方法往往只能检测玻璃是否存在缺陷，而不能提供关于缺陷位置、类型等多维度信息。这限制了检测方法在实际应用中的效果。
[0005]对环境和场景的适应性较差：由于对光源和成像设备的依赖，现有方法在面对不同环境和应用场景时，往往需要进行参数调整和设备更换，导致系统的适应性较差。

技术实现思路

[0006]本专利技术的目的在于解决现有技术存在的上述至少一种问题，提供一种基于多传感器数据融合与分类的玻璃缺陷监测方法。
[0007]为实现上述目的，本专利技术采用以下技术方案：
[0008]一种基于多传感器数据融合与分类的玻璃缺陷监测方法，包括如下步骤：S1、通过两种以上的传感器收集玻璃的检测信号，并将所述两种以上传感器收集的检测信号进行深度学习融合；S2、通过经训练的神经网络，根据融合后的检测信号判断缺陷有无，以及在判断有缺陷时确定缺陷类型的类型和位置。
[0009]所述传感器设置在玻璃侧边，其中一种为光学传感器，其余包括红外传感器、电磁波传感器、声学传感器、电容传感器中的一种或多种，每种传感器的数量为一个或多个；能够在玻璃使用过程中实时检测缺陷。
[0010]在本专利技术的一些实施例中，所述深度学习融合包括：
[0011]使用深度神经网络对不同类型的检测信号进行特征提取，并将其转换为一个共同的特征空间；
[0012]在所述共同的特征空间中，应用特征融合策略将不同类型检测信号的特征进行融合；
[0013]将融合后的特征映射恢复空间分辨率；
[0014]将融合后的特征映射转换得到融合输出。
[0015]在本专利技术的一些实施例中，所述神经网络为多任务图神经网络MT
‑
GNN；其中，将所
述玻璃表面划分为一组网格，并将每个网格单元视为图中的一个节点，节点之间的连接表示相邻网格单元之间的关系，为每个节点分配特征向量，其包含来自所述传感器的特征数据，由此构建所述玻璃表面的图结构；其中，所述图神经网络具有输入层、若干层图卷积层和输出层，所述输入层接收根据所述物理信号获得的特征向量，所述图卷积层用于学习节点之间的关系和传播节点之间的信息，所述输出层用于处理缺陷预测任务的输出。
[0016]在本专利技术的一些实施例中，所述图神经网络包括如下四个任务的输出层：
[0017]缺陷有无输出层，其对每个节点进行二分类，判断该节点是否存在缺陷；
[0018]缺陷大概位置输出层，其对每个节点进行回归，预测该节点内缺陷的相对位置；
[0019]缺陷类型分类输出层，其对每个节点进行多分类，识别该节点内缺陷的类型；
[0020]缺陷详细位置输出层，其对每个节点进行密集回归，预测该节点内缺陷的详细位置；
[0021]优选地，每个任务有一个对应的损失函数，总损失函数为：
[0022]L_total＝λ1*L1+λ2*L2+λ3*L3+λ4*L4
[0023]其中，L_total为总损失函数，L1、L2、L3、L4分别为四个任务的损失函数，λ1、λ2、λ3、λ4分别是各个任务损失函数的权重；
[0024]为每个任务分别计算损失，并组合起来得到总损失；
[0025]优选地，具体采用以下一种或多种的损失函数设置：
[0026]缺陷有无预测，采用二元交叉熵损失函数BCELoss：
[0027]L1＝BCELoss)＝
‑
Σ[y*log(p)+(1
‑
y)*log(1
‑
p)][0028]其中，y表示实际标签(0或1)，p表示模型预测的概率；
[0029]缺陷大概位置预测，采用均方误差损失函数MSELoss：
[0030]L2＝MSELoss＝Σ(y
‑
p)^2/N
[0031]其中，y表示实际位置，p表示模型预测的位置，N表示样本数量；
[0032]缺陷类型分类预测，采用类别交叉熵损失函数CCELoss：
[0033]L3＝CCELoss＝
‑
ΣΣy_i*log(p_i)
[0034]其中，y_i表示实际类别的独热编码，p_i表示模型预测的概率；
[0035]缺陷详细位置预测，采用均方误差损失MSELoss：
[0036]L4＝MSELoss＝Σ(y1‑
p1)^2/N
[0037]其中，y1表示实际详细位置，p1表示模型预测的详细位置，N表示样本数量。
[0038]在本专利技术的一些实施例中，每一层图卷积层都按照以下公式：
[0039]X^(l+1)＝σ(AX^(l)W^(l))
[0040]其中，X^(l)表示第l层的节点特征矩阵，A表示邻接矩阵，W^(l)表示第l层的权重矩阵，σ表示激活函数。
[0041]在本专利技术的一些实施例中，还包括如下步骤：
[0042]S3、根据步骤S2的判断结果进行预警操作，具体包括：
[0043]接收来自多任务图神经网络的缺陷预测结果，整合形成缺陷信息列表；
[0044]遍历所述缺陷信息列表，根据预设的预警阈值和缺陷的置信度判断是否触发预警；
[0045]触发预警时，进行预警信息的显示、发送、记录中的一种或多种操作。
[0046]在一些实施例中，使用自适应的图拓扑构建方法，通过动态地修改图的边权值，来优化所述多任务图神经网络MT
‑
GNN的性能。
[0047]在一些实施例中，使用基于多模态数据的特征融合技术，吸收和整合多种传感器的信息，提高多任务图神经网络MT
‑
GNN的分类精度。
[0048]在一些实施例中，所述多任务图神经网络MT
‑
GNN采用基于混淆矩阵优化的损失函数设计，以自适应地调整每个任务权重，实现多任务之间的平衡。在训练过程中，先计算每个任务的混淆矩阵，然后根据所述混淆矩阵来计算每个任务的损失；如果一个任务的性能较差，则增大其损失，使得在后续的训练中模型更加关注该任务，反之则减小其损失。
[0049]本专利技术具有如下有益效果：
[005本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于多传感器数据融合与分类的玻璃缺陷监测方法，其特征在于，包括如下步骤：S1、通过两种以上的传感器收集玻璃的检测信号，并将所述两种以上传感器收集的检测信号进行深度学习融合；S2、通过经训练的神经网络，根据融合后的检测信号判断缺陷有无，以及在判断有缺陷时确定缺陷类型的类型和位置。2.如权利要求1所述的玻璃缺陷监测方法，其特征在于，所述传感器设置在玻璃侧边，其中一种为光学传感器，其余包括红外传感器、电磁波传感器、声学传感器、电容传感器中的一种或多种，每种传感器的数量为一个或多个；能够在玻璃使用过程中实时检测缺陷。3.如权利要求1所述的玻璃缺陷监测方法，其特征在于，所述深度学习融合包括：使用深度神经网络对不同类型的检测信号进行特征提取，并将其转换为一个共同的特征空间；在所述共同的特征空间中，应用特征融合策略将不同类型检测信号的特征进行融合；将融合后的特征映射恢复空间分辨率；将融合后的特征映射转换得到融合输出。4.如权利要求1至3任一项所述的玻璃缺陷监测方法，其特征在于，所述神经网络为多任务图神经网络MT
‑
GNN；其中，将所述玻璃表面划分为一组网格，并将每个网格单元视为图中的一个节点，节点之间的连接表示相邻网格单元之间的关系，为每个节点分配特征向量，其包含来自所述传感器的特征数据，由此构建所述玻璃表面的图结构；其中，所述图神经网络具有输入层、若干层图卷积层和输出层，所述输入层接收根据所述物理信号获得的特征向量，所述图卷积层用于学习节点之间的关系和传播节点之间的信息，所述输出层用于处理缺陷预测任务的输出。5.如权利要求4所述的玻璃缺陷监测方法，其特征在于，所述图神经网络包括如下四个任务的输出层：缺陷有无输出层，其对每个节点进行二分类，判断该节点是否存在缺陷；缺陷大概位置输出层，其对每个节点进行回归，预测该节点内缺陷的相对位置；缺陷类型分类输出层，其对每个节点进行多分类，识别该节点内缺陷的类型；缺陷详细位置输出层，其对每个节点进行密集回归，预测该节点内缺陷的详细位置；优选地，每个任务有一个对应的损失函数，总损失函数为：L_total＝λ1*L1+λ2*L2+λ3*L3+λ4*L4其中，L_total为总损失函数，L1、L2、L3、L4分别为四个任务的损失函数，λ1、λ2、λ3、λ4分别是各个任务损失函数的权重；为每个任务分别计算损失，并组合起来得到总损失；优选地，具体采用以下一种或多种的损失函数设置：缺陷有无预测，采用二元交叉熵损失函数BCELoss：L1＝BCELoss)＝...

【专利技术属性】
技术研发人员：金欣，曾云辉，
申请(专利权)人：清华大学深圳国际研究生院，
类型：发明
国别省市：