真实时空注意力模块及其在焊点熔核质量检测中的应用制造技术

本发明专利技术公开了一种真实时空注意力模块，利用空间处理模块包含的真实空间注意力单元挖掘多通道数据潜在的真实空间关联信息；空间处理模块输出作为时间处理模块的输入，利用时序短序列注意力单元提取变化趋势的潜在特征以提高检测结果的准确性；全局时间上下文注意力单元的信息采集支路和信息分配支路分别用于提取其余信号对信号i的影响和信号i对其余信号的影响。如此，本发明专利技术的真实时空注意力模块能够深度挖掘多通道信号的真实时空关联性特征，可以有效提高智能模型的检测精度，且通用性强，可应用于多种工业领域处理不同信号，应用时还可以灵活嵌入多种模型以提高性能。本发明专利技术的还公开了一种真实时空注意力模块在焊点熔核质量检测中的应用。熔核质量检测中的应用。熔核质量检测中的应用。

【技术实现步骤摘要】
真实时空注意力模块及其在焊点熔核质量检测中的应用


[0001]本专利技术属于智能制造
，具体的为一种真实时空注意力模块及其在焊点熔核质量检测中的应用。

技术介绍

[0002]电阻点焊是一种应用于焊接各类金属薄板类零件的电阻焊工艺，由于其具有工件变形小，焊接效率高，工艺成本低，焊接过程操作简单，可循环等优点，被广泛应用于高速自动化的白车身焊接制造中。据统计，一个典型白车身90％以上的装配量由电阻点焊完成，焊点质量在极大程度上影响白车身质量，尤其是焊点熔核质量会直接决定焊点的机械强度从而进一步决定白车身的安全性能和使用寿命。因此焊点熔核质量检测对于控制白车身加工质量至关重要。
[0003]当前实际工程中对焊点熔核质量的检测大多采用人工抽检策略，使用破坏性凿检和超声波技术对焊点进行抽样检测。破坏性凿检通过破坏焊点连接直接观察其熔核结构作为质量判别依据；超声波检测利用声波在不同结构边界面反射形成的脉冲波形作为质量判别依据。这两种检测方法虽然在工业制造领域得到了广泛的应用，但也具有明显局限性：破坏性凿检需要工人手工开凿焊点，开凿过程会消耗大量时间和劳动量，且样品被破坏会造成资源浪费；超声波检测需要专业技术人员逐焊点检测，过程繁琐且检测过程中容易出现重复或遗漏。这些局限性导致这两种方法抽检率低，检测效率低，自动化程度低，难以满足当前汽车制造业高速自动化的发展需求。
[0004]近年来，随着工业大数据和计算机技术的发展，数据积累和计算速度不断提高，一些基于工业信号的智能模型被研究应用于焊点质量检测领域。如通过BP神经网络的万能逼近特性挖掘焊接电流与熔核直径的非线性隐式近似泛函解；使用循环神经网络探索动态电阻信号与焊点机械强度的潜在相关性；通过残差或稠密网络结构模拟物理场在焊接力热耦合过程的瞬态动力学行为；通过卷积神经网络深度挖掘焊点外观图像特征并实现与焊点外观质量状态的准确对应等。这些研究均取得了初步的成功，为基于工业大数据的焊点质量检测理论和方法带来了新的契机和启发，也为新一代便捷、高效焊点质量检测技术的落地应用带来了可能。
[0005]智能检测模型的核心算法可以根据测量信号的特点进行针对性设计，通过多层作用各不相同的神经网络层对原始信号进行分割、聚合、升降维等数据操作，逐层提取信号的高维语义特征作为后续线性回归或非线性分类的基础。模型训练过程输出结果的梯度反向传递，借助机器学习的优化器迭代优化模型参数，使模型输出结果不断逼近真实情况，最终学习到振动响应信号与机械系统健康状态的隐式非线性关系。模型的信号分析处理过程不需要人工特征工程预处理，且能够通过GPU并行运算提高计算速度，满足汽车制造业高速自动化的发展需求，实现智能、高效、高精度的焊点熔核质量检测。

技术实现思路

[0006]有鉴于此，本专利技术的目的在于提供一种真实时空注意力模块及其在焊点熔核质量检测中的应用，所述的真实时空注意力模块深度挖掘多通道信号的真实时空关联性特征，可以有效提高智能模型的检测精度，且通用性强，可应用于多种工业领域处理不同信号，应用时还可以灵活嵌入多种模型以提高性能。
[0007]为达到上述目的，本专利技术提供如下技术方案：
[0008]本专利技术首先提出了一种真实时空注意力模块，包括空间处理模块和时间处理模块；
[0009]所述空间处理模块包括用于挖掘多通道数据潜在的真实空间关联信息的真实空间注意力单元，所述真实空间注意力单元包括全局平均池化层、全局标准差池化层、多层感知机和残差连接块；所述全局平均池化层和全局标准差池化层分别用于对输入的多通道信号进行编码并得到两组聚合特征，两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量，所述空间注意力权重向量通过所述残差连接块对原始特征图进行修正并得到真实空间特征图；
[0010]所述时间处理模块包括并联的时序短序列注意力单元和全局时间上下文注意力单元；
[0011]所述时序短序列注意力单元包括用于分别在不同空间尺度上执行操作的两条支路；第一条支路依次对输入的真实空间特征图进行平均池化和下采样操作，在进行平均池化后采用不规则padding使池化后的特征图的尺寸保持不变，在进行下采样后对得到的隐藏空间特征图进行线性插值以扩张尺寸至原始空间尺寸，得到插值特征图；利用残差连接将插值特征图与真实空间特征图进行元素级求和并使用激活函数生成时序短序列注意力权重矩阵；第二条支路在原始空间尺度对真实空间特征图执行卷积操作，以提取真实空间特征图的特征信息并生成原始尺度特征图；利用时序短序列注意力权重矩阵修正原始尺度特征图，得到时序短序列注意力单元的输出；
[0012]所述全局时间上下文注意力单元包括并列设置信息采集支路和信息分配支路；所述全局时间上下文注意力单元分别采用两个卷积操作压缩真实空间特征图的通道数至原来的一半，并分别得到信息采集特征图和信息分配特征图；所述信息采集支路依次对所述信息采集特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息采集特征图的通道数扩张至等于其高度和宽度的乘积，得到第一全局时间注意矩阵；执行reshape操作以调整第一全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果；所述信息分配支路依次对所述信息分配特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息分配特征图的通道数扩张至等于其高度和宽度的乘积，得到第二全局时间注意矩阵；执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果；
[0013]沿通道维度拼接信息采集支路的输出结果和信息分配支路的输出结果得到所述全局时间上下文注意力单元的输出；沿通道维度拼接所述时序短序列注意力单元的输出和
所述全局时间上下文注意力单元的输出得到所述时间处理模块的输出。
[0014]进一步，所述真实空间注意力单元的原理为：
[0015]所述全局平均池化层和全局标准差池化层分别对输入的多通道信号进行编码并得到两组聚合特征：
[0016][0017][0018]其中，x
m
表示第m个通道的特征图，表示三维张量，H表示高度，W表示宽度，C表示通道；分别表示全局平均池化和全局标准差池化得到的聚合特征；表示第c个通道特征图的第i个数据；表示第c个通道所有数据的平均值；GAP(
·
)和GSP(
·
)分别表示全局平均池化和全局标准差池化；
[0019]两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量：
[0020][0021]其中，w
c
表示...

【技术保护点】

【技术特征摘要】
1.一种真实时空注意力模块，其特征在于：包括空间处理模块和时间处理模块；所述空间处理模块包括用于挖掘多通道数据潜在的真实空间关联信息的真实空间注意力单元，所述真实空间注意力单元包括全局平均池化层、全局标准差池化层、多层感知机和残差连接块；所述全局平均池化层和全局标准差池化层分别用于对输入的多通道信号进行编码并得到两组聚合特征，两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量，所述空间注意力权重向量通过所述残差连接块对原始特征图进行修正并得到真实空间特征图；所述时间处理模块包括并联的时序短序列注意力单元和全局时间上下文注意力单元；所述时序短序列注意力单元包括用于分别在不同空间尺度上执行操作的两条支路；第一条支路依次对输入的真实空间特征图进行平均池化和下采样操作，在进行平均池化后采用不规则padding使池化后的特征图的尺寸保持不变，在进行下采样后对得到的隐藏空间特征图进行线性插值以扩张尺寸至原始空间尺寸，得到插值特征图；利用残差连接将插值特征图与真实空间特征图进行元素级求和并使用激活函数生成时序短序列注意力权重矩阵；第二条支路在原始空间尺度对真实空间特征图执行卷积操作，以提取真实空间特征图的特征信息并生成原始尺度特征图；利用时序短序列注意力权重矩阵修正原始尺度特征图，得到时序短序列注意力单元的输出；所述全局时间上下文注意力单元包括并列设置信息采集支路和信息分配支路；所述全局时间上下文注意力单元分别采用两个卷积操作压缩真实空间特征图的通道数至原来的一半，并分别得到信息采集特征图和信息分配特征图；所述信息采集支路依次对所述信息采集特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息采集特征图的通道数扩张至等于其高度和宽度的乘积，得到第一全局时间注意矩阵；执行reshape操作以调整第一全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息采集特征图以对信息采集特征图进行修正，得到信息采集支路的输出结果；所述信息分配支路依次对所述信息分配特征图执行卷积操作和reshape操作；执行卷积操作后，所述信息分配特征图的通道数扩张至等于其高度和宽度的乘积，得到第二全局时间注意矩阵；执行reshape操作以调整第二全局时间注意矩阵的尺寸、并使用Hadamard积将信号间相互影响的权重分配到信息分配特征图以对信息分配特征图进行修正，得到信息分配支路的输出结果；沿通道维度拼接信息采集支路的输出结果和信息分配支路的输出结果得到所述全局时间上下文注意力单元的输出；沿通道维度拼接所述时序短序列注意力单元的输出和所述全局时间上下文注意力单元的输出得到所述时间处理模块的输出。2.根据权利要求1所述的真实时空注意力模块，其特征在于：所述真实空间注意力单元的原理为：所述全局平均池化层和全局标准差池化层分别对输入的多通道信号进行编码并得到两组聚合特征：
其中，x
m
表示第m个通道的特征图，表示三维张量，H表示高度，W表示宽度，C表示通道；分别表示全局平均池化和全局标准差池化得到的聚合特征；表示第c个通道特征图的第i个数据；表示第c个通道所有数据的平均值；GAP(
·
)和GSP(
·
)分别表示全局平均池化和全局标准差池化；两组聚合特征分别通过所述多层感知机挖掘各通道数据隐藏的空间关系并分别生成适应性的空间权重向量，两个空间权重向量相加后采用Softmax函数激活得到空间注意力权重向量：其中，w
c
表示c通道的权重；和分别表示和通过多层感知机生成的空间权重向量；σ(
·
)表示Softmax函数；MLP(
·
)表示多层感知机；引入残差连接，将对应通道的权重与对应的通道的特征图执行Hadamard积，以对不同通道信号进行修正，得到真实空间特征图：其中，表示
c
通道的真实空间特征图。3.根据权利要求1所述的真实时空注意力模块，其特征在于：所述时序短序列注意力单元...

【专利技术属性】
技术研发人员：周杰，喜泽瑞，王时龙，杨波，何彦，
申请(专利权)人：重庆大学，
类型：发明
国别省市：