一种自监督机器异常声音检测方法技术

本发明专利技术提供了一种自监督机器异常声音检测方法，包括将机器声音数据集中的音频段转换为声谱图，将声谱图沿时间和频率方向分解并重新组合为多通道的时间子谱图和频率子谱图组输入特征；将时间子谱图和频率子谱图组分别送入特征提取网络中两个并行训练的子网络分支，提取时间特征向量和频率特征向量；对特征提取网络输出的两组特征向量进行分类，计算时间和频率异常分数，将两组异常分数按不同加权系数融合作为最终异常分数，输出检测结果。本发明专利技术通过声谱图分解，在降低输入特征尺寸的同时尽量保留更多的频率特征；通过并行训练的特征提取子网络，提高了时域特征和频域特征的利用效率；通过自监督分类和异常分数融合，提升了方法的准确度和鲁棒性。法的准确度和鲁棒性。法的准确度和鲁棒性。

【技术实现步骤摘要】
一种自监督机器异常声音检测方法


[0001]本专利技术属于电子信息
，尤其是涉及一种自监督机器异常声音检测方法。

技术介绍

[0002]机器异常声音检测任务是工业自动化中的关键环节，通过机器发出的声音判断其运行状态是否产生异常。在实际工业环境中，机器很少产生异常，且异常情况多变，因此容易收集到大量正常数据而难以收集到完备的异常数据。
[0003]现有异常声音检测方法主要分为无监督学习和自监督学习两种。无监督学习主要是基于自编码器的方法，该类方法通常需要对每个机器单独训练模型，虽然对正常声音拟合较好，但是对异常声音的稳定性会急剧下降。近几年，大量基于数据驱动的自监督分类方法被用于异常声音检测任务，该类方法通过使用全部机器类型和机器ID的元信息训练分类器，对异常数据输出错误的预测分类结果，从而计算异常分数，这类方法比无监督方法有更好的通用性，但对声音信号的特征学习能力不强，检测效果不稳定。

技术实现思路

[0004]有鉴于此，本专利技术提出了一种自监督机器异常声音检测方法，旨在解决现有检测方法对声学特征的提取能力不高，检测效果不稳定的问题。
[0005]为达到上述目的，本专利技术的技术方案是这样实现的：
[0006]一种自监督机器异常声音检测方法，包括以下步骤：
[0007]步骤1：将机器声音数据集中的音频段转换为声谱图，将声谱图沿时间和频率方向分解并重新组合为多通道的时间子谱图组和频率子谱图组输入特征；
[0008]步骤2：将时间子谱图组和频率子谱图组分别送入特征提取网络中两个并行训练的子网络分支，提取时间特征向量和频率特征向量；
[0009]步骤3：对特征提取网络输出的两组特征向量进行分类，计算时间和频率异常分数，将两组异常分数按不同加权系数融合作为最终异常分数，输出检测结果。
[0010]进一步的，所述步骤1具体包含：
[0011]步骤101：使用短时傅里叶变换将音频波形转换为原始声谱图；
[0012]步骤102：将原始声谱图分别沿时间和频率方向分解为若干个大小相等的子谱图，分解过程按照以下公式计算：
[0013][0014]其中，t和f分别为沿时间和频率维度分解的单个子谱图的时间帧和频率带数量，和分别为分解时间帧和频率带的步长，重叠率设为50%，则；
[0015]步骤103：将步骤102中分解获得的子谱图分别组合，形成多通道的时间子谱图组和频率子谱图组，时间子谱图组的尺寸为，频率子谱图组的尺寸为，作为输入特征。
[0016]进一步的，所述步骤2具体包括：
[0017]步骤201：设计特征提取网络，特征提取网络由时间分支和频率分支组成，两个分支并行训练，具有相同的内部网络结构；
[0018]步骤202：将步骤1中生成的时间子谱图组和频率子谱图组分别送入特征提取网络的时间分支和频率分支，以提取机器声音的特征，最终输出时间和频率两组特征向量。
[0019]进一步的，所述特征提取网络包括1个3
×
3卷积层，1个3
×
3深度可分离卷积层，4个线性瓶颈层，1个1
×
1卷积层，1个逐深度卷积层和1个全连接层。
[0020]进一步的，每个线性瓶颈层包括两个块，第一个块中生成自注意力以提取全局长时特征，第二个块应用逆残差连接提取局部不变特征。
[0021]进一步的，所述步骤3具体包括；
[0022]步骤301：使用步骤2生成的时间特征向量和频率特征向量分别训练时间分类器和频率分类器，两个分类器均以Arcface分类损失函数作为优化目标，该损失函数公式如下：
[0023]其中，参数s为尺度，m为角度间隔，代表第i类的输入特征和权重间的夹角，j定义为不等于y
i
的值，网络总损失函数为时间分类器损失函数和频率分类器损失函数之和，形式如下：，
[0024]步骤302：时间和频率分类器的异常分数C计算为输入音频段预测ID的负对数概率，计算公式如下；
[0025]其中，是预测为第i类的概率，为所有概率总和，异常分数的取值范围为（0，+∞）；
[0026]步骤303：将时间异常分数和频率异常分数按照不同的加权系数求和，作为原始输入音频段的最终异常分数，输出异常检测结果。
[0027]相对于现有技术，本专利技术所述的一种自监督机器异常声音检测方法具有以下优势：本专利技术设计了声谱图分解方法，特征提取并行子网络以及异常分数融合机制，通过声谱图分解，在降低输入特征尺寸的同时尽量保留更多的频率特征；通过并行训练的特征提取子网络，提高了时域特征和频域特征的利用效率；通过自监督分类和异常分数融合，提升了方法的整体准确度和鲁棒性
附图说明
[0028]构成本专利技术的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定。在附图中：
[0029]图1为本专利技术的方法流程示意图；
[0030]图2为本专利技术的声谱图分解的方法示意图；
[0031]图3为本专利技术的特征提取网络的结构示意图；
[0032]图4为本专利技术的特征提取网络中线性瓶颈层的结构示意图；
[0033]图5为本专利技术的评估性能与其他方法的对比图；
[0034]图6为本专利技术的特征提取可视化图。
具体实施方式
[0035]需要说明的是，在不冲突的情况下，本专利技术中的实施例及实施例中的特征可以相互组合。
[0036]在本专利技术的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本专利技术和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本专利技术的限制。此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”等的特征可以明示或者隐含地包括一个或者更多个该特征。在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。
[0037]在本专利技术的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以通过具体情况理解上述术语在本专利技术中的具体含义。
[0038]下面将参考附图并结合实施例来详细说明本专利技术。
[0039]如图1所示，本专利技术提供了一种自监督机器异常声音检测方法，具体包括如下步骤：
[0040]步骤一：
[0041]利用短时傅里叶变换从原始声音信号中提取原始声谱图，原始声谱图的尺本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自监督机器异常声音检测方法，其特征在于：包括以下步骤：步骤1：将机器声音数据集中的音频段转换为声谱图，将声谱图沿时间和频率方向分解并重新组合为多通道的时间子谱图组和频率子谱图组输入特征；步骤2：将时间子谱图组和频率子谱图组分别送入特征提取网络中两个并行训练的子网络分支，提取时间特征向量和频率特征向量；步骤3：对特征提取网络输出的两组特征向量进行分类，计算时间和频率异常分数，将两组异常分数按不同加权系数融合作为最终异常分数，输出检测结果。2.根据权利要求1所述的一种自监督机器异常声音检测方法，其特征在于：所述步骤1具体包含：步骤101：使用短时傅里叶变换将音频波形转换为原始声谱图；步骤102：将原始声谱图分别沿时间和频率方向分解为若干个大小相等的子谱图，分解过程按照以下公式计算：；其中，t和f分别为沿时间和频率维度分解的单个子谱图的时间帧和频率带数量，和分别为分解时间帧和频率带的步长，重叠率设为50%，则,；步骤103：将步骤102中分解获得的子谱图分别组合，形成多通道的时间子谱图组和频率子谱图组，时间子谱图组的尺寸为，频率子谱图组的尺寸为，作为输入特征。3.根据权利要求1所述的一种自监督机器异常声音检测方法，其特征在于：所述步骤2具体包括：步骤201：设计特征提取网络，特征提取网络由时间分支和频率分支组成，两个分支并行训练，具有相同的内部网络结构；步骤202：将步骤1中生成的时间子谱图组和频率子谱图组分别送入特征提取网络的时间分支和频率分支，以...

【专利技术属性】
技术研发人员：张涛，刘炜杰，杨明，孔令国，李栋磊，耿彦章，赵鑫，
申请(专利权)人：天津大学，
类型：发明
国别省市：