基于语义分割编解码网络的声学场景分类方法技术

本发明专利技术公开了一种基于语义分割编解码网络的声学场景分类方法，包括如下步骤：S10，分别提取待识别音频数据的梅尔声谱图和标准声谱图；S20，在分别对所述梅尔声谱图和所述标准声谱图进行归一化处理后，将归一化处理后的梅尔声谱图和标准声谱图进行融合处理，得到融合特征；S30，将所述融合特征分别输入SegNet声学模型和UNet声学模型；S40、获取所述SegNet声学模型的第一输出结果以及所述UNet声学模型的第二输出结果，根据所述第一输出结果和第二输出结果确定所述第二输出结果中各个单元音频的声学场景。采用本方法能够使待识别音频数据中的各个单元音频均准确地确定相应声学场景，可以提高声学场景的识别性能。

【技术实现步骤摘要】
基于语义分割编解码网络的声学场景分类方法
本专利技术涉及声音信号处理
，尤其涉及一种基于语义分割编解码网络的声学场景分类方法。
技术介绍
环境声音或背景声音是一个丰富、未被完全发掘的信息源，其提供了一种了解人类活动、通讯方式以及所处环境的途径。近年来，环境声音有着许多的实际应用，许多研究者试图通过音频信息使移动机器人获得更好的环境感知能力，让机器人获得听觉，其还被应用在机器人巡航、机器人辅助、音频检索，以及其他基于情景感知、可穿戴设备上，如智能手机可以根据使用者所处环境自动切换提醒方式、根据使用者所在位置提供有用信号。而针对环境声音所进行的声学场景分类，其目的就是通过环境声音对声学场景进行分类，从而使得智能对象或设备可以直接利用从声学场景中提取的信息来调整系统或应用程序参数或行为，以满足消费者对不同环境和个性化的需求。声学场景是指具有一定时长、一定语义环境的连续语音片段，即某些特定场景中产生的特定声学信号组成的一组声音，如公园、办公室和机场等环境。声学场景分类(AcousticSceneClassification，ASC)是对记录环境声音的输入音频流分配一个预定义类别标签的过程(如图1所示)，以此表征记录的环境，作为一个感知周围环境的有效方法，被广泛应用于机器人导航、移动机器人的情景感知中。传统方案往往依据背景音进行相应声学场景的识别，存在识别准确率差的问题，影响相应地识别性能。
技术实现思路
针对以上问题，本专利技术提出一种基于语义分割编解码网络的声学场景分类方法。>为实现本专利技术的目的，提供一种基于语义分割编解码网络的声学场景分类方法，包括如下步骤：S10，分别提取待识别音频数据的梅尔声谱图和标准声谱图；S20，在分别对所述梅尔声谱图和所述标准声谱图进行归一化处理后，将归一化处理后的梅尔声谱图和标准声谱图进行融合处理，得到融合特征；S30，将所述融合特征分别输入SegNet声学模型和UNet声学模型；所述SegNet声学模型为依据融合特征输出待识别音频数据中各个单元音频的参考声学场景，以及各个单元音频相对于相应参考声学场景的准确度的一种网络模型；所述UNet声学模型为依据融合特征输出待识别音频数据中各个单元音频的参考声学场景，以及各个单元音频相对于相应参考声学场景的准确度的另一种网络模型；S40、获取所述SegNet声学模型的第一输出结果以及所述UNet声学模型的第二输出结果，根据所述第一输出结果和第二输出结果确定所述第二输出结果中各个单元音频的声学场景。在其中一个实施例中，上述基于语义分割编解码网络的声学场景分类方法，还包括：在将所述待识别音频数据预处理成设定格式的音频数据后，执行分别提取待识别音频数据的梅尔声谱图和标准声谱图的过程；所述设定格式包括：左声道、右声道、双声道融合或者双声道相减。在其中一个实施例中，所述提取待识别音频数据的梅尔声谱图包括：对所述待识别音频数据进行傅里叶变换转换到频域上，采用梅尔频率滤波器对应频域信号进行处理，得到所述梅尔声谱图。在其中一个实施例中，所述提取待识别音频数据的标准声谱图包括：将所述待识别音频数据进行分帧、加窗，对得到的每一帧信号进行傅里叶变换，将每一帧的变换结果沿另一个维度堆叠起来，得到所述标准声谱图。在其中一个实施例中，所述将归一化处理后的梅尔声谱图和标准声谱图进行融合处理包括：根据归一化处理后的梅尔声谱图确定梅尔声谱特征，根据归一化处理后的标准声谱图确定标准声谱特征；将所述梅尔声谱特征和所述标准声谱特征代入融合公式计算所述融合特征；所述融合公式包括：F＝[w1×f1,w2×f2]，式中，F表示融合特征，w1表示第一权值，w2表示第二权值，f1表示梅尔声谱特征，f2表示标准声谱特征。作为一个实施例，所述w1、w2的计算公式包括：式中，A1表示梅尔声谱特征的识别率，A2表示标准声谱特征的识别率。在其中一个实施例中，上述基于语义分割编解码网络的声学场景分类方法，还包括：根据所述第一输出结果和第二输出结果确定混淆矩阵；根据所述混淆矩阵计算总体准确率以及各类声学场景的类型准确率和类型召回率。作为一个实施例中，所述总体准确率的计算公式包括：所述类型准确率的计算公式包括：所述类型召回率的计算公式包括：式中，M表示混淆矩阵，acc(M)表示总体准确率，Mi,j表示M的第i行，第j列元素，c表示声学场景的类别数；Precision(i,M)表示M中第i行的类型准确率，Recall(i,M)表示M中第i行的类型召回率。上述基于语义分割编解码网络的声学场景分类方法，可以分别提取待识别音频数据的梅尔声谱图和标准声谱图，在分别对所述梅尔声谱图和所述标准声谱图进行归一化处理后，将归一化处理后的梅尔声谱图和标准声谱图进行融合处理，得到融合特征，将所述融合特征分别输入SegNet声学模型和UNet声学模型，再获取所述SegNet声学模型的第一输出结果以及所述UNet声学模型的第二输出结果，根据所述第一输出结果和第二输出结果确定所述第二输出结果中各个单元音频的声学场景，以及各个单元音频相对于相应声学场景的准确率等信息，使待识别音频数据中的各个单元音频均可以准确地确定相应声学场景，可以提高声学场景的识别性能。附图说明图1是声学场景分类输入输出结果示意图；图2是一个实施例的基于语义分割编解码网络的声学场景分类方法流程图；图3是另一个实施例的基于语义分割编解码网络的声学场景分类方法示意图；图4是一个实施例的系统开发期间的4折交叉验证示意图；图5是一个实施例的Melspectrogram的提取过程示意图；图6为一个实施例的SegNet网络结构示意图；图7为一个实施例的用于声学场景分类SegNet网络模型图；图8为一个实施例的UNet网络结构示意图；图9为另一个实施例的4折交叉验证的过程示意图。具体实施方式为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。参考图2所示，图2为一个实施例的基于语义分割编解码网络的声学场景分类方法流程图，包括如下步骤：S10，分别提取待识别音频数据的梅尔声谱图和标准声谱图。上述步骤之前可以对待识别音频数据进行相应预处理，将其转换为设定格式，以保证梅尔声谱图和标准声谱图提取过程的顺利性。具体地，对预处本文档来自技高网...

【技术保护点】
1.一种基于语义分割编解码网络的声学场景分类方法，其特征在于，包括如下步骤：/nS10，分别提取待识别音频数据的梅尔声谱图和标准声谱图；/nS20，在分别对所述梅尔声谱图和所述标准声谱图进行归一化处理后，将归一化处理后的梅尔声谱图和标准声谱图进行融合处理，得到融合特征；/nS30，将所述融合特征分别输入SegNet声学模型和UNet声学模型；所述SegNet声学模型为依据融合特征输出待识别音频数据中各个单元音频的参考声学场景，以及各个单元音频相对于相应参考声学场景的准确度的一种网络模型；所述UNet声学模型为依据融合特征输出待识别音频数据中各个单元音频的参考声学场景，以及各个单元音频相对于相应参考声学场景的准确度的另一种网络模型；/nS40、获取所述SegNet声学模型的第一输出结果以及所述UNet声学模型的第二输出结果，根据所述第一输出结果和第二输出结果确定所述第二输出结果中各个单元音频的声学场景。/n

【技术特征摘要】
1.一种基于语义分割编解码网络的声学场景分类方法，其特征在于，包括如下步骤：
S10，分别提取待识别音频数据的梅尔声谱图和标准声谱图；
S20，在分别对所述梅尔声谱图和所述标准声谱图进行归一化处理后，将归一化处理后的梅尔声谱图和标准声谱图进行融合处理，得到融合特征；
S30，将所述融合特征分别输入SegNet声学模型和UNet声学模型；所述SegNet声学模型为依据融合特征输出待识别音频数据中各个单元音频的参考声学场景，以及各个单元音频相对于相应参考声学场景的准确度的一种网络模型；所述UNet声学模型为依据融合特征输出待识别音频数据中各个单元音频的参考声学场景，以及各个单元音频相对于相应参考声学场景的准确度的另一种网络模型；
S40、获取所述SegNet声学模型的第一输出结果以及所述UNet声学模型的第二输出结果，根据所述第一输出结果和第二输出结果确定所述第二输出结果中各个单元音频的声学场景。


2.根据权利要求1所述的基于语义分割编解码网络的声学场景分类方法，其特征在于，还包括：
在将所述待识别音频数据预处理成设定格式的音频数据后，执行分别提取待识别音频数据的梅尔声谱图和标准声谱图的过程；所述设定格式包括：左声道、右声道、双声道融合或者双声道相减。


3.根据权利要求1所述的基于语义分割编解码网络的声学场景分类方法，其特征在于，所述提取待识别音频数据的梅尔声谱图包括：
对所述待识别音频数据进行傅里叶变换转换到频域上，采用梅尔频率滤波器对应频域信号进行处理，得到所述梅尔声谱图。


4.根据权利要求1所述的基于语义分割编解码网络的声学场景分类方法，其特征在于，所述提取待识别音频数据的标准声谱图包括：
将所述待识别音频数据进行分帧、加窗，对得到的每一帧信号...

【专利技术属性】
技术研发人员：马欣欣，马勇，顾明亮，
申请(专利权)人：江苏师范大学，
类型：发明
国别省市：江苏;32