一种基于对抗神经网络的枪声数据增广与检测方法技术

本发明专利技术专利公开了一种基于对抗神经网络的枪声数据增广与检测方法，包括：对数据库中的真实枪声进行音频数据增强，得到增强数据；基于真实枪声数据，通过对抗神经网络生成仿真数据；筛选分类器对仿真数据进行筛选得到逼真数据，逼真数据与增强数据组成增广数据；增广数据与背景音频混叠后得到数据集，并划分为训练集和测试集；训练C‑RNN模型并用其实现最终的枪声检测识别。本发明专利技术解决了枪声事件检测中数据量不足而导致的特征不明显或部分误检的问题，主要的技术包括：音频数据增强；使用对抗神经网络生成新的数据；使用梅尔频率倒谱系数与混合高斯模型结合的筛选分类器；使用C‑RNN对枪声进行检测；在长音频数据中通过枪声模板粗定位加速检测。

【技术实现步骤摘要】
一种基于对抗神经网络的枪声数据增广与检测方法
本专利技术属于人工智能声学检测领域，具体涉及一种基于对抗神经网络的枪声数据增广与检测方法
技术介绍
枪声事件检测是声学信号处理的一个应用，在安全监控、场景分析、危机处理、法律取证等领域由广阔的应用前景。常见的声学事件检测包括波形检测、模板匹配等基于一维时域的波形分析方法，混合高斯模型、支持向量机、随机森林等基于声学特征与机器学习的方法，以及近年涌现的基于梅尔频谱与深度神经网络的深度学习方法等。专利文献1(公开号：CN105424170A)公开了一种基于时域分析的枪声检测方法。(专利技术名称：一种枪声探测计数方法及系统)。该方法主要通过短时幅度上升沿检测来实现枪声识别，在枪声-背景信噪比低的情况下枪声信号可能会被淹没而导致漏检；专利文献2(公开号：CN104916289A)公开了一种基于支持向量机的声学事件检测方法(专利技术名称：行车噪声环境下快速声学事件的检测方法)。该方法使用梅尔频率倒谱系数作为特征，使用支持向量机作为分类器，并用噪声模型进行去噪。该方法中没有对数据集进行数据增强和规模扩充本文档来自技高网...

【技术保护点】
1.一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：包括以下步骤：/n(1)对数据库中的真实数据进行音频数据增强，得到增强数据；/n(2)用真实数据训练对抗神经网络；/n(3)通过对抗神经网络生成仿真数据；/n(4)使用筛选分类器对仿真数据进行筛选，得到逼真数据和欠逼真数据；/n(5)合并增强数据和逼真数据，得到增广数据；/n(6)将增广数据中的枪声音频与背景声音频进行混合得到数据集；/n(7)将数据集分割为训练集和测试集，并分别用训练集和测试集对C-RNN模型进行训练和测试；/n(8)对于较长的音频，使用枪声模板在音频中进行粗定位，再通过C-RNN模型做枪声检测。/n

【技术特征摘要】
1.一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：包括以下步骤：
(1)对数据库中的真实数据进行音频数据增强，得到增强数据；
(2)用真实数据训练对抗神经网络；
(3)通过对抗神经网络生成仿真数据；
(4)使用筛选分类器对仿真数据进行筛选，得到逼真数据和欠逼真数据；
(5)合并增强数据和逼真数据，得到增广数据；
(6)将增广数据中的枪声音频与背景声音频进行混合得到数据集；
(7)将数据集分割为训练集和测试集，并分别用训练集和测试集对C-RNN模型进行训练和测试；
(8)对于较长的音频，使用枪声模板在音频中进行粗定位，再通过C-RNN模型做枪声检测。


2.根据权利要求1所述的一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：步骤(1)中，通过添加噪声、时域平移、音高平移、调整采样率、时域拉伸及多宽度频率增量、声音扰动、频谱增强各种方法进行音频数据增强。


3.根据权利要求1所述的一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：步骤(2)中，对抗神经网络由生成器G和判别器D组成，所述生成器G由多个全连接层和多个反卷积层组成，随机向量输入生成器G后，首先经过多个全连接层调整至合适长度，然后通过多层反卷积得到音频向量；所述判别器D由多个卷积层和多个全连接层组成，音频向量输入判别器D后，首先经过多个卷积池化层进行特征提取，然后由多个全连接层得到单一输出，最后通过sigmoid函数输出判别，所述生成器G的输入是随机向量，输出是其生成的仿真音频向量，判别器的输入是仿真音频向量或真实音频向量，在两者之间切换，输出是对仿真音频和真实音频的判别，判别结果通过损失函数反馈给生成器G和判别器D，生成器G和判别器D根据损失函数的反馈调整网络参数，迭代直到损失函数收敛。


4.根据权利要求1所述的一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：步骤(3)中，以随机向量作为对抗神经网络的输入，每个随机输入通过对抗神经网络均得到一个枪声仿真音频，重复此操作直至数据量达到一定规模，形成仿真数据。


5.根据权利要求1所述的一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：步骤(3)中，使用全1向量代替随机向量，输入对抗神经网络的生成器G获取用于一个用于目标粗定位的枪声模板K(t)。


6.根据权利要求1所述的一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：步骤(4)中，使用基于梅尔频率倒谱系数的混合高斯模型作为筛选分类器，对仿真数据进行筛选。


7.根据权利要求1所述的一种基于对抗神经网络的枪声数据增广与检测方法，其特征在于：步骤(4)中，采用基于短时能量、基于短时过零率的端点检测，先将音频经过巴特沃斯滤波器进行初步清洗，再对枪声信号进...

【专利技术属性】
技术研发人员：招梓枫，李煊鹏，林涵，
申请(专利权)人：东南大学，
类型：发明
国别省市：江苏;32