钢板切头尾时扩充钢板剪切掉落音频数据集的生成方法技术

本发明专利技术属于深度学习领域，具体涉及一种钢板切头尾时扩充钢板剪切掉落音频数据集的数据生成方法，用于头尾掉落状态的辨识。首先，通过Wavenet语音生成网络对获取到的少样本音频数据集进行膨胀卷积训练，并利用时间序列模型不断迭代生成预测音频数据集；同时，针对生成的未配对类型数据，利用CycleGan网络学习其数据分布并计算生成数据与预测数据之间的损失函数与相似度，生成与真实音频数据高度相似的音频波形数据集。本发明专利技术可有效解决钢板剪切掉落音频少样本的问题。落音频少样本的问题。落音频少样本的问题。

【技术实现步骤摘要】
钢板切头尾时扩充钢板剪切掉落音频数据集的生成方法


[0001]本专利技术属于深度学习领域，具体涉及一种钢板切头尾时扩充钢板剪切掉落音频数据集的生成方法，用于板带生产线上钢板切头尾时头尾掉落状态的辨识。

技术介绍

[0002]随着智能制造的提出，钢铁制造业正全面面向数字化、无人化、智能化发展。在钢厂板带生产线上钢板切头尾时，判别剪切过程中钢板是否正常掉落的情况，传统模式下主要依靠技术人员的经验判断，不仅耗时，还有现场噪声大、生产效率低、危险指数高等缺点。
[0003]通过神经网络训练模型可对钢板剪切掉落的声音有不错的实时预测判断，但神经网络需要大量的样本数据进行模型训练。实际情况中，无法采集到大量的数据样本，异常掉落的样本数据更难获取。在此背景下，许多基于深度学习的数据增强算法和数据生成网络应运而生。
[0004]现有技术中，针对图像生成数据和增强数据的解决方法有：PixelCNN算法是以卷积核的形式不断生成新的像素点，但针对语音数据的波形图像素点的生成有一定的局限性并且生成数据与预测数据差异不大；VAE算法是利用灰度值分布的最大期望概率生成数据，但灰度值分布不能很好的作为语音波形图的特征项；生成对抗网络 GAN使用较多，但是在一般的GAN网络中，生成器无法将图片的真实度提高到最大值。

技术实现思路

[0005]针对上述技术问题，本专利技术提供一种钢板切头尾时扩充钢板剪切掉落音频数据集的生成方法，以音频的波形图为对象，将Wavenet 语音生成网络与循环一致性生成对抗网络CycleGan相结合，生成与预测数据尽可能相似的音频数据，能够解决钢板剪切掉落音频数据少样本的问题，达到扩充钢板剪切掉落音频数据集的目的。
[0006]本专利技术是通过以下技术方案实现的：
[0007]一种钢板切头尾时扩充钢板剪切掉落音频数据集的数据生成方法，所述方法包括：
[0008]对获取的钢板剪切掉落的真实数据样本集做膨胀卷积运算，生成预测音频数据集；将所述预测音频数据集输入CycleGan网络，通过 CycleGan网络训练生成与预测音频数据高度相似的生成数据集，以扩充钢板剪切掉落音频数据集。
[0009]进一步地，所述方法包括以下步骤：
[0010]步骤一：获取真实数据样本集；所述真实数据样本集包括钢板剪切正常掉落声音的样本和钢板剪切异常掉落声音的样本，且钢板剪切正常掉落声音的样本数多于异常掉落声音的样本数；
[0011]本步骤获取少量钢板剪切掉落真实数据样本集，大致为50份音频数据。在实际情况中，钢板剪切正常掉落的声音数据易采集，但无法实现模拟钢板剪切异常掉落的情况，因此获取的异常掉落数据会相对较少。
[0012]步骤二：利用Wavenet语音生成网络对所述真实数据样本集做膨胀卷积运算，扩大网络的感受野，根据历史时刻和当前时刻的输入预测下一时刻的波形，不断迭代，依据时间序列生成预测音频数据集；
[0013]步骤三：将生成的所述预测音频数据集输入CycleGan生成网络中，生成与预测音频数据高度相似的生成数据集，并计算生成数据与预测音频数据之间的损失函数与相似度；
[0014]步骤四：通过不断修正训练损失函数，提高生成数据和预测数据相似度，判别生成数据与预测音频数据的相似度，当相似度达到一定范围时，数据生成完毕，获得与预测音频数据高度相似的音频波形图，扩充钢板剪切掉落音频波形图的数据集。
[0015]进一步地，在步骤二中，在所述Wavenet语音生成网络中设输入层、输出层和两层隐含层，膨胀卷积扩张率参数分别设为1、2、4；在生成过程中，每生成一个点放到输入层的最后一个点，继续迭代生成下一时刻预测值，直到音频数据的时间序列结束，预测出新的序列数据，获得生成预测音频数据集。
[0016]进一步地，在步骤三中，所述Wavenet语音生成网络生成的预测音频数据集为非配对数据类型，所述预测音频数据集包括钢板剪切正常掉落预测音频和钢板剪切异常掉落预测音频，将生成的所述预测音频数据集输入CycleGan生成网络中，所述预测音频数据集随机分为两组，两组数据同时训练生成器和判别器，计算生成数据与预测音频数据之间的损失函数和相似度，并不断修正训练损失函数优化相似度，确保生成数据能够通过生成器转换成与预测音频数据高度相似的图像。
[0017]进一步地，所述预测音频数据集随机分为两组，记为A组与B 组，同时训练生成器G1和G2，A组数据经过生成器G1生成数据 C
B
，再将生成的C
B
输入到生成器G2中，生成A
’
；B组数据经过生成器G2生成数据C
A
，再将生成的C
A
输入到生成器G1中，生成B
’
；
[0018]A组、B两组预测数据通过生成器生成的数据能够通过生成器转换成与预测音频数据相似的图像；
[0019]D1和D2为判别器，D1判别A和C
A
、A和A'是否符合相似度范围，D2判别B和C
B
、B和B'是否符合相似度范围，通过不断计算训练损失函数提高A和C
A
、A和A
’
、B和C
B
、B和B'的相似度。
[0020]进一步地，在步骤四中，以音频的对数功率谱图特征为判别相似度的标准，当相似度达到0.85
‑
0.95范围内，数据生成完毕。
[0021]本专利技术的有益技术效果：
[0022]本专利技术所述方法利用Wavenet语音生成网络对真实样本数据做膨胀卷积运算，根据历史时刻和当前时刻的输入预测下一时刻的波形，不断迭代，最后利用一系列的密集层结合前面所有的结果，生成预测音频数据集；将预测音频数据集输入到CycleGan网络中， CycleGan网络可避免生成数据与预测数据完全一样，可使生成数据和预测数据属于同一类别(正常掉落或异常掉落)但不完全一样，以此生成更像真实数据的数据集。
[0023]本专利技术提出的方法通过两种生成网络的结合使用，首先利用 Wavenet网络生成依据时间序列模型预测的音频数据集，将预测音频数据集分为两组，将预测音频数据集近似代替真实数据集；再利用CycleGan网络加以扩充优化数据集，解决钢板剪切掉落音频少样本的问题。
附图说明
[0024]图1为本专利技术实施例中钢板剪切掉落音频数据生成方法流程图；
[0025]图2为本专利技术实施例中的Wavenet膨胀卷积算法原理图；
[0026]图3为本专利技术实施例中的CycleGan网络结构图。
具体实施方式
[0027][0028]为了使本专利技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术进行进一步详细描述。应当理解，此处所描述的具体实施例仅仅用于解释本专利技术，并不用于限定本专利技术。
[0029]相反，本专利技术涵盖任何由权利要求定义的在本专利技术的精髓和范围上做的替代、修改、等效方法以及方案。进一步，为了使本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种钢板切头尾时扩充钢板剪切掉落音频数据集的数据生成方法，其特征在于，所述方法包括：对获取的钢板剪切掉落的真实数据样本集做膨胀卷积运算，生成预测音频数据集；将所述预测音频数据集输入CycleGan网络，通过CycleGan网络训练生成与预测音频数据高度相似的生成数据集，以扩充钢板剪切掉落音频数据集。2.根据权利要求1所述一种钢板切头尾时扩充钢板剪切掉落音频数据集的数据生成方法，其特征在于，所述方法包括以下步骤：步骤一：获取真实数据样本集：所述真实数据样本集包括钢板剪切正常掉落声音的样本和钢板剪切异常掉落声音的样本，且钢板剪切正常掉落声音的样本数多于异常掉落声音的样本数；步骤二：利用Wavenet语音生成网络对所述真实数据样本集做膨胀卷积运算，根据历史时刻和当前时刻的输入预测下一时刻的波形，不断迭代，依据时间序列生成预测音频数据集；步骤三：将生成的所述预测音频数据集输入CycleGan生成网络中，生成与预测音频数据高度相似的生成数据集，并计算生成数据与预测音频数据之间的损失函数与相似度；步骤四：通过不断修正训练损失函数，提高生成数据和预测数据相似度，判别生成数据与预测音频数据的相似度，当相似度达到一定范围时，数据生成完毕，获得与预测音频数据高度相似的音频波形图，不断迭代此过程，达到扩充钢板剪切掉落音频波形图数据集的目的。3.如权利要求2所述一种钢板切头尾时扩充钢板剪切掉落音频数据集的数据生成方法，其特征在于，在步骤二中，在所述Wavenet语音生成网络中设输入层、输出层和两层隐含层，膨胀卷积扩张率参数分别设为1、2、4；在生成过程中，每生成一个点放到输入层的最后一个点，继续迭代生成下一时刻预测值，直到音频数据的时间序列结束，预测出新的序列数据，获得生成预测音频数据集。4.如权利要求2所述一种钢板切头尾时扩充钢板剪切掉落音频数据集的数据生成方法，其特征在于...

【专利技术属性】
技术研发人员：张飞，史瑞，李艳姣，陈娇，郭强，任晓怀，宗胜悦，肖雄，李伟超，毕鹏飞，
申请(专利权)人：北京科技大学，
类型：发明
国别省市：