【技术实现步骤摘要】
一种基于深度神经网络声学模型的降维剪枝方法
[0001]本专利技术涉及一种剪枝方法，特别是涉及一种基于深度神经网络声学模型的降维剪枝方法，属于机器学习
技术介绍
[0002]随着计算机技术的发展，深度学习能够通过获取样本信息学习样本数据之间的内在规律和表示层次，进而能够实现样本图像、语言、声音和文字的学习，尤其是在语言识别方面，融合深度置信网络和受限玻尔兹曼机技术，极大程度上提升了语音识别的准确率，为现在的语音识别系统做出了重要的贡献，但是现在的语音识别声学模型在采用深度神经网络技术的前提下不能够得到广泛推广，很大原因是有限的计算配置无法满足深度神经网络声学模型庞大的计算需求，大规模的数据样本以及复杂的样本训练算法使得计算成本提升。因此，本专利技术提出一种降维剪枝方法，对深度神经网络声学模型中的硬剪枝筛选器和软剪枝筛选器进行降维，同时融合硬剪枝方法和软剪枝方法的优势，既具有软剪枝优良的搜索空间，又具备硬剪枝优良的剪枝精度和中等的收敛速度，在部分性能损失的前提下完成对深度神经网络的压缩，有助于降低深度神经网络声学模型
【技术保护点】
【技术特征摘要】
1.一种基于深度神经网络声学模型的降维剪枝方法，其特征在于，包括如下步骤：S1.选择语音数据样本，并获取语音对应文本文件；S2.创建语音识别深度神经网络：将网络中卷积层的总数设为k，在序号为i的卷积层内卷积核维数设为a
×
b
×
d
×
d，其中1≤i≤K，d记为卷积核的大小，b和a分别表示输入的通道数量和输出的通道数量，将第i层的输入张量设为I
i
，输入张量I
i
的空间尺寸为b
×
h
i
×
δ
i
，其中h
i
为输入张量的宽度，δ
i
记为输入张量的高度，将输出张量满足：O
i
＝Y
i,j
*I
i
，其中，j记为输出通道的序号，O
i
是第i层卷积层的第j个输出通道，且满足Y
i,j
记为第i层卷积层的第j个筛选器，且满足Y
i,j
∈R
b
×
d
×
d
；S3.为软剪枝筛选器设置过渡衰变系数：将第i层剪枝率记为Q
i
，删除第i层的a
×
Q
i
个筛选器，修改后的输出张量尺寸变为a
×
(1
‑
Q
i
)
×
h
i+1
×
δ
i+1
，对第i层修剪，修剪公式为：式中：Z
i,j
记为筛选器Y
i,j
的布尔掩码，记为剪枝后得到的筛选器，
⊙
记为向量元素依次相乘的运算符号，j的取值范围为[1，a]，如果Y
i,j
被修剪，Z
i,j
＝0，如果Y
i,j
未被修改，Z
i,j
＝1，θ记为软剪枝筛选器的过渡衰变系数，θ设为单调递减的函数，且满足0≤θ≤1，在0<θ≤1时，部分废弃剪枝筛选器的训练信息，但是因为剪枝筛选器不归零导致软剪枝模型不紧凑，设置过渡衰变系数θ，使得θ从1逐渐衰减到0，过渡衰变系数θ设为关于训练时数和的指数衰减函数，过渡衰变系数的公式为：式中：θ
v
(t)记为训练时数和为t的过渡衰变系数函数值，θ0记为渐进软剪枝和二次渐进软剪枝情况下的过渡衰变系数值，且此时θ0＝1，t
hm
记为训练最大时数和，t的取值范围为[0,t
hm
)，μ为衰变调节系数，μ无线趋近于0时满足：θ
v
(t
hm
‑
1)＝μ，过渡衰变系数θ无限趋近于零的时候，软剪枝模型变成紧凑的软剪枝模型；S4.为硬剪枝筛选器设置过渡增长系数：在第i层卷积层内的第t代的剪枝率为Q
i
(t)时，将Q
i
(t)
×
a个通道设为零，在通道中将具有最小l2‑
范数的通道使用硬剪枝方法剪枝，具有最小l2‑
范数通道的个数为同时，软剪枝方法剪枝的通道数为同时，软剪枝方法剪枝的通道数为其中记为过渡增长系数的函数值，同时利用一个单调递增的过渡增长系数控制硬剪枝的修剪占比，且过渡增长系数从0逐渐增加到1，过渡增长系数的公式为：式中：记为第i层卷积层内初始过渡增长系数的值，记为最终过渡增长系数函数值，且t的取值范围为[0,t
hm
)；
S5.为语音识别深度神经网络设置参...
【专利技术属性】
技术研发人员：徐勇军，
申请(专利权)人：中科厦门数据智能研究院，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。