多次迭代的深度神经网络压缩方法技术
【技术实现步骤摘要】
多次迭代的深度神经网络压缩方法本申请要求于2016年8月22日提交的美国专利申请No.15/242,622、和于2016年8月22日提交的美国专利申请No.15/242,624的优先权。专利
本专利技术涉及多次迭代的深度神经网络压缩方法及装置。
技术介绍
人工神经网络的压缩人工神经网络(ArtificialNeuralNetworks,ANNs)，也简称神经网络(NNs)，是一种模仿动物神经网络的行为特征，进行分布式并行信息处理的数学计算模型。近年来，神经网络发展很快，被广泛应用于诸多领域，如图像识别、语音识别、自然语言处理、天气预报、基因表达、内容推送等等。神经网络中，有大量彼此连接的节点(也称“神经元”)。神经网络具备两个特性：1)每个神经元，通过某种特定的输出函数(也叫激活函数ActivationFunction)，计算处理来自其它相邻神经元的加权输入值；2)神经元之间的信息传递强度用所谓的权值来定义，算法会不断自我学习，调整这个权值。早期的神经网络只有输入和输出层两层，无法处理复杂的逻辑，因此限制了其实用性。如图1所示，深度神经网络(DeepNeuralN...
【技术保护点】
一种压缩神经网络的方法，所述神经网络的各个神经元之间的权重由多个矩阵表示，该方法包括：敏感度分析步骤，用于分析所述多个矩阵中的每个矩阵的敏感度，以及确定各个矩阵的初始压缩比；压缩步骤，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；重训步骤，用于重训所述压缩后的神经网络。
【技术特征摘要】
2016.08.22 US 15/242,622;2016.08.22 US 15/242,6241.一种压缩神经网络的方法，所述神经网络的各个神经元之间的权重由多个矩阵表示，该方法包括：敏感度分析步骤，用于分析所述多个矩阵中的每个矩阵的敏感度，以及确定各个矩阵的初始压缩比；压缩步骤，用于基于所述初始压缩比对所述各个矩阵进行压缩，以获得压缩后的神经网络；重训步骤，用于重训所述压缩后的神经网络。2.根据权利要求1的方法，还包括：迭代执行所述敏感度分析步骤、所述压缩步骤、所述重训步骤。3.根据权利要求1或2的方法，其中，所述敏感度分析步骤进一步包括：获得压缩前的神经网络词错误率WERinitial；基于不同压缩比(d1,d2,…dn)得到压缩后的各个神经网络词错误率WERd1、WERd2，…WERdn；基于所述各个神经网络词错误率WERd1、WERd2，…WERdn，从所述多个不同压缩比中选择一个作为初始压缩比。4.根据权利要求3的方法，其中，从所述多个不同压缩比中选择一个作为初始压缩比包括：计算各个ΔWER，即WERinitial与WERd1、WERd2，…WERdn的差值；基于所述各个ΔWER，选择满足ΔWER小于预定阈值的所有压缩比(d1,d2,…dn)之中最大的压缩比。5.根据权利要求1的方法，其中，所述压缩步骤进一步包括：基于各个矩阵的初始压缩比对相应矩阵进行剪枝(pruning)操作。6.根据权利要求5的方法，其中，所述剪枝操作包括：对每个矩阵中的所有元素按照绝对值从小到大进行排序；保留与所述压缩比相对应比例的绝对值较大的元素；以及将其余元素置零。7.根据权利要求1的方法，其中，所述压缩步骤进一步包括：第一压缩步骤，基于所述各个矩阵的初始压缩比，压缩所述神经网络的各个矩阵；调整步骤，基于所述第一压缩步骤后的网络的词错误率(WER)，调整所述各个矩阵的初始压缩比，以获得各个矩阵的调整压缩比；第二压缩步骤，基于所述各个矩阵的调整压缩比，压缩所述神经网络的各个矩阵，以获得压缩后的神经网络。8.根据权利要求7的方法，其中，所述调整步骤进一步包括：调整压缩比步骤，调整相对敏感矩阵的压缩比，并以调整后的压缩比对相应矩阵进行压缩；判断步骤，判断以所述调整后的压缩比压缩后的神经网络的WER是否满足预定要求；如果未满足所述预定要求，则返回所述调整压缩比步骤，以继续调整相对敏感矩阵的压缩比；如果满足所述预定要求，则把相对敏感矩阵的所述调整后的压缩比作为相应矩阵的调整压缩比。9.根据权利要求8的方法，其中所述调整压缩比步骤包括：基于所述神经网络的词错误率(WER)，以一定步长降低相对敏感矩阵的压缩比。10.根据权利要求7的方法，其中，所述调整步骤进一步包括：调整压缩比步骤，调整相对不敏感矩阵的压缩比，并以调整后的压缩比对相应矩阵进行压缩；判断步...
【专利技术属性】
技术研发人员：李鑫，韩松，孙世杰，单羿，
申请(专利权)人：北京深鉴科技有限公司，
类型：发明
国别省市：北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。