本公开实施例涉及一种神经网络的剪枝处理方法、装置、设备及介质，其中该方法包括：确定初始神经网络的卷积层中卷积内核的第一特征值和第二特征值，第一特征值表示卷积内核的稀疏特征，第二特征值表示卷积内核与卷积层中的其他卷积内核之间的差异特征，基于第一特征值和第二特征值确定卷积内核的评估数据，评估数据用于反映卷积内核在卷积层中的重要程度，根据卷积层中所有卷积内核的评估数据筛选出目标卷积内核对目标卷积内核进行剪枝处理获取目标神经网络。采用上述技术方案，能够更加精准确定目标卷积内核并进行剪枝处理，提高剪枝处理的精度和效率，使得剪枝处理合理化，保证剪枝的高速度收益及剪枝之后神经网络的高精度，提高了剪枝性能。提高了剪枝性能。提高了剪枝性能。
【技术实现步骤摘要】
神经网络的剪枝处理方法、装置、设备及介质
[0001]本公开涉及计算机
，尤其涉及一种神经网络的剪枝处理方法、装置、设备及介质。
技术介绍
[0002]基于神经网络的人工智能技术在移动终端上的应用，智能移动终端飞速发展满足人们的各种应用需求。其中，其主要实现技术包括基于训练好的神经网络模型数据在视频处理语言识别、图像识别与理解、游戏视觉等应用领域的数据处理。基于移动终端有限的计算资源，考虑到绝大多数的卷积神经网络均存在一定程度上的参数冗余，因此通过剪枝去除神经网络中各层冗余的卷积内核或卷积内核上的神经元，在移动终端上得到计算资源和存储资源更小的神经网络。
[0003]目前为了兼顾非结构化剪枝的高压缩率的特点以及结构化剪枝的加速优势，经常采用基于内核剪枝的半结构剪枝方式。但是，针对同样的剪枝率存在很多剪枝方案，不同的剪枝方案使得剪枝后的网络性能不同，有的剪枝方案所导致的网络性能很差。
技术实现思路
[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种神经网络的剪枝处理方法、装置、设备及介质。
[0005]本公开实施例提供了一种神经网络的剪枝处理方法，所述方法包括：
[0006]确定初始神经网络的卷积层中卷积内核的第一特征值和第二特征值，其中，所述第一特征值表示所述卷积内核的稀疏特征，所述第二特征值表示所述卷积内核与所述卷积层中的其他卷积内核之间的差异特征；
[0007]基于所述第一特征值和所述第二特征值确定所述卷积内核的评估数据，其中，所述评估数据用于反映所述卷积内核在所述卷积层中的重要程度；
[0008]根据所述卷积层中所有卷积内核的所述评估数据筛选出目标卷积内核，并对所述目标卷积内核进行剪枝处理获取目标神经网络。
[0009]一种可选的实施方式中，所述卷积内核的第一特征值的确定过程包括：
[0010]计算所述卷积内核中各个元素绝对值之和，获取所述卷积内核的第一特征值。
[0011]一种可选的实施方式中，所述卷积内核的第二特征值的确定过程包括：
[0012]根据预设算法基于所述卷积内核中各个元素，计算所述卷积内核的第一数据，以及基于所述卷积层中的其他卷积内核中各个元素，计算所述其他卷积内核对应的第二数据；
[0013]分别计算所述第一数据与每个所述第二数据之间的距离；
[0014]基于所述第一数据与所述第二数据之间的距离进行计算，获取所述卷积内核的第二特征值。
[0015]一种可选的实施方式中，所述基于所述卷积层中的其他卷积内核中各个元素，计
算所述其他卷积内核对应的第二数据，包括：
[0016]确定所述卷积内核在所属过滤器中的目标通道索引值；
[0017]获取所述卷积层其他过滤器中与所述目标通道索引值一致的候选卷积内核；
[0018]基于所述候选卷积内核中各个元素，计算所述候选卷积内核对应的第二数据；
[0019]所述分别计算所述第一数据与每个所述第二数据之间的距离，基于所述第一数据与所述第二数据之间的距离进行计算，获取所述卷积内核的第二特征值，包括：
[0020]分别计算所述第一数据与每个所述候选卷积内核对应的第二数据之间的距离；
[0021]基于所述第一数据与每个所述候选卷积内核对应的第二数据之间的距离进行计算，获取所述卷积内核的第二特征值，其中，所述第二特征值表示所述卷积内核与所述候选卷积内核之间的差异特征，其中，所述候选卷积内核为所述卷积层中与所述目标通道索引值一致的其他卷积内核。
[0022]一种可选的实施方式中，所述基于所述第一特征值和所述第二特征值确定所述卷积内核的评估数据，包括：
[0023]将所述第二特征值与预设系数相乘计算获取第一中间值；
[0024]将所述第一中间值与预设常数相加计算获取第二中间值；
[0025]将所述第二中间值与所述第一特征值相乘计算，将计算结果作为所述卷积内核的评估数据。
[0026]一种可选的实施方式中，所述根据所述卷积层中所有卷积内核的所述评估数据筛选出目标卷积内核，并对所述目标卷积内核进行剪枝处理，包括：
[0027]根据所述卷积层中所有过滤器的位置信息、卷积内核在过滤器中的位置信息以及预设的剪枝组粒度，对所述卷积层中所有的卷积内核进行分组处理生成卷积内核组，其中，每个所述过滤器所包含的卷积内核数量相同，不同过滤器中位于相同通道位置的卷积内核用相同的通道索引值标识，任一个所述卷积内核组中的所有卷积内核的通道索引值相同；
[0028]根据所述卷积内核组中所包含的所有卷积内核的评估数据，计算所述卷积内核组的组评估数据；
[0029]根据所有所述卷积内核组的组评估数据筛选出目标卷积内核组，并对所述目标卷积内核组进行剪枝处理。
[0030]一种可选的实施方式中，在所述根据所述卷积层中所有过滤器的位置信息、卷积内核在过滤器中的位置信息以及预设的剪枝组粒度，对所述卷积层中所有的卷积内核进行分组处理生成卷积内核组之前，还包括：
[0031]根据所述剪枝组粒度以及所述卷积内核的评估数据，调整所述卷积内核在所述卷积层中的位置，以使所述卷积内核组所包含的多个卷积内核的评估数据的差异小于预设阈值。
[0032]一种可选的实施方式中，通过所述目标神经网络对输入数据进行数据处理，其中，所述输入数据包括多媒体数据、音频数据、视频数据、图像数据中的一种或者多种组合。
[0033]本公开实施例还提供了一种神经网络的剪枝处理装置，所述装置包括：
[0034]第一确定模块，用于确定卷积层中卷积内核的第一特征值；其中，所述第一特征值表示所述卷积内核的稀疏特征
[0035]第二确定模块，用于确定卷积层中卷积内核的第二特征值，其中，述第二特征值表
示所述卷积内核与所述卷积层中的其他卷积内核之间的差异特征；
[0036]评估模块，用于基于所述第一特征值和所述第二特征值确定所述卷积内核的评估数据，其中，所述评估数据用于反映所述卷积内核在所述卷积层中的重要程度；
[0037]筛选剪枝模块，用于根据所述卷积层中所有卷积内核的所述评估数据筛选出目标卷积内核，并对所述目标卷积内核进行剪枝处理。
[0038]本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的神经网络的剪枝处理方法。
[0039]本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的神经网络的剪枝处理方法。
[0040]本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序/指令，所述计算机程序/指令被处理器执行时实现上述的方法。
[0041]本公开实施例提供的技术方案与现有技术相比具有如下优点：本公开实施例提供本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种神经网络的剪枝处理方法，其特征在于，包括：确定初始神经网络的卷积层中卷积内核的第一特征值和第二特征值，其中，所述第一特征值表示所述卷积内核的稀疏特征，所述第二特征值表示所述卷积内核与所述卷积层中的其他卷积内核之间的差异特征；基于所述第一特征值和所述第二特征值确定所述卷积内核的评估数据，其中，所述评估数据用于反映所述卷积内核在所述卷积层中的重要程度；根据所述卷积层中所有卷积内核的所述评估数据筛选出目标卷积内核，并对所述目标卷积内核进行剪枝处理获取目标神经网络。2.根据权利要求1所述的方法，其特征在于，所述卷积内核的第一特征值的确定过程包括：计算所述卷积内核中各个元素绝对值之和，获取所述卷积内核的第一特征值。3.根据权利要求1所述的方法，其特征在于，所述卷积内核的第二特征值的确定过程包括：根据预设算法基于所述卷积内核中各个元素，计算所述卷积内核的第一数据，以及基于所述卷积层中的其他卷积内核中各个元素，计算所述其他卷积内核对应的第二数据；分别计算所述第一数据与每个所述第二数据之间的距离；基于所述第一数据与所述第二数据之间的距离进行计算，获取所述卷积内核的第二特征值。4.根据权利要求3所述的方法，其特征在于，所述基于所述卷积层中的其他卷积内核中各个元素，计算所述其他卷积内核对应的第二数据，包括：确定所述卷积内核在所属过滤器中的目标通道索引值；获取所述卷积层其他过滤器中与所述目标通道索引值一致的候选卷积内核；基于所述候选卷积内核中各个元素，计算所述候选卷积内核对应的第二数据；所述分别计算所述第一数据与每个所述第二数据之间的距离，基于所述第一数据与所述第二数据之间的距离进行计算，获取所述卷积内核的第二特征值，包括：分别计算所述第一数据与每个所述候选卷积内核对应的第二数据之间的距离；基于所述第一数据与每个所述候选卷积内核对应的第二数据之间的距离进行计算，获取所述卷积内核的第二特征值，其中，所述第二特征值表示所述卷积内核与所述候选卷积内核之间的差异特征，其中，所述候选卷积内核为所述卷积层中与所述目标通道索引值一致的其他卷积内核。5.根据权利要求1所述的方法，其特征在于，所述基于所述第一特征值和所述第二特征值确定所述卷积内核的评估数据，包括：将所述第二特征值与预设系数相乘计算获取第一中间值；将所述第一中间值与预设常数相加计算获取第二中间值；将所述第二中间值与所述第一特征值相乘计算，将计算结果作为所述卷积内核的评估数据。6.根据权利要求1所述的方法，其特征在于，所述根据所述卷积层中所有卷积内核的所述评估数据筛选出目标卷积内核，并对所述目标卷积内核进行剪枝处理，包括：根据所述卷积层中所有...
【专利技术属性】
技术研发人员：刘松伟，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。