数据处理方法技术

本公开实施例涉及一种数据处理方法

【技术实现步骤摘要】
数据处理方法、装置、设备及介质


[0001]本公开涉及计算机
，尤其涉及一种数据处理方法
、
装置
、
设备及介质
。

技术介绍

[0002]基于神经网络的人工智能技术在移动终端上的应用，智能移动终端飞速发展满足人们的各种应用需求
。
其中，其主要实现技术包括基于训练好的神经网络模型数据在视频处理语言识别
、
图像识别与理解
、
游戏视觉等应用领域的数据处理
。
基于移动终端有限的计算资源，考虑到绝大多数的卷积神经网络均存在一定程度上的参数冗余，因此通过剪枝去除神经网络中各层冗余的卷积内核或卷积内核上的神经元，在移动终端上得到计算资源和存储资源更小的神经网络
。
[0003]相关技术中，剪枝方案使得剪枝后的网络处理性能不同，有的剪枝方案导致的网络处理性能比较差，从而导致后续数据处理的结果不可靠
。

技术实现思路

[0004]为了解决上述技术问题或者至少部分地解决上述技术问题，本公开提供了一种数据处理方法
、
装置
、
设备及介质
。
[0005]本公开实施例提供了一种数据处理方法，所述方法包括：
[0006]对原始神经网络中的候选网络层，按照预设的多个剪枝率分别进行剪枝处理获取对应的多个子神经网络；
[0007]将测试数据集分别输入所述原始神经网络和多个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出数据集，获取所述原始神经网络对应的参考性能指标，以及多个所述子神经网络对应的多个测试性能指标；
[0008]根据所述多个测试性能指标相对于所述参考性能指标的性能损失，分析所述原始神经网络中的候选网络层参数在不同剪枝率下的参数冗余度
。
[0009]一种可选的实施方式中，所述的方法，还包括：
[0010]获取网络压缩需求；
[0011]根据所述网络压缩需求设置所述多个剪枝率，其中，所述多个剪枝率之间的差异与网络压缩度正相关
。
[0012]一种可选的实施方式中，所述按照预设的多个剪枝率分别进行剪枝处理获取对应的多个子神经网络，包括：
[0013]对所述候选网络层中的权重分布进行范数计算；
[0014]如果根据计算结果确定所述权重分布属于预设的第一区域分布的候选网络层，则使用预设的第一剪枝器进行剪枝处理，其中，所述第一区域分布的范数区间大于预设的区间阈值，且所述第一区域分布的范数最小值为零；
[0015]如果根据计算结果确定所述权重分布属于预设的第二区域分布的候选网络层，则使用预设的第二剪枝器进行剪枝处理，其中，所述第二区域分布的范数方差大于预设的方
差阈值，且所述第二区域分布的范数最小值不为零
。
[0016]一种可选的实施方式中，所述测试数据集包括：多媒体数据，其中，所述多媒体数据为音频数据
、
视频数据
、
图像数据中的一种或者多种组合
。
[0017]一种可选的实施方式中，所述将测试数据集分别输入所述原始神经网络和多个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出数据集，获取所述原始神经网络对应的参考性能指标，以及多个所述子神经网络对应的多个测试性能指标，包括：
[0018]将测试图像数据集分别输入所述原始神经网络和每个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出图像数据集与所述测试图像数据集之间的像素处理结果，获取与所述原始神经网络对应的峰值信噪比作为所述参考性能指标，以及与每个所述子神经网络对应的峰值信噪比作为所述测试性能指标；
[0019]或者，
[0020]将测试音频数据集分别输入所述原始神经网络和每个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出的识别文字数据集与所述测试音频数据集的标注文字之间的对比结果，获取与所述原始神经网络对应的准确率作为所述参考性能指标，以及与每个所述子神经网络对应的准确率作为所述测试性能指标
。
[0021]一种可选的实施方式中，所述的方法，还包括：
[0022]检测所述原始神经网络中是否存在具有通道依赖特征的关联网络层，其中，所述通道依赖特征包括：相邻的网络层具有相加，和
/
或，相乘的数据操作；
[0023]如果存在所述关联网络层，将所述具有通道依赖特征的所有关联网络层设置为一个所述候选网络层
。
[0024]一种可选的实施方式中，所述方法，还包括：
[0025]根据所述候选网络层参数在不同剪枝率下的参数冗余度，确定所述原始神经网络中被剪枝的目标网络层，以生成目标神经网络对目标数据集进行处理
。
[0026]一种可选的实施方式中，所述所述根据所述候选网络层参数在不同剪枝率下的参数冗余度，确定所述原始神经网络中被剪枝的目标网络层，包括：
[0027]根据所述多个测试性能指标相对于所述参考性能指标的性能损失，绘制所述候选网络层与所述多个剪枝率对应的性能指标曲线；
[0028]计算所述性能指标曲线中每个剪枝率的斜率，根据斜率变化确定所述候选网络层的最大剪枝率，其中，所述最大剪枝率对应的性能指标表示所述候选网络层参数的最大参数冗余度；
[0029]根据目标剪枝率
、
每个所述候选网络层的所述最大参数冗余度对应的所述最大剪枝率，确定所述原始神经网络中被剪枝的目标网络层
。
[0030]本公开实施例还提供了一种数据处理装置，所述装置包括：
[0031]剪枝处理模块，用于对原始神经网络中的候选网络层，按照预设的多个剪枝率分别进行剪枝处理获取对应的多个子神经网络；
[0032]处理获取模块，用于将测试数据集分别输入所述原始神经网络和多个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出数据集，获取所述原始神经网络对应的参考性能指标，以及多个所述子神经网络对应的多个测试性能指标；
[0033]确定模块，用于根据所述多个测试性能指标相对于所述参考性能指标的性能损失，分析所述原始神经网络中的候选网络层参数在不同剪枝率下的参数冗余度
。
[0034]本公开实施例还提供了一种电子设备，所述电子设备包括：处理器；用于存储所述处理器可执行指令的存储器；所述处理器，用于从所述存储器中读取所述可执行指令，并执行所述指令以实现如本公开实施例提供的数据处理方法
。
[0035]本公开实施例还提供了一种计算机可读存储介质，所述存储介质存储有计算机程序，所述计算机程序用于执行如本公开实施例提供的数据处理方法
。
[0036]本公开实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序
/
指令，所述计算机程序...

【技术保护点】

【技术特征摘要】
1.
一种数据处理方法，其特征在于，包括：对原始神经网络中的候选网络层，按照预设的多个剪枝率分别进行剪枝处理获取对应的多个子神经网络；将测试数据集分别输入所述原始神经网络和多个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出数据集，获取所述原始神经网络对应的参考性能指标，以及多个所述子神经网络对应的多个测试性能指标；根据所述多个测试性能指标相对于所述参考性能指标的性能损失，分析所述原始神经网络中的候选网络层参数在不同剪枝率下的参数冗余度
。2.
根据权利要求1所述的方法，其特征在于，还包括：获取网络压缩需求；根据所述网络压缩需求设置所述多个剪枝率，其中，所述多个剪枝率之间的差异与网络压缩度正相关
。3.
根据权利要求1所述的方法，其特征在于，所述按照预设的多个剪枝率分别进行剪枝处理获取对应的多个子神经网络，包括：对所述候选网络层中的权重分布进行范数计算；如果根据计算结果确定所述权重分布属于预设的第一区域分布的候选网络层，则使用预设的第一剪枝器进行剪枝处理，其中，所述第一区域分布的范数区间大于预设的区间阈值，且所述第一区域分布的范数最小值为零；如果根据计算结果确定所述权重分布属于预设的第二区域分布的候选网络层，则使用预设的第二剪枝器进行剪枝处理，其中，所述第二区域分布的范数方差大于预设的方差阈值，且所述第二区域分布的范数最小值不为零
。4.
根据权利要求1所述的方法，其特征在于，所述测试数据集包括：多媒体数据，其中，所述多媒体数据为音频数据
、
视频数据
、
图像数据中的一种或者多种组合
。5.
根据权利要求4所述的方法，其特征在于，所述将测试数据集分别输入所述原始神经网络和多个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出数据集，获取所述原始神经网络对应的参考性能指标，以及多个所述子神经网络对应的多个测试性能指标，包括：将测试图像数据集分别输入所述原始神经网络和每个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出图像数据集与所述测试图像数据集之间的像素处理结果，获取与所述原始神经网络对应的峰值信噪比作为所述参考性能指标，以及与每个所述子神经网络对应的峰值信噪比作为所述测试性能指标；或者，将测试音频数据集分别输入所述原始神经网络和每个所述子神经网络进行处理，基于所述原始神经网络和多个所述子神经网络的输出的识别文字数据集与所述测试音频数据集的标注文字之间的对比结果，获取与所述原始神经网络对应的准确率作为所述参考性能指标，以及与每个所述子神经网络对应的准确率作为所述测试性能指标
。...

【专利技术属性】
技术研发人员：刘松伟，李明蹊，孔方圆，陈芳民，拜阳，
申请(专利权)人：北京字跳网络技术有限公司，
类型：发明
国别省市：