数据处理方法、装置、计算机设备及存储介质制造方法及图纸

本发明专利技术涉及数据处理领域，具体涉及数据处理方法、装置、计算机设备及存储介质。该方法包括：获取待处理数据以及待处理数据对应的原始数据处理模型；对原始数据处理模型进行压缩处理，生成目标数据处理模型；根据待处理数据以及目标数据处理模型，计算目标数据处理模型处理待处理数据的总任务量；将总任务量分配到多个硬件平台，完成对待处理数据的处理。实现了软件压缩到实际硬件加速的连通，实现了软件层优化结果的硬件支持。降低了原始数据处理模型推理时的时间消耗和资源消耗。从而提高了对待处理数据进行数据处理的效率。处理数据进行数据处理的效率。处理数据进行数据处理的效率。

【技术实现步骤摘要】
数据处理方法、装置、计算机设备及存储介质


[0001]本专利技术涉及数据处理领域，具体涉及数据处理方法、装置、计算机设备及存储介质。

技术介绍

[0002]随着人工智能的发展，深度神经网络模型已经广泛应用于社会安全、公共服务等各种领域，基于深度神经网络模型的各种深度学习框架不断提出；而随着深度神经网络层数的不断增加，深度学习框架的参数量和计算量也变得越来越大。
[0003]因此，导致利用深度神经网络模型进行数据处理时，对硬件平台的要求较高，且数据处理效率较低。

技术实现思路

[0004]有鉴于此，本专利技术提供了一种数据处理方法、装置、计算机设备及存储介质，以解决现有技术中，利用深度神经网络模型进行数据处理时，对硬件平台的要求较高，且数据处理效率较低的问题。
[0005]第一方面，本专利技术提供了一种数据处理方法，该方法包括：
[0006]获取待处理数据以及待处理数据对应的原始数据处理模型；
[0007]对原始数据处理模型进行压缩处理，生成目标数据处理模型；
[0008]根据待处理数据以及本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：获取待处理数据以及所述待处理数据对应的原始数据处理模型；对所述原始数据处理模型进行压缩处理，生成目标数据处理模型；根据所述待处理数据以及所述目标数据处理模型，计算所述目标数据处理模型处理所述待处理数据的总任务量；将所述总任务量分配到多个硬件平台，完成对所述待处理数据的处理。2.根据权利要求1所述的方法，其特征在于，所述对所述原始数据处理模型进行压缩处理，生成目标数据处理模型，包括：基于改进的交替方向乘子剪枝算法对所述原始数据处理模型进行剪枝处理，生成所述目标数据处理模型。3.根据权利要求2所述的方法，其特征在于，所述基于改进的交替方向乘子剪枝算法对所述原始数据处理模型进行剪枝处理，生成所述目标数据处理模型，包括：在原始交替方向乘子剪枝算法中引入惩罚因子，所述惩罚因子用于缩短所述原始数据处理模型中的模型参数与所述模型参数对应的期望值之间的距离；初始化所述模型参数对应的期望值以及所述惩罚因子，生成初始期望值和初始惩罚因子；根据所述初始期望值和所述初始惩罚因子，对所述原始数据处理模型进行剪枝处理迭代计算，得到所述目标数据处理模型对应的非结构化稀疏参数矩阵；所述非结构化稀疏参数矩阵为对所述模型参数进行剪枝之后得到的参数矩阵；根据所述非结构化稀疏参数矩阵，生成所述目标数据处理模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述初始期望值和所述初始惩罚因子，对所述原始数据处理模型进行剪枝处理迭代计算，得到所述目标数据处理模型对应的非结构化稀疏参数矩阵，包括：根据所述初始期望值和所述初始惩罚因子，对所述原始数据处理模型进行剪枝处理迭代计算，生成候选数据处理模型；获取所述候选数据处理模型对应的模型精度以及模型压缩比；根据所述模型精度以及所述模型压缩比，按照预设规律扩大所述初始惩罚因子，生成候选惩罚因子；根据所述初始期望值和所述候选惩罚因子，对所述候选数据处理模型进行剪枝处理迭代计算，得到所述目标数据处理模型对应的非结构化稀疏参数矩阵。5.根据权利要求1所述的方法，其特征在于，所述根据所述待处理数据以及所述目标数据处理模型，计算所述目标...

【专利技术属性】
技术研发人员：李兵兵，王彦伟，阚宏伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：