一种数据处理的方法、系统、设备及可读存储介质技术方案

本申请公开了一种数据处理的方法，包括：根据获取的网络模型的结构信息将网络模型的每一层标记为关键层或非关键层；根据需要部署的硬件资源信息分别确定关键层的量化位宽范围和非关键层的量化位宽范围；在量化位宽范围内确定网络模型每一层的最优量化位宽；基于网络模型每一层的最优量化位宽对网络模型进行训练得到最优网络模型，并利用最优网络模型进行数据处理。本申请基于最优量化位宽训练得到的最优网络模型在保证网络模型最佳精度的情况下，最大限度地对模型结构进行压缩，实现硬件端的最优部署，进而使得利用该最优网络模型对数据进行处理时的效率得到提高。本申请同时还提供了一种数据处理的系统、设备及可读存储介质，具有上述有益效果。

【技术实现步骤摘要】
一种数据处理的方法、系统、设备及可读存储介质
本申请涉及数据处理领域，特别涉及一种数据处理的方法、系统、设备及可读存储介质。
技术介绍
随着人工智能技术的不断发展，人工智能技术已逐渐应用于日常生活中。在人工智能
，深度学习是较典型的技术之一。虽然深度神经网络在图像分类，检测等方面的能力已接近或超越人类，但在实际部署中，仍然存在模型大，计算复杂度高等问题，对硬件成本要求较高。而在实际应用中，为了降低硬件成本，很多都是将神经网络部署于一些终端设备或者边缘设备上，这些设备一般只有较低的计算能力，而且内存和电量消耗也都受限。因此要将深度神经网络模型真正实现部署，在保证网络模型精度不变的情况下，将网络模型变小，使其推理更快，耗电更低是非常有必要的。针对这个主题，目前主要有两种研究方向，一种是重新构建一个高效的轻量化模型，另一种则是通过量化，裁剪和压缩来降低模型尺寸。当前模型量化技术方向主要包括两种：无需重新训练的量化(post-trainingquantization)和基于训练的量化(training-awarequantization)。无论是本文档来自技高网...

【技术保护点】
1.一种数据处理的方法，其特征在于，包括：/n根据获取的网络模型的结构信息将所述网络模型的每一层标记为关键层或非关键层；/n根据需要部署的硬件资源信息分别确定所述关键层的量化位宽范围和所述非关键层的量化位宽范围；/n在所述量化位宽范围内确定所述网络模型每一层的最优量化位宽；/n基于所述网络模型每一层的最优量化位宽对所述网络模型进行训练得到最优网络模型，并利用所述最优网络模型进行数据处理。/n

【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：
根据获取的网络模型的结构信息将所述网络模型的每一层标记为关键层或非关键层；
根据需要部署的硬件资源信息分别确定所述关键层的量化位宽范围和所述非关键层的量化位宽范围；
在所述量化位宽范围内确定所述网络模型每一层的最优量化位宽；
基于所述网络模型每一层的最优量化位宽对所述网络模型进行训练得到最优网络模型，并利用所述最优网络模型进行数据处理。


2.根据权利要求1所述的方法，其特征在于，根据获取的网络模型的结构信息将所述网络模型的每一层标记为关键层或非关键层，包括：
根据所述网络模型的结构信息确定初始网络模型参数，并对所述网络模型的每一层进行排序；
将所述网络模型的第一层标记为所述关键层，并根据所述初始网络模型参数计算所述网络模型中当前层与上一层的特征图之间的相似度；
若所述相似度小于阈值，则将所述当前层标记为所述关键层；
若所述相似度大于或等于所述阈值，则将所述当前层标记为所述非关键层。


3.根据权利要求1所述的方法，其特征在于，在所述量化位宽范围内确定所述网络模型每一层的最优量化位宽，包括：
根据所述量化位宽范围内量化位宽的数量确定所述网络模型当前层的训练分支的数量；
为所述网络模型当前层的不同训练分支中的权重设置不同的第一量化位宽，并为所述网络模型当前层的不同训练分支中的特征输入设置不同的第二量化位宽；
根据所述第一量化位宽将所述权重映射为权重值，并根据所述第二量化位宽将所述特征输入映射为特征输入值；
令每一所述训练分支中的所述权重值和所述特征输入值进行卷积计算，并根据得到的卷积运算结果对所述训练分支的重要度评估参数进行更新；
确定所述重要度评估参数最高的训练分支的第一量化位宽和第二量化位宽为所述网络模型当前层的最优量化位宽。


4.根据权利要求1所述的方法，其特征在于，所述关键层的量化位宽范围大于所述非关键层的量化位宽范围。


5.根据权利要求1所述的方法，其特征在于，所述网络模型包括图像分类模型、图像检测模型、图像识别模型、自然语言处理模型中的至少一项。


6.一种数据处理的系统，其特征在于，包括：
标记模块，用于根据获取的网络模型的结构信息将所述...

【专利技术属性】
技术研发人员：梁玲燕，董刚，赵雅倩，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏;32