应用于图像处理的神经网络训练方法及相关设备技术

本申请实施例涉及人工智能领域，提供一种应用于图像处理的神经网络训练方法及相关设备，该方法包括：构建与处理任务对应的超网络，超网络可包括多个子网络，多个子网络与超网络共享网络参数；对超网络进行采样训练；基于训练后的超网络的网络参数，确定目标子网络，目标子网络可为超网络中的子网络或者由超网络中的子网络变异得到，且目标子网络的性能符合预设要求；对目标子网络进行量化训练，得到量化后的目标子网络，在量化训练过程中，目标子网络与超网络共享量化训练使用的量化器。利用本申请的目标子网络与超网络共享量化器，能够在量化训练中实现网络结构搜索中的蒸馏作用，可提升最终部署在终端设备侧的目标子网络的图像处理效果。

【技术实现步骤摘要】

本申请涉及人工智能(artificial intelligence,ai)领域，特别涉及一种应用于图像处理的神经网络训练方法及相关设备。

技术介绍

1、随着人工智能技术的发展，神经网络在终端设备上的应用越来越广泛。由于不同的应用场景或不同的终端设备对神经网络的需求不同，所以需要根据应用场景或终端设备选择合适的神经网络。

2、模型量化算法是一种压缩神经网络的方法，即将浮点数(高精度)表示的神经网络的参数(例如权重)用低精度整数来近似表示。在量化到低精度之后，可以应用移动平台上的优化技术对神经网络的计算过程进行加速，并且原始的神经网络在经过量化后，模型容量也会减小，从而可以更好地适应存储空间有限的终端设备。相关的模型量化算法通常是直接对训练完成的小模型采用量化感知训练(quantization aware training，qat)或训练后量化(post training quantization，ptq)的方式完成量化，量化过程中小模型的网络结构不会发生改变，由于量化后的参数有一定误差，导致量化后的小模型的模型性能会产生一定的损失。以应用于图像处本文档来自技高网...

【技术保护点】

1.一种应用于图像处理的神经网络训练方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述构建与处理任务对应的超网络，包括：

3.如权利要求2所述的方法，其特征在于，所述超网络基于依序的n个采样训练阶段进行训练，所述n个采样训练阶段分别定义为第i采样训练阶段，i＝1、2、…、n，n为大于1的正整数，所述第i采样训练阶段的前一采样训练阶段定义为第i-1采样训练阶段，所述对所述超网络进行采样训练，包括：

4.如权利要求2或3所述的方法，其特征在于，所述搜索空间以块为搜索维度，所述预设采样规则包括：

5.如权利要求1至4任...

【技术特征摘要】

1.一种应用于图像处理的神经网络训练方法，其特征在于，所述方法包括：

2.如权利要求1所述的方法，其特征在于，所述构建与处理任务对应的超网络，包括：

3.如权利要求2所述的方法，其特征在于，所述超网络基于依序的n个采样训练阶段进行训练，所述n个采样训练阶段分别定义为第i采样训练阶段，i＝1、2、…、n，n为大于1的正整数，所述第i采样训练阶段的前一采样训练阶段定义为第i-1采样训练阶段，所述对所述超网络进行采样训练，包括：

4.如权利要求2或3所述的方法，其特征在于，所述搜索空间以块为搜索维度，所述预设采样规则包括：

5.如权利要求1至4任一项所述的方法，其特征在于，所述基于训练后的所述超网络的网络参数，确定目标子网络，包括：

6.如权利要求5所述的方法，其特征在于，所述目标子网络基于z次种群迭代确定，z为大于1的正整数，所述从所述第二种群中选取性能评估结果最佳的子网络作为所述目标子网络，包括：

7.如权利要求1至6中任一项所述的方法，其特征在于，所述对所述目标子网络进行量化训练，包括：

8.如权利要求7所述的方法，其特征在于，所述为经过算子融合的所述目标子网络添加伪量化节点，包括：

9.如权利要求7或8所述的方法，其特征在于，所述对添加了所述伪量化节点的所述目标子网络进行迭代训练包括依序执行的多个量化训练阶段，所述多个量化训练阶段中的每个量化训练阶段均包括：

10.如权利要求7所述的方法，其特征在...

【专利技术属性】
技术研发人员：唐巍，
申请(专利权)人：荣耀终端有限公司，
类型：发明
国别省市：