【技术实现步骤摘要】
本申请涉及人工智能(artificial intelligence,ai)领域，特别涉及一种应用于图像处理的神经网络训练方法及相关设备。
技术介绍
1、随着人工智能技术的发展，神经网络在终端设备上的应用越来越广泛。由于不同的应用场景或不同的终端设备对神经网络的需求不同，所以需要根据应用场景或终端设备选择合适的神经网络。
2、模型量化算法是一种压缩神经网络的方法，即将浮点数(高精度)表示的神经网络的参数(例如权重)用低精度整数来近似表示。在量化到低精度之后，可以应用移动平台上的优化技术对神经网络的计算过程进行加速，并且原始的神经网络在经过量化后，模型容量也会减小，从而可以更好地适应存储空间有限的终端设备。相关的模型量化算法通常是直接对训练完成的小模型采用量化感知训练(quantization aware training，qat)或训练后量化(post training quantization，ptq)的方式完成量化，量化过程中小模型的网络结构不会发生改变，由于量化后的参数有一定误差，导致量化后的小模型的模型性能会产生一定的损失。以应用于图像处理场景的小模型为例，若量化后的小模型的模型性能产生一定的损失，将会导致终端设备运行此小模型进行图像处理时，图像处理效果不佳。
技术实现思路
1、本申请提供了一种应用于图像处理的神经网络训练方法及相关设备，通过在对子网络进行量化的过程中，子网络与超网络共享量化器，实现将网络结构搜索中的蒸馏作用在量化训练中实现，可解决子网络在量化过程
2、第一方面，本申请实施提供一种应用于图像处理的神经网络训练方法，该方法包括：构建与处理任务对应的超网络，超网络可包括多个子网络，多个子网络与超网络共享网络参数；对超网络进行采样训练，超网络的训练样本包括图像样本；基于训练后的超网络的网络参数，确定目标子网络，目标子网络为超网络中的子网络或者由超网络中的子网络变异得到，且目标子网络的性能符合预设要求；对目标子网络进行量化训练，得到量化后的目标子网络，目标子网络与超网络共享量化训练使用的量化器。采用上述技术方案，通过对超网络进行采样训练，从中选择性能符合预设要求的子网络作为目标子网络，目标子网络可以是超网络中的子网络，也可以是基于超网络内的子网络变异得到的子网络，进而可实现从覆盖有限数量的子网络的超网络中，得到具备较佳性能的子网络作为目标子网络，以进行后续量化训练，且不会造成搜索空间过大的问题，在对目标子网络进行量化的过程中，目标子网络与超网络共享量化器，实现将网络结构搜索中的蒸馏作用在量化训练中实现，可解决目标子网络在量化过程中出现性能损失的问题，提升最终部署在终端设备侧的目标子网络的图像处理效果，例如处理任务为图像去噪，可以提升最终部署在终端设备侧的目标子网络的图像去噪效果。
3、在一种可能的实现方式中，构建与处理任务对应的超网络，包括：基于预设神经网络建立搜索空间，搜索空间指示预设神经网络的网络结构的变化范围，且预设神经网络包含与处理任务对应的块，块由单个神经网络层或多个神经网络层组成；基于搜索空间构建超网络。采用上述技术方案，通过搜索空间的方式构建超网络，搜索空间在预设神经网络的基础上，定义了网络结构的变化范围，从而使得超网络可以覆盖多种子网络。
4、在一种可能的实现方式中，超网络基于依序的n个采样训练阶段进行训练，n个采样训练阶段分别定义为第i采样训练阶段，i＝1、2、…、n，n为大于1的正整数，第i采样训练阶段的前一采样训练阶段定义为第i-1采样训练阶段，对超网络进行采样训练，包括：在第i-1采样训练阶段，基于预设采样规则对超网络进行采样，得到第i-1子网络；获取用于进行网络训练的数据集，利用数据集对第i-1子网络进行训练，及将训练完成的所述第i-1子网络的网络参数更新至超网络；在第i采样训练阶段，基于预设采样规则对在第i-1采样训练阶段更新过网络参数的超网络进行采样，得到第i子网络；利用数据集对第i子网络进行训练，及将训练完成的第i子网络的网络参数更新至在第i-1采样训练阶段更新过网络参数的超网络。采用上述技术方案，通过对超网络进行采样得到子网络，对子网络进行训练，再将训练完成的子网络的网络参数更新至超网络，重复上述子网络的采样、训练、更新的过程，实现对超网络的训练，相比对超网络进行训练方式，通过对子网络进行训练，子网络与超网络共享网络参数，可提升超网络的训练效率与性能。
5、在一种可能的实现方式中，搜索空间以块为搜索维度，预设采样规则包括：基于单路径一步法(single path one shot，spos)在搜索空间内进行块采样，确定一个或多个目标块；确定每个目标块的通道数；确定每个目标块的深度；基于每个目标块、每个目标块的通道数与深度组建子网络。采用上述技术方案，先在搜索空间内进行块采样，确定用于构建子网络的目标块，再确定每个目标块的通道数与深度，进而可确定唯一的子网络，实现从超网络采样得到子网络。
6、在一种可能的实现方式中，基于训练后的超网络的网络参数，确定目标子网络，包括：对超网络进行采样，得到m个子网络，及基于m个子网络构建第一种群，m为大于1的正整数；基于预设验证集及训练后的超网络的网络参数对第一种群中的每个子网络分别进行性能评估；从第一种群中选取性能排名前k位的子网络，k小于m；对k个子网络以预设变异概率进行变异，直至得到m-k个子网络，m-k个子网络均满足预设子网络结构约束；基于k个子网络及m-k个子网络构建第二种群，及对第二种群中的每个子网络分别进行性能评估；从第二种群中选取性能评估结果达到预设要求的子网络作为目标子网络。采用上述技术方案，通过进化学习方式(子网络变异)在搜索空间中搜索优秀的子网络，实现从覆盖有限数量的子网络的搜索空间中，得到具备较佳性能的子网络作为目标子网络，以进行后续量化训练，且不会造成搜索空间过大的问题，可提升最终部署在终端设备侧的目标子网络的性能。
7、在一种可能的实现方式中，目标子网络基于z次种群迭代确定，z为大于1的正整数，从第二种群中选取性能评估结果最佳的子网络作为目标子网络，包括：若当前的种群迭代次数小于z，重复从当前构建的种群中选取性能排名前k位的子网络的步骤、对k个子网络进行变异的步骤，及基于k个子网络与变异得到的m-k个子网络构建新的种群的步骤；若当前的种群迭代次数等于z，从当前构建的种群中选取性能评估结果达到预设要求的子网络作为目标子网络。采用上述技术方案，可以根据实际可用的网络训练时间设定种群迭代次数，在可用的网络训练时间较长的情形下，可设置相对较大的种群迭代次数，种群迭代次数越大，在搜索空间中搜索到优秀的子网络的可能性越高。
8、在一种可能的实现方式中，对目标子网络进行量化训练，包括：输入一随机数据至目标子网络，生成前向推理的有向无环图(directed acyclic graph，dag)，随机数据的数据类型与用于对超网络进行训练的数据的数据类型相本文档来自技高网...
【技术保护点】
1.一种应用于图像处理的神经网络训练方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述构建与处理任务对应的超网络，包括：
3.如权利要求2所述的方法，其特征在于，所述超网络基于依序的n个采样训练阶段进行训练，所述n个采样训练阶段分别定义为第i采样训练阶段，i＝1、2、…、n，n为大于1的正整数，所述第i采样训练阶段的前一采样训练阶段定义为第i-1采样训练阶段，所述对所述超网络进行采样训练，包括：
4.如权利要求2或3所述的方法，其特征在于，所述搜索空间以块为搜索维度，所述预设采样规则包括：
5.如权利要求1至4任一项所述的方法，其特征在于，所述基于训练后的所述超网络的网络参数，确定目标子网络，包括：
6.如权利要求5所述的方法，其特征在于，所述目标子网络基于z次种群迭代确定，z为大于1的正整数，所述从所述第二种群中选取性能评估结果最佳的子网络作为所述目标子网络，包括：
7.如权利要求1至6中任一项所述的方法，其特征在于，所述对所述目标子网络进行量化训练，包括：
8.如权
9.如权利要求7或8所述的方法，其特征在于，所述对添加了所述伪量化节点的所述目标子网络进行迭代训练包括依序执行的多个量化训练阶段，所述多个量化训练阶段中的每个量化训练阶段均包括：
10.如权利要求7所述的方法，其特征在于，所述对所述目标子网络进行量化训练还包括：
11.如权利要求10所述的方法，其特征在于，所述对所述目标子网络上的每个层的权重进行追踪，包括：
12.如权利要求10所述的方法，其特征在于，所述对所述动态抖动的权重进行锁定，包括：
13.如权利要求1至12中任一项所述的方法，其特征在于，所述方法还包括：
14.一种应用于图像处理的神经网络训练装置，其特征在于，所述装置包括：
15.一种服务器，其特征在于，包括存储器和处理器，其中，所述存储器用于存储计算机可读指令；所述处理器用于读取所述计算机可读指令并实现如权利要求1至13中任一项所述的方法。
16.一种终端设备，其特征在于，所述终端设备部署有基于权利要求1至13中任一项所述的方法得到的目标子网络，所述目标子网络用于进行图像处理，所述图像处理包括降噪处理、去马赛克处理、自动白平衡处理中的至少一者。
17.一种计算机存储介质，其特征在于，存储有计算机可读指令，且所述计算机可读指令在被处理器执行时实现如权利要求1至13中任一项所述的方法。
18.一种计算机程序产品，其特征在于，所述计算机程序产品中包含计算机可读指令，当该计算机可读指令被处理器执行时实现权利要求1至13中任一项所述的方法。
19.一种神经网络部署系统，其特征在于，包括终端设备和服务器，所述服务器用于执行如权利要求1至13中任一项所述的方法，及用于将所述量化后的目标子网络部署在所述终端设备中。
...【技术特征摘要】
1.一种应用于图像处理的神经网络训练方法，其特征在于，所述方法包括：
2.如权利要求1所述的方法，其特征在于，所述构建与处理任务对应的超网络，包括：
3.如权利要求2所述的方法，其特征在于，所述超网络基于依序的n个采样训练阶段进行训练，所述n个采样训练阶段分别定义为第i采样训练阶段，i＝1、2、…、n，n为大于1的正整数，所述第i采样训练阶段的前一采样训练阶段定义为第i-1采样训练阶段，所述对所述超网络进行采样训练，包括：
4.如权利要求2或3所述的方法，其特征在于，所述搜索空间以块为搜索维度，所述预设采样规则包括：
5.如权利要求1至4任一项所述的方法，其特征在于，所述基于训练后的所述超网络的网络参数，确定目标子网络，包括：
6.如权利要求5所述的方法，其特征在于，所述目标子网络基于z次种群迭代确定，z为大于1的正整数，所述从所述第二种群中选取性能评估结果最佳的子网络作为所述目标子网络，包括：
7.如权利要求1至6中任一项所述的方法，其特征在于，所述对所述目标子网络进行量化训练，包括：
8.如权利要求7所述的方法，其特征在于，所述为经过算子融合的所述目标子网络添加伪量化节点，包括：
9.如权利要求7或8所述的方法，其特征在于，所述对添加了所述伪量化节点的所述目标子网络进行迭代训练包括依序执行的多个量化训练阶段，所述多个量化训练阶段中的每个量化训练阶段均包括：
10.如权利要求7所述的方法，其特征在...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。