图像处理模型搜索、图像处理方法、装置和存储介质制造方法及图纸

本申请涉及一种图像处理模型搜索方法、装置、计算机设备和存储介质。该方法包括：获取图像数据集和图像处理网络搜索空间；从图像处理网络搜索空间中选取当前子网络，得到当前图像处理模型；将训练数据集输入当前图像处理模型和参考图像处理模型中进行知识蒸馏，得到当前训练图像处理模型；基于验证数据集对当前训练图像处理模型进行评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并进行循环迭代，直到搜索完成时从图像处理网络搜索空间中选取目标子网络，得到目标图像处理模型。采用本方法能够提高搜索的准确性。的准确性。的准确性。

【技术实现步骤摘要】
图像处理模型搜索、图像处理方法、装置和存储介质


[0001]本申请涉及计算机
，特别是涉及一种图像处理模型搜索、图像处理方法、装置、计算机设备和存储介质。

技术介绍

[0002]随着人工智能技术的发展，出现了神经网络架构搜索技术，通过神经网络架构搜索技术进行神经网络架构搜索，可以降低人工设计网络的时间成本。目前，在图像处理模型训练过程，也可以通过神经网络架构搜索技术进行神经网络架构搜索。比如，通过随机搜索的策略搜索到图像处理模型的神经网络架构，然而，通过随机搜索的策略进行搜索的方法搜索得到的神经网络架构准确性较低，导致图像处理模型的图像处理性能较低。

技术实现思路

[0003]基于此，有必要针对上述技术问题，提供一种能够提高搜索准确性的图像处理模型搜索方法、装置、计算机设备和存储介质。
[0004]一种图像处理模型搜索方法，所述方法包括：获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。
[0005]在其中一个实施例中，从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型，包括：从初始待搜索特征编码网络中各个特征编码网络层的候选网络操作中选取当前网络操作，基于当前网络操作得到各个当前特征编码网络层；基于各个当前编码网络层得到当前特征编码网络，并将当前特征编码网络和初始特征解码网络进行连接，得到当前子网络。
[0006]在其中一个实施例中，将训练数据集输入已训练的参考图像处理模型中进行图像处理，得到参考图像处理结果，包括：将训练数据集输入至少二个已训练的参考图像处理模型中进行图像处理，得到至
少两个参考图像处理结果；将至少两个参考图像处理结果进行结果集成，得到目标参考图像处理结果；基于当前图像处理结果和参考图像处理结果计算知识蒸馏损失信息，基于知识蒸馏损失信息更新当前图像处理模型，包括：基于当前图像处理结果和目标参考图像处理结果计算目标知识蒸馏损失信息，基于目标知识蒸馏损失信息更新当前图像处理模型。
[0007]在其中一个实施例中，将当前图像处理模型和已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图，包括：将当前图像处理模型中的网络层作为有向无环图的节点，并将当前图像处理模型中网络层的连接关系作为有向无环图的边，得到当前图像处理模型对应的当前图；将已训练的参考图像处理模型中的网络层作为有向无环图的节点，并将已训练的参考图像处理模型中网络层的连接关系作为有向无环图的边，得到已训练的参考图像处理模型对应的参考图。
[0008]在其中一个实施例中，基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，包括：将目标训练图像处理模型中的网络参数作为图像处理网络搜索空间中子网络的网络参数；并使用目标训练图像处理模型中的结构参数更新图像处理网络搜索空间中子网络的结构参数。
[0009]在其中一个实施例中，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型，包括：基于达到搜索完成条件时的图像处理网络搜索空间中候选网络操作对应的结构参数大小从各个特征编码网络层的候选网络操作中选取目标网络操作，基于目标网络操作得到各个目标特征编码网络层；基于各个目标编码网络层得到目标特征编码网络，并将目标特征编码网络和达到搜索完成条件时的图像处理网络搜索空间的特征解码网络进行连接，得到目标子网络，将目标子网络作为目标图像处理模型。
[0010]一种图像处理模型搜索装置，所述装置包括：获取模块，用于获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；选取模块，用于从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；训练模块，用于将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；评估模块，用于基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；迭代模块，用于基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处
理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。
[0011]一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于目标子网络得到目标图像处理模型。
[0012]一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：获取图像数据集和图像处理网络搜索空间，图像数据集包括训练数据集和验证数据集；从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；将训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到当前图像处理模型对应的当前训练图像处理模型；基于验证数据集对当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于图像处理评估结果更新当前训练图像处理模型，得到目标训练图像处理模型；基于目标训练图像处理模型更新图像处理网络搜索空间中的子网络，并返回从图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理模型搜索方法，其特征在于，所述方法包括：获取图像数据集和图像处理网络搜索空间，所述图像数据集包括训练数据集和验证数据集；从所述图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型；将所述训练数据集输入所述当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述当前图像处理模型对应的当前训练图像处理模型；基于所述验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型，得到目标训练图像处理模型；基于所述目标训练图像处理模型更新所述图像处理网络搜索空间中的子网络，并返回从所述图像处理网络搜索空间中选取当前子网络，基于当前子网络得到当前图像处理模型的步骤执行，直到达到搜索完成条件，从达到搜索完成条件时的图像处理网络搜索空间中选取目标子网络，基于所述目标子网络得到目标图像处理模型。2.根据权利要求1所述的方法，其特征在于，所述图像处理网络搜索空间包括初始待搜索特征编码网络和初始特征解码网络；所述获取图像处理网络搜索空间，包括：获取预设第一数量的候选网络操作；基于所述预设第一数量的候选网络操作建立预设第二数量的特征编码网络层，并将所述预设第二数量的特征编码网络层进行局部全连接，得到特征编码子结构网络；建立预设第三数量的特征编码子结构网络，并将所述预设第三数量的子结构网络进行链式链接，得到待搜索特征编码网络；获取特征解码网络，并初始化所述待搜索特征编码网络和所述特征解码网络，得到所述初始待搜索特征编码网络和所述初始特征解码网络；基于所述初始待搜索特征编码网络和所述初始特征解码网络得到所述图像处理网络搜索空间。3.根据权利要求2所述的方法，其特征在于，所述初始化所述待搜索特征编码网络，包括：获取所述待搜索特征编码网络中候选网络操作对应的结构特征；将所述待搜索特征编码网络中候选网络操作对应的结构特征进行随机松弛，得到所述待搜索特征编码网络中候选网络操作对应的初始结构参数；并初始化所述待搜索特征编码网络对应的网络参数，得到所述初始待搜索特征编码网络。4.根据权利要求1所述的方法，其特征在于，所述将所述训练数据集输入当前图像处理模型和已训练的参考图像处理模型中进行知识蒸馏训练，得到所述当前图像处理模型对应的当前训练图像处理模型，包括：将所述训练数据集输入所述当前图像处理模型中进行图像处理，得到当前图像处理结果；将所述训练数据集输入所述已训练的参考图像处理模型中进行图像处理，得到参考图
像处理结果；基于所述当前图像处理结果和所述参考图像处理结果计算知识蒸馏损失信息，基于所述知识蒸馏损失信息更新所述当前图像处理模型；并返回将所述训练数据集输入所述当前图像处理模型中进行图像处理，得到当前图像处理结果的步骤迭代执行，直到当达到知识蒸馏训练完成条件时，得到所述当前图像处理模型对应的当前训练图像处理模型。5.根据权利要求4所述的方法，其特征在于，所述基于所述当前图像处理结果和所述参考图像处理结果计算知识蒸馏损失信息，基于所述知识蒸馏损失信息更新所述当前图像处理模型，包括：计算所述当前图像处理结果和所述参考图像处理结果之间的误差，得到结果损失信息；计算所述当前图像处理结果和所述训练数据集中图像处理标签之间的误差，得到标签损失信息；基于所述结果损失信息和标签损失信息计算得到所述知识蒸馏损失信息；基于所述知识蒸馏损失计算网络参数梯度，基于所述网络参数梯度反向更新所述当前图像处理模型中的网络参数。6.根据权利要求5所述的方法，其特征在于，所述基于所述结果损失信息和标签损失信息计算得到所述知识蒸馏损失信息，包括：将所述当前图像处理模型和所述已训练的参考图像处理模型进行有向无环图转换，得到当前图和参考图；计算所述当前图和所述参考图之间的图编辑距离，基于所述图编辑距离得到图损失信息；基于所述结果损失信息、所述标签损失信息和所述图损失信息得到第一目标知识蒸馏损失信息。7.根据权利要求6所述的方法，其特征在于，所述基于所述结果损失信息、所述标签损失信息和所述图损失信息得到第一目标知识蒸馏损失信息，包括：获取预设目标运行时间，并获取所述当前图像处理模型对应的模型运行时间；计算所述模型运行时间与所述预设目标运行时间之间的误差，得到运行耗时损失信息；基于所述结果损失信息、所述标签损失信息、所述图损失信息和所述运行耗时损失信息得到第二目标知识蒸馏损失信息。8.根据权利要求7所述的方法，其特征在于，所述获取所述当前图像处理模型对应的模型运行时间，包括：获取所述图像处理网络搜索空间的初始待搜索特征编码网络中各个候选网络操作对应的操作运行时间表；从所述操作运行时间表中查找所述当前图像处理模型中各个候选网络操作对应的操作运行时间；计算所述当前图像处理模型中各个候选网络操作对应的操作运行时间之和，得到所述模型运行时间。
9.根据权利要求1所述的方法，其特征在于，所述基于所述验证数据集对所述当前训练图像处理模型进行图像处理评估，得到图像处理评估结果，基于所述图像处理评估结果更新所述当前训练图像处理模型...

【专利技术属性】
技术研发人员：王强，邰颖，沈鹏程，李绍欣，李季檩，黄飞跃，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：