用于图像超分辨率的神经网络架构搜索方法及装置制造方法及图纸

本申请实施例提供了一种用于图像超分辨率的神经网络架构搜索方法及装置，其中，该方法包括：获取多组分辨率图像对，每组分辨率图像对包括第一分辨率图像和第二分辨率图像，同一分辨率图像对中的第二分辨率图像由第一分辨率图像经过下采样得到；根据神经网络的预设搜索空间，设置多条搜索路径，其中，每条搜索路径包括一个子网络，每个子网络由多个节点以及连接多个节点的多个边构成，连接节点的边用于表征子网络采用的操作，不同子网络采用的操作不重复；根据多条搜索路径搜索得到的网络模型结构，构建超级网络；采用多组分辨率图像对训练超级网络，得到超分辨率网络模型。通过本申请，解决了相关技术中基于NAS的超分辨率方法搜索速率较慢的问题。搜索速率较慢的问题。搜索速率较慢的问题。

【技术实现步骤摘要】
用于图像超分辨率的神经网络架构搜索方法及装置


[0001]本申请实施例涉及计算机领域，具体而言，涉及一种用于图像超分辨率的神经网络架构搜索方法、装置、计算机可读存储介质及电子设备。

技术介绍

[0002]超分辨率（Super Resolution，SR）是从给定的低分辨率（LR）图像中恢复高分辨率（HR）图像的过程，是计算机视觉的一个经典应用，通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像（说白了就是提高分辨率），在监控设备、卫星图像遥感、数字高清、显微成像、视频编码通信、视频复原和医学影像等领域都有重要的应用价值。
[0003]现有大部分超分辨率模型网络结构的设计通常依赖于人工经验和专业知识，这需要研究人员多次的尝试，需要较多的人力资源和时间成本。而神经架构搜索（Neural Architecture Search，NAS）能够通过自动搜索找到更优的网络结构，提高网络性能和效果，NAS通过可以搜索大量的网络结构空间，并在其中探索潜在的最优结构。并且通过系统地搜索和评估不同的网络结构，NAS能够找到更适应具体任务的最佳网络结构，从而提高模型的准确性和泛化能力。
[0004]然而，现有的基于NAS的超分辨率方法，受搜索空间设计和搜索策略设定的影响，搜索速率较慢而导致机器的计算负担很重。为了节约能源，更加环保，如何设计一种适用于图像超分辨率模型的快速神经架构搜索方法，是目前一个重要的研究方向。

技术实现思路

[0005]本申请实施例提供了一种用于图像超分辨率的神经网络架构搜索方法、装置、计算机可读存储介质及电子设备，以至少解决相关技术中基于NAS的超分辨率方法搜索速率较慢而导致机器的计算负担很重的问题。
[0006]根据本申请的一个实施例，提供了一种用于图像超分辨率的神经网络架构搜索方法，包括：获取多组分辨率图像对，每组分辨率图像对包括第一分辨率图像和第二分辨率图像，同一分辨率图像对中的第二分辨率图像由第一分辨率图像经过下采样得到；根据神经网络的预设搜索空间，设置多条搜索路径，其中，每条搜索路径包括一个子网络，每个子网络由多个节点以及连接多个节点的多个边构成，连接节点的边用于表征子网络采用的操作，不同子网络采用的操作不重复；根据多条搜索路径搜索得到的网络模型结构，构建超级网络；采用多组分辨率图像对训练超级网络，得到超分辨率网络模型。
[0007]在一个示例性实施例中，获取多组分辨率图像对，包括：获取原始图像集合，原始图像集合包括多个第一分辨率图像；对多个第一分辨率图像进行下采样，得到与多个第一分辨率图像一一对应的多个第二分辨率图像；采用多个第一分辨率图像和多个第二分辨率图像，建立第一训练集和第一验证集，其中，第一训练集和第一验证集均包括多组分辨率图像对，第一训练集中的分辨率图像对用于训练超级网络。
[0008]在一个示例性实施例中，根据神经网络的预设搜索空间，设置多条搜索路径，包
括：获取神经网络的预设搜索空间，预设搜索空间包括多个候选操作，其中，多个候选操作的类型包括：至少一种卷积操作，至少一种池化操作，恒等操作，以及直连操作；根据多个候选操作的类型，设置多条搜索路径，以使得不同搜索路径中子网络采用的操作不重复。
[0009]在一个示例性实施例中，预设搜索空间包括多个第一操作类型，至少一个第一操作类型包括多个第二操作类型，根据多个候选操作的类型，设置多条搜索路径，以使得不同搜索路径中子网络采用的操作不重复，包括：根据多个第一操作类型，将预设搜索空间中的全部操作划分为对应的多个第一子集，多个第一子集中的至少一个第一目标子集包括多个第二操作类型，多个第一子集中除第一目标子集之外的第一子集为第二目标子集；根据多个第二操作类型，将第一目标子集划分为多个第三目标子集；根据第二目标子集和第三目标子集，设置多个单元格，以使得不同单元格采用的操作属于不同的第二目标子集或不同的第三目标子集；采用多个单元格，构建多条搜索路径中的子网络，以使得不同搜索路径中子网络采用的每个操作属于不同的第二目标子集或不同的第三目标子集。
[0010]在一个示例性实施例中，根据多个候选操作的类型，设置多条搜索路径，以使得不同搜索路径中子网络采用的操作不重复，包括：根据多个候选操作的类型，设置第一搜索路径和第二搜索路径，其中，第一搜索路径中的子网络采用以下候选操作：第一深度可分离卷积操作，第一空洞卷积操作，最大化池化操作，以及恒等操作；第二搜索路径中的子网络采用以下候选操作：第二深度可分离卷积操作，第二空洞卷积操作，平均池化操作，以及直连操作。
[0011]在一个示例性实施例中，根据神经网络的预设搜索空间，设置多条搜索路径，还包括：优化子网络中节点的输入输出特征图，以使得优化后输入输出特征图的通道数量少于优化前输入输出特征图的通道数量。
[0012]在一个示例性实施例中，优化子网络中节点的输入输出特征图，包括：根据预设比率，对子网络中的目标节点的输入输出特征图进行部分选取，得到具有第一通道数量的目标输入输出特征图，其中，第一通道数量与目标节点的输入输出特征图的通道数量的比值满足预设比率，预设比率小于1且大于0；将目标输入输出特征图与未被选取且具有相同通道维度的输入输出特征图拼接，得到拼接特征图，以使得拼接特征图作为目标子节点的下一个节点的输入输出特征图。
[0013]在一个示例性实施例中，采用多组分辨率图像对训练超级网络，得到超分辨率网络模型，包括：获取超级网络的初始网络结构参数和初始网络权重参数；采用多组分辨率图像，对初始网络结构参数和初始网络权重参数进行优化，得到目标网络结构参数和目标网络权重参数；根据目标网络结构参数和目标网络权重参数，构建超分辨率网络模型。
[0014]在一个示例性实施例中，采用多组分辨率图像，对初始网络结构参数和初始网络权重参数进行优化，得到目标网络结构参数和目标网络权重参数，包括：采用初始网络结构参数、初始网络权重参数和神经网络，构建训练模型；至少采用多组分辨率图像对，对训练模型进行训练，得到目标网络结构参数和目标网络权重参数。
[0015]在一个示例性实施例中，至少采用多组分辨率图像对，对训练模型进行训练，得到目标网络结构参数和目标网络权重参数，包括：将训练模型中的初始网络权重参数固定，并采用多组分辨率图像对中的至少一组第一分辨率图像对，对训练模型进行训练，得到目标网络结构参数；将训练模型中的初始网络结构参数固定，并采用多组分辨率图像对中的至
少一组第二分辨率图像对，对训练模型进行训练，得到目标网络权重参数。
[0016]在一个示例性实施例中，在对初始网络结构参数和初始网络权重参数进行优化之前，采用多组分辨率图像对训练超级网络，得到超分辨率网络模型，还包括：根据第一预设参数集合，配置第一优化器，第一优化器用于对初始网络结构参数进行优化；根据第二预设参数集合，配置第二优化器，第二优化器用于对初始网络权重参数进行优化。
[0017]在一个示例性实施例中，第一优化器内置的第一优化算法包括自适应运动估计算法本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种用于图像超分辨率的神经网络架构搜索方法，其特征在于，包括：获取多组分辨率图像对，每组分辨率图像对包括第一分辨率图像和第二分辨率图像，同一分辨率图像对中的第二分辨率图像由第一分辨率图像经过下采样得到；根据神经网络的预设搜索空间，设置多条搜索路径，其中，每条所述搜索路径包括一个子网络，每个子网络由多个节点以及连接多个所述节点的多个边构成，连接所述节点的边用于表征所述子网络采用的操作，不同所述子网络采用的操作不重复；根据多条所述搜索路径搜索得到的网络模型结构，构建超级网络；采用多组所述分辨率图像对训练所述超级网络，得到超分辨率网络模型。2.根据权利要求1所述的方法，其特征在于，所述获取多组分辨率图像对，包括：获取原始图像集合，所述原始图像集合包括多个第一分辨率图像；对所述多个第一分辨率图像进行下采样，得到与所述多个第一分辨率图像一一对应的多个第二分辨率图像；采用所述多个第一分辨率图像和所述多个第二分辨率图像，建立第一训练集和第一验证集，其中，所述第一训练集和所述第一验证集均包括多组所述分辨率图像对，所述第一训练集中的所述分辨率图像对用于训练所述超级网络。3.根据权利要求1所述的方法，其特征在于，所述根据神经网络的预设搜索空间，设置多条搜索路径，包括：获取所述神经网络的预设搜索空间，所述预设搜索空间包括多个候选操作，其中，所述多个候选操作的类型包括：至少一种卷积操作，至少一种池化操作，恒等操作，以及直连操作；根据所述多个候选操作的类型，设置所述多条搜索路径，以使得不同所述搜索路径中子网络采用的操作不重复。4.根据权利要求3所述的方法，其特征在于，所述预设搜索空间包括多个第一操作类型，至少一个所述第一操作类型包括多个第二操作类型，所述根据所述多个候选操作的类型，设置所述多条搜索路径，以使得不同所述搜索路径中子网络采用的操作不重复，包括：根据所述多个第一操作类型，将所述预设搜索空间中的全部操作划分为对应的多个第一子集，所述多个第一子集中的至少一个第一目标子集包括多个所述第二操作类型，所述多个第一子集中除所述第一目标子集之外的第一子集为第二目标子集；根据多个所述第二操作类型，将所述第一目标子集划分为多个第三目标子集；根据所述第二目标子集和所述第三目标子集，设置多个单元格，以使得不同所述单元格采用的操作属于不同的所述第二目标子集或不同的所述第三目标子集；采用多个所述单元格，构建所述多条搜索路径中的子网络，以使得不同所述搜索路径中子网络采用的每个操作属于不同的所述第二目标子集或不同的所述第三目标子集。5.根据权利要求3所述的方法，其特征在于，所述根据所述多个候选操作的类型，设置所述多条搜索路径，以使得不同所述搜索路径中子网络采用的操作不重复，包括：根据所述多个候选操作的类型，设置第一搜索路径和第二搜索路径，其中，所述第一搜索路径中的子网络采用以下候选操作：第一深度可分离卷积操作，第一空洞卷积操作，最大化池化操作，以及恒等操作；所述第二搜索路径中的子网络采用以下候选操作：第二深度可分离卷积操作，第二空洞卷积操作，平均池化操作，以及直连操作。
6.根据权利要求1所述的方法，其特征在于，所述根据神经网络的预设搜索空间，设置多条搜索路径，还包括：优化所述子网络中节点的输入输出特征图，以使得优化后所述输入输出特征图的通道数量少于优化前所述输入输出特征图的通道数量。7.根据权利要求6所述的方法，其特征在于，所述优化所述子网络中节点的输入输出特征图，包括：根据预设比率，对所述子网络中的目标节点的输入输出特征图进行部分选取，得到具有第一通道数量的目标输入输出特征图，其中，所述第一通道数量与所述目标节点的输入输出特征图的通道数量的比值满足所述预设比率，所述预设比率小于1且大于0；将所述目标输入输出特征图与未被选取且具有相同通道维度的所述输入输出特征图拼接，得到拼接特征图，以使得所述拼接特征图作为所述目标子节点的下一个节点的输入输出特征图。8.根据权利要求1所述的方法，其特征在于，所述采用多组所述分辨率图像对训练所述超级网络，得到超分辨率网络模型，包括：获取所述超级网络的初始网络结构参数和初始网络权重参数；采用多组所述分辨率图像，对所述初始网络结构参数和所述初始网络权重参数进行优化，得到目标网络结构参数和目标网络权重参数；根据所述目标网络结构参数和所述目标网络权重参数，构建所述超分辨率网络模型。9.根据权利要求8所述的方法，其特征在于，所述采用多组所述分辨率图像，对所述初始网络结构参数和所述初始网络权重参数进行优化，得到目标网络结构参数和目标网络权重参数，包括：采用所述初始网络结构参数、所述初始网络权重参数和所述神经网络，构建训练模型；至少采用多组所述分辨率图像对，对所述训练模型进行训练，得到所述目...

【专利技术属性】
技术研发人员：张英杰，史宏志，温东超，赵健，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：