超网络训练方法技术

本申请实施例公开了一种超网络训练方法

【技术实现步骤摘要】
超网络训练方法、装置、设备、介质及程序产品


[0001]本申请实施例涉及机器学习
，特别涉及一种超网络训练方法
、
装置
、
设备
、
介质及程序产品
。

技术介绍

[0002]神经结构搜索
(Neural Architecture Search
，
NAS)
是一种自动设计神经网络的技术
。
[0003]经典
NAS
的原理是，给定一个搜索空间，这个搜索空间中包含了结构不同的多个候选神经网络，按照一定的搜索策略在搜索空间中进行网络搜索，之后对搜索到的候选神经网络进行性能评估，最终从多个候选神经网络中搜索出结构最优的神经网络
。
[0004]在
NAS
的执行过程中，每搜索到一个候选神经网络需要进行一次网络训练和性能评估，因此，整个搜索过程需要耗费大量的运算资源
。

技术实现思路

[0005]本申请实施例提供了一种超网络训练方法
、
装置
、
设备
、
介质及程序产品
。
所述技术方案如下：
[0006]根据本申请的一方面内容，提供了一种超网络训练方法，所述方法包括：
[0007]采用第一样本集对超网络进行第一阶段训练，所述超网络包括
M
个子网络，所述子网络与所述超网络共用网络参数，所述
M
是大于1的整数；
[0008]在所述第一阶段训练结束后，从所述
M
个子网络中提取出
N
个第一子网络，所述
N
是大于1且小于所述
M
的整数；
[0009]对所述
N
个第一子网络进行聚类分析，得到位于
K
个聚类中心的
K
个中心子网络，所述
K
是小于或等于
N
的正整数；
[0010]采用第二样本集对所述
K
个中心子网络进行第二阶段训练，直至所述超网络在所述第二阶段训练时的误差收敛，得到训练完成的超网络
。
[0011]根据本申请的另一方面内容，提供了一种超网络训练装置，所述装置包括：
[0012]训练模块，用于采用第一样本集对超网络进行第一阶段训练，所述超网络包括
M
个子网络，所述子网络与所述超网络共用网络参数，所述
M
是大于1的整数；
[0013]采样模块，用于在所述第一阶段训练结束后，从所述
M
个子网络中提取出
N
个第一子网络，所述
N
是大于1且小于所述
M
的整数；
[0014]聚类模块，用于对所述
N
个第一子网络进行聚类分析，得到位于
K
个聚类中心的
K
个中心子网络，所述
K
是小于或等于
N
的正整数；
[0015]所述训练模块，用于采用第二样本集对所述
K
个中心子网络进行第二阶段训练，直至所述超网络在所述第二阶段训练时的误差收敛，得到训练完成的超网络
。
[0016]根据本申请的另一方面内容，提供了一种计算机设备，所述计算机设备包括处理器
、
与所述处理器相连的存储器，所述存储器上存储有程序指令，所述处理器执行所述程序
指令时实现如本申请各个方面提供的超网络训练方法
。
[0017]根据本申请的另一方面内容，提供了一种计算机可读存储介质，所述计算机可读存储介质中存储有程序指令，所述程序指令被处理器执行时实现如本申请各个方面提供的超网络训练方法
。
[0018]根据本申请的另一方面内容，提供了一种计算机程序产品
(
或计算机程序
)
，所述计算机程序产品
(
或计算机程序
)
包括计算机指令，所述计算机指令存储在计算机可读存储介质中；计算机设备的处理器从所述计算机可读存储介质读取所述计算机指令，所述处理器执行所述计算机指令，使得所述计算机设备执行如本申请各个方面提供的超网络训练方法
。
[0019]根据本申请的另一方面内容，提供了一种芯片，所述芯片包括可编程逻辑电路和
/
或程序指令，当所述芯片运行时，用于实现如本申请各个方面提供的超网络训练方法
。
[0020]本申请实施例提供的技术方案带来的有益效果可以包括：
[0021]上述超网络训练方法中，首先对超网络进行第一阶段训练；在完成第一阶段训练之后从中筛选出部分子网络，对这一部分子网络进行聚类分析，得到位于
K
个聚类中心的
K
个中心子网络；由于超网络与子网络共用网络参数，后续会针对
K
个中心子网络进行第二阶段训练，也即在聚类后有针对性的对中心子网络进行网络训练，不再是针对超网络中的所有子网络进行网络训练，这样有利于超网络训练时误差的加速收敛，可以提高超网络的训练效率
。
附图说明
[0022]为了更清楚地介绍本申请实施例中的技术方案，下面将对本申请实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图
。
[0023]图1示出了本申请一个示例性实施例提供的超网络训练方法的流程图；
[0024]图2示出了本申请一个示例性实施例提供的子网络采样的示意图；
[0025]图3示出了本申请另一个示例性实施例提供的子网络采样的示意图；
[0026]图4示出了本申请另一个示例性实施例提供的超网络训练方法的流程图；
[0027]图5示出了本申请一个示例性实施例提供的子网络聚类的示意图；
[0028]图6示出了本申请一个示例性实施例提供的误差计算方法的流程图；
[0029]图7示出了本申请另一个示例性实施例提供的超网络训练方法的流程图；
[0030]图8示出了本申请一个示例性实施例提供的超网络训练装置的框图；
[0031]图9示出了本申请一个示例性实施例提供的计算机设备的结构示意图
。
具体实施方式
[0032]为使本申请的目的
、
技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述
。
[0033]下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素
。
以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方
式
。
相反，它们仅是与如所附权利要求书中所本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种超网络训练方法，其特征在于，所述方法包括：采用第一样本集对超网络进行第一阶段训练，所述超网络包括
M
个子网络，所述子网络与所述超网络共用网络参数，所述
M
是大于1的整数；在所述第一阶段训练结束后，从所述
M
个子网络中提取出
N
个第一子网络，所述
N
是大于1且小于所述
M
的整数；对所述
N
个第一子网络进行聚类分析，得到位于
K
个聚类中心的
K
个中心子网络，所述
K
是小于或等于
N
的正整数；采用第二样本集对所述
K
个中心子网络进行第二阶段训练，直至所述超网络在所述第二阶段训练时的误差收敛，得到训练完成的超网络
。2.
根据权利要求1所述的方法，其特征在于，所述从所述
M
个子网络中提取出
N
个第一子网络，包括：采用均匀采样方式，从所述
M
个子网络中提取出符合第一性能要求的所述
N
个第一子网络；其中，所述均匀采样方式是指采用同一缩放率对神经网络结构中每一层采样的方式
。3.
根据权利要求2所述的方法，其特征在于，所述采用均匀采样方式，从所述
M
个子网络中提取出符合第一性能要求的所述
N
个第一子网络，包括：采用所述均匀采样方式，从所述
M
个子网络中提取出
G
个第二子网络，所述
G
大于或等于所述
N
，且小于所述
M
；采用第一测试样本对所述第二子网络进行性能测试，得到所述
G
个第二子网络对应的
G
个性能测试结果；基于所述
G
个性能测试结果，从所述
G
个第二子网络中确定出符合所述第一性能要求的所述
N
个第一子网络
。4.
根据权利要求3所述的方法，其特征在于，所述性能测试结果包括所述第二子网络的测试误差；所述采用第一测试样本对所述第二子网络进行性能测试，得到所述
G
个第二子网络对应的
G
个性能测试结果，包括：采用所述第一测试样本测试所述第二子网络的输出结果与实际结果之间误差，得到所述
G
个第二子网络对应的
G
个测试误差；所述基于所述
G
个性能测试结果，从所述
G
个第二子网络中确定出符合所述第一性能要求的所述
N
个第一子网络，包括：按照所述
G
个测试误差从小到大的顺序，选取出前
N
个测试误差对应的前
N
个第二子网络，得到符合所述第一性能要求的所述
N
个第一子网络
。5.
根据权利要求1至4任一所述的方法，其特征在于，所述采用第一样本集对超网络进行第一阶段训练，包括：在所述第一阶段训练的过程中，获取基准网络；针对每一轮训练，从所述
M
个子网络中选取一个第三子网络；将所述第一样本集中的训练样本输入所述基准网络，得到第一输出结果；以及将所述训练样本输入所述第三子网络，得到第二输出结果；计算所述第二输出结果与实际结果之间的第一误差；
计算所述第一输出结果与所述第二输出结果之间的第二误差；基于所述第一误差与所述第二误差，对所述第三子网络中的网络参数进行调整
。6.
根...

【专利技术属性】
技术研发人员：李梦圆，
申请(专利权)人：OPPO，
类型：发明
国别省市：