一种稀疏化损失函数的超参数优化方法技术

本申请公开了一种稀疏化损失函数的超参数优化方法，所述方法包括：基于训练样本集中的训练图像对预设网络模型进行训练；获取第一代理网络的模型参数，并将模型参数迁移至若干第二代理网络；基于训练样本集中的训练图像分别对各第二代理网络进行训练，并根据训练后的各第二代理网络模型确定目标超参数；将所述目标超参数配置于原始网络以及第一代理网络。本申请实施例通过第一代理网络与原始网络联合训练，使得第一代理网络可以很好的逼近原始网络，然后在通过若干第二代理网络对超参数进行训练，使得超参数可以适应于不同数据库，从而降低了采用稀疏策略的网络模型的时间复杂度。

【技术实现步骤摘要】
一种稀疏化损失函数的超参数优化方法
本申请涉及深度学习
，特别涉及一种稀疏化损失函数的超参数优化方法。
技术介绍
深度网络稀疏化度量方法已经广泛地应用于深度识别网络中，以提升网络的泛化能力，并减小网络的规模。但是，不同的稀疏策略可能仅适用于特定的数据库，尽管多稀疏策略的融合可以平衡不同数据库的性能，然而在网络于各个数据库上进行训练之前，需要给定每个数据库对应的稀疏项正则化系数。不仅如此，每种稀疏策略都会引入多个超参数，而网络每次训练都往往需要大量的计算资源，因此多稀疏策略的融合方法很容易导致较大的时间复杂度。
技术实现思路
本申请要解决的技术问题在于，针对现有技术的不足，提供一种稀疏化损失函数的超参数优化方法。为了解决上述技术问题，本申请实施例第一方面提供一种稀疏化损失函数的超参数优化方法，所述方法包括：基于训练样本集中的训练图像对预设网络模型进行训练，其中，所述预设网络模型包括原始网络以及原始网络对应的第一代理网络；获取所述第一代理网络的模型参数，并将所述模型参数迁移至若干第二代理网络，其中，各第二代理网络均为原始网络的代理网络；基于训练样本集中的训练图像分别对各第二代理网络进行训练，并根据训练后的各第二代理网络模型确定目标超参数；将所述目标超参数配置于原始网络以及第一代理网络，并继续执行基于预设的训练样本集中的训练图像对预设网络模型进行训练的步骤，直至所述预设网络模型的训练情况满足预设条件。在一个实施例中，所述原始网络的输入项以及输出项均与目标代理网络的输入项和输出项相同，且原始网络的最后卷积层输出的特征图的图像尺度与目标代理网络的最后卷积层输出的特征图的图像尺度相同，其中，所述目标代理网络包括第一代理网络以及若干第二代理网络。在一个实施例中，所述预设网络模型的训练过程包括原始网络训练过程和第一代理网络训练过程，其中，所述原始网络训练过程具体包括：基于原始网络确定训练样本集中训练样本对应的第一预测概率集，并基于第一预设概率集确定原始网络对应的第一损失函数，其中，所述第一损失函数包括概率集损失项、特征稀疏化损失项、权重稀疏化损失项、特征失活损失项以及权重失活损失项；基于所述第一损失函数对所述原始网络进行训练。在一个实施例中，所述原始网络包括第一全连接层和第二全连接层；所述第一代理网络包括第三全连接层和第四全连接模块；所述第一代理网络训练过程具体包括：将训练样本集中的训练样本输入第一代理网络，输出所述训练样本对应的第一特征图，第二特征图以及第二预测概率集，其中，所述第一特征图为第三全连接层的输入项，第二特征图为第四全连接层的输入项；基于所述第一特征图和第三特征图确定第一损失项，其中，所述第三特征图为第一全连接层的输入项；基于所述第二特征图和第四特征图确定第二损失项，其中，所述第四特征图为第二全连接层的输入项；基于所述第一全连接层的权重系数以及第三全连接层的权重系数确定第三损失项，以及基于所述第二全连接层的权重系数以及第四全连接层的权重系数确定第四损失项；根据所述第二预测概率集、第一损失项、第二损失项、第三损失项以及第四损失项确定第二损失函数，并基于第二损失函数对所述第一代理网络模型进行训练。在一个实施例中，所述第一网络包括第一全连接层和第二全连接层；所述超参数包括：第一全连接层的特征稀疏系数、第一全连接层的权重稀疏系数、第二全连接层的特征稀疏系数、第二全连接层的权重稀疏系数、第一全连接层的特征失活概率、第二全连接层的权重失活概率、第一全连接层的特征失活概率以及第二全连接层络的权重失活概率。在一个实施例中，所述目标代理网络对应的超参数与原始网络配置的超参数相对应，其中，所述目标代理网络包括第一代理网络和若干第二代理网络。在一个实施例中，所述基于训练样本集中的训练图像分别对各第二代理网络进行训练具体包括：固定各第二代理网络的模型参数，并基于训练样本集中的训练图像分别对各第二代理网络的超参数进行训练。本申请实施例第二方面提供了一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如上任一所述的稀疏化损失函数的超参数优化方法中的步骤。本申请实施例第三方面提供了一种终端设备，其包括：处理器、存储器及通信总线；所述存储器上存储有可被所述处理器执行的计算机可读程序；所述通信总线实现处理器和存储器之间的连接通信；所述处理器执行所述计算机可读程序时实现如上任一所述的稀疏化损失函数的超参数优化方法中的步骤。有益效果：与现有技术相比，本申请提供了一种稀疏化损失函数的超参数优化方法，所述方法包括：基于训练样本集中的训练图像对预设网络模型进行训练；获取所述第一代理网络的模型参数，并将所述模型参数迁移至若干第二代理网络；基于训练样本集中的训练图像分别对各第二代理网络进行训练，并根据训练后的各第二代理网络模型确定目标超参数；将所述目标超参数配置于原始网络以及第一代理网络，并继续执行基于预设的训练样本集中的训练图像对预设网络模型进行训练的步骤，直至所述预设网络模型的训练情况满足预设条件。本申请实施例通过第一代理网络与原始网络联合训练，使得第一代理网络可以很好的逼近原始网络，然后在通过若干第二代理网络对超参数进行训练，使得超参数可以适应于不同数据库，从而降低了采用稀疏策略的网络模型的时间复杂度。附图说明为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员而言，在不符创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本申请提供的稀疏化损失函数的超参数优化方法的流程图。图2为本申请提供的稀疏化损失函数的超参数优化方法的流程原理图。图3为本申请提供的稀疏化损失函数的超参数优化方法中原始网络的一个结构框图。图4为本申请提供的稀疏化损失函数的超参数优化方法中原始网络与第一代理网络的网络模型示例图。图5为本申请提供的终端设备的结构原理图。具体实施方式本申请提供一种稀疏化损失函数的超参数优化方法，为使本申请的目的、技术方案及效果更加清楚、明确，以下参照附图并举实施例对本申请进一步详细说明。应当理解，此处所描述的具体实施例仅用以解释本申请，并不用于限定本申请。本
技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦本文档来自技高网...

【技术保护点】
1.一种稀疏化损失函数的超参数优化方法，其特征在于，所述方法包括：/n基于训练样本集中的训练图像对预设网络模型进行训练，其中，所述预设网络模型包括原始网络以及原始网络对应的第一代理网络；/n获取所述第一代理网络的模型参数，并将所述模型参数迁移至若干第二代理网络，其中，各第二代理网络均为原始网络的代理网络；/n基于训练样本集中的训练图像分别对各第二代理网络进行训练，并根据训练后的各第二代理网络模型确定目标超参数；/n将所述目标超参数配置于原始网络以及第一代理网络，并继续执行基于预设的训练样本集中的训练图像对预设网络模型进行训练的步骤，直至所述预设网络模型的训练情况满足预设条件。/n

【技术特征摘要】
1.一种稀疏化损失函数的超参数优化方法，其特征在于，所述方法包括：
基于训练样本集中的训练图像对预设网络模型进行训练，其中，所述预设网络模型包括原始网络以及原始网络对应的第一代理网络；
获取所述第一代理网络的模型参数，并将所述模型参数迁移至若干第二代理网络，其中，各第二代理网络均为原始网络的代理网络；
基于训练样本集中的训练图像分别对各第二代理网络进行训练，并根据训练后的各第二代理网络模型确定目标超参数；
将所述目标超参数配置于原始网络以及第一代理网络，并继续执行基于预设的训练样本集中的训练图像对预设网络模型进行训练的步骤，直至所述预设网络模型的训练情况满足预设条件。


2.根据权利要求1所述稀疏化损失函数的超参数优化方法，其特征在于，所述原始网络的输入项以及输出项均与目标代理网络的输入项和输出项相同，且原始网络的最后卷积层输出的特征图的图像尺度与目标代理网络的最后卷积层输出的特征图的图像尺度相同，其中，所述目标代理网络包括第一代理网络以及若干第二代理网络。


3.根据权利要求1或2所述稀疏化损失函数的超参数优化方法，其特征在于，所述预设网络模型的训练过程包括原始网络训练过程和第一代理网络训练过程，其中，所述原始网络训练过程具体包括：
基于原始网络确定训练样本集中训练样本对应的第一预测概率集，并基于第一预设概率集确定原始网络对应的第一损失函数，其中，所述第一损失函数包括概率集损失项、特征稀疏化损失项、权重稀疏化损失项、特征失活损失项以及权重失活损失项；
基于所述第一损失函数对所述原始网络进行训练。


4.根据权利要求3所述稀疏化损失函数的超参数优化方法，其特征在于，所述原始网络包括第一全连接层和第二全连接层；所述第一代理网络包括第三全连接层和第四全连接模块；所述第一代理网络训练过程具体包括：
将训练样本集中的训练样本输入第一代理网络，输出所述训练样本对应的第一特征图，第二特征图以及第二预测概率集，其中，所述第一特征图为第三全连接层的输入项，第二特征图为第四全连接层的输入项；
基于所述第一特征图和第三特征图确定...

【专利技术属性】
技术研发人员：解为成，沈琳琳，吴昊谦，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44