一种模块感知的辅助学习优化方法及计算机产品技术

本申请实施例涉及深度学习领域，公开一种模块感知的辅助学习优化方法及计算机产品，包括：根据模块级辅助损失权重和对每个模块的模型参数进行更新，得到更新的神经网络模型；将顶层优化训练数据集导入更新的神经网络模型，计算每个模块对应的更新的模块级辅助损失权重；将更新的模块级辅助损失权重作为下一次循环中模块级辅助损失权重进行下一次循环，直至更新的神经网络模型满足验证条件，输出优化的神经网络模型。本申请通过可学习的模块级辅助损失权重，解决了不同的辅助损失函数在模块层面上的冲突问题，使辅助损失函数对与之耦合关系强的模块进行充分优化，从而使每个模块都获得对目标任务最有益的信息，极大的提升了辅助学习的性能。学习的性能。学习的性能。

【技术实现步骤摘要】
一种模块感知的辅助学习优化方法及计算机产品


[0001]本申请实施例涉及深度学习领域，具体而言，涉及一种模块感知的辅助学习优化方法及计算机产品。

技术介绍

[0002]深度学习是机器学习领域中一个新的研究方向，它被引入机器学习使其更接近人工智能，在深度学习中，通过损失函数来衡量模型所做出的预测与真实值之间的偏离程度。辅助学习是深度学习中的一种常用的策略，其目的在于利用辅助损失函数中的有益信息来帮助目标任务学习得更好。
[0003]然而，现有的辅助学习的策略只关注平衡辅助损失函数和目标损失函数，通过将辅助损失函数与目标损失函数进行线性组合，利用组合损失来优化整个模型，并调整辅助损失函数的权重来避免对目标任务产生负面影响。这种方法忽略了不同的辅助损失函数与神经网络不同模块之间的耦合关系，即不同的损失函数应该用于优化神经网络的不同模块。忽略这样的耦合关系会使得不同的损失函数在神经网络的模块中互相冲突，从而损害辅助学习的性能。因此，如何让辅助学习对模型进行模块层级的优化，避免不同损失函数在模块层面的冲突，成为了现如今亟待解决的问题。

技术实现思路

[0004]本申请实施例在于提供一种模块感知的辅助学习优化方法及计算机产品，旨在解决如何让辅助学习对模型进行模块层级的优化，避免不同损失函数在模块层面的冲突的问题。
[0005]本申请实施例第一方面提供一种模块感知的辅助学习优化方法，包括：
[0006]根据每个模块对应的模块级辅助损失权重对每个模块的模型参数进行更新，得到更新的神经网络模型；
[0007]将顶层优化训练数据集导入所述更新的神经网络模型，计算每个模块对应的更新的模块级辅助损失权重；
[0008]将所述每个模块对应的更新的模块级辅助损失权重作为下一次循环中所述每个模块对应的模块级辅助损失权重进行下一次循环，直至所述更新的神经网络模型满足验证条件，将所述满足验证条件的神经网络模型作为优化的神经网络模型输出。
[0009]可选地，当训练轮次为第一次循环时，根据每个模块对应的模块级辅助损失权重对每个模块的模型参数进行更新，得到更新的神经网络模型，包括：
[0010]将底层优化训练数据集导入初始神经网络模型，得到第一次循环中每个模块的底层优化测试数据；
[0011]根据所述第一次循环中每个模块底层优化测试数据，计算第一次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度，以及第一次循环中目标损失函数对每个模块的模型参数的梯度；
[0012]按照每个模块对应的初始模块级辅助损失权重，对所述第一次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度加权，并与所述第一次循环中目标损失函数对每个模块的模型参数的梯度组合，得到第一次循环中针对每个模块的组合加权梯度，所述每个模块对应的初始模块级辅助损失权重的数量与所述辅助损失函数的数量相同；
[0013]根据所述第一次循环中针对每个模块的组合加权梯度对每个模块的模型参数进行更新，得到第一次更新的神经网络模型。
[0014]可选地，当训练轮次为第n次循环时，包括：
[0015]将所述底层优化训练数据集导入第n
‑
1次更新的神经网络模型，得到第n次循环中每个模块的底层优化测试数据，其中n大于或等于2；
[0016]根据所述第n次循环中每个模块底层优化测试数据，计算第n次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度，以及第n次循环中目标损失函数对每个模块的模型参数的梯度；
[0017]按照第n次循环中每个模块对应的模块级辅助损失权重，对所述第n次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度加权，并与所述第n次循环中目标损失函数对每个模块的模型参数的梯度组合，得到第n次循环中针对每个模块的组合加权梯度，所述第n次循环中每个模块对应的模块级辅助损失权重为第n
‑
1次循环中所述每个模块对应的更新的模块级辅助损失权重；
[0018]根据所述第n次循环中针对每个模块的组合加权梯度对每个模块的模型参数进行更新，得到第n次更新的神经网络模型。
[0019]可选地，将顶层优化训练数据集导入所述更新的神经网络模型，计算每个模块对应的更新的模块级辅助损失权重，包括：
[0020]将顶层优化训练数据集导入所述更新的神经网络模型，得到顶层优化测试数据，所述顶层优化训练数据集的训练数据为与训练数据集的底层优化训练数据集中不同的训练数据；
[0021]计算针对于顶层优化测试数据的目标损失函数，并计算所述针对于顶层优化测试数据的目标损失函数对所述每个模块对应的模块级辅助损失权重的隐式梯度；
[0022]根据所述隐式梯度，计算所述每个模块对应的更新的模块级辅助损失权重。
[0023]可选地，直至所述更新的神经网络模型满足验证条件，将所述满足验证条件的神经网络模型作为优化的神经网络模型输出，包括：
[0024]当训练轮次为第m个预设训练轮次时，获取第m个预设训练轮次的更新的神经网络模型；
[0025]将验证集的数据导入所述第m个预设训练轮次的更新的神经网络模型，得到第m验证数据，计算第m验证数据对应的验证结果；
[0026]在m大于预设比较次数的情况下，将第m
‑
1验证数据对应的验证结果、第m
‑
2验证数据对应的验证结果和第m
‑
3验证数据对应的验证结果组成对比数据集，若所述第m验证数据对应的验证结果不大于所述对比数据集中的所有验证结果，则将所述第m预设训练轮次的更新的神经网络模型作为优化的神经网络模型输出。
[0027]可选地，计算针对第m验证数据的损失函数对第m预设训练轮次的更新的神经网络模型的模型参数的梯度，作为第m验证数据对应的验证结果。
[0028]本申请实施例第二方面提供一种模块感知的辅助学习优化装置，包括：
[0029]参数更新模块，用于根据每个模块对应的模块级辅助损失权重对每个模块的模型参数进行更新，得到更新的神经网络模型；
[0030]顶层优化模块，用于将顶层优化训练数据集导入所述更新的神经网络模型，计算每个模块对应的更新的模块级辅助损失权重；
[0031]循环模块，用于将所述每个模块对应的更新的模块级辅助损失权重作为下一次循环中所述每个模块对应的模块级辅助损失权重进行下一次循环，直至所述更新的神经网络模型满足验证条件，将所述满足验证条件的神经网络模型作为优化的神经网络模型输出。
[0032]其中，当训练轮次为第一次循环时，所述参数更新模块，包括：
[0033]第一底层训练子模块，用于将底层优化训练数据集导入初始神经网络模型，得到第一次循环中每个模块的底层优化测试数据；
[0034]第一梯度计算子模块，用于根据所述第一次循环中每个模块底层优化测试数据，计算第一次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度，以及第一次循环中目标损失函数对每本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模块感知的辅助学习优化方法，其特征在于，包括：根据每个模块对应的模块级辅助损失权重对每个模块的模型参数进行更新，得到更新的神经网络模型；将顶层优化训练数据集导入所述更新的神经网络模型，计算每个模块对应的更新的模块级辅助损失权重；将所述每个模块对应的更新的模块级辅助损失权重作为下一次循环中所述每个模块对应的模块级辅助损失权重进行下一次循环，直至所述更新的神经网络模型满足验证条件，将所述满足验证条件的神经网络模型作为优化的神经网络模型输出。2.根据权利要求1所述的模块感知的辅助学习优化方法，其特征在于，当训练轮次为第一次循环时，根据每个模块对应的模块级辅助损失权重对每个模块的模型参数进行更新，得到更新的神经网络模型，包括：将底层优化训练数据集导入初始神经网络模型，得到第一次循环中每个模块的底层优化测试数据；根据所述第一次循环中每个模块底层优化测试数据，计算第一次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度，以及第一次循环中目标损失函数对每个模块的模型参数的梯度；按照每个模块对应的初始模块级辅助损失权重，对所述第一次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度加权，并与所述第一次循环中目标损失函数对每个模块的模型参数的梯度组合，得到第一次循环中针对每个模块的组合加权梯度，所述每个模块对应的初始模块级辅助损失权重的数量与所述辅助损失函数的数量相同；根据所述第一次循环中针对每个模块的组合加权梯度对每个模块的模型参数进行更新，得到第一次更新的神经网络模型。3.根据权利要求1所述的模块感知的辅助学习优化方法，其特征在于，当训练轮次为第n次循环时，包括：将所述底层优化训练数据集导入第n
‑
1次更新的神经网络模型，得到第n次循环中每个模块的底层优化测试数据，其中n大于或等于2；根据所述第n次循环中每个模块底层优化测试数据，计算第n次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度，以及第n次循环中目标损失函数对每个模块的模型参数的梯度；按照第n次循环中每个模块对应的模块级辅助损失权重，对所述第n次循环中每个模块对应的辅助损失函数对每个模块的模型参数的梯度加权，并与所述第n次循环中目标损失函数对每个模块的模型参数的梯度组合，得到第n次循环中针对每个模块的组合加权梯度，所述第n次循环中每个模块对应的模块级辅助损失权重为第n
‑
1次循环中所述每个模块对应的更新的模块级辅助损失权重；根据所述第n次循环中针对每个模块的组合加权梯度对每个模块的模型参数进行更新，得到第n次更新的神经网络模型。4.根据权利要求1所述的模块感知的辅助学习优化方法，其特征在于，将顶层优化训练数据集导入所述更新的神经网络模型，计算每个模块对应的更新的模块级辅助损失权重，包括：

【专利技术属性】
技术研发人员：朱文武，王鑫，陈虹，
申请(专利权)人：清华大学，
类型：发明
国别省市：