一种细粒度多任务分层梯度平衡方法技术

技术编号:45531102 阅读:17 留言:0更新日期:2025-06-13 17:30
本发明专利技术具体涉及一种细粒度多任务分层梯度平衡方法,所述方法包括:构建多任务模型;所述多任务模型包括:共享模块,以及多个特定任务模块;获取各特定任务模块对应的任务对共享模块各业务层的需求程度;基于各任务对共享模块各业务层的需求程度,配置所述任务在目标业务层的平衡因子;基于所述任务在目标业务层已配置的平衡因子,根据需求程度自适应对各业务层的梯度平衡权重进行更新,以实现共享模块各业务层的细粒度梯度权重调整;直至所述多任务模型收敛。本方法能有效考虑共享模块每个业务层对不同任务的重要性程度,在更细粒度层面实现多任务平衡。

【技术实现步骤摘要】

本专利技术涉及计算机,具体涉及一种细粒度多任务分层梯度平衡方法,存储介质,计算机程序产品,以及电子设备。


技术介绍

1、在相关技术中,多任务学习作为机器学习领域内的一大研究方向,它的目标是通过并发优化多个相互关联的任务来提高整体效率和性能。该领域在计算机视觉、自然语言处理、语音识别、语音增强等领域得到了广泛的应用。多任务模型通常包含一个共享模块以及多个特定于任务的预测头,将大量参数集中在共享模块中,以实现更有效的推理并增强特征提取的泛化。然而,在实际部署中,直接将多个任务放在一个统一模型上执行,往往遇到任务之间的训练冲突,这会导致性能相较于单独训练每个任务下降。

2、需要说明的是,在上述
技术介绍
部分公开的信息仅用于加强对本专利技术的背景的理解,因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。


技术实现思路

1、本专利技术提供一种细粒度多任务分层梯度平衡方法、一种存储介质、一种计算机程序产品,以及一种电子设备,能有效考虑共享模块每个业务层对不同任务的重要性程度,在更细粒度层面实现多任务平本文档来自技高网...

【技术保护点】

1.一种细粒度多任务分层梯度平衡方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各特定任务模块对应的任务对共享模块各业务层的需求程度,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于各任务对共享模块各业务层的需求程度,配置所述任务在目标业务层的平衡因子,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6.根据权利要求1所述的方法,其特征在于,所述方法还包括:

7.根据权利要求1所述的方法,其特...

【技术特征摘要】

1.一种细粒度多任务分层梯度平衡方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述获取各特定任务模块对应的任务对共享模块各业务层的需求程度,包括:

3.根据权利要求2所述的方法,其特征在于,所述基于各任务对共享模块各业务层的需求程度,配置所述任务在目标业务层的平衡因子,包括:

4.根据权利要求3所述的方法,其特征在于,所述方法还包括:

5.根据权利要求3所述的方法,其特征在于,所述方法还包括:

6....

【专利技术属性】
技术研发人员:於志文程天聪张盈
申请(专利权)人:西北工业大学
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1