【技术实现步骤摘要】
本专利技术属于机器学习和人工智能，尤其涉及一种基于任务关联度的多任务学习辅助任务选择方法。
技术介绍
1、在工业应用中，机器学习模型的准确性常常能够借助迁移学习从相关的辅助信息中得到提升。特别是在制造业领域，预测设备故障时间这一主任务，可以借助辅助信息如设备的历史传感器数据、维护记录和运行状态等来优化。一种常见的实现这种迁移学习的方法是将这些辅助信息转化为辅助任务（例如，预测机器的温度波动或振动异常），并与主任务（如故障预测）在多任务网络中联合优化。这种多任务网络通过共享底层结构，实现了辅助任务知识向主任务的传递，从而提升主任务的预测准确性。
2、提升主任务性能的关键在于选择关联性强的辅助任务。然而，传统的辅助任务选择方法存在以下问题，难以满足复杂多任务场景的需求：
3、1、传统的辅助任务选择方法中，辅助任务的选择往往依赖于专家经验或简单的任务组合，缺乏科学系统的选择机制，无法确保最优的任务组合。
4、2、当前研究主要通过调整任务权重或优化模型结构来提升多任务学习效果。然而，权重调整过程复杂且耗时，特别是在数据量大或任务数量多的情况下，难以实现最优平衡。
5、3、随着任务数量和数据复杂性增加，传统方法难以处理复杂任务关联，辅助任务选择的准确性随之下降。
6、4、不当的任务选择可能导致辅助任务与主任务产生冲突，造成负迁移现象，不仅无法提升主任务的性能，反而会增加模型训练的难度和不确定性。
7、为了解决以上问题，本专利技术提出了一种基于任务关联度的多任务学习辅助
技术实现思路
1、本专利技术的目的在于提供一种基于任务关联度的多任务学习辅助任务选择方法，旨在解决上述
技术介绍
中提出的问题。
2、为实现上述目的，本专利技术提供如下技术方案：
3、一种基于任务关联度的多任务学习辅助任务选择方法，包括以下步骤：
4、步骤s1、数据集准备：在多任务学习中，首先定义主任务和若干辅助任务，然后构建一个包含主任务和多个辅助任务的多任务学习数据集，数据集包含各任务的特征变量和目标值；
5、步骤s2、tcc计算：通过衡量每个任务损失变化与主任务梯度方向的相似度来动态评估任务间的相关性；
6、步骤s3、辅助任务选择：根据计算得到的tcc值，分析辅助任务与主任务之间的协同作用或冲突，并选择协同作用最强的辅助任务；
7、步骤s4、模型训练与优化：使用选定的辅助任务和主任务构建多任务学习模型；在训练过程中，采用标准的训练步骤，使用所有任务的联合梯度对模型进行优化；定期计算并更新tcc值。
8、进一步的，所述tcc值的取值范围为-1~1，接近1的tcc值表示协同作用强，接近-1的值表示存在冲突。
9、进一步的，所述tcc计算步骤的具体过程如下：
10、对于每个训练批次在时间步 t上，设表示在针对主任务应用梯度步骤后更新的共享参数；在假设随机梯度下降的条件下，表示为：
11、式1：；
12、其中，表示更新前的共享参数；表示学习率；表示主任务在批量下对参数的梯度；
13、使用更新后的共享参数计算主任务和每个辅助任务的损失变化，同时保持每个任务的特定参数和输入批次不变；
14、辅助任务 i的损失变化定义为：
15、式2：；
16、其中，表示辅助任务 i的损失函数；
17、主任务的损失变化定义为：
18、式3：；
19、其中，表示主任务特定部分参数；
20、收集所有批次的损失变化序列，并计算tcc，量化辅助任务对主任务优化方向的协同程度或冲突：
21、式4：；
22、其中，表示主任务和辅助任务的tcc分数；表示主任务损失变化序列；表示辅助任务损失变化序列；表示主任务损失变化序列和辅助任务损失变化序列之间的协方差；和分别表示主任务和辅助任务损失变化的标准差；
23、在每个训练周期结束时计算tcc，并将结果平均，以获得整个训练过程中的综合tcc值，综合tcc值表示为：
24、式5：；
25、其中， n表示第n个训练周期； n表示总训练周期数。
26、与现有技术相比，本专利技术的有益效果是：
27、1、本专利技术通过引入tcc，量化辅助任务与主任务之间的关联性，从而自动筛选最适合主任务的辅助任务。相较于传统依赖专家经验和直觉的选择方法，本专利技术提升了选择的效率和精度，有效减少了负迁移现象的发生，使得多任务学习更加高效和可靠。
28、2、本专利技术引入的tcc能够有效评估各任务之间的相关性，自动选择出与主任务最相关的辅助任务，避免直接搜索任务组合所带来的高昂计算成本，特别是在任务数量较多时显著降低了计算复杂度，还确保了多任务学习的效果和效率。
29、3、本专利技术提出的方法不仅不受模型类型的限制，展现出广泛的适用性，而且无需增加额外的参数，通过简单的设置即可获得显著效果，具备较强的适用性和易用性。这使得本专利技术为复杂多任务场景下的模型优化提供了可靠的解决方案，并具有广泛的应用前景。
本文档来自技高网...【技术保护点】
1.一种基于任务关联度的多任务学习辅助任务选择方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于任务关联度的多任务学习辅助任务选择方法，其特征在于，所述TCC值的取值范围为-1~1，接近1的TCC值表示协同作用强，接近-1的值表示存在冲突。
3.根据权利要求1所述的基于任务关联度的多任务学习辅助任务选择方法，其特征在于，所述TCC计算步骤的具体过程如下：
【技术特征摘要】
1.一种基于任务关联度的多任务学习辅助任务选择方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于任务关联度的多任务学习辅助任务选择方法，其特征在于，所述tcc值的取值范围为...
【专利技术属性】
技术研发人员：孙耀，刘宏，胡云峰，赵封鑫，张冲，程震，许可，宫洵，
申请(专利权)人：吉林大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。