【技术实现步骤摘要】
本专利技术涉及深度学习，特别涉及一种基于动态引导注意力的联邦多任务学习方法。
技术介绍
1、随着物联网设备在智能城市、医疗、农业、工业等各个领域的快速发展和部署，产生了来自不同领域的海量物联网数据。这些数据通常具有隐私敏感性，难以相互共享。如何在不损害其安全性和隐私性的前提下，有效地利用这些私有数据，是机器学习和人工智能面临的一个关键挑战。联邦学习是一种有前景的解决方案，它可以在不将原始数据传输到中央服务器的情况下，实现多个本地节点的协同训练，从而应对物联网场景中巨大的计算和隐私保护的挑战。然而，现有的联邦学习方法大多局限于特定的任务场景，它们为每个数据拥有者或任务开发一个个性化的模型。这限制了它们的数据来源和适用性，难以适应不同的领域或场景。
2、以智慧社区视频分析为例，多任务场景包括行人属性分析任务、车辆属性分析任务、宠物属性分析任务，通常的分析方法是分别用三个对应的模型对视频流进行分析，但是处理效率低下，而且这些任务的数据可能分别存在于各个社区的服务器中，出于数据隐私的前提，各个社区的服务器的数据不能进行共享，导致这些数据无法进行有效共享训练。
3、联邦多任务学习是一种新兴的方法，它可以将来自不同领域或任务的数据集融合起来，对一个单一的全局模型进行微调，使其可以应用于各种情况。与联邦学习相比，联邦多任务学习不仅增强了全局模型的数据来源和适用性，而且通过利用不同任务之间的共性和差异，提高了全局模型的泛化能力和性能。然而，联邦多任务学习仍然面临着各种挑战，例如如何处理不同任务数据之间严重的非独立同分布问
4、有鉴于此，本文提出了一种基于动态引导注意力的联邦多任务学习方法。
技术实现思路
1、本专利技术提供一种基于动态引导注意力的联邦多任务学习方法，可以在保障数据隐私的前提下，实现多种类型数据的融合学习，提高模型的泛化性 和鲁棒性。
2、根据本公开的一方面，提供了一种基于动态引导注意力的联邦多任务学习方法，包括以下步骤：
3、步骤1：对于多个联邦训练节点，在每个联邦训练节点中训练器用本地数据库中的数据集对本地神经网络库进行训练，每一种任务对应神经网络库中的一个网络，每一种任务得到一个本地模型中间结果，将多个本地模型中间结果发送至联邦中央节点；其中，所述联邦训练节点为一个服务器或包含多个服务器的集群；
4、步骤2：联邦中央节点中的多任务接收器接收来自各个联邦训练节点的本地模型中间结果并记录任务类型信息，将采集到的模型和任务类型信息发送至多任务分层融合器；
5、步骤3：在第一次融合之前，多任务分层融合器初始化一个动态引导注意力层，并将动态引导注意力层添加到各个本地模型中间结果中；
6、步骤4：在多任务分层融合器中，根据任务类型对本地模型中间结果中的各个模块进行分层融合生成全局模型并发送至各个联邦训练节点；
7、步骤5：在多个联邦训练节点中，各个节点的训练器接收所述全局模型并执行下一轮迭代训练；
8、步骤6：重复步骤1-步骤5，直到达到预设的训练终止条件，得到一个多任务神经网络模型。
9、在一种可能的实现方式中，步骤1：对于多个联邦训练节点，在每个联邦训练节点中训练器用本地数据库中的数据集对本地神经网络库进行训练，每一种任务对应神经网络库中的一个网络，每一种任务得到一个本地模型中间结果，将多个本地模型中间结果发送至联邦中央节点，包括：
10、根据任务需求和本地数据库中的数据集设计多个神经网络模型，并将所述多个神经网络模型存储到本地神经网络数据库；
11、用数据库中的每一种任务数据集分别对本地神经网络库中与任务对应的神经网络进行训练，当数据库中的所有任务数据集都完成一次训练后，保存每一种任务的模型参数为本地模型中间结果；
12、其中，所述多个神经网络模型结构有相同的基础特征层和特征金子塔网络结构fpn层；
13、训练器将本地模型中间结果发送至联邦中央节点，并停止训练。
14、在一种可能的实现方式中，所述步骤2：联邦中央节点中的多任务接收器接收来自各个联邦训练节点的本地模型中间结果并记录任务类型信息，将采集到的模型和任务类型信息发送至多任务分层融合器，包括：
15、多任务接收器监听所有的联邦训练节点，接收各个联邦节点发送来的本地模型中间结果和其所包含的任务类型信息；当所有的本地模型中间结果和任务类型信息都接受完毕之后，将所有的本地模型中间结果和任务类型信息发送至多任务分层融合器。
16、在一种可能的实现方式中，所述在第一次融合之前，多任务分层融合器初始化一个动态引导注意力层，并将动态引导注意力层添加到各个本地模型中间结果中，包括：
17、多任务分层融合器为每个节点的本地模型中间结果初始化一个动态引导注意力层，并将所述动态引导注意力层添加到所述基础特征层之后。
18、在一种可能的实现方式中，所述步骤4：在多任务分层融合器中，根据任务类型对本地模型中间结果中的各个模块进行分层融合生成全局模型并发送至各个联邦训练节点，包括：
19、步骤4.1，对所有联邦节点的本地模型中间结果的特征提取层进行平均加权融合，生成全局特征提取层；
20、步骤4.2，对所有联邦节点的本地模型中间结果中相同任务的fpn层进行平均加权融合，为每个任务生成一个特定任务fpn层；
21、步骤4.3，对所有联邦节点的本地模型中间结果的fpn层进行平均加权融合，生成全局fpn层；
22、步骤4.4，对所有联邦节点的本地模型中间结果中相同任务的动态引导注意力层进行加权融合，为每个任务生成一个特定任务动态引导注意力层；
23、步骤4.5，对所有联邦节点的本地模型中间结果中相同任务的下游任务层进行加权融合，为每个任务生成一个特定下游任务层；
24、步骤4.6，全局特征提取层、全局fpn层、特定任务fpn层、特定任务动态引导注意力层、特定下游任务层联合组成全局模型，多任务融合器将全局模型发送至联邦训练节点。
25、在一种可能的实现方式中，所述在多个联邦训练节点中，各个节点的训练器接收所述全局模型并执行下一轮迭代训练，包括：
26、步骤5.1，各个联邦训练节点中的训练器监听并接收联邦中央节点发送来的全局模型；
27、步骤5.2，用全局模型的全局特征提取层参数替换本地各个模型中间结果的特征提取层参数；
28、步骤5.3，用全局模型的特定任务fpn层参数替换本地各个模型中间结果中该任务的fpn层参数；
29、步骤5.4，判断本地神经网络库中的本地模型中间结果是否包含全局fpn层；
30、如果本地神经网络库中的本地模型中间结果不包含全局fpn层，则在本地模型中间结果的特征提取层之后添加一个全局fpn层，并用全局模型中的全局fpn层的参数对添加的全局fpn层进行初始化；...
【技术保护点】
1.一种基于动态引导注意力的联邦多任务学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，步骤1：对于多个联邦训练节点，在每个联邦训练节点中训练器用本地数据库中的数据集对本地神经网络库进行训练，每一种任务对应神经网络库中的一个网络，每一种任务得到一个本地模型中间结果，将多个本地模型中间结果发送至联邦中央节点，包括：
3.根据权利要求1所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，所述步骤2：联邦中央节点中的多任务接收器接收来自各个联邦训练节点的本地模型中间结果并记录任务类型信息，将采集到的模型和任务类型信息发送至多任务分层融合器，包括：
4.根据权利要求2所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，所述在第一次融合之前，多任务分层融合器初始化一个动态引导注意力层，并将动态引导注意力层添加到各个本地模型中间结果中，包括：
5.根据权利要求1所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，所述步骤4：在多任务分层融合器中，根
6.根据权利要求5所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，所述在多个联邦训练节点中，各个节点的训练器接收所述全局模型并执行下一轮迭代训练，包括：
7.根据权利要求6所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，在所述动态引导注意力层中进行如下处理：
...【技术特征摘要】
1.一种基于动态引导注意力的联邦多任务学习方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，步骤1：对于多个联邦训练节点，在每个联邦训练节点中训练器用本地数据库中的数据集对本地神经网络库进行训练，每一种任务对应神经网络库中的一个网络，每一种任务得到一个本地模型中间结果，将多个本地模型中间结果发送至联邦中央节点，包括：
3.根据权利要求1所述的一种基于动态引导注意力的联邦多任务学习方法，其特征在于，所述步骤2：联邦中央节点中的多任务接收器接收来自各个联邦训练节点的本地模型中间结果并记录任务类型信息，将采集到的模型和任务类型信息发送至多任务分层融合器，包括：
4.根据权利要求2所述的一种基于动态引导...
【专利技术属性】
技术研发人员：管洪清，徐亮，张元杰，孙浩云，郝焕萍，于润杰，王伟，
申请(专利权)人：青岛文达通科技股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。