多任务联合训练模型方法、系统、电子设备和存储介质技术方案

本申请涉及一种多任务联合训练模型方法、系统、电子设备和存储介质，其中，该方法包括：各参与方分别根据己方的特征进行建模，并得到对应的特征向量；各参与方将其特征向量发送至除己方以外的其他任务方；各任务方根据己方的子任务，结合所接收的各特征向量，再次进行建模，计算己方的损失值并发送至第三方；第三方将所有任务方的各损失值进行加权求和得到整体模型的总损失值；第三方根据各损失值计算梯度并返回至各对应参与方；各参与方根据各梯度更新己方模型，并更新整体模型。通过本申请，实现了对用户数据的保护的同时，提升模型各个子任务之间的准确性。

【技术实现步骤摘要】
多任务联合训练模型方法、系统、电子设备和存储介质
本申请涉及模型训练
，特别是涉及多任务联合训练模型方法、系统、电子设备和存储介质。
技术介绍
随着《通用数据保护条例》和国内《网络安全法》、《数据安全管理办法》等相关法律规定的提出，隐私安全受到越来越多的社会关注，在当下各行各业都依托数据化的大趋势下，数据安全保护相关政策的出台无疑是阻塞产业变革的重要关卡。尤其是在人工智能领域，近些年来新算法的不断提出、大量数据的积累以及硬件配置的不断提升为AI提供了优异的成长环境，在人脸识别、语音识别、无人驾驶、精准营销等方面为人类的生活提供了极大的的便捷，极大的改变了人们日常的生产生活方式。在企业中，除了少数大规模企业拥有大量数据外，更多的中小规模企业都存在数据量少、数据质量差等原因，不足以支撑人工智能技术的开发和实现，但从商业和用户的角度考虑，每个公司的数据都有其巨大的潜在价值，以往为了寻求更大的利益，多个公司或机构会以数据买卖或合作的方式将多方数据进行融合，从而训练效果更优的模型。但是由于各项数据安全法案的提出，这些中小规模企业无法直接寻求和外界的合作，数据往往以孤岛的形式分散在各个企业中，为了打破现有的数据孤岛的僵局，联邦学习应运而生。目前，在纵向联邦学习的神经网络框架中，只有某一方存在标签(及特征)，而其余方只存在特征的方案提出，并没有在纵向联邦学习中提出多方均有标签且进行多任务训练的方案。该方案虽适用于大多数合作场景，但是也存在有多任务分布在多个参与方的情况，针对这一情况，现有技术还未提出有效的解决方案实现模型的有效训练。
技术实现思路
本申请实施例提供了一种多任务联合训练模型方法、系统、电子设备和存储介质，通过联合建模将各个子任务之间潜在关系挖掘出来并相互影响，从而提升模型各个子任务之间的准确性，以至少解决相关技术中模型训练效果不好、准确率不高的问题。第一方面，本申请实施例提供了一种多任务联合训练模型方法，n个参与方中m个参与方具有不同的子任务，具有子任务的所述参与方为任务方，所述子任务之间具有关联性，该方法包括以下步骤：特征向量获取步骤，各所述参与方分别根据己方的特征进行建模，并得到对应的特征向量；交互步骤，各所述参与方将其所述特征向量发送至除己方以外的其他所述任务方；损失计算步骤，各所述任务方根据己方的子任务，结合所接收的各所述特征向量，再次进行建模，计算己方的损失值并发送至第三方；总损失获取步骤，所述第三方将所有所述任务方的各所述损失值进行加权求和得到整体模型的总损失值；梯度计算步骤，所述第三方根据各所述损失值计算梯度并返回至各对应所述参与方；模型更新步骤，各所述参与方根据各所述梯度更新己方模型，并更新整体模型。在其中一些实施例中，所述交互步骤具体包括：向量交互步骤，每个所述参与方将己方的所述特征向量进行同态加密，并将加密结果发送至除己方以外的其他所述任务方；第一参数传递步骤，各所述任务方收到所述加密结果后进行变换，并随机生成对应εbi，各所述任务方生成己方的第一参数zi，并将[zi+εbi]发送给对应参与方，具体为：[zi]＝[αi]*Wi，zi＝αi*Wi其中，i＝1,2,...,n，Wi为对应权重向量，εbi为与加密后的所述特征向量对应的随机数；第二参数传递步骤，当各所述参与方根据对应所述任务方的所述特征向量解密对应所述[zi+εbi]，并生成第二参数Zi，将所述Zi发送给对应所述任务方，具体为：Zi＝zi+εbi+αi*εacc_i其中，εacc_i是第i个任务方的随机生成数；向量生成步骤，收到所述第二参数Zi的所述任务方生成对应的向量Interacivem，具体为：Interacivem＝zm+[Zi-εbi]在其中一些实施例中，所述同态加密包括加法同态、乘法同态、混合乘法同态、减法同态、除法同态、代数同态和算数同态其一或组合。在其中一些实施例中，所述模型更新步骤具体包括：参数计算步骤，所述任务方更新模型参数，并计算各所述参与方的[δm*αi+εbi]，返回至各对应所述参与方，所述模型参数具体包括：Wi＝Wi-lr*δm*αiδbottom_i＝δm*Wi其中，lr为设定的学习率，δm为交互层梯度，δbottom_i为参与方i的bottom层的底层梯度；参数返回步骤，各所述参与方生成随机生成数εi，并解密[δm*αi+εbi]，计算第三参数Ai和εacc_i，将所述第三参数和[εacc_i]返回至对应所述任务方，其中，εacc_i＝εacc_i+εi参数更新步骤，所述任务方更新Wi，计算并更新各所述参与方的所述底层梯度δbottom_i，将[δbottom_i]发送至对应所述参与方，其中，[δbottom_i]＝[δm*(Wi+εacc_i)]Wi＝Wi-εacc_i模型更新步骤，各所述参与方解密[δbottom_i]，得到各对应所述参与方在对应所述任务方的子任务上的梯度，并据此更新各所述任务方方的模型。第二方面，本申请实施例提供了一种多任务联合训练模型系统，包括：特征向量获取模块，各所述参与方分别根据己方的特征进行建模，并得到对应的特征向量；交互模块，各所述参与方将其所述特征向量发送至除己方以外的其他所述任务方；损失计算模块，各所述任务方根据己方的子任务，结合所接收的各所述特征向量，再次进行建模，计算己方的损失值并发送至第三方；总损失获取模块，所述第三方将所有所述任务方的各所述损失值进行加权求和得到整体模型的总损失值；梯度计算模块，所述第三方根据各所述损失值计算梯度并返回至各对应所述参与方；模型更新模块，各所述参与方根据各所述梯度更新己方模型，并更新整体模型。在其中一些实施例中，所述交互模块具体包括：向量交互单元，每个所述参与方将己方的所述特征向量进行同态加密，并将加密结果发送至除己方以外的其他所述任务方；第一参数传递单元，各所述任务方收到所述加密结果后进行变换，并随机生成对应εbi，各所述任务方生成己方的第一参数zi，并将[zi+εbi]发送给对应参与方，具体为：[zi]＝[αi]*Wi，zi＝αi*Wi其中，i＝1,2,...,n，Wi为对应权重向量，εbi为与加密后的所述特征向量对应的随机数；第二参数传递单元，当各所述参与方根据对应所述任务方的所述特征向量解密对应所述[zi+εbi]，并生成第二参数Zi，将所述Zi发送给对应所述任务方，具体为：Zi＝zi+εbi+αi*εacc_i其中，εacc_i是第i个任务方的随机生成数；向量生成单元，收到所述第二参数Zi的所述任务方生成对应的向量Interacivem，具体为：Interacivem＝zm+[Zi-εbi]在其中一些实施例中，所述同态加密本文档来自技高网...

【技术保护点】
1.一种多任务联合训练模型方法，其特征在于，n个参与方中m个参与方具有不同的子任务，具有子任务的所述参与方为任务方，所述子任务之间具有关联性，该方法包括以下步骤：/n特征向量获取步骤，各所述参与方分别根据己方的特征进行建模，并得到对应的特征向量；/n交互步骤，各所述参与方将其所述特征向量发送至除己方以外的其他所述任务方；/n损失计算步骤，各所述任务方根据己方的子任务，结合所接收的各所述特征向量，再次进行建模，计算己方的损失值并发送至第三方；/n总损失获取步骤，所述第三方将所有所述任务方的各所述损失值进行加权求和得到整体模型的总损失值；/n梯度计算步骤，所述第三方根据各所述损失值计算梯度并返回至各对应所述参与方；/n模型更新步骤，各所述参与方根据各所述梯度更新己方模型，并更新整体模型。/n

【技术特征摘要】
1.一种多任务联合训练模型方法，其特征在于，n个参与方中m个参与方具有不同的子任务，具有子任务的所述参与方为任务方，所述子任务之间具有关联性，该方法包括以下步骤：
特征向量获取步骤，各所述参与方分别根据己方的特征进行建模，并得到对应的特征向量；
交互步骤，各所述参与方将其所述特征向量发送至除己方以外的其他所述任务方；
损失计算步骤，各所述任务方根据己方的子任务，结合所接收的各所述特征向量，再次进行建模，计算己方的损失值并发送至第三方；
总损失获取步骤，所述第三方将所有所述任务方的各所述损失值进行加权求和得到整体模型的总损失值；
梯度计算步骤，所述第三方根据各所述损失值计算梯度并返回至各对应所述参与方；
模型更新步骤，各所述参与方根据各所述梯度更新己方模型，并更新整体模型。


2.根据权利要求1所述的多任务联合训练模型方法，其特征在于，所述交互步骤具体包括：
向量交互步骤，每个所述参与方将己方的所述特征向量进行同态加密，并将加密结果发送至除己方以外的其他所述任务方；
第一参数传递步骤，各所述任务方收到所述加密结果后进行变换，并随机生成对应εbi，各所述任务方生成己方的第一参数zi，并将[zi+εbi]发送给对应参与方，具体为：
[zi]＝[αi]*Wi，
zi＝αi*Wi
其中，i＝1,2,...,n，Wi为对应权重向量，εbi为与加密后的所述特征向量对应的随机数；
第二参数传递步骤，当各所述参与方根据对应所述任务方的所述特征向量解密对应所述[zi+εbi]，并生成第二参数Zi，将所述Zi发送给对应所述任务方，具体为：
Zi＝zi+εbi+αi*εacc_i
其中，εacc_i是第i个任务方的随机生成数；
向量生成步骤，收到所述第二参数Zi的所述任务方生成对应的向量Interacivem，具体为：
Interacivem＝zm+[Zi-εbi]


3.根据权利要求2所述的多任务联合训练模型方法，其特征在于，所述同态加密包括加法同态、乘法同态、混合乘法同态、减法同态、除法同态、代数同态和算数同态其一或组合。


4.根据权利要求2所述的多任务联合训练模型方法，其特征在于，所述模型更新步骤具体包括：
参数计算步骤，所述任务方更新模型参数，并计算各所述参与方的[δm*αi+εbi]，返回至各对应所述参与方，所述模型参数具体包括：
Wi＝Wi-lr*δm*αi
δbottom_i＝δm*Wi
其中，lr为设定的学习率，δm为交互层梯度，δbottom_i为参与方i的bottom层的底层梯度；
参数返回步骤，各所述参与方生成随机生成数εi，并解密[δm*αi+εbi]，计算第三参数Ai和εacc_i，将所述第三参数和[εacc_i]返回至对应所述任务方，其中，



εacc_i＝εacc_i+εi
参数更新步骤，所述任务方更新Wi，计算并更新各所述参与方的所述底层梯度δbottom_i，将[δbottom_i]发送至对应所述参与方，其中，
[δbottom_i]＝[δm*(Wi+εacc_i)]
Wi＝Wi-εacc_i
模型更新步骤，各所述参与方解密[δbottom_i]，得到各对应所述参与方在对应所述任务方的子任务上的梯度，并据此更新各所述任务方方的模型。


5.一种多任务联合训练模型系统，其特征在于，包括：
特征向量获取模块，各所述参与方分别根据己方的特征进行建模，并...

【专利技术属性】
技术研发人员：蔡怡蕾，郑悦，景艳山，
申请(专利权)人：上海明略人工智能集团有限公司，
类型：发明
国别省市：上海;31