模型训练方法、装置及通信设备制造方法及图纸

本申请公开了一种模型训练方法、装置及通信设备，属于通信技术领域，本申请实施例的模型训练方法包括：第一网元在进行与模型训练任务对应的联邦模型训练过程的情况下，向至少一个第二网元发送联邦模型训练请求消息，所述至少一个第二网元为参与所述联邦模型训练过程的网元；所述第一网元接收所述至少一个第二网元发送的第一信息，所述第一信息至少包括第一模型训练中间数据，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，各所述第二网元间用于联邦模型训练的样本相同、但样本特征不同；所述第一网元根据所述至少一个第二网元上报的第一模型训练中间数据进行模型训练，得到目标模型和/或第二模型训练中间数据。训练中间数据。训练中间数据。

【技术实现步骤摘要】
模型训练方法、装置及通信设备


[0001]本申请属于通信
，具体涉及一种模型训练方法、装置及通信设备。

技术介绍

[0002]随着人工智能(Artificial Intelligence，AI)的快速发展，其已在各个领域得到了广泛的应用。
[0003]其中，以通信领域为例，随着AI功能的引入，必然存在机器学习的需求。例如，对于某种智能的网络业务，其需要来自不同域、不同网元等上产生的大量数据进行模型训练，从而实现更为精准的业务实现。但是，随着数据安全和隐私问题被越来越重视，网络中的不同域、不同网元等之间存在数据隔离的问题，那么，如何基于不同域、不同网元上的数据实现模型训练成为当前急需解决的问题。

技术实现思路

[0004]本申请实施例提供一种模型训练方法、装置及通信设备，能够在不进行数据共享的情况下，联合位于不同域、不同网元上的数据实现模型训练。
[0005]第一方面，提供了一种模型训练方法，包括：第一网元在进行与模型训练任务对应的联邦模型训练过程的情况下，向至少一个第二网元发送联邦模型训练请求消息，所述至少一个第二网元为参与所述联邦模型训练过程的网元；所述第一网元接收所述至少一个第二网元发送的第一信息，所述第一信息至少包括第一模型训练中间数据，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，各所述第二网元间用于联邦模型训练的样本相同、但样本特征不同；所述第一网元根据所述至少一个第二网元上报的第一模型训练中间数据进行模型训练，得到目标模型和/或第二模型训练中间数据。
[0006]第二方面，提供了一种模型训练方法，所述方法包括：第二网元接收第一网元发送的联邦模型训练请求消息，所述联邦模型训练请求消息用于请求所述第二网元参与模型训练任务对应的联邦模型训练过程；所述第二网元根据所述联邦模型训练请求消息进行模型训练，得到第一模型训练中间数据；所述第二网元向所述第一网元发送第一信息，所述第一信息中至少包括所述第一模型训练中间数据；其中，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，所述第二网元中用于所述联邦模型训练的样本，与第四网元中用于所述联邦模型训练的样本相同、但样本特征不同，所述第四网元是参与所述联邦模型训练过程中的多个网元中除了所述第二网元之外的其他网元。
[0007]第三方面，提供了一种模型训练方法，所述方法包括：第三网元接收第一网元发送的目标模型的相关信息；其中，所述目标模型的相关信息至少用于表征所述目标模型为纵向联邦模型。
[0008]第四方面，提供了一种模型训练装置，包括：第一发送模块，用于在进行与模型训练任务对应的联邦模型训练过程的情况下，向至少一个第二网元发送联邦模型训练请求消息，所述至少一个第二网元为参与所述联邦模型训练过程的网元；第一接收模块，用于接收
所述至少一个第二网元发送的第一信息，所述第一信息至少包括第一模型训练中间数据，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，各所述第二网元间用于联邦模型训练的样本相同、但样本特征不同；第一训练模块，用于根据所述至少一个第二网元上报的第一模型训练中间数据进行模型训练，得到目标模型和/或第二模型训练中间数据。
[0009]第五方面，提供了一种模型训练装置，所述装置包括：第二接收模块，用于接收第一网元发送的联邦模型训练请求消息，所述联邦模型训练请求消息用于请求所述第二网元参与模型训练任务对应的联邦模型训练过程；第二训练模块，用于根据所述联邦模型训练请求消息进行模型训练，得到第一模型训练中间数据；第二发送模块，用于向所述第一网元发送第一信息，所述第一信息中至少包括所述第一模型训练中间数据；其中，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，所述第二网元中用于所述联邦模型训练的样本，与第四网元中用于所述联邦模型训练的样本相同、但样本特征不同，所述第四网元是参与所述联邦模型训练过程中的多个网元中除了所述第二网元之外的其他网元。
[0010]第六方面，提供了一种模型训练装置，所述装置包括：第三接收模块，用于接收第一网元发送的目标模型的相关信息；其中，所述目标模型的相关信息至少用于表征所述目标模型为纵向联邦模型。
[0011]第七方面，提供了一种通信设备，该通信设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面或第二方面或第三方面所述的方法的步骤。
[0012]第八方面，提供了一种通信设备，包括处理器及通信接口，其中，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤，或实现如第二方面所述的方法的步骤，或实现如第三方面所述的方法的步骤。
[0013]第九方面，提供了一种模型训练系统，包括：第一网元、第二网元、第三网元，所述第一网元可用于执行如第一方面所述的模型训练方法的步骤，所述第二网元可用于执行如第二方面所述的模型训练方法的步骤，所述第三网元可用于执行如第三方面所述的模型训练方法的步骤。
[0014]第十方面，提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
[0015]第十一方面，提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法的步骤，或实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
[0016]第十二方面，提供了一种计算机程序产品/程序产品，所述计算机程序/程序产品被存储在存储介质中，所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤，或者实现如第二方面所述的方法的步骤，或者实现如第三方面所述的方法的步骤。
[0017]在本申请实施例中，第一网元利用纵向联邦模型训练的方式，联合各第二网元实现本地分布式模型训练，由此，可在不共享通信网络中各第二网元上的数据的前提下，既能
确保各第二网元中的数据隐私性和数据安全性，还能确保模型训练效果。
附图说明
[0018]图1是本申请一示例性实施例提供的无线通信系统的结构示意图。
[0019]图2是本申请一示例性实施例提供的模型训练系统的结构示意图。
[0020]图3是本申请实施例提供的模型训练方法的流程示意图之一。
[0021]图4是本申请实施例提供的模型训练方法的流程示意图之二。
[0022]图5是本申请实施例提供的模型训练方法的流程示意图之三。
[0023]图6是本申请实施例提供的模型训练方法的交互流程示意图。
[0024]图7是本申请实施例提供的模型训练方法的流程示意图之四。
[0025]图8是本申请实施例提供的模型训练方法的流程示意图之五。
[0026]图9是本申请实施例本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：第一网元在进行与模型训练任务对应的联邦模型训练过程的情况下，向至少一个第二网元发送联邦模型训练请求消息，所述至少一个第二网元为参与所述联邦模型训练过程的网元；所述第一网元接收所述至少一个第二网元发送的第一信息，所述第一信息至少包括第一模型训练中间数据，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，各所述第二网元间用于联邦模型训练的样本相同、但样本特征不同；所述第一网元根据所述至少一个第二网元上报的第一模型训练中间数据进行模型训练，得到目标模型和/或第二模型训练中间数据。2.如权利要求1所述的方法，其特征在于，所述联邦模型训练请求消息包括以下至少一项：模型实例标识信息，所述模型实例标识信息与所述目标模型对应、且由所述第一网元分配；所述模型训练任务的类型信息；所述模型训练任务的标识信息；第一指示信息，用于指示所述联邦模型训练过程是一次纵向联邦学习过程；第一过滤器的相关信息，用于限定所述模型训练任务对应的目标对象、目标时间、目标区域中的至少一项；模型训练配置信息；模型训练数据的反馈信息；参与所述联邦模型训练过程的各网元的相关信息。3.如权利要求2所述的方法，其特征在于，所述模型实例标识信息对应以下至少一项：所述第一网元的相关信息；第一时间，用于指示所述模型训练任务是基于所述第一时间内产生的训练数据进行；第二时间，用于指示联邦模型训练过程的完成时间；所述第二网元的相关信息。4.如权利要求2所述的方法，其特征在于，所述模型训练配置信息包括以下至少一项：模型结构信息；模型超参数信息；所述联邦模型训练过程中的训练数据的类型信息。5.如权利要求1所述的方法，其特征在于，所述第二网元是所述第一网元根据所述模型训练任务从网络存储功能NRF中获取的、且能支持所述联邦模型训练过程的网元。6.如权利要求1所述的方法，其特征在于，所述向至少一个第二网元发送联邦模型训练请求消息的步骤之前，所述方法还包括：所述第一网元确定第一条件成立，所述第一条件包括以下至少一项：所述第一网元中没有存储或无法获取所述模型训练任务对应的全部或部分训练数据；所述至少一个第二网元能够提供所述模型训练任务对应的全部或部分训练数据；所述模型训练任务对应的各所述第二网元间的训练数据的样本相同、但样本特征不同。
7.如权利要求1所述的方法，其特征在于，所述第一模型训练中间数据是所述第二网元根据本地训练模型计算生成的。8.如权利要求1所述的方法，其特征在于，所述第一信息还包括以下至少一项：模型实例标识信息，用于所述第一网元进行模型关联；所述第一模型训练中间数据对应的样本在所述第二网元中的样本标识信息。9.如权利要求8所述的方法，其特征在于，所述第一网元根据所述至少一个第二网元上报的第一模型训练中间数据进行模型训练的步骤之前，所述方法还包括：所述第一网元根据所述样本标识信息进行数据关联，使得具有相同样本的所述第一网元中的目标训练数据和/或所述至少一个第二网元上报的所述第一模型训练中间数据之间对齐。10.如权利要求9所述的方法，其特征在于，所述第一网元根据所述至少一个第二网元上报的第一模型训练中间数据进行模型训练的步骤，包括：所述第一网元根据所述第一模型训练中间数据和所述第一网元中的所述目标训练数据进行模型训练。11.如权利要求1所述的方法，其特征在于，所述方法还包括：所述第一网元在所述目标模型的损失函数的计算结果不满足预定要求的情况下，向所述至少一个第二网元发送第二信息，所述第二信息至少包括所述第二模型训练中间数据。12.如权利要求11所述的方法，其特征在于，所述第二模型训练中间数据至少包括：所述目标模型的损失函数对于所述至少一个第二网元本地训练模型参数的梯度。13.如权利要求11所述的方法，其特征在于，所述第二信息还包括：模型实例标识信息，用于所述第二网元进行模型关联。14.如权利要求1所述的方法，其特征在于，第一网元在进行与模型训练任务对应的联邦模型训练过程的情况下，向至少一个第二网元发送联邦模型训练请求消息的步骤之前，所述方法还包括：所述第一网元接收第三网元发送的模型请求消息，其中，所述模型请求消息包括以下至少一项：所述模型训练任务的类型信息；所述模型训练任务的标识信息；第二过滤器的相关信息，用于限定所述模型训练任务对应的目标对象、目标时间、目标区域中的至少一项；模型反馈相关信息，所述模型反馈相关信息包括模型反馈格式、反馈条件中的至少一项。15.如权利要求14所述的方法，其特征在于，所述方法还包括：所述第一网元在所述目标模型的损失函数的计算结果满足预定要求情况下，所述第一网元向所述第三网元发送所述目标模型的相关信息；其中，所述目标模型的相关信息包括以下至少一项：所述模型实例标识信息；所述目标模型信息；第二指示信息，用于指示所述目标模型是纵向联邦学习模型；
所述第二网元的相关信息。16.一种模型训练方法，其特征在于，所述方法包括：第二网元接收第一网元发送的联邦模型训练请求消息，所述联邦模型训练请求消息用于请求所述第二网元参与模型训练任务对应的联邦模型训练过程；所述第二网元根据所述联邦模型训练请求消息进行模型训练，得到第一模型训练中间数据；所述第二网元向所述第一网元发送第一信息，所述第一信息中至少包括所述第一模型训练中间数据；其中，所述第一模型训练中间数据对应于所述第二网元中用于联邦模型训练的样本，所述第二网元中用于所述联邦模型训练的样本，与第四网元中用于所述联邦模型训练的样本相同、但样本特征不同，所述第四网元是参与所述联邦模型训练过程中的多个网元中除了所述第二网元之外的其他网元。17.如权利要求16所述的方法，其特征在于，所述联邦模型训练请求消息包括以下至少一项：模型实例标识信息；所述模型训练任务的类型信息；所述模型训练任务的标识信息；第一指示信息，用于指示所述联邦模型训练过程是一次纵向联邦学习过程；第一过滤器的相关信息，用于限定所述模型训练任务对应的目标对象、目标时间、目标区域中的至少一项；模型训练配置信息；模型训练数据的反馈信息；所述第四网元的相关信息。18.如权利要求17所述的方法，其特征在于，所述模型实例标识信息对应以...

【专利技术属性】
技术研发人员：崇卫微，
申请(专利权)人：维沃移动通信有限公司，
类型：发明
国别省市：