一种模型训练方法及相关装置制造方法及图纸

本申请提供了一种模型训练方法及相关装置。该方法中，第二通信装置接收第一通信装置的第一神经网络参数，并在第一神经网络参数与第二通信装置的第二神经网络参数之间的相关系数小于第一阈值时，向第一通信装置发送第一指示信息。第一指示信息用于指示第二通信装置参与第一通信装置的第一神经网络模型的训练。第一神经网络参数与第二神经网络参数之间的相关系数小于第一阈值，表明第二神经网络参数对第一神经网络模型收敛的贡献较大。从而第二通信装置是根据第二神经网络参数对第一神经网络模型收敛的贡献大小，确定是否参与第一神经网络模型的训练，可减少第二通信装置的信令开销。开销。开销。

【技术实现步骤摘要】
一种模型训练方法及相关装置


[0001]本申请涉及神经网络领域，尤其涉及一种模型训练方法及相关装置。

技术介绍

[0002]3GPP在第五代移动通信(5th generation mobile communication，5G)网络中通过新增网络数据分析功能(network data analysis function，NWDAF)，引入了人工智能(artificial intelligence，AI)能力。NWDAF负责AI模型的训练。NWDAF训练的AI模型可应用于移动性管理、会话管理和网络自动化等网络自身领域。
[0003]目前常采用联邦学习(federated learning，FL)进行AI模型的训练。FL中，各分布节点参与中心节点的每轮训练时，需将上一轮更新的本地神经网络模型发送至中心节点。然后，中心节点将各分布节点的神经网络模型进行融合，获得全局神经网络模型。若全局神经网络模型不收敛，则中心节点将全局神经网络模型广播给各分布节点。各分布节点根据全局神经网络模型更新本地神经网络模型，再采用更新后的本地神经网络模型参与下一轮中心节点的神经网络模型的训练。
[0004]然而，经过多轮训练后，某些分布节点的本地神经网络模型对全局神经网络模型收敛的贡献逐渐降低，此时若这些分布节点的神经网络模型仍继续参与中心节点的神经网络模型的训练，将会造成信令开销的浪费。

技术实现思路

[0005]本申请实施例提供了一种模型训练方法及相关装置，可减少信令开销。
[0006]第一方面，本申请实施例提供一种模型训练方法。该方法中，第二通信装置接收第一通信装置的第一神经网络参数，并在第一神经网络参数与第二通信装置的第二神经网络参数之间的相关系数小于第一阈值时，向第一通信装置发送第一指示信息。该第一指示信息用于指示第二通信装置参与第一通信装置的第一神经网络模型的训练。
[0007]本申请实施例中，第一神经网络参数与第二神经网络参数之间的相关系数小于第一阈值，表明第二神经网络参数对第一神经网络模型收敛的贡献较大。从而第二通信装置是根据第二神经网络参数对第一神经网络模型收敛的贡献大小，确定是否参与第一神经网络模型的训练，可避免第二通信装置在第二神经网络参数对第一神经网络模型收敛贡献较小时，仍参与第一神经网络模型的训练，进而可减少第二通信装置的信令开销。
[0008]一种可选的实施方式中，第一神经网络参数是第一神经网络的模型参数或第一神经网络的梯度；第二神经网络参数是第二神经网络的模型参数或第二神经网络的梯度。
[0009]也就是说，第一神经网络参数是第一神经网络的模型参数，第二神经网络参数是第二神经网络的模型参数。可选的，第一神经网络参数是第一通信装置的神经网络的梯度，第二神经网络参数是第二通信装置的神经网络的梯度。从而第二通信装置根据接收的第一神经网络参数所属的类型，确定第一神经网络参数与第二神经网络参数之间的相关系数。
[0010]一种可选的实施方式中，第一神经网络参数是在协作发现资源上接收的，该协作
发现资源是在侧行链路配置信息中配置的。也就是说，第二通信装置采用侧行链路配置信息中的协作发现资源接收来自第一通信装置的第一神经网络参数。
[0011]一种可选的实施方式中，在上述相关系数小于第一阈值时，第二通信装置还可向第一通信装置发送第二神经网络参数，以使得第一通信装置根据该第二神经网络参数更新第一神经网络模型，从而第一通信装置是采用对第一神经网络模型收敛贡献度较高的第二神经网络参数更新第一神经网络模型的，有利于加快第一神经网络模型的收敛。
[0012]一种可选的实施方式中，第二通信装置还可接收来自第一通信装置的控制信号，该控制信号用于指示时频资源，且指示的时频资源用于第二通信装置发送第二神经网络参数。可见，第二通信装置通过接收来自第一通信装置的控制信号，获知到向第一通信装置发送第二神经网络参数的时频资源，进而第二通信装置可在该时频资源上发送第二神经网络参数。
[0013]一种可选的实施方式中，接收该控制信号的资源是协作控制资源，协作控制资源是在上述侧行链路配置信息中配置的。也就是说，第二通信装置采用侧行链路配置信息中的协作控制资源接收上述控制信号。
[0014]一种可选的实施方式中，第二通信装置还可在协作同步资源上接收同步信号，并根据该同步信号，与第一通信装置进行同步。从而第二通信装置与第一通信装置同步后，可与第一通信装置通信。其中，协作同步资源可是在上述侧行链路配置信息中配置的。
[0015]一种可选的实施方式中，上述侧行链路配置信息所配置的协作发现资源、协作控制资源、协作同步资源可是预先配置的，或是动态指示的，或是非授权频谱资源。
[0016]一种可选的实施方式中，第一神经网络参数是第一神经网络的模型参数，第二神经网络参数是第二神经网络的模型参数时，上述第一神经网络参数与第二神经网络参数之间的相关系数是根据第一参数和第二参数确定的。
[0017]其中，第一参数是第二通信装置对第一神经网络模型输入训练数据时，第一神经网络模型输出的参数；所述第一神经网络模型是根据所述第一神经网络的模型参数确定的；第二参数是第二通信装置对第二通信装置的第二神经网络模型输入该训练数据时，第二神经网络模型输出的参数。也就是说，第一参数和第二参数是第二通信装置分别对第一神经网络模型和第二神经网络模型输入相同的训练数据时，第一神经网络模型和第二神经网络模型分别输出的参数。
[0018]另一种可选的实施方式中，第一神经网络参数是第一神经网络的梯度，第二神经网络参数是第二神经网络的梯度时，第一神经网络参数与第二神经网络参数之间的相关系数是根据第一神经网络参数的概率密度分布和第二神经网络参数的概率密度分布确定的。
[0019]可见，第二通信装置可根据接收的第一神经网络参数所属的类型，灵活采用相应的方式确定第一神经网络参数与第二神经网络参数之间的相关系数。
[0020]第二方面，本申请还提供了一种模型训练方法。该方面的模型训练方法与第一方面所述的模型训练方法相对应，该方面的模型训练方法是从第一通信装置侧进行阐述的。该方法中，第一通信装置发送该第一通信装置的第一神经网络参数。第一通信装置接收来自第二通信装置的第一指示信息，第一指示信息是第二通信装置在第一神经网络参数与第二通信装置的第二神经网络参数之间的相关系数小于第一阈值时发送的，第一指示信息用于指示第二通信装置参与第一通信装置的第一神经网络模型的训练。
[0021]可见，本申请实施例中，第一通信装置接收的第一指示信息是第二通信装置在第一神经网络参数与第二神经网络参数的相关系数小于第一阈值时发送的，从而第二通信装置是根据第二神经网络参数对第一神经网络模型收敛的贡献大小，确定是否参与第一神经网络模型的训练，进而使得第一通信装置后续不是根据所有第二通信装置的第二神经网络参数更新第一神经网络模型，而是根据对第一神经网络模型收敛贡献较大的第二神经网络参数更新第一神经网络模型，可减少第一通信装置本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法包括：第二通信装置接收第一通信装置的第一神经网络参数；所述第二通信装置在所述第一神经网络参数与所述第二通信装置的第二神经网络参数之间的相关系数小于第一阈值时，向所述第一通信装置发送第一指示信息；所述第一指示信息用于指示所述第二通信装置参与所述第一通信装置的第一神经网络模型的训练。2.根据权利要求1所述的方法，其特征在于，所述第一神经网络参数是第一神经网络的模型参数或所述第一神经网络的梯度；所述第二神经网络参数是第二神经网络的模型参数或所述第二神经网络的梯度。3.根据权利要求1或2所述的方法，其特征在于，在所述相关系数小于所述第一阈值时，所述方法还包括：所述第二通信装置向所述第一通信装置发送所述第二神经网络参数。4.根据权利要求1至3任一项所述的方法，其特征在于，所述方法还包括：所述第二通信装置接收来自所述第一通信装置的控制信号；所述控制信号用于指示时频资源；指示的时频资源用于所述第二通信装置发送所述第二神经网络参数。5.根据权利要求1至4任一项所述的方法，其特征在于，所述方法还包括：所述第二通信装置在协作同步资源上接收同步信号；所述第二通信装置根据所述同步信号，与所述第一通信装置进行同步；所述协作同步资源是在侧行链路配置信息中配置的。6.根据权利要求1至5任一项所述的方法，其特征在于，所述第一神经网络参数是所述第一神经网络的模型参数，所述第二神经网络参数是所述第二神经网络的模型参数；所述第一神经网络参数与所述第二神经网络参数之间的相关系数是根据第一参数和第二参数确定的；所述第一参数是所述第二通信装置对所述第一神经网络模型输入训练数据时，所述第一神经网络模型输出的参数；所述第一神经网络模型是根据所述第一神经网络的模型参数确定的；所述第二参数是所述第二通信装置对所述第二通信装置的第二神经网络模型输入所述训练数据时，所述第二神经网络模型输出的参数。7.根据权利要求1至5任一项所述的方法，其特征在于，所述第一神经网络参数是所述第一神经网络的梯度，所述第二神经网络参数是所述第二神经网络的梯度；所述第一神经网络参数与所述第二神经网络参数之间的相关系数是根据所述第一神经网络参数的概率密度分布和所述第二神经网络参数的概率密度分布确定的。8.一种模型训练方法，其特征在于，所述方法包括：第一通信装置发送所述第一通信装置的第一神经网络参数；所述第一通信装置接收来自第二通信装置的第一指示信息；所述第一指示信息是所述第二通信装置在所述第一神经网络参数与所述第二通信装置的第二神经网络参数之间的相关系数小于第一阈值时发送的；所述第一指示信息用于指示所述第二通信装置参与所述第一通信装置的第一神经网络模型的训练。
9.根据权利要求8所述的方法，其特征在于，所述第一神经网络参数是第一神经网络的模型参数或所述第一神经网络的梯度；所述第二神经网络参数是第二神经网络的模型参数或所述第二神经网络的梯度。10.根据权利要求8或9所述的方法，其特征在于，所述方法还包括：所述第一通信装置接收来自所述第二通信装置的所述第二神经网络参数；所述第一通信装置根据所述第二神经网络参数，更新所述第一神经网络模型。11.根据权利要求8至10任一项所述的方法，其特征在于，所述方法还包括：所述第一通信装置向所述第二通信装置发送控制信号；所述控制信号用于指示时频资源；指示的时频资源用于所述第二通信装置发送所述第二神经网络参数。12.根据权利要求8至11任一项所述的方法，其特征在于，所述方法还包括：所述第一通信装置在协作同步资源上发送同步信号；所述协作同步资源是在侧行链路配置信息中配置的。13.一种通信装置，其特征在于，所述装置包括：通信单元，用于接收第一通信装置的第一神经网络参数；通信单元，还用于在所述第一神经网络参数与所述装置的第二神经网络参数之间的相关系数小于第一阈值时，向所述第一通信装置发送第一指示信息；所述第一指示信息用于指示所述装置参与所述第一通信装...

【专利技术属性】
技术研发人员：乔云飞，李榕，王坚，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：