一种模型训练方法、装置及通信设备制造方法及图纸

本申请提供一种模型训练方法、装置及通信设备，所述方法包括：第一节点接收第二节点发送的训练样本；所述第一节点基于所述训练样本，在预先获取的模型集中确定第一模型；所述第一节点将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。本申请可以减小数据传输的开销。销。销。

【技术实现步骤摘要】
一种模型训练方法、装置及通信设备


[0001]本申请涉及无线通信
，尤其涉及一种模型训练方法、装置及通信设备。

技术介绍

[0002]对于神经网络而言，神经元越多的网络，损失值的分布越小，即人工智能模型的深度和复杂度对于网络的收敛效率影响很大。而人工智能模型越复杂，训练的开销就越大，并且需要更多的数据和更多的算力来不断优化模型的性能，为了降低模型训练开销，现有的做法是将所有基础模型都在目标域中进行再训练，得到最优的模型，但数据传输的开销较大。

技术实现思路

[0003]本申请提供一种模型训练方法、装置及电子设备，以解决数据传输的开销较大的问题。
[0004]第一方面，本申请实施例提供了一种模型训练方法，包括：
[0005]第一节点接收第二节点发送的训练样本；
[0006]所述第一节点基于所述训练样本，在预先获取的模型集中确定第一模型；
[0007]所述第一节点将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。
[0008]第二方面，本申请实施例还提供一种模型训练方法，包括：
[0009]第二节点将训练样本发送至第一节点，所述训练样本用于所述第一节点在预先获取的模型集中确定第一模型；
[0010]所述第二节点接收所述第一节点发送的第一模型；
[0011]所述第二节点对所述第一模型进行再训练，以得到目标模型。
[0012]第三方面，本申请实施例还提供一种模型训练方法，包括：
[0013]第一节点确定第一模型的训练策略；
[0014]第一节点向第二节点发送所述第一模型的训练策略，所述训练策略用于所述第二节点对所述第一模型进行再训练，以得到目标模型；
[0015]其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；
[0016]所述训练策略用于确定所述第一网络层和所述第二网络层。
[0017]第四方面，本申请实施例还提供一种模型训练方法，包括：
[0018]第二节点接收第一节点发送的第一模型的训练策略；
[0019]所述第二节点使用所述训练策略对第一模型进行再训练，以得到目标模型；
[0020]其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练
过程中进行更新；
[0021]所述训练策略用于确定所述第一网络层和所述第二网络层。
[0022]第五方面，本申请实施例还提供一种模型训练装置，应用于第一节点，包括：
[0023]第一接收模块，用于接收第二节点发送的训练样本；
[0024]第一确定模块，用于基于所述训练样本，在预先获取的模型集中确定第一模型；
[0025]第一发送模块，用于将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。
[0026]第六方面，本申请实施例还提供一种模型训练装置，应用于第二节点，包括：
[0027]第二发送模块，用于将训练样本发送至第一节点，所述训练样本用于所述第一节点在预先获取的模型集中确定第一模型；
[0028]第二接收模块，用于接收所述第一节点发送的第一模型；
[0029]第一训练模块，用于对所述第一模型进行再训练，以得到目标模型。
[0030]第七方面，本申请实施例还提供一种模型训练装置，应用于第一节点，包括：
[0031]第二确定模块，用于确定第一模型的训练策略；
[0032]第三发送模块，用于向第二节点发送所述第一模型的训练策略，所述训练策略用于所述第二节点对所述第一模型进行再训练，以得到目标模型；
[0033]其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；
[0034]所述训练策略用于确定所述第一网络层和所述第二网络层。
[0035]第八方面，本申请实施例还提供一种模型训练装置，应用于第二节点，包括：
[0036]第三接收模块，用于接收第一节点发送的第一模型的训练策略；
[0037]第二训练模块，用于使用所述训练策略对第一模型进行再训练，以得到目标模型；
[0038]其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；
[0039]所述训练策略用于确定所述第一网络层和所述第二网络层。
[0040]第九方面，本申请实施例还提供一种通信设备，包括：收发机、存储器、处理器及存储在所述存储器上并可在所述处理器上运行的程序；所述处理器，用于读取存储器中的程序实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤，或者实现如本申请实施例第三方面所述方法中的步骤，或者实现如本申请实施例第四方面所述方法中的步骤。
[0041]第十方面，本申请实施例还提供一种可读存储介质，所述可读存储介质上存储程序，所述程序被处理器执行时实现如本申请实施例第一方面所述方法中的步骤，或者实现如本申请实施例第二方面所述方法中的步骤，或者实现如本申请实施例第三方面所述方法中的步骤，或者实现如本申请实施例第四方面所述方法中的步骤。
[0042]这样，本申请实施例中，第一节点基于第二节点发送的训练样本，在训练集中确定第一模型，并将所述第一模型发送至所述第二节点，以实现所述第二节点对所述第一模型的再训练，得到目标模型，即在确定所述第二节点的第一模型的过程中，所述第一节点与所
述第二节点之间仅需传输所述训练样本及基于所述第一模型即可，从而减少对数据传输的开销。
附图说明
[0043]为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
[0044]图1是本申请实施例提供的模型训练方法的流程示意图之一；
[0045]图2是本申请实施例提供的模型训练方法的流程示意图之二；
[0046]图3是本申请实施例提供的模型训练方法的流程示意图之三；
[0047]图4是本申请实施例提供的模型训练方法的流程示意图之四；
[0048]图5是本申请实施例提供的无线空口AI模型的训练方法的示意图；
[0049]图6是本申请实施例提供的多种训练方式性能比较的示意图；
[0050]图7是本申请实施例提供的不同测试样本的测试结果示意图；
...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，包括：第一节点接收第二节点发送的训练样本；所述第一节点基于所述训练样本，在预先获取的模型集中确定第一模型；所述第一节点将所述第一模型发送至所述第二节点，所述第一模型用于所述第二节点进行再训练，以得到目标模型。2.如权利要求1所述的方法，其特征在于，所述第一节点接收第二节点发送的训练样本之前，所述方法还包括：所述第一节点接收所述第二节点发送的训练数据的参数信息，所述训练数据包括所述训练样本，所述训练数据用于所述第二节点对所述第一模型进行再训练；所述第一节点基于所述参数信息获取所述模型集；其中，所述训练数据的参数信息包括所述训练数据的数量和分布信息，所述训练数据的数量和分布信息用于获取所述模型集的多个模型以及每个模型的训练方式。3.如权利要求2所述的方法，其特征在于，所述第一节点接收所述第二节点发送的训练数据的参数信息，包括：所述第一节点向所述第二节点发送参数请求；所述第一节点接收所述第二节点响应于所述参数请求发送的训练数据的参数信息。4.如权利要求1至3中任一项所述的方法，其特征在于，所述第一节点接收第二节点发送的训练样本之前，所述方法还包括：所述第一节点向所述第二节点发送样本请求；其中，所述样本请求用于所述第二节点确定所述训练样本。5.一种模型训练方法，其特征在于，包括：第二节点将训练样本发送至第一节点，所述训练样本用于所述第一节点在预先获取的模型集中确定第一模型；所述第二节点接收所述第一节点发送的第一模型；所述第二节点对所述第一模型进行再训练，以得到目标模型。6.如权利要求5所述的方法，其特征在于，所述第二节点将训练样本发送至第一节点之前，所述方法还包括：所述第二节点向所述第一节点发送所述训练数据的参数信息，所述训练数据包括所述训练样本，所述训练数据用于所述第二节点对所述第一模型进行再训练；其中，所述训练样本的参数信息用于所述第一节点获取所述模型集，所述训练样本的参数信息包括所述训练样本的数量和分布信息，所述训练样本的数量和分布信息用于获取所述模型集中多个模型以及每个模型的训练方式。7.如权利要求6所述的方法，其特征在于，所述第二节点向所述第一节点发送所述训练数据的参数信息，包括：所述第二节点接收所述第一节点发送的参数请求；所述第二节点响应于所述参数请求，确定所述训练数据的参数信息，并将所述参数信息发送至所述第一节点。8.如权利要求5至7中任一项所述的方法，其特征在于，所述第二节点将训练样本发送至第一节点之前，所述方法还包括：
所述第二节点接收所述第一节点发送的样本请求；所述第二节点基于所述样本请求，确定所述训练样本。9.一种模型训练方法，其特征在于，包括：第一节点确定第一模型的训练策略；第一节点向第二节点发送所述第一模型的训练策略，所述训练策略用于所述第二节点对所述第一模型进行再训练，以得到目标模型；其中，所述第一模型包括多个网络层，每一网络层为第一网络层或第二网络层，所述第一网络层的权值在所述再训练过程中保持不变，所述第二网络层的权值在所述再训练过程中进行更新；所述训练策略用于确定所述第一网络层和所述第二网络层。10.如权利要求9所述的方法，其特征在于，所述第一节点确定第一模型的训练策略之前，所述方法还包括：所述第一节点向所述第二节点发送再训练请求；所述第一节点接收所述第二节点响应于所述再训练请求发送的所述第二节点的节点信息；其中，所述第二节点的节点信息用于确定所述第一模型的训练策略，所述第二节点的节点信息包括如下至少一项：所述第二节点再训练所需的资源信息；所述第二节点的算力信息；训练数据的参数信息，所述训练数据用于所述第二节点对所述第一模型进行再训练。11.如权利要求9所述的方法，其特征在于，所述训练策略包括训练优先级信息，所述训练优先级信息用于确定每一网络层为所述第一网络层或所述第二网络层的优先级。12.如权利要求9所述的方法，其特征在于，所述第一节点向第二节点发送所述第一模型的训练策略之后，所述方法还包括：所述第一节点接收所述第二节点发送的目标模型；所述目标模型包括编码模型和解码模型，所述编码模型用于所述第一节点对第一信道数据进行压缩以得到第二信道数据，并将所述第二信道数据发送至所述第二节点；所述解码模型用于所述第二节点对所述第二信道数据进行解码，以获取所述第一信道数据。13.如权利要求9至12中任一项所述的方法，其特征在于，所述第一节点确定第一模型的训练策略之前，所述方法还包括：所述第一节点接收所述第二节点发送的训练样本；所述第一节点基于所述训练样本，在预先获取的模型集中确定第一模型；所述第一节点将所述第一模型发送至所述第二节点。14.一种...

【专利技术属性】
技术研发人员：李刚，温子睿，韩双锋，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：