模型训练方法、装置、终端设备及存储介质制造方法及图纸

本申请实施例提供一种模型训练方法、装置、终端设备及存储介质，该模型训练方法包括：将第一样本中的用户静态数据输入第一编码网络，得到第一样本的第一编码结果；第一样本是目标样本集合中的任一个；将第一样本中的基于用户行为的时间序列数据输入第二编码网络，得到第一样本的第二编码结果；将第一样本的编码结果和第二样本的编码结果进行组合后，输入多任务编码网络，得到第一样本的多任务预测结果；基于第二编码结果计算第二编码网络的训练损失，基于多任务预测结果计算多任务编码网络的训练损失；基于第二编码网络的训练损失和多任务编码网络的训练损失对多任务模型进行优化。本申请实施例可以提高模型的训练效果。本申请实施例可以提高模型的训练效果。本申请实施例可以提高模型的训练效果。

【技术实现步骤摘要】
模型训练方法、装置、终端设备及存储介质


[0001]本申请涉及机器学习
，具体涉及一种模型训练方法、装置、终端设备及存储介质。

技术介绍

[0002]目前，在金融营销推荐场景，通常使用传统的特征工程进行特征加工，然后将处理好的特征作为模型的输入。然而，目前的模型的训练数据一般采用的用户的静态数据，比如用户标识(identity，ID)、用户统计的数据等，导致模型的训练效果较差。

技术实现思路

[0003]本申请实施例提供一种模型训练方法、装置、终端设备及存储介质，可以提高模型的训练效果。
[0004]本申请实施例的第一方面提供了一种模型训练方法，包括：
[0005]将第一样本中的用户静态数据输入所述第一编码网络，得到所述第一样本的第一编码结果；所述第一样本是目标样本集合中的任一个；
[0006]将所述第一样本中的基于用户行为的时间序列数据输入所述第二编码网络，得到所述第一样本的第二编码结果；
[0007]将所述第一样本的编码结果和所述第二样本的编码结果进行组合后，输入所述多任务编码网络，得到所述第一样本的多任务预测结果；
[0008]计算所述第二编码网络的训练损失，计算所述多任务编码网络的训练损失；
[0009]基于所述第二编码网络的训练损失和所述多任务编码网络的训练损失对所述多任务模型进行优化。
[0010]本申请实施例的第二方面提供了一种模型训练装置，所述装置应用于多任务模型，所述多任务模型包括：第一编码网络、第二编码网络和多任务编码网络；所述装置包括：
[0011]第一编码单元，用于将第一样本中的用户静态数据输入所述第一编码网络，得到所述第一样本的第一编码结果；所述第一样本是目标样本集合中的任一个；
[0012]第二编码单元，用于将所述第一样本中的基于用户行为的时间序列数据输入所述第二编码网络，得到所述第一样本的第二编码结果；
[0013]预测单元，用于将所述第一样本的编码结果和所述第二样本的编码结果进行组合后，输入所述多任务编码网络，得到所述第一样本的多任务预测结果；
[0014]损失计算单元，用于计算所述第二编码网络的训练损失，计算所述多任务编码网络的训练损失；
[0015]优化单元，用于基于所述第二编码网络的训练损失和所述多任务编码网络的训练损失对所述多任务模型进行优化。
[0016]本申请实施例的第三方面提供了一种终端设备，包括处理器和存储器，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，所述处理器被配置用于调用所述
程序指令，执行如本申请实施例第一方面中的步骤指令。
[0017]本申请实施例的第四方面提供了一种计算机可读存储介质，其中，上述计算机可读存储介质存储用于电子数据交换的计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面中的步骤指令。
[0018]本申请实施例的第五方面提供了一种计算机程序产品，其中，上述计算机程序产品包括计算机程序，所述计算机程序包括程序指令，所述程序指令当被处理器执行时使所述处理器执行如本申请实施例第一方面中的步骤指令。
[0019]本申请实施例的模型训练方法，将第一样本中的用户静态数据输入所述第一编码网络，得到所述第一样本的第一编码结果；所述第一样本是目标样本集合中的任一个；将所述第一样本中的基于用户行为的时间序列数据输入所述第二编码网络，得到所述第一样本的第二编码结果；将所述第一样本的编码结果和所述第二样本的编码结果进行组合后，输入所述多任务编码网络，得到所述第一样本的多任务预测结果；计算所述第二编码网络的训练损失，计算所述多任务编码网络的训练损失；基于所述第二编码网络的训练损失和所述多任务编码网络的训练损失对所述多任务模型进行优化。本申请实施例中，在对多任务模型进行训练时，样本中不仅包含用户静态数据，而且包含基于用户行为的时间序列数据，考虑到多任务预测结果与用户行为的时间顺序相关，基于用户行为的时间序列数据对多任务模型进行训练，从而提高模型的训练效果。
附图说明
[0020]为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0021]图1是本申请实施例提供的一种多任务模型的结构示意图；
[0022]图2是本申请实施例提供的一种模型训练方法的流程示意图；
[0023]图3是本申请实施例提供的一种样本清洗方法的流程示意图；
[0024]图4是本申请实施例提供的一种模型训练装置的结构示意图；
[0025]图5是本申请实施例提供的一种终端设备的结构示意图。
具体实施方式
[0026]下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0027]本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。
[0028]在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本申请所描述的实施例可以与其它实施例相结合。
[0029]本申请实施例所涉及到的终端设备是具备显示能力的设备。可以是手机、平板电脑、笔记本电脑、超级移动个人计算机(ultra
‑
mobile personal computer，UMPC)、上网本、个人数字助理(personal digital assistant，PDA)、车载单元(On board Unit，OBU)、可穿戴设备(例如，手表、手环、智能头盔等)、智能家居设备(电饭煲、音响、家庭管家设备等)、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备等。
[0030]本申请实施例的模型训练方法，在对多任务模型进行训练时，样本中不仅包含用户静态数据，而且包含基于用户行为的时间序列数据，考虑到多任务预测结果与用户行为的时间顺序相关，基于用户行为的时间序列数据对多任务模型进行训练，从而提本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种模型训练方法，其特征在于，所述方法应用于多任务模型，所述多任务模型包括：第一编码网络、第二编码网络和多任务编码网络；所述方法包括：将第一样本中的用户静态数据输入所述第一编码网络，得到所述第一样本的第一编码结果；所述第一样本是目标样本集合中的任一个；将所述第一样本中的基于用户行为的时间序列数据输入所述第二编码网络，得到所述第一样本的第二编码结果；将所述第一样本的编码结果和所述第二样本的编码结果进行组合后，输入所述多任务编码网络，得到所述第一样本的多任务预测结果；基于所述第二编码结果计算所述第二编码网络的训练损失，基于所述多任务预测结果计算所述多任务编码网络的训练损失；基于所述第二编码网络的训练损失和所述多任务编码网络的训练损失对所述多任务模型进行优化。2.根据权利要求1所述的方法，其特征在于，所述将第一样本中的用户静态数据输入所述第一编码网络，得到所述第一样本的第一编码结果，包括：将所述第一样本中的用户静态数据输入所述第一编码网络，所述第一编码网络用于将所述用户静态数据进行嵌入编码，以映射到d维的向量空间，得到所述第一样本的第一编码结果，所述第一编码结果为d维编码张量，d为大于或等于2的整数。3.根据权利要求1所述的方法，其特征在于，所述将所述第一样本中的基于用户行为的时间序列数据输入所述第二编码网络，得到所述第一样本的第二编码结果，包括：基于所述第一样本中的基于用户行为的时间序列数据生成输入数据、正标签数据和负标签数据；其中，所述正标签数据为所述输入数据在时间维度上往前偏移一位，所述负标签数据与所述正标签数据在每个时间维度上均不相同；将所述输入数据、所述正标签数据和所述负标签数据输入所述第二编码网络，所述第二编码网络用于将所述输入数据、正标签数据和负标签数据分别进行嵌入编码，以映射到d维的向量空间，得到所述输入数据对应的d维编码张量、所述正标签数据对应的d维编码张量和所述负标签数据对应的d维编码张量，d为大于或等于2的整数；将所述输入数据对应的d维编码张量进行自注意力编码，得到所述第一样本的第二编码结果，所述第二编码结果为d维编码张量。4.根据权利要求3所述的方法，其特征在于，所述基于所述第二编码结果计算所述第二编码网络的训练损失，包括：基于所述第一样本的第二编码结果、所述正标签数据对应的d维编码张量和所述负标签数据对应的d维编码张量计算所述第二编码网络的训练损失。5.根据权利要求1所述的方法，其特征在于，所述多任务编码网络包括顺序连接的R个任务编码子网络，每个任务编码子网络包括自注意力层和全连接层，当前顺序的任务编码子网络的自注意力层的输出连接下一顺序的任务编码子网络自注意力层的输入；所述将所述第一样本的编码结果和所述第二样本的编码结果进行组合后，输入所述多任务编码网络，得到所述第一样本的多任务预测结果，包括：将所述第一样本的编码结果和所述第二样本的编码结果进行组合，得到合并编码结果；
将所述合并编码结果分别输入所述R个任务编码子网络的自注意力层，所述R个任务编码子网络的全连接层分别输出R个预测结果，R为大于或等于2的整数。6.根据权利要求5所述的方法，其特征在于，所述基于所述多任务预测结果计算所述多任务编码网络的训练损失，包括：基于每个任务编码子网络的全连接层输出的预测结果与对应的标签计算每个任务编码子网络的损失，将R个任务编码子网络的损...

【专利技术属性】
技术研发人员：黄钢，孔涛涛，
申请(专利权)人：OPPO重庆智能科技有限公司，
类型：发明
国别省市：