信息选取模型的训练方法、信息选取方法及装置制造方法及图纸

本申请公开了一种信息选取模型的训练方法、信息选取方法及装置，方法包括：根据样本集合从每个特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量，根据每个特征域的目标候选特征向量获得该特征域下每个特征的初始特征向量；基于样本集合以及每个特征的初始特征向量，训练初始模型，并在训练过程中更新每个特征的初始特征向量得到每个特征的目标特征向量；基于样本集合以及每个特征的目标特征向量，对初始模型进行训练，得到目标模型，以基于目标模型从多个待选取信息中选取目标信息。通过采用上述方法，实现为每个特征分配合理的特征向量，使基于各特征分配的特征向量训练得到目标模型占用的内存较小，从而有效节省了内存开销。效节省了内存开销。效节省了内存开销。

【技术实现步骤摘要】
信息选取模型的训练方法、信息选取方法及装置


[0001]本申请涉及计算机
，更具体地，涉及一种信息选取模型的训练方法、信息选取方法及装置。

技术介绍

[0002]目前，主流信息选取系统都会使用大规模深度学习模型来选择用户感兴趣的内容。这些模型的输入由上百个特征域组成，比如“性别”、“年龄”、“信息ID”、“信息生成作者”等。由于每个特征域内包含不同数量的特征ID，有些特征域内包含几个特征ID，比如“性别”这个特征域只包含3个特征ID：{男，女，未知}，而有些特征域内可能包含上千万特征ID，比如“信息ID”，在利用上述的特征域训练深度学习模型时，需要为特征域中的每个特征ID分配一定长度的特征向量。
[0003]专利技术人经研究发现，大部分深度学习模型，会针对不同的特征ID分配相同的特征向量长度，然而不同的特征域，包含的信息量不一样，同一个特征域下的特征ID，在模型中出现的频次也不一样。因此若为各特征ID设置统一的向量长度来训练信息选取模型会使得最终训练得到的信息选取模型会占用大量的内存，因而会造成内存浪费。

技术实现思路

[0004]鉴于上述问题，本申请实施例提出了一种信息选取模型的训练方法、信息选取方法及装置，以改善上述问题。
[0005]第一方面，本申请实施例提供了一种信息选取模型的训练方法，所述方法包括：获取样本集合、样本集合对应的特征域以及每个特征域对应的多个候选特征向量，其中，样本集合中的训练样本包括是否被选取的标签信息和多个样本特征，每个样本特征分别属于一个所述特征域，各所述候选特征向量的向量长度不同；根据所述样本集合从每个特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量，根据每个特征域的目标候选特征向量获得该特征域下每个特征的初始特征向量；基于所述样本集合以及每个特征的初始特征向量，训练初始模型，并在训练过程中更新每个特征的初始特征向量得到每个特征的目标特征向量；基于所述样本集合以及每个特征的目标特征向量，对所述初始模型进行训练，得到目标模型，以基于所述目标模型从多个待选取信息中选取目标信息。
[0006]第二方面，本申请实施例提供了一种信息选取方法，所述方法包括：获取多个待选取信息；基于上述信息选取模型的训练方法获得的目标模型从多个所述待选取信息中选取目标信息。
[0007]第三方面，本申请实施例提供了一种信息选取模型的训练装置，所述装置包括数据获取模块、第一特征向量获取模块、第二特征向量获取模块以及模型训练模块。数据获取模块，用于获取样本集合、样本集合对应的特征域以及每个特征域对应的多个候选特征向量，其中，样本集合中的训练样本包括是否被选取的标签信息和多个样本特征，每个样本特征分别属于一个所述特征域，各所述候选特征向量的向量长度不同；第一特征向量获取模
块，用于根据所述样本集合从每个特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量，根据每个特征域的目标候选特征向量获得该特征域下每个特征的初始特征向量；第二特征向量获取模块，用于基于所述样本集合以及每个特征的初始特征向量，训练初始模型，并在训练过程中更新每个特征的初始特征向量得到每个特征的目标特征向量；模型训练模块，用于基于所述样本集合以及每个特征的目标特征向量，对所述初始模型进行训练，得到目标模型，以基于所述目标模型从多个待选取信息中选取目标信息。
[0008]在一种可实施方式中，每个候选特征向量分别对应有初始权重参数，第一特征向量获取模块包括：权重参数更新子模块和特征向量获取子模块。权重参数更新子模块，用于基于所述样本集合中的第一样本集、每个特征域对应的多个候选特征向量和各所述候选特征向量的初始权重参数，训练所述初始模型，在训练过程中更新每个特征域对应的各候选特征向量的权重参数；特征向量获取子模块，用于根据每个特征域对应的更新后的各候选特征向量的权重参数，从该特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量。
[0009]在一种可实施方式中，第二特征向量获取模块，还用于基于所述样本集合中的第二样本集以及每个特征的初始特征向量，训练所述初始模型，并在训练过程中更新所述初始模型的模型参数得到更新后的初始模型以及在训练过程中基于特征向量选取算法更新每个特征的初始特征向量；若更新后的初始模型收敛，将更新后的每个特征的初始特征向量确定为该特征的目标特征向量；若更新后的初始模型未收敛，则返回执行基于训练样本、每个特征域对应的多个候选特征向量和各所述候选特征向量的初始权重参数训练初始模型，在训练过程中更新每个特征域对应的各候选特征向量的权重参数，直至更新后的初始模型收敛时，将更新后的每个特征的初始特征向量确定为该特征的目标特征向量。
[0010]在一种可实施方式中，权重参数更新子模块，还用于对各所述候选特征向量进行线性变化处理，得到线性变化处理后的候选特征向量，其中，线性变化处理后的各候选特征向量的向量长度相同；基于样本集合中的第一样本集、每个特征域对应的多个线性变化处理后的候选特征向量和各所述候选特征向量的初始权重参数，训练所述初始模型，并在训练过程中基于神经网络搜索算法更新每个特征域对应的各候选特征向量的权重参数。
[0011]在一种可实施方式中，特征向量获取子模块，还用于获取每个特征域对应的更新后的各候选特征向量的权重参数中最大权重参数对应的候选特征向量，作为该特征域的目标候选特征向量。
[0012]在一种可实施方式中，模型训练模块，包括向量转换子模块以及模型训练子模块。向量转换子模块，用于根据每个特征的特征向量将所述样本集合中的训练样本的样本特征进行向量转换，得到各训练样本的样本特征向量；模型训练子模块，用于根据各训练样本的样本特征向量和各训练样本的标签信息输入到所述初始模型中进行训练，直至模型收敛时得到目标模型。
[0013]在一种可实施方式中，第一特征向量获取模块，还用于将每个特征域的目标候选特征向量作为该特征域下每个特征的初始特征向量。
[0014]第四方面，本申请实施例提供了一种信息选取装置，所述装置包括：信息获取模块和信息选取模块。信息获取模块，用于获取多个待选取信息；信息选取模块，用于基于上述的信息选取模型训练装置获得的目标模型从多个所述待选取信息中选取目标信息。
[0015]在一种可实施方式中，信息选取模块包括向量转换子模块、概率获得子模块以及信息选取子模块。向量转换子模块，用于根据每个特征的目标特征向量将多个待选取信息的特征进行向量转换，得到每个待选取信息的特征向量；概率获得子模块，用于将各所述待选取信息的特征向量分别输入至所述目标模型，得到各待选取信息的选取概率；信息选取子模块，用于基于各所述待选取信息的选取概率从多个待选取信息中选取目标信息。
[0016]第五方面，本申请实施例还提供了一种电子设备，包括：处理器；存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时，实现如上述的信息选取模型的训练方法或信息选取方法。
[0017]第六方面，本申请实施例提供了一种计算机可读存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息选取模型的训练方法，其特征在于，包括：获取样本集合、样本集合对应的特征域以及每个特征域对应的多个候选特征向量，其中，样本集合中的训练样本包括是否被选取的标签信息和多个样本特征，每个样本特征分别属于一个所述特征域，各所述候选特征向量的向量长度不同；根据所述样本集合从每个特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量，根据每个特征域的目标候选特征向量获得该特征域下每个特征的初始特征向量；基于所述样本集合以及每个特征的初始特征向量，训练初始模型，并在训练过程中更新每个特征的初始特征向量得到每个特征的目标特征向量；基于所述样本集合以及每个特征的目标特征向量，对所述初始模型进行训练，得到目标模型，以基于所述目标模型从多个待选取信息中选取目标信息。2.根据权利要求1所述的方法，其特征在于，每个候选特征向量分别对应有初始权重参数，根据所述样本集合从每个特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量，包括：基于所述样本集合中的第一样本集、每个特征域对应的多个候选特征向量和各所述候选特征向量的初始权重参数，训练所述初始模型，在训练过程中更新每个特征域对应的各候选特征向量的权重参数；根据每个特征域对应的更新后的各候选特征向量的权重参数，从该特征域对应的多个候选特征向量中确定该特征域的目标候选特征向量。3.根据权利要求2所述的方法，其特征在于，基于所述样本集合、每个特征的初始特征向量，训练所述初始模型，并在训练过程中更新每个特征的初始特征向量得到每个特征的目标特征向量，包括：基于所述样本集合中的第二样本集以及每个特征的初始特征向量，训练所述初始模型，并在训练过程中更新所述初始模型的模型参数得到更新后的初始模型以及在训练过程中基于特征向量选取算法更新每个特征的初始特征向量；若更新后的初始模型收敛，将更新后的每个特征的初始特征向量确定为该特征的目标特征向量；若更新后的初始模型未收敛，则返回执行基于训练样本、每个特征域对应的多个候选特征向量和各所述候选特征向量的初始权重参数训练初始模型，在训练过程中更新每个特征域对应的各候选特征向量的权重参数，直至更新后的初始模型收敛时，将更新后的每个特征的初始特征向量确定为该特征的目标特征向量。4.根据权利要求2所述的方法，其特征在于，基于训练样本、每个特征域对应的多个候选特征向量和各所述候选特征向量的初始权重参数，训练所述初始模型，在训练过程中更新每个特征域对应的各候选特征向量的权重参数，包括：对各所述候选特征向量进行线性变化处理，得到线性变化处理后的候选特征向量，其中，线性变化处理后的各候选特征向量的向量长度相同；基于样本集合中的第一样本集、每个特征域对应的多个线性变化处理后的候选特征向量和各所述候选特征向量的初始权重参数，训练所述初始模型，并在训练过程中基于神经网络搜索算法更新每个特征域对应的各候选特征向量的权重参数。
5.根据权利要求2所述的方法，其特征在于，根据每个特征域对应的更新后的各候选特征向量的权重参数，从该特征域对应的多个候选特征向量中确定该特征域的目标特征向量，包括：获取每个特征域对应的更新后的各候选特征向量的权重参数中最大权重参数对应的候选特征向量，作为该特征域的目标候选特征...

【专利技术属性】
技术研发人员：杨月奎，张敏，伍海洋，唐洋洋，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：