预测模型的确定方法、装置、电子设备及存储介质制造方法及图纸

本公开关于一种预测模型的确定方法、装置、电子设备及存储介质，以自动确定预测模型中嵌入层的输出维度，从而从整体上有效提升预测模型的性能。该方法包括：获取第一用户行为信息；根据第一用户行为信息训练初始网络模型，得到至少一个子网络；初始网络模型包括至少一个嵌入层；初始网络模型中嵌入层的初始输出维度为候选输出维度中的最大输出维度；子网络用于预测用户处理资源的概率；输出维度组合包括对应子网络中每个嵌入层的输出维度；确定至少一个子网络中的目标子网络；目标子网络的预测精度大于或等于阈值；根据目标子网络的嵌入层的输出维度组合，确定预测模型；预测模型用于预测用户处理资源的概率。

【技术实现步骤摘要】
预测模型的确定方法、装置、电子设备及存储介质
本公开涉及深度学习
，尤其涉及预测模型的确定方法、装置、电子设备及存储介质。
技术介绍
近些年，基于深度学习的预测模型已经在推荐领域占据主导地位，该预测模型主要目标是根据用户的信息(如：用户的标识、用户的年龄、用户的性别、用户的学历、用户的位置、用户设备的型号等信息)和资源的信息(如：资源标识、资源的类别等)等信息来对用户的行为进行预测。通常，预测模型都会在输入层到全连接层之间加入嵌入(embedding)层完成高维稀疏特征向量到低维特征向量(如：浮点型向量)的转换。嵌入层是整个预测模型的核心特征抽取模块，因此，嵌入层的设计对预测模型的预测性能起到至关重要的作用。目前，对于嵌入层的设计主要采用人工设计方式，即嵌入层的输入维度与输入该嵌入层的高维稀疏特征向量的维度一致，嵌入层的输出维度一般人为设置一个固定的数值。但由于一个预测模型中会有很多嵌入层，而且每个嵌入层对应的输入该嵌入层的高维稀疏特征向量的维度一般也不同，这就会造成嵌入层固定且统一的输出维度对于每个嵌入层未必是最优的。例如：对于本文档来自技高网...

【技术保护点】
1.一种预测模型的确定方法，其特征在于，所述方法包括：/n获取第一用户行为信息，所述第一用户行为信息包括用户的信息和资源的信息；/n根据所述第一用户行为信息训练初始网络模型，得到至少一个子网络；所述初始网络模型包括至少一个嵌入层；所述初始网络模型中嵌入层的初始输出维度为候选输出维度中的最大输出维度；所述子网络用于预测用户处理资源的概率；不同子网络的嵌入层的输出维度组合不同；所述输出维度组合包括对应子网络中每个嵌入层的输出维度；/n确定所述至少一个子网络中的目标子网络；所述目标子网络的预测精度大于或等于阈值；/n根据所述目标子网络的嵌入层的输出维度组合，确定所述预测模型；所述预测模型用于预测用户...

【技术特征摘要】
1.一种预测模型的确定方法，其特征在于，所述方法包括：
获取第一用户行为信息，所述第一用户行为信息包括用户的信息和资源的信息；
根据所述第一用户行为信息训练初始网络模型，得到至少一个子网络；所述初始网络模型包括至少一个嵌入层；所述初始网络模型中嵌入层的初始输出维度为候选输出维度中的最大输出维度；所述子网络用于预测用户处理资源的概率；不同子网络的嵌入层的输出维度组合不同；所述输出维度组合包括对应子网络中每个嵌入层的输出维度；
确定所述至少一个子网络中的目标子网络；所述目标子网络的预测精度大于或等于阈值；
根据所述目标子网络的嵌入层的输出维度组合，确定所述预测模型；所述预测模型用于预测用户处理资源的概率。


2.根据权利要求1所述的确定方法，其特征在于，所述至少一个子网络对应一个超网络；所述根据所述第一用户行为信息训练初始网络模型，得到至少一个子网络，包括：
确定所述初始网络模型的多个候选输出维度组合；
根据所述第一用户行为信息，对每个候选输出维度组合对应的所述初始网络模型进行训练，得到所述超网络；
根据所述候选输出维度，确定所述超网络的每个嵌入层的输出维度，以得到所述至少一个子网络。


3.根据权利要求2所述的确定方法，其特征在于，
所述多个候选输出维度组合，包括：第一候选输出维度组合、第二候选输出维度组合和第三候选输出维度组合；所述第一候选输出维度组合中每个候选输出维度为所述候选输出维度中的最大维度；所述第二候选输出维度组合中每个候选输出维度为所述候选输出维度中的最小维度；所述第三候选输出维度组合中每个候选输出维度为随机从所述候选输出维度中确定的输出维度。


4.根据权利要求3所述的确定方法，其特征在于，所述初始网络模型还包括至少一个动态映射层，所述至少一个动态映射层与所述至少一个嵌入层一一对应；所述动态映射层用于将对应的嵌入层的输出维度映射为预设维度。


5.根据权利要求1-4任一项所述的确定方法，其特征在于，所述确定所述至少一个子网络中的目标子网络，包括：
确定多个输出维度组合以及每个输出维度组合对应的子网络的预测精度；所述输出维度组合包括从所述候选输出维度中为子网络中每个嵌入层确定的输出维度；
将数值最大的预测精度对应的子网络作为所述目标子网络。


6.根据权利要求5所述的确定方法，其特征在于，所述确定多个输出维度组合以及每个输出维度组合对应的子网络的...

【专利技术属性】
技术研发人员：李吉祥，贾纪元，杨森，刘霁，
申请(专利权)人：北京达佳互联信息技术有限公司，
类型：发明
国别省市：北京;11