深度神经网络及其训练方法、装置、电子设备及存储介质制造方法及图纸

本申请实施例公开了一种深度神经网络及其训练方法、装置、电子设备及存储介质，所述深度神经网络包括：输入层网络，用于对输入特征进行建模，得到底层特征；隐藏层网络，用于对底层特征进行建模，以提取高阶特征；预测层网络，包括单文档预测子网络、文档列表预测子网络、单文档预测节点和文档列表预测节点，单文档预测子网络用于基于单文档方式对高阶特征进行打分预测并将预测结果通过单文档预测节点输出，文档列表预测子网络用于基于文档列表方式对高阶特征进行打分预测，并将预测结果通过文档列表预测节点输出。本申请实施例可以同时提高全局评估指标和列表评估指标。

DEEP NEURAL NETWORK AND ITS TRAINING METHODS, EQUIPMENT, ELECTRONIC EQUIPMENT AND STORAGE MEDIA

【技术实现步骤摘要】
深度神经网络及其训练方法、装置、电子设备及存储介质
本申请涉及人工智能
，特别是涉及一种用于排序学习的深度神经网络及其训练方法、装置、电子设备及存储介质。
技术介绍
排序学习(LearningToRank，LTR)是机器学习技术在搜索排序场景中的典型应用，是推荐、搜索以及广告的核心算法，对用户体验等方面有重要影响。排序学习通过有监督学习方法，利用有标记的训练样本训练排序打分模型，对用户请求和被检索文档之间的相关度进行评估，从而将搜索结果进行合理的排序。根据模型结构划分，可以分为线性模型、树模型、深度学习模型，以及他们之间的组合模型，而深度学习模型为现阶段排序学习的主流模型。在排序学习场景下，常用的评估指标可以被分为两类：全局评估指标和列表评估指标。全局评估指标旨在评估模型对于每一个用户请求和被检索文档之间的相关性是否被合理的估计，通常使用全局AUC(AreaUnderCurve，ROC曲线下面积)和RMSE(RootMeanSquaredError，均方根误差)来进行衡量。而列表评估指标旨在评估最终模型给出的排序结果是否合理，通常使用MAP(MeanAveragePrecisi本文档来自技高网...

【技术保护点】
1.一种用于排序学习的深度神经网络，其特征在于，包括：输入层网络，用于对输入特征进行建模，得到底层特征；隐藏层网络，用于对所述底层特征进行建模，以提取高阶特征；预测层网络，包括单文档预测子网络、文档列表预测子网络、单文档预测节点和文档列表预测节点，所述单文档预测子网络用于基于单文档方式对所述高阶特征进行打分预测并将预测结果通过单文档预测节点输出，所述文档列表预测子网络用于基于文档列表方式对所述高阶特征进行打分预测，并将预测结果通过文档列表预测节点输出。

【技术特征摘要】
1.一种用于排序学习的深度神经网络，其特征在于，包括：输入层网络，用于对输入特征进行建模，得到底层特征；隐藏层网络，用于对所述底层特征进行建模，以提取高阶特征；预测层网络，包括单文档预测子网络、文档列表预测子网络、单文档预测节点和文档列表预测节点，所述单文档预测子网络用于基于单文档方式对所述高阶特征进行打分预测并将预测结果通过单文档预测节点输出，所述文档列表预测子网络用于基于文档列表方式对所述高阶特征进行打分预测，并将预测结果通过文档列表预测节点输出。2.一种如权利要求1所述的深度神经网络的训练方法，其特征在于，包括：将训练数据分别组织为单文档方式对应的第一训练样本和文档列表方式对应的第二训练样本；随机初始化深度神经网络的输入层网络参数、隐藏层网络参数和预测层网络参数，所述预测层网络参数包括单文档预测子网络参数和文档列表预测子网络参数；根据所述第一训练样本和所述第二训练样本，交替使用单文档方式和文档列表方式对所述深度神经网络进行训练，以更新与当前训练方式对应的预测层网络参数、所述隐藏层网络参数和所述输入层网络参数，直至训练完成，得到多目标排序学习模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述第一训练样本和所述第二训练样本，交替使用单文档方式和文档列表方式对所述深度神经网络进行训练，以更新与当前训练方式对应的预测层网络参数、所述隐藏层网络参数和所述输入层网络参数，直至训练完成，得到多目标排序学习模型，包括：将所述第一训练样本和第二训练样本划分为多个训练批次，其中每个训练批次包括多个第一训练样本或多个第二训练样本；根据所述多个训练批次，交替使用单文档方式和文档列表方式对所述深度神经网络进行训练，以更新与当前训练方式对应的预测层网络参数、所述隐藏层网络参数和所述输入层网络参数，直至训练完成，得到多目标排序学习模型。4.根据权利要求3所述的方法，其特征在于，所述根据所述多个训练批次，交替使用单文档方式和文档列表方式对所述深度神经网络进行训练，以更新与当前训练方式对应的预测层网络参数、所述隐藏层网络参数和所述输入层网络参数，直至训练完成，得到多目标排序学习模型，包括：从所述多个训练批次中随机选取一个训练批次，并基于所述训练批次中的训练样本确定当前训练方式；若所述当前训练方式为单文档方式，则基于所述训练批次使用单文档方式对所述深度神经网络进行训练，并从单文档预测节点获取第一输出结果，基于所述第一输出结果使用反向传播方式更新所述单文档预测子网络参数、所述隐藏层网络参数和所述输入层网络参数；若所述当前训练方式为文档列表方式，则基于所述训练批次使用文档列表方式对所述深度神经网络进行训练，并从文档列表预测节点获取第二输出结果，基于所述第二输出结果使用反向传播方式更新所述文档列表预测子网络参数、隐藏层网络参数和输入层网络参数；再次执行上述选取训练批次并基于选取的训练批次对所述深度神经网络进行训练的操作，直至训练完成，得到多目标排序学习模型。5.根据权利要求3所述的方法，其特征在于，所述将所述第一训练样本和第二训练样本划分为多个训练批次，包括：按照第一数量，将所述第一训练样本组织为第一训练批次；按照第二...

【专利技术属性】
技术研发人员：曹雪智，祝升，汪非易，汤彪，谢睿，王仲远，
申请(专利权)人：北京三快在线科技有限公司，
类型：发明
国别省市：北京,11