搜索结果排序模型生成方法和装置制造方法及图纸

本申请实施例公开了搜索结果排序模型生成方法和装置。该方法的一具体实施方式包括：利用稳定性预测模型得到用于生成搜索结果排序模型的神经网络的训练样本的稳定性预测结果，以及基于稳定性预测结果和训练样本的原始标注信息，得到训练样本的标注信息；利用该训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。搜索结果排序模型基于利用训练样本和包含稳定性预测结果的标注信息对用于生成搜索结果排序模型的神经网络进行训练而得到，使得搜索结果排序模型在对搜索结果进行排序时，不仅考虑搜索结果的点击情况，还会考虑搜索结果的稳定性，排序结果更加精确。

【技术实现步骤摘要】
搜索结果排序模型生成方法和装置
本申请涉及计算机领域，具体涉及搜索领域，尤其涉及搜索结果排序模型生成方法和装置。
技术介绍
目前，在一些搜索引擎中，可以利用搜索结果排序模型对搜索结果进行排序。搜索结果排序模型利用训练样本和标注信息对用于生成搜索结果排序模型的神经网络进行训练而生成，目前，通常训练样本的标注信息为搜索结果的点击情况，得到的搜索结果排序模型根据点击情况进行排序。
技术实现思路
本申请实施例提供了搜索结果排序模型生成方法和装置。第一方面，本申请实施例提供了搜索结果排序模型生成方法，该方法包括：利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于稳定性预测结果和所述训练样本的原始标注信息，得到训练样本的标注信息；利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。第二方面，本申请实施例提供了搜索结果排序模型生成装置，该装置包括：标注单元，配置用于利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于稳定性预测结果和训练样本的原始标注信息，得到训练样本的标注信息；训练单元，配置用于利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。本申请实施例提供的搜索结果排序模型生成方法和装置，通过利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于稳定性预测结果和该训练样本的原始标注信息，得到训练样本的标注信息；利用该训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。搜索结果排序模型基于利用训练样本和包含稳定性预测结果的标注信息对用于生成搜索结果排序模型的神经网络进行训练而得到，使得搜索结果排序模型在对搜索结果进行排序时，不仅考虑搜索结果的点击情况，还会考虑搜索结果的稳定性，排序结果更加精确。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1示出了可以应用于本申请的搜索结果排序模型生成方法或装置的实施例的示例性系统架构；图2示出了根据本申请的搜索结果排序模型生成方法的一个实施例的流程图；图3示出了对用于生成搜索结果排序模型的神经网络训练的一个示例性原理图；图4示出了根据本申请的搜索结果排序模型生成装置的一个实施例的结构示意图；图5示出了适于用来实现本申请实施例的服务器的计算机系统的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与有关专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1示出了可以应用于本申请的搜索结果排序模型生成方法或装置的实施例的示例性系统架构。如图1所示，系统架构包括终端101、网络102、服务器103、网络104、服务器105。网络102可以为有线通信网络或无线通信网络。网络104为有线通信网络。终端101可以是具有显示屏并且支持网络通信的各种电子设备，包括但不限于智能手机、平板电脑、电子书阅读器、膝上型便携计算机和台式计算机等等。服务器103可以为提供搜索服务的服务器，服务器103可以接收包含终端101的用户输入的搜索式的搜索请求，向终端101返回该搜索式对应的排序后的多个搜索结果，在终端101上的浏览器或具有搜索功能的APP中呈现给终端101的用户搜索结果，终端101的用户可以通过点击搜索结果例如点击该搜索结果中的标题，跳转到搜索结果对应的页面，然后，在终端101上的浏览器或具有搜索功能的APP中呈现给终端101的用户呈现跳转到的页面中的页面内容。服务器105可以从服务器103获取到搜索记录，一条搜索记录包括在一次搜索中用户输入的搜索式、向该用户返回的该搜索式对应的一个搜索结果、用户是否点击该搜索结果等。服务器105可以基于获取到的搜索记录，得到用于生成搜索结果排序模型的神经网络的训练样本，生成包含稳定性预测结果的用于生成搜索结果排序模型的神经网络的训练样本的标注信息，利用训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。搜索结果排序模型可以设置在服务器103上对搜索结果进行排序。请参考图2，其示出了根据本申请的搜索结果排序模型生成方法的一个实施例的流程。本申请实施例所提供的搜索结果排序模型生成方法可以由服务器(例如图1中的服务器105)执行。该方法包括以下步骤：步骤201，基于训练样本的稳定性预测结果和原始标注信息，得到训练样本的标注信息。在本实施例中，用于生成搜索结果排序模型的神经网络可以为用于生成搜索结果排序模型的深度神经网络(DeepNeuralNetwork，简称DNN)。一个用于生成搜索结果排序模型的神经网络的训练样本包括：一个搜索式、该搜索式对应的一个搜索结果。在本实施例中，稳定性预测模型可以预先通过利用用于生成稳定性预测模型的神经网络的训练样本和用于生成稳定性预测模型的神经网络的训练样本的标注信息对用于生成稳定性预测模型的神经网络进行训练而得到。用于生成稳定性预测模型的神经网络可以为用于生成稳定性预测模型的深度神经网络。用于生成稳定性预测模型的神经网络的一个训练样本包括：一个搜索式、该搜索式对应的一个搜索结果。在对用于生成稳定性预测模型的神经网络的一个训练样本进行标注，得到该训练样本的标注信息时，可以根据该训练样本中的搜索结果在多个时间段例如多个月中的该搜索结果的点击情况的一致程度，对该训练样本进行标注，得到该训练样本的标注信息。当多个时间段该搜索结果均被点击，则多个时间段该搜索结果的点击情况的一致，该训练样本的标注信息为稳定样本。当多个时间段该搜索结果在至少一个时间段未被点击，则多个时间段该搜索结果的点击情况的不一致，该训练样本的标注信息为不稳定样本。在利用一个用于生成稳定性预测模型的神经网络的训练样本和标注信息对该用于生成稳定性预测模型的神经网络进行训练时，可以生成输入向量，输入向量包括：表示该训练样本中的搜索式的分量、表示该训练样本中的搜索结果的分量，表示该训练样本中的搜索式的分量可以基于该搜索式中的关键词的词向量而生成，表示该训练样本中的搜索结果的分量可以基于该搜索结果的标题中的关键词的词向量而生成。将该输入向量输入到用于生成稳定性预测模型的神经网络，得到预测信息，计算出使得预测信息和标注信息的差异程度最小的用于生成稳定性预测模型的神经网络的参数，将用于生成稳定性预测模型的神经网络的当前的网络参数更新为计算出的用于生成稳定性预测模型的神经网络的网络参数。在本实施例中，一个用于生成搜索结果排序模型的神经网络的训练样本的原始标注信息可以为正样本或负样本。正样本表示在利用该用于生成搜索结果排序模型的神经网络的训练样本中的搜索式进行搜索时，该用于生成搜索结果排序模型的神本文档来自技高网...

【技术保护点】
一种搜索结果排序模型生成方法，包括：利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于所述稳定性预测结果和所述训练样本的原始标注信息，得到所述训练样本的标注信息；利用所述训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。

【技术特征摘要】
1.一种搜索结果排序模型生成方法，包括：利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于所述稳定性预测结果和所述训练样本的原始标注信息，得到所述训练样本的标注信息；利用所述训练样本和训练样本的标注信息对用于生成搜索结果排序模型的神经网络进行训练，得到搜索结果排序模型。2.根据权利要求1所述的方法，用于生成搜索结果排序模型的神经网络的训练样本的标注信息包括以下之一：稳定正样本、不稳定样本、稳定负样本。3.根据权利要求2所述的方法，稳定性预测模型包括：稳定性初步预测子模型、稳定性综合预测子模型，所述稳定性初步预测子模型通过预先对用于生成稳定性初步预测子模型的深度神经网络进行训练而得到；以及所述方法还包括：获取满足预设条件的样本，所述预设条件包括：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；利用稳定性初步预测子模型对满足预设条件的样本进行稳定性预测，得到稳定性预测信息；基于满足预设条件的样本，生成多个用于生成稳定性综合预测子模型的决策树的训练样本和标注信息，其中，决策树的训练样本包括：所述稳定性预测信息、满足预设条件的样本在所述决策树的训练样本对应的共现时间段内的搜索特征，决策树的训练样本的标注信息包括以下之一：稳定样本、不稳定样本；利用决策树的训练样本和标注信息对决策树进行训练，得到稳定性综合预测子模型。4.根据权利要求3所述的方法，满足预设条件的样本在所述决策树的训练样本对应的共现时间段内的搜索特征包括：满足预设条件的样本中的搜索式在所述共现时间段内出现的次数、所述搜索式在所述共现时间段内出现的天数、满足预设条件的样本中的搜索结果在所述共现时间段内被点击的次数。5.根据权利要求4所述的方法，所述方法还包括：创建用于生成稳定性初步预测子模型的深度神经网络；获取用于生成稳定性初步预测子模型的深度神经网络的训练样本，用于生成稳定性初步预测子模型的深度神经网络的训练样本满足以下条件：在多个时间段中共现时间段的数量大于数量阈值，共现时间段为训练样本中的搜索式与所述搜索式对应的搜索结果共同出现的时间段；生成用于生成稳定性初步预测子模型的深度神经网络的训练样本的标注信息，所述标注信息包括以下之一：稳定样本、不稳定样本；利用所述训练样本和标注信息，对所述深度神经网络进行训练，得到稳定性初步预测子模型。6.一种搜索结果排序模型生成装置，包括：标注单元，配置用于利用稳定性预测模型对用于生成搜索结果排序模型的神经网络的训练样本进行稳定性预测，得到所述训练样本的稳定性预测结果，以及基于所述稳定性预测结果和所...

【专利技术属性】
技术研发人员：曹宇慧，冯仕堃，朱志凡，朱丹翔，陈徐屹，何径舟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：北京,11