信息检索模型训练方法、信息检索模型训练方法、装置制造方法及图纸

本公开的实施例公开了信息检索模型训练方法、信息检索模型训练、装置、设备和介质。该方法的一具体实施方式包括：获取与目标用户对应的目标查询信息、训练文本集和未点击文本集；将训练文本集中每个训练文本和未点击文本集中每个未点击文本分别与目标查询信息进行组合，以生成训练文本对和未点击文本对，得到训练文本对集和未点击文本对集；获取预先建立的生成式对抗网络；对生成网络和判别网络进行训练，将训练后的判别网络确定为第一信息检索模型，其中，判别网络在训练过程中对生成网络采样出的未点击文本对和训练文本对集加入对应的虚拟对抗性扰动。该实施方式得到的信息检索模型可以快捷、有效的对与用户查询相关的文档进行相关性确定。档进行相关性确定。档进行相关性确定。

【技术实现步骤摘要】
信息检索模型训练方法、信息检索模型训练方法、装置


[0001]本公开的实施例涉及计算机
，具体涉及信息检索模型训练方法、信息检索模型训练方法、装置、电子设备和计算机可读介质。

技术介绍

[0002]信息检索系统会在收到用户查询的情况下，对文档列表进行检索和排序，把相关性最高的文档排在前面，满足用户的信息需求,提高用户点击率。这样的检索系统被广泛用于各种应用中，包括但不限于网页搜索、产品推荐、文本检索、个性化广告和问题解答。目前，常常采用将生成式对抗网络应用于信息检索系统中。
[0003]然而，目前信息检索系统经常会存在如下技术问题：被点击文档一般认为是与用户查询相关较高的数据，代表了用户的偏好，而非点击文档一般认为是与用户查询相关性较低的数据。尽管非点击文档通常比点击文档要多，但许多非点击文档是冗余的与低质量的，无法为提高信息检索模型提供有效的帮助。需求一种可以有效的方法来确定出高质量的非点击文档以及有效的对与上述用户查询相关的文档进行相关性确定。除此之外，上述信息检索系统在训练过程中可能存在由于训练数据的数量太少会导致模型出现过本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种信息检索模型训练方法，包括：获取与目标用户对应的目标查询信息、训练文本集和未点击文本集，其中，所述训练文本集包括与所述目标查询信息存在关联关系的文本集和与所述目标查询信息无关联关系的文件集，所述未点击文本集为所述目标用户未点击的文件集；将所述训练文本集中每个训练文本和所述未点击文本集中每个未点击文本分别与所述目标查询信息进行组合，以生成训练文本对和未点击文本对，得到训练文本对集和未点击文本对集；获取预先建立的生成式对抗网络，其中，所述生成式对抗网络包括生成网络和判别网络，所述生成网络用于从所述未点击文本对集中采样出所述判别网络不易识别出所述关联关系且不存在所述关联关系的文本对，所述判别网络用于确定所述生成网络采样出来的文本对是否存在所述关联关系；将所述未点击文本对集作为所述生成网络的输入，将所述生成网络采样出的未点击文本对、所述训练文本对集作为所述判别网络的输入，对所述生成网络和所述判别网络进行训练，将训练后的判别网络确定为第一信息检索模型，其中，所述判别网络在训练过程中对所述生成网络采样出的未点击文本对和所述训练文本对集加入对应的虚拟对抗性扰动。2.根据权利要求1所述的方法，其中，所述对所述生成网络和所述判别网络进行训练，将训练后的判别网络确定为第一信息检索模型，包括：执行如下训练步骤：固定所述生成网络的参数，将所述未点击文本对集作为所述生成网络的输入，将所述生成网络采样出的未点击文本对、所述训练文本对集作为所述判别网络的输入，利用机器学习方法对所述判别网络进行训练；固定训练后的判别网络的参数，将所述未点击文本对集作为所述生成网络的输入，利用强化学习方法对所述生成网络进行训练；确定训练后的判别网络输出的判别结果的准确率；响应于确定所述准确率大于预定阈值，将最近一次训练的判别网络确定为所述第一信息检索模型。3.根据权利要求2所述的方法，其中，所述方法还包括：响应于确定所述准确率小于或等于所述预定阈值，使用最近一次训练的生成网络和判别网络重新执行所述训练步骤。4.根据权利要求1所述的方法，其中，所述第一信息检索模型包括预先确定的算分函数。5.根据权利要求4所述的方法，其中，所述算分函数用于对所述输入至第一信息检索模型的文本集中的每个文本进行打分或对所述文本集中各个文本进行排序。6.根据权利要求5所述的方法，其中，所述输入至第一信息检索模型的文本集包括以下之一：问题与回答的文本集、网络搜索文本集、产品推荐文本集，其中，响应于所述文本集为所述问题与回答的文本集，所述第一信息检索模型应用为问答模型，响应于所述文本集为所述网络搜索文本集，所述第一信息检索模型应用为网络搜索模型，响应于所述文本集为所述产品推荐文本集，所述第一信息检索模型应用为产品推荐模型。7.根据权利要求6所述的方法，其中，所述问答模型存在对应的预先确定的第一算分函
数，所述网络搜索模型存在对应的预先确定的第二算分函数，所述产品推荐模型存在对应的预先确定的第三算分函数。8.根据权利要求1所述的方法，其中，所述生成网络包括归一化指数函数，所述未点击文本集中每个未点击文本的被采样的概率是基于带有温度参数的归一化指数函数确定的。9.一种信息检索模型训练方法，包括：获取与目标用户对应的目标查询信息、训练文本集和未点击文本集，其中，所述训练文本集包括与所述目标查询信息存在关联关系的文本集和与所述目标查询信息无关联关系的文件集，所述未点击文本集为所述目标用户未点击的文件集；获取预先建立的生成式对抗网络，其中，所述生成式对抗网络包括生成网络和判别网络，所述生成网络用于从所述未点击文本集中采样出所述判别网络不易识别出所述关联关系且与所述目标查询信息之间不存在关联关系的的未点击文本，所述判别网络用于对比所述生成网络采样出的未点击文本的关联关系程度和从所述训练文本集中采样出来的训练文本的关联关系程度的高低；将所述未点击文本集作为所述生成网络的输入，将所述生成网络采样出的未点击文本、所述训练文本集中采样出来的训练文本和与所述目标查询信息相关的有序文本集作为所述判别网络的输入，对所述生成网络和所述判别网络进行训练...

【专利技术属性】
技术研发人员：李旻，刘石竹，王钦，周辉，侯会满，王自珍，
申请(专利权)人：北京京东世纪贸易有限公司，
类型：发明
国别省市：