搜索文本与库文件的相关度计算方法、装置、设备及介质制造方法及图纸

本发明专利技术公开了一种搜索文本与库文件的相关度计算方法、装置、设备及介质，所述方法包括获取搜索文本，并对所述搜索文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量；根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量；获取用于进行相关度计算的目标库文本集合；根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。本发明专利技术综合考虑搜索文本中各个分词的重要程度和库文件中不同的域在计算相关度时的重要程度，降低了库文本长度对于相关度计算的影响，显著提升相关度计算的准确度。

Calculation method, device, equipment and media of correlation degree between search text and library file

【技术实现步骤摘要】
搜索文本与库文件的相关度计算方法、装置、设备及介质
本专利技术涉及相关度计算领域，尤其涉及搜索文本与库文件的相关度计算方法、装置、设备及介质。
技术介绍
现有技术中通常基于概率检索模型计算搜索文本与库文本集合中各个库文本的相关度，具体地，可以基于搜索文本的各个分词与库文本的相关性以及各个分词的普遍重要度来计算搜索文本与库文本的相关度，其中，所述分词与库文本的相关性易受到库文本集合中各个库文本长度的影响。现有技术中在进行相关度计算时没有充分考虑分词在所述搜索文本中的重要程度，并且其受库文本集合中各个库文本长度影响较大。若库文本集合中各个库文本长度变化较大时，基于现有技术得到的搜索文本与库文本的相关度结果的稳定性也较低，从而导致相关度计算结果的不准确。
技术实现思路
为了解决现有技术搜索文本与库文件的相关度计算准确度不高的技术问题，本专利技术实施例提供一种搜索文本与库文件的相关度计算方法、装置、设备及介质。一方面，本专利技术提供了一种搜索文本与库文件的相关度计算方法，所述方法包括：获取搜索文本，并对所述搜索文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量；根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量；获取用于进行相关度计算的目标库文本集合；根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。另一方面，本专利技术提供了一种搜索文本与库文件的相关度计算装置，所述装置包括：搜索文本获取模块，用于获取搜索文本，并对所述搜索文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量；重要度参量获取模块，用于根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量；目标库文本集合获取模块，用于获取用于进行相关度计算的目标库文本集合；相关度计算模块，用于根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。另一方面，本专利技术提供了一种设备，其特征在于，所述设备包括处理器和存储器，所述存储器中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、所述至少一段程序、所述代码集或指令集由所述处理器加载并执行以实现一种搜索文本与库文件的相关度计算方法。另一方面，本专利技术提供了一种计算机存储介质，其特征在于，所述存储介质中存储有至少一条指令、至少一段程序、代码集或指令集，所述至少一条指令、至少一段程序、代码集或指令集由处理器加载并执行一种搜索文本与库文件的相关度计算方法。本专利技术提供了一种搜索文本与库文件的相关度计算方法、装置、设备及介质。本专利技术综合考虑了搜索文本中各个分词的重要程度和库文件中不同的域在计算相关度时的重要程度，并且降低了库文本的长度对于相关度计算的影响，从而能够显著提升相关度计算的准确度。进一步地，本专利技术实施例通过预先建立倒排集合，避免对与搜索文本完全无关的库文件计算相关度，从而降低了相关度计算量，提升了相关度计算速度。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。图1是本专利技术提供的一种搜索文本与库文件的相关度计算方法流程图；图2是本专利技术提供的一种搜索文本与库文件的相关度计算方法实施环境示意图；图3是本专利技术提供的一种搜索文本与库文件的相关度计算方法流程图；图4是本专利技术提供的对所述文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量流程图；图5是本专利技术提供的获取用于进行相关度计算的目标库文本集合流程图；图6是本专利技术提供的计算库文本集合对于各个模板分词的倒排集合流程图；图7是本专利技术提供的根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本的相关度流程图；图8是本专利技术提供的相关度获取后的相关数据处理流程图；图9是本专利技术提供的本专利技术实施例与现有技术在搜索产品中点击率表现示意图；图10是本专利技术提供为一种搜索文本与库文件的相关度计算装置框图；图11是本专利技术提供的目标库文本集合获取模块框图；图12是本专利技术提供的一种搜索文本与库文件的相关度计算装置的运行环境示意图；图13本专利技术提供的一种用于实现本专利技术实施例所提供的方法的设备的硬件结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本专利技术保护的范围。需要说明的是，本专利技术的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本专利技术的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了使本专利技术实施例公开的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本专利技术实施例进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本专利技术实施例，并不用于限定本专利技术实施例。为了对本专利技术实施例进行详细说明，本专利技术实施例中，首先对于涉及到的相关概念进行解释：IDF：InverseDcumentFrequency，逆文本频率。用于度量一个词语的普遍重要性。TF：TermFrequency，词频。用于表征一个词语在某个文件中出现的频率。TW：TermWeight，词权重。用于表征一个词语在某个文本中的重要程度。为了对本专利技术实施例进行详细阐述，本专利技术实施例首先对于现有技术中的搜索文本与库文件的相关度计算方案进行描述，如图1所示，所述计算方案包括：S1.对搜索文本进行分词操作以得到至少一个分词。S3.获取各个分词与库文件的相关性得分。具体地，可以参考公式计算所述分词与库文件的相关性，其中qi,d,R(qi,d)分别表示分词，库文件以及分词与库文件的相关性得分，fi表示所述分词在所述库文件中出现的频率，dl,avgdl分别表示库文件的长度，和所述库文件所在的库文件集合中全部库文件的平均长度。k1,b为调节因子，一般可以设置k1∈[1,3]，b∈[0.5,1]。根据所述公式可知，所述分词在所述库文件中出现的频率越高，所述分词与所述库文件的相关性得分越高，所述库文件的长度与库文件集合中全部库文件的平均长度的比值越高，则分词与所述库文件的相关性得分越低。S5.获取各个分词的逆文本频率。具体地，可以参考公式计算分词的逆文本本文档来自技高网...

【技术保护点】
1.一种搜索文本与库文件的相关度计算方法，其特征在于，所述方法包括：获取搜索文本，并对所述搜索文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量；根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量；获取用于进行相关度计算的目标库文本集合；根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。

【技术特征摘要】
1.一种搜索文本与库文件的相关度计算方法，其特征在于，所述方法包括：获取搜索文本，并对所述搜索文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量；根据库文件所在的库文件集合计算所述目标分词集合中每个分词的重要度参量；获取用于进行相关度计算的目标库文本集合；根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本之间的相关度。2.根据权利要求1所述的方法，其特征在于，所述对所述文本进行分词操作以得到目标分词集合，所述目标分词集合中每个目标分词指向所述目标分词对应的词权重参量，包括：对所述搜索文本进行分词处理，得到至少一个分词；基于预设的语料库得到每个分词对应的词权重相关量；利用所述词权重相关及预先构建的词权重参量计算模型，确定所述各个分词对应的词权重参量；根据各个分词及其对应的词权重参量构建目标分词集合。3.根据权利要求1所述的方法，其特征在于，所述获取用于进行相关度计算的目标库文本集合，包括：计算库文本集合对于各个模板分词的倒排集合；记录各个模板分词与其对应的倒排集合的映射关系以得到倒排词典；根据所述倒排词典获取所述目标分词集合中每个目标分词对应的目标倒排集合；将各个目标分词对应的目标倒排集合的并集作为目标库文本集合。4.根据权利要求3所述的方法，其特征在于，所述计算库文本集合对于各个模板分词的倒排集合，包括：获取库文本集合中的每个库文本的域；获取每个所述模板分词相对于所述库文本的词频，所述模板分词相对于所述库文本的词频为所述模板分词相对于所述库文本的各个域中的文本内容的词频的最大值；构建每个所述模板分词的倒排集合，所述模板分词相对于所述倒排集合中任意一个库文本的词频均大于预设阈值。5.根据权利要求1所述的方法，其特征在于，所述根据所述目标分词集合和所述目标分词集合中每个分词的重要度参量，计算所述搜索文本与所述目标库文本集合中的每个目标库文本的相关度，包括：计算搜索文本相对于所述目标库文本集合中的每个目标库文本的重要度；计算搜索文本与所述目标库文本集合中的每个目标库文本的距离；根据搜索文本相对于所述目标库文本集合中的每个目标库...

【专利技术属性】
技术研发人员：陈爱云，陈信雄，罗翔，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44