一种基于相关性的搜索词处理方法、装置及计算设备制造方法及图纸

本发明专利技术公开了一种基于相关性的搜索词处理方法、装置及计算设备，该方法包括：获取各用户的搜索日志以提取可用搜索词；对各可用搜索词进行分词处理，以获取其对应的一个或更多个特征词；将特征词进行转换以生成对应的关键词，组合一个或更多个对应的关键词，以形成与可用搜索词对应的关键词序列；从各关键词序列对应的可用搜索词中，选择出现频次最高的可用搜索词作为该关键词序列的特定搜索词；将各关键词序列分别输入到相关性计算模型进行训练，按照相关性从大到小的顺序输出与输入的关键词序列相关的第一数量个关键词序列；将第一数量个输出的关键词序列替换为其对应的特定搜索词，形成关键词序列与第一数量个特定搜索词间的对应关系。

A correlation based search word processing method, device and computing equipment

【技术实现步骤摘要】
一种基于相关性的搜索词处理方法、装置及计算设备本申请是本申请人于2017年06月29日提交的申请号为201710515009.X，名称为一种基于相关性的搜索词处理方法、装置及计算设备的专利技术专利申请的分案申请。
本专利技术涉及互联网
，特别涉及一种基于相关性的搜索词处理方法、装置及计算设备。
技术介绍
随着互联网技术的快速发展，越来越多的人开始享受互联网为工作和生活带来的各种便利。比如需要获取信息时，可通过在浏览器中键入搜索词，利用搜索引擎来进行与搜索词相关的信息搜索。而在用户搜索一个关键词时，往往也希望搜索其相关关键词，例如用户输入“java”，可能存在更符合其意图的关键词，如“javaweb”、“java后端”。因此，针对用户关键词，结合不同关键词之间的联系，准确提供其相关词汇能帮助用户节省输入时间，同时提升转化率。目前的主流方法是后继词结合协同过滤算法，主要思想是：考虑到用户输入“三国志”，得到搜索结果的几分钟内再次输入“真三国无双”，可以认为具有相同后继词的用户查询词条有一定相似度，如果用户输入数据足够，基于协同过滤算法能可给出这些词条的相关搜索词。然而，后继词结合协同过滤算法仍存在不小的缺陷，特别是在招聘行业的网站内部搜索中，问题更为明显。相比大型网站，招聘行业搜索数据体量并不大，用户查询词条同质化严重，因此许多词条可能没有后继词。而且，作为招聘人员的用户，其搜索规律不符合“同一用户搜索词都是相关的”这一前提条件，这类用户的搜索内容通常毫不相干，此时使用后继词失效。此外，热门词如“java”、“产品经理”等词汇常常成为其他词的后继词，这对冷门相关词汇不利，但对热门词施加惩罚又需要手工调整权重，增大了项目的难度，且实际项目中发现难以控制。
技术实现思路
为此，本专利技术提供一种基于相关性的搜索词处理的技术方案，以力图解决或者至少缓解上面存在的问题。根据本专利技术的一个方面，提供一种基于相关性的搜索词处理方法，适于在计算设备中执行，该方法包括如下步骤：获取多个用户中各用户的搜索日志，从搜索日志中提取可用搜索词；对各可用搜索词进行分词处理，以获取其对应的一个或更多个特征词；将一个或更多个特征词分别进行转换以生成对应的关键词，并组合一个或更多个对应的关键词，以形成与可用搜索词对应的关键词序列；从各关键词序列所对应的可用搜索词中，选择出现频次最高的可用搜索词作为该关键词序列的特定搜索词；将各关键词序列分别输入到相关性计算模型中进行训练，按照相关性从大到小的顺序输出与输入的关键词序列相关的第一数量个关键词序列；将第一数量个输出的关键词序列均替换为其对应的特定搜索词，从而形成关键词序列与第一数量个特定搜索词之间的对应关系。可选地，在根据本专利技术的基于相关性的搜索词处理方法中，从搜索日志中提取可用搜索词的步骤包括：从搜索日志中获取原始搜索词并统计其数量；若数量大于第一数值，则将数量对应的用户的原始搜索词直接删除；统计所有未删除的各原始搜索词的搜索次数；过滤掉搜索次数小于第二数值的原始搜索词，将剩余的原始搜索词作为可用搜索词。可选地，在根据本专利技术的基于相关性的搜索词处理方法中，将一个或更多个特征词分别进行转换以生成对应的关键词的步骤包括：剔除一个或更多个特征词中属于无意义词或敏感词的特征词；将剔除后剩余的特征词进行同义词转化，以生成对应的关键词。可选地，在根据本专利技术的基于相关性的搜索词处理方法中，组合一个或更多个对应的关键词，以形成与可用搜索词对应的关键词序列的步骤包括：对一个或更多个对应的关键词进行文本升序排列；对排列后的关键词，将相邻两个关键词之间以第一符号进行连接，以形成与可用搜索词对应的关键词序列。可选地，在根据本专利技术的基于相关性的搜索词处理方法中，第一符号为下划线可选地，在根据本专利技术的基于相关性的搜索词处理方法中，在形成与可用搜索词对应的关键词序列的步骤之后，还包括：统计各关键词序列重复出现的次数；若次数低于第一数值，则剔除次数对应的关键词序列；若次数不低于第一数值，则保留次数对应的关键词序列。可选地，在根据本专利技术的基于相关性的搜索词处理方法中，当接收到用户键入的查询搜索词时，该方法还包括：对查询搜索词进行处理，以形成与查询搜索词对应的关键词序列；根据关键词序列获取与其对应的第一数量个特定搜索词，并从该第一数量个特定搜索词中选出前第二数量个特定搜索词，第二数量不大于第一数量；将该第二数量个特定搜索词作为查询搜索词的相关词推荐给该用户。根据本专利技术的又一个方面，提供一种基于相关性的搜索词处理装置，适于驻留在计算设备中，该装置包括提取模块、分词模块、转换模块、选择模块、训练模块和替换模块。其中，提取模块适于获取多个用户中各用户的搜索日志，从搜索日志中提取可用搜索词；分词模块适于对各可用搜索词进行分词处理，以获取其对应的一个或更多个特征词；转换模块适于将一个或更多个特征词分别进行转换以生成对应的关键词，并组合一个或更多个对应的关键词，以形成与可用搜索词对应的关键词序列；选择模块适于从各关键词序列所对应的可用搜索词中，选择出现频次最高的可用搜索词作为该关键词序列的特定搜索词；训练模块适于将各关键词序列分别输入到相关性计算模型中进行训练，按照相关性从大到小的顺序输出与输入的关键词序列相关的第一数量个关键词序列；替换模块适于将第一数量个输出的关键词序列均替换为其对应的特定搜索词，从而形成关键词序列与第一数量个特定搜索词之间的对应关系。可选地，在根据本专利技术的基于相关性的搜索词处理装置中，提取模块进一步适于：从搜索日志中获取原始搜索词并统计其数量当数量大于第一数值时，将数量对应的用户的原始搜索词直接删除；统计所有未删除的各原始搜索词的搜索次数；过滤掉搜索次数小于第二数值的原始搜索词，将剩余的原始搜索词作为可用搜索词。可选地，在根据本专利技术的基于相关性的搜索词处理装置中，转换模块进一步适于：剔除一个或更多个特征词中属于无意义词或敏感词的特征词；将剔除后剩余的特征词进行同义词转化，以生成对应的关键词。可选地，在根据本专利技术的基于相关性的搜索词处理装置中，转换模块进一步适于：对一个或更多个对应的关键词进行文本升序排列；对排列后的关键词，将相邻两个关键词之间以第一符号进行连接，以形成与可用搜索词对应的关键词序列。可选地，在根据本专利技术的基于相关性的搜索词处理装置中，第一符号为下划线。可选地，在根据本专利技术的基于相关性的搜索词处理装置中，还包括处理模块，适于：统计各关键词序列重复出现的次数；当次数低于第一数值时，剔除次数对应的关键词序列；当次数不低于第一数值时，保留次数对应的关键词序列。可选地，在根据本专利技术的基于相关性的搜索词处理装置中，还包括推荐模块，适于：当接收到用户键入的查询搜索词时，对查询搜索词进行处理，以形成与查询搜索词对应的关键词序列；根据关键词序列获取与其对应的第一数量个特定搜索词，并从该第一数量个特定搜索词中选出前第二数量个特定搜索词，第二数量不大于第一数量；将该第二数量个特定搜索词作为查询搜索词的相关词推荐给该用户。...

【技术保护点】
1.一种基于相关性的搜索词处理方法，适于在计算设备中执行，所述方法包括：/n获取多个用户中各用户的搜索日志，从所述搜索日志中提取可用搜索词；/n对各可用搜索词进行分词处理，以获取其对应的一个或更多个特征词；/n将所述一个或更多个特征词分别进行转换以生成对应的关键词，并组合所述一个或更多个对应的关键词，以形成与所述可用搜索词对应的关键词序列；/n从各关键词序列所对应的可用搜索词中，选择出现频次最高的可用搜索词作为该关键词序列的特定搜索词；/n将各关键词序列分别输入到相关性计算模型中进行训练，按照相关性从大到小的顺序输出与输入的关键词序列相关的第一数量个关键词序列，所述相关性计算模型选用item2vec模型；/n将第一数量个输出的关键词序列均替换为其对应的特定搜索词，从而形成关键词序列与第一数量个特定搜索词之间的对应关系。/n

【技术特征摘要】
1.一种基于相关性的搜索词处理方法，适于在计算设备中执行，所述方法包括：
获取多个用户中各用户的搜索日志，从所述搜索日志中提取可用搜索词；
对各可用搜索词进行分词处理，以获取其对应的一个或更多个特征词；
将所述一个或更多个特征词分别进行转换以生成对应的关键词，并组合所述一个或更多个对应的关键词，以形成与所述可用搜索词对应的关键词序列；
从各关键词序列所对应的可用搜索词中，选择出现频次最高的可用搜索词作为该关键词序列的特定搜索词；
将各关键词序列分别输入到相关性计算模型中进行训练，按照相关性从大到小的顺序输出与输入的关键词序列相关的第一数量个关键词序列，所述相关性计算模型选用item2vec模型；
将第一数量个输出的关键词序列均替换为其对应的特定搜索词，从而形成关键词序列与第一数量个特定搜索词之间的对应关系。


2.如权利要求1所述的方法，所述从所述搜索日志中提取可用搜索词的步骤包括：
从所述搜索日志中获取原始搜索词并统计其数量；
若所述数量大于第一数值，则将所述数量对应的用户的原始搜索词直接删除；
统计所有未删除的各原始搜索词的搜索次数；
过滤掉搜索次数小于第二数值的原始搜索词，将剩余的原始搜索词作为可用搜索词。


3.如权利要求1或2所述的方法，所述将所述一个或更多个特征词分别进行转换以生成对应的关键词的步骤包括：
剔除所述一个或更多个特征词中属于无意义词或敏感词的特征词；
将剔除后剩余的特征词进行同义词转化，以生成对应的关键词。


4.如权利要求1-3中任一项所述的方法，所述组合所述一个或更多个对应的关键词，以形成与所述可用搜索词对应的关键词序列的步骤包括：
对所述一个或更多个对应的关键词进行文本升序排列；
对排列后的关键词，将相邻两个关键词之间以第一符号进行连接，以形成与所述可用搜索词对应的关键词序列。


5.如权利要求4所述的方法，其中，所述第一符号为下划线。


6.如权利要求1-5中任一项所述的方法，在形成与所述可用搜索词对应的关键词序列的步骤之后，还包括：
统计各关键词序列重复出现的次数；
若所...

【专利技术属性】
技术研发人员：方轲，
申请(专利权)人：北京拉勾科技有限公司，
类型：发明
国别省市：北京;11