【技术实现步骤摘要】
构建排行榜并进行动态索引的方法及装置
本专利技术数据处理
,具体涉及一种构建排行榜并进行动态索引的方法及装置。
技术介绍
相关技术中,有关排行榜数据的数据产品有TalkData、微博排行榜等,但是这些排行榜数据都只是单一地提供固定排行榜数据内容,且涉及人为干预,采用的自然语言处理技术较为简单,仅涉及简单分词功能。无法解决长文本的聚合问题。以TalkData为例,其排行榜都是已固定方式呈现。一般现有排行榜都是通过构建一张关于排行榜的表,如用户积分表则构建字段为用户和积分的表,通过API调用简单的查询SQL则可以实现。现有技术中只是对短文本数据的简单解析,对于长文本和口语化文本内容暂时无法做到快速准确提取关键性内容,故无法进行有效的内容聚类及爆发性信息统计。
技术实现思路
有鉴于此,本专利技术的目的在于克服现有技术的不足,提供一种构建排行榜并进行动态索引的方法及装置,以解决现有技术中排行榜固定以及无法对长文本快速准确的问题。为实现以上目的,本专利技术采用如下技术方案:一种构建排行 ...
【技术保护点】
1.一种构建排行榜并进行动态索引的方法,其特征在于,包括:/n获取咨询文本,并对所述咨询文本进行处理得到关键词和关键词的关系;/n以所述关键词为节点、关键词的关系为边构建知识图谱;/n将所述关键词同时输入到深度学习模型和传统统计模型中,获取咨询症状;/n对所述关键词和咨询症状分别进行聚类,得到关键词排行榜和症状排行榜;/n对所述知识图谱中的多个节点进行组合以获取组合节点,接收用户输入的咨询指令,提取所述咨询指令中的节点或组合节点在所述关键词排行榜和症状排行榜中进行搜索,输出结果。/n
【技术特征摘要】
1.一种构建排行榜并进行动态索引的方法,其特征在于,包括:
获取咨询文本,并对所述咨询文本进行处理得到关键词和关键词的关系;
以所述关键词为节点、关键词的关系为边构建知识图谱;
将所述关键词同时输入到深度学习模型和传统统计模型中,获取咨询症状;
对所述关键词和咨询症状分别进行聚类,得到关键词排行榜和症状排行榜;
对所述知识图谱中的多个节点进行组合以获取组合节点,接收用户输入的咨询指令,提取所述咨询指令中的节点或组合节点在所述关键词排行榜和症状排行榜中进行搜索,输出结果。
2.根据权利要求1所述的方法,其特征在于,
采用依存句法分析咨询文本得到关键词和关键词的关系。
3.根据权利要求1所述的方法,其特征在于,所述将所述关键词同时输入到深度学习模型和传统统计模型中,获取咨询症状,包括:
将所述关键词输入到深度学习模型中,输出咨询症状的第一概率值;
将所述关键词输入到传统统计模型中,输出咨询症状的第二概率值;
比较第一概率值和第二概率值;
输出第一概率值、第二概率值中大的咨询症状。
4.根据权利要求1所述的方法,其特征在于,所述对所述关键词和咨询症状分别进行聚类,得到关键词排行榜和症状排行榜,包括:
将关键词转化为关键词向量,将关键词向量进行聚类,获取关键词排行榜;
统计咨询症状的数量,根据数量的高低进行排序,获取咨询症状排行榜。
5.根据权利要求1所述的方法,其特征在于,
所述深度学习模型为bert模型;
所述传统统计模型为贝叶斯模型。...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。