实现资讯高质量打标打分的词群算法以及应用制造技术

本发明专利技术的一个技术方案是一种实现资讯高质量打标打分的词群算法。本发明专利技术的另一技术方案是提供了一种上述词群算法的应用。本发明专利技术建立了一个通用的算法框架用于文章打标打分，其特点是：本发明专利技术通过文章4类标签相关性打分，解决文章打标主次不分的相关性问题。本发明专利技术通过提取文章核心句子，得到文章信息量打分，解决文章质量高低不分问题。本发明专利技术通过文章核心句子在不同层次上的分布，得到文章个性化向量，解决文章个性化推荐问题。通用性体现在：能适用于各类垂直搜索引擎，不用频繁动态修改词群算法，只需要修改依赖的知识图谱即可。相比规则引擎，词群算法可以实现资讯更高质量的打标打分，具有降本增效的作用。具有降本增效的作用。具有降本增效的作用。

【技术实现步骤摘要】
实现资讯高质量打标打分的词群算法以及应用


[0001]本专利技术涉及一种词群算法，同时本专利技术还涉及一种上述词群算法在实现资讯高质量打标打分中的应用。

技术介绍

[0002]搜索引擎离不开对资讯的高质量打标打分，基于搜索引擎还可以做信息流相关的生态应用，如：推荐、新闻栏目、舆情监控、征信搜集等。提高打标打分基础服务的质量，是保证上层应用用户体验的前提。
[0003]我们处于一个信息爆炸的时代，随着公司、人物、行业、概念越来越多，媒体越来越多，目前互联网上的文章每天新增数十万篇，每年持续递增。对于一个搜索引擎，如果所有文章都依靠人工编辑阅读理解，过滤垃圾文章，然后打标分发，成本将会极其高昂。在大数据时代，通过打标打分算法替代部分人工编辑，提高人工编辑的审核效率，是业务长期以来的需求。
[0004]根据用户能感知有价值的对象，打标主要是围绕：
[0005]1.公司标签(国内外知名公司)
[0006]2.人物标签(国内外知名人物，公司创始人、高管和股东等)
[0007]3.行业标签(60多个行业)
[0008]4.概念标签(200多个概念)
[0009]打标之后，还要对标签进行打分，以及对文章进行打分：
[0010]1.对于标签打分，要求该分数体现该标签在资讯中的相关性或者重要性。
[0011]2.对于文章打分，要求该分数体现该资讯对用户的价值，即衡量资讯有多少看点/信息要点/信息量。
[0012]打分涉及到自动摘要画重点，按照多层面/多维度/多角度评分机制。
[0013]传统的打标算法通过规则系统实现，譬如：步骤1、先分词；步骤2、再看上下文；步骤3、最后打补丁逻辑修正特殊情况。一个简单规则系统就需要维护近25万条规则，巨量规则管理工作没有尽头，维护难度很大。同时，传统的打标算法所采用的对规则的遍历计算的方式效率低下，且打标准确率在63％左右，不是特别理想。传统的打标算法只能打标，不能打分来过滤文章质量，也不能建构意义明确的个性化向量来解决个性化推荐问题。同时，采用传统的打标算法后，人工维护规则不可避免。
[0014]新型的打标算法通过深度学习算法实现。完整的深度学习算法是一个多头 (Multi
‑
Head)输出模型：
[0015]1.通过超高维Linear+Softmax(Softmax用于归一化)输出打标打分。
[0016]2.1维Linear输出信息量。
[0017]3.N(譬如：N＝3)维Linear输出个性化向量。
[0018]虽然打标是一个非常传统的多分类任务，但是往往需要的分类数量较多，因此需要大量的人工打标语料才能预训练好一个深度学习算法模型，存在预训练时需要庞大语料
支撑的问题。通过深度学习算法实现打标的方法特别适用于一些热门标签，因为有很多报道的文章。但是对于一些冷门标签，几乎没有几篇文章报道，基于深度学习算法实现的打标算法难以及时覆盖这些冷门标签，不太适用，除非能做一些数据增强的工作。同时，市场每天都有新鲜事，也意味着已经训练好的深度学习算法模型分类需要不断扩充，并且从头训练该深度学习算法模型，持续交付训练后的深度学习算法模型才能满足业务需求。同时，采用基于深度学习算法实现的新型打标算法后，人工维护打标语料不可避免。

技术实现思路

[0019]本专利技术要解决的技术问题是：现有的打标算法存在主次不分、文章质量高低不分、以及无法实现文章个性化推荐的问题。
[0020]为了解决上述技术问题，本专利技术的一个技术方案是一种实现资讯高质量打标打分的算法，本专利技术称之为“词群算法”(下文所述关于词群算法中词、节点和标签表示同一个意思)，其特征在于，所述词群算法包括以下步骤：
[0021]步骤1、基于不同的公司标签、人物标签、行业标签和概念标签建立知识图谱，在知识图谱中，依据具体标签之间的关系，通过边将相应的节点连接起来，从而每个具体的公司标签、人物标签、行业标签以及概念标签分别对应一个关于词的群组，本专利技术称之为“词群”；
[0022]同时把用户认知水平，解读信息的偏好和能力作为细分变量，可以把市场细分为核心层、中间层和表象层认知水平，在知识图谱中建立对应的核心层词群、中间层词群和表象层词群；
[0023]步骤2、对整篇文章进行分词处理，把字符串打散成分词序列；
[0024]步骤3、获取分词序列中出现的公司标签、人物标签、行业标签、概念标签的名字分词(将别名分词和/或代码分词也是为与名字分词的等同)，将该分词作为标签加入到对应的{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、 {概念标签候选集}中；
[0025]步骤4、将知识图谱中与{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}中的标签所对应的词群与步骤2获得的分词序列做交集，将交集的大小作为{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}每个标签的绝对得分；
[0026]步骤5、统计{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}中绝对得分最高的公司标签、人物标签、行业标签以及概念标签，将原文中公司标签、人物标签、行业标签以及概念标签的代词用得分最高的公司标签、人物标签、行业标签以及概念标签替换后，重复步骤2至步骤4，重新计算知识图谱中的词群与分词序列的交集，得到公司标签、人物标签、行业标签以及概念标签在代词修正后的绝对得分；
[0027]步骤6、挑选代词修正后的绝对得分Top1和Top2的标签作为主角和配角，则得到公司一(主角)、公司二(配角)、人物一(主角)、人物二(配角)、行业一(主角)、行业二(配角)、概念一(主角)、概念二(配角)，共8个标签。
[0028]步骤7、从整篇文章挑选出主语和宾语为上述八个标签中任意一个的句子，将这些句子作为核心句子；
[0029]步骤8、统计核心句子在整篇文章中的数量，将该数量作为当前文章的文章信息
量；
[0030]步骤9、分别统计核心句子的分词包含核心层词群、中间层词群和表象层词群的句子数量，作为核心层绝对得分、中间层绝对得分以及表象层绝对得分，得到向量：[核心层绝对得分、中间层绝对得分、表象层绝对得分]。
[0031]优选的，步骤2包括以下步骤：
[0032]对整篇文章进行关于“句号、问好、感叹号”的字符分割，把字符串分割成句子序列后，进行分词处理，把字符串打散成所述分词序列。
[0033]优选的，步骤9之后还包括以下步骤：
[0034]步骤10、对步骤9获得的向量进行归一化操作后(向量除以得分总和)，得到个性化向量：[核心层相对得分、中间层相对得分、表象层相对得分]，用于刻画文章信息量或者用户兴趣在三个层面维度上的归一化离散分布。
[0035]本专利技术的另一技术方案是提供了一种上述的实现资讯高质量打标打分的词群算法的应用，其特征在于，用于搜索引擎，其中：...

【技术保护点】

【技术特征摘要】
1.一种实现资讯高质量打标打分的词群算法，其特征在于，所述词群算法包括以下步骤：步骤1、基于不同的公司标签、人物标签、行业标签和概念标签建立知识图谱，在知识图谱中，依据具体标签之间的关系，通过边将相应的节点连接起来，从而每个具体的公司标签、人物标签、行业标签以及概念标签分别对应一个词群；同时基于用户认知能力作为细分变量，将用户群体分为核心层、中间层和表象层，则在知识图谱中还建立对应的核心层词群、中间层词群和表象层词群；步骤2、对整篇文章进行分词处理，把字符串打散成分词序列；步骤3、获取分词序列中出现的公司标签、人物标签、行业标签、概念标签的名字分词，别名分词和/或代码分词其中之一，将该分词作为标签加入到对应的{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}中；步骤4、将知识图谱中与{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}中的标签所对应的词群与步骤2获得的分词序列做交集，将交集的大小作为{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}每个标签的绝对得分；步骤5、统计{公司标签候选集}、{人物标签候选集}、{行业标签候选集}、{概念标签候选集}中绝对得分最高的公司标签、人物标签、行业标签以及概念标签，将原文中公司标签、人物标签、行业标签以及概念标签的代词用得分最高的公司标签、人物标签、行业标签以及概念标签替换后，重复步骤2至步骤4，重新计算知识图谱中的词群与分词序列的交集，得到公司标签、人物标签、行业标签以及概念标签在代词修正后的绝对得分；步骤6、挑选代词修正后的绝对得分Top1和Top2的标签作为主角和配角，则得到作为主角的公司一、作为配角的公司...

【专利技术属性】
技术研发人员：罗伟杰，
申请(专利权)人：东方财富信息股份有限公司，
类型：发明
国别省市：