一种基于模糊匹配的新闻主体名称提取方法技术

本发明专利技术涉及一种基于模糊匹配的新闻主体名称提取方法，其包括：采集大量的领域新闻；对采集到的新闻进行人工标注，筛选出与领域相关具有新闻主体的新闻；使用分词工具对新闻进行分词；使用词嵌入工具在全量的新闻数据上做训练，得到词嵌入矩阵，从而将每一篇新闻表示为一个词嵌入向量；使用主体列表构建知识图谱；将知识图谱中每个节点的主体名称分词后做各种拆分组合，然后将拆分组合的结果用词嵌入向量表示；计算词嵌入相似度，取所有主体中与新闻词嵌入向量相似度得分最高的主体名称作为该新闻提取的主体名称。本发明专利技术能够有效地克服基于精确匹配对非标准化主体简称识别的缺陷，此外，本发明专利技术还能够适应更多的场景，匹配准确度更高。

【技术实现步骤摘要】
一种基于模糊匹配的新闻主体名称提取方法
本专利技术涉及数据处理领域，尤其涉及一种基于模糊匹配的新闻主体名称提取方法。
技术介绍
随着互联网的发展，信息的累积速度早已超过个人所能处理的范畴。在不同的垂直领域中，大量的新闻使得舆情分析成为可能，对原始新闻文本的新闻主体提取是该任务必不可少的步骤。在已有大量主体名称列表的前提下，如何从新闻中自动地提取主体名称，将一篇新闻对应到一个新闻主体，减少人工标注的工作量，兼顾准确度和效率，是实现舆情分析的重要部分。对于不同的垂直领域，从新闻中提取主体名称，现有的主流方法是将新闻文本分词后的每个词在已有的主体名称表中匹配，若在主体列表中出现过，就标记该词为新闻侯选主体，然后通过一些启发式信息(例如词频、TF-IDF等)对新闻侯选主体进一步筛选，选择得分最高的主体名称作为新闻对应的主体。以财经新闻为例，通过精确匹配得到三个侯选的企业主体“腾讯”、“阿里巴巴”、“百度”，然后分别计算这三个词的TF-IDF值，选择TF-IDF值最大的作为该新闻对应的主体。但该方法存在一些问题。首先，新闻中会经常出现对主体名称的非标准化简称，精确匹配效果堪忧，人工扩展主体列表本文档来自技高网...

【技术保护点】
1.一种基于模糊匹配的新闻主体名称提取方法，其特征在于，包括以下步骤：步骤1：采集大量的领域新闻，所述领域新闻的新闻内容尽可能多样，以覆盖不同的相关新闻网站；步骤2：对采集到的新闻进行人工标注，筛选出与领域相关具有新闻主体的新闻；步骤3：使用分词工具对新闻进行分词，向分词工具中导入主体列表，以提升分词效果；步骤4：使用词嵌入工具在全量的新闻数据上做训练，得到词嵌入矩阵，从而将每一篇新闻表示为一个词嵌入向量；步骤5：使用主体列表构建知识图谱，所述知识图谱的每个节点代表一个主体名称或主体简称，将主体‑主体、主体‑简称联系起来，其中主体简称隶属于主体名称；步骤6：将知识图谱中每个节点的主体名称分词后...

【技术特征摘要】
1.一种基于模糊匹配的新闻主体名称提取方法，其特征在于，包括以下步骤：步骤1：采集大量的领域新闻，所述领域新闻的新闻内容尽可能多样，以覆盖不同的相关新闻网站；步骤2：对采集到的新闻进行人工标注，筛选出与领域相关具有新闻主体的新闻；步骤3：使用分词工具对新闻进行分词，向分词工具中导入主体列表，以提升分词效果；步骤4：使用词嵌入工具在全量的新闻数据上做训练，得到词嵌入矩阵，从而将每一篇新闻表示为一个词嵌入向量；步骤5：使用主体列表构建知识图谱，所述知识图谱的每个节点代表一个主体名称或主体简称，将主体-主体、主体-简称联系起来，其中主体简...

【专利技术属性】
技术研发人员：冯翱，陈郑淏，吴锡，
申请(专利权)人：成都信息工程大学，成都智睿通拓科技有限公司，
类型：发明
国别省市：四川,51