一种人物属性抽取训练数据集构建方法技术

本发明专利技术公开了一种人物属性抽取训练数据集构建方法。首先，下载HTML页面中的文本数据内容，提取描述人物正文内容和属性信息的信息框数据，并进行编码存储和语句切分；然后，对切分后的语句，选取既包含人物名称、人物属性值内容的语句构建人物属性抽取语料数据集；最后，提取人物属性抽取语料数据集中的所有动词，基于信息熵的方法对所有动词进行排序，提取排名靠前的动词作为属性触发词，把人物属性抽取语料数据集中不包含属性触发词的语句删除掉，剩下的语句就组成了人物属性抽取训练数据集。本发明专利技术综合利用的网页数据采集、词性分析、词语信息熵计算等技术自动构建人物属性抽取训练数据集，对提高训练数据集构建的效率具有重要意义。

【技术实现步骤摘要】
一种人物属性抽取训练数据集构建方法
本专利技术涉及一种人物属性抽取训练数据集构建方法，它可以为人物属性各种抽取算法构建模型训练所需的标注数据，适用于网络信息抽取、信息检索等。属于数据挖掘、信息检索

技术介绍
随着互联网的迅速发展，人们越来越依赖从网上获取所需的知识和信息。然而,网络中的数据都以非结构化形式进行展示,人们很难从如此大规模的非结构化数据中快速找到所需的信息。因此，许多信息抽取算法被提出来，这些算法自动从非结构化数据中抽取出结构化的数据。其中一个重要的信息抽取算法就是人物属性抽取算法，人物属性抽取算法主要用来从给定的文本语句中自动抽取出描述人物各种属性的信息，例如人物的出生地、出生日期、职业、工作单位等。要保证人物属性抽取算法能够准确抽取出用户所需的数据，就需要构建一个大规模的训练数据集对属性抽取算法进行有效地训练。然而，目前大部分的人物属性抽取训练数据集构建方法都主要依赖于人工标注，这些方法不仅效率低而且对使用者造成极大的物质和人力负担。因此，需要提出一个自动构建人物属性抽取训练数据集的方法，自动收集网络上的人物属性数据，识别其中包含人物属性的语句，进而构建一个本文档来自技高网...

【技术保护点】
1.一种人物属性抽取训练数据集构建方法，其特征在于：所述方法具体步骤如下：步骤一：网络数据采集在中文维基百科网站中，下载中文人物页面，然后解析页面的内容，保存页面中左侧和右侧信息框里的两部分文本数据，页面左侧的文本数据主要是描述人物详细信息的正文内容，右侧信息框主要描述人物的各种属性及相应的属性值内容，然后将左侧正文内容数据全部以UTF‑8格式进行编码，并以句子为单位进行切分；步骤二：人物属性语料产生针对步骤一中切分后的语句，选取包含人物名称的句子作为候选语句，然后遍历信息框中各行的属性值内容，如果候选语句包含有信息框中的任何一条属性值内容，则该候选语句被选取出来作为人物属性语料的一条语句；步...

【技术特征摘要】
1.一种人物属性抽取训练数据集构建方法，其特征在于：所述方法具体步骤如下：步骤一：网络数据采集在中文维基百科网站中，下载中文人物页面，然后解析页面的内容，保存页面中左侧和右侧信息框里的两部分文本数据，页面左侧的文本数据主要是描述人物详细信息的正文内容，右侧信息框主要描述人物的各种属性及相应的属性值内容，然后将左侧正文内容数据全部以UTF-8格式进行编码，并以句子为单位进行切分；步骤二：人物属性语料产生针对步骤一中切分后的语句，选取包含人物名称的句子作为候选语句，然后遍历信息框中各行的属性值内容，如果候选语句包含有信息框中的任何一条属性值内容，则该候选语句被选取出来作为人物属性语料的一条语句；步骤三：人物属性语料过滤针对步骤二中得到的人物属性语料中的语句，提取数据集中所有语句中的动词，根据动词在训练数据集中的出现情况进行排序，选取排名靠前的动词作为属性触发词，然后删除掉人物属性语料中不包含属性触发词的语句，剩下的语句就组成了人物属性抽取训练数据集。2.根据权利要求1所述的一种人物属性抽取训练数据集构建方法，其特征在于：在步骤一中所述的信...

【专利技术属性】
技术研发人员：赵忠华，孙小宁，李欣，万欣欣，袁钟怡，张小明，
申请(专利权)人：国家计算机网络与信息安全管理中心，
类型：发明
国别省市：北京,11