一种结构化信息抽取方法、搜索方法和装置制造方法及图纸

本发明专利技术提供了一种结构化信息抽取方法、搜索方法和装置，其中所述结构化信息抽取方法包括：S1、从语料中获取包含预设属性词的语句集合；S2、从所述语句集合中获取包含预设属性值的语句作为seed，构成seed集合；S3、从各seed中抽取pattern构成所述预设属性词对应的pattern集合；S4、利用各pattern到步骤S1获取的语句集合中抽取属性值，得到所述预设属性词对应的属性值集合；S5、利用所述属性值集合到语句集合中进行匹配，提取新的seed，转至步骤S3，直到算法收敛，得到结构化信息。相较于现有技术，本发明专利技术能够自动建立模板和挖掘属性值，实现结构化信息的抽取，更加节约人力资源，提高搜索引擎的效率和召回率。

【技术实现步骤摘要】
一种结构化信息抽取方法、搜索方法和装置
本专利技术涉及信息检索和自然语言处理
，特别涉及一种结构化信息抽取方法、搜索方法和装置。
技术介绍
随着信息和网络技术的不断发展，日益增长的涉及各个领域的海量信息资源，对信息组织和检索提出了巨大的挑战。搜索引擎是人们获取信息的重要途径，搜索引擎根据输入的搜索词(query)将所需的信息从网页中抽取出来，并返回搜索结果。当信息数据规模不断增长时，由于信息非结构化、信息种类多样化、文档内容涵盖范围广泛等因素，导致搜索引擎搜索效率低、召回率低，想要在搜索引擎中直接找到自己想要的答案，较为困难。结构化数据搜索也称作垂直搜索，是相对于通用搜索的信息量大、查询不准确、深度不够等提出的新的搜索模式。为了实现结构化数据搜索，需要对网页信息进行结构化提取,将网页的非结构化数据抽取 成特定的结构化数据,并将这些数据存储到数据库,建立索引以供搜索。网页信息由一定数量的句子组成，从句子中抽取结构化数据。对于单个句子而言，有些表达是某个实体通过发生某种动作与另一个属性值产生关联。例如:1978年刘德华考进无线艺员训练班。其中，实体词为“刘德华”，属性词为“考进”，“无线艺员训练班”为属性值。通常情况下，网页中的实体词是较为固定的，属性词的表达形式会比较多，比如“考进”还可以表达为“考入” “就读”等同义词。进行结构化提取的过程是对句子进行分析，从而抽取出句子中实体词和属性词对应的属性值。现有的结构化数据的方法中，实体词和属性词分别通过预设的实体词词典和属性词词典进行匹配识别，在网页中找到相匹配的实体词或属性词，再抽取得到对应的属性值。如果属性词词典中没有包含某一形式的表达，其对应的属性值将无法被识别出来，导致召回率低。尽管属性词词典还可以通过人工或者结合同义词词典添加的方式将其他同义属性词添加到属性词词典中，然而人工添加方式耗费人力资源、效率较低且召回率较低；结合同义词词典的方式，同样存在召回率较低的问题。
技术实现思路
本专利技术提供了一种结构化信息抽取方法、搜索方法和装置，能够自动建立模板和挖掘属性值，实现结构化信息的抽取，更加节约人力资源，提高搜索引擎的效率和召回率。具体技术方案如下:一种结构化信息抽取方法，该方法包括:S1、从语料中获取包含预设属性词的语句集合；S2、从所述语句集合中获取包含预设属性值的语句作为种子seed,构成seed集合；S3、从各seed中抽取模板pattern构成所述预设属性词对应的pattern集合,所述pattern包括:与属性值相邻的字符串以及seed中满足预设特征要求的特征值；S4、利用pattern集合中的各pattern到步骤SI获取的语句集合中抽取属性值，得到所述预设属性词对应的属性值集合。根据本专利技术一优选实施例，在所述步骤S4之后还包括:S5、利用所述属性值集合到语句集合中进行匹配，提取新的seed，转至步骤S3，直到算法收敛，得到结构化信息，所述结构化信息包括:属性词和属性值。根据本专利技术一优选实施例，在步骤S3中，所述与属性值相邻的字符串包括:词语、短语或符号；所述seed中满足预设特征要求的特征值包括以下所列中的至少一种:属性值的前一个动词、后一个动词、最近的名词、属性值的词性、属性值中名词的个数以及属性值的字数。根据本专利技术一优选实施例，所述步骤S3中，还包括对所述预设属性词对应的pattern集合进行过滤,过滤方法采用以下所列的至少一种:基于pattern的出现频率进行过滤或者基于pattern的语义相关性进行过滤。根据本专利技术一优选实施例，所述步骤S4中，还包括对所述预设属性词对应的属性值集合进行过滤，过滤方法可以采用以下所列的一种或几种结合:A、基于词频进行过滤，将词频低于预设要求的属性值过滤掉；B、基于词性特征进行过滤，将词性不符合属性值特征的属性值过滤掉；C、基于属性值的字数，将字数超过预设字数要求的属性值过滤掉；D、基于属性值分词中停用词的个数，将所包含停用词个数超过预设要求的属性值过滤掉。根据本专利技术一优选实施例，在进行基于词频过滤之前，先判断所述预设属性词对应的属性值是否可重复出现的，判断的规则为:判断提取得到的预设属性词对应的属性值是否在所述语句集合的多个语句中出现，如果是，则认为该预设属性词对应的属性值是可重复出现的；对于可重复出现的属性值，根据属性值的词频进行过滤，将词频小于预设属性值词频阈值的属性值过滤掉；对于非重复出现的属性值，根据属性值上下文字符串的词频进行过滤，将上下文字符串的词频小于预设词频阈值的属性值过滤掉。一种结构化信息的搜索方法，该方法包括以下步骤:S6、从用户输入的query中获取属性词；S7、利用步骤S6得到的属性词在结构化信息中匹配，得到对应的属性值信息，将得到的属性值信息包含在搜索结果中返回给所述用户；其中所述结构化信息是采用本专利技术所述结构化信息抽取方法得到的。根据本专利技术一优选实施例，所述步骤S6中还包括:从用户输入的query中获取实体词；所述步骤S7中的匹配具体为:利用步骤S6得到的属性词在所述实体词对应的结构化信息中匹配，得到对应的属性值信息。一种结构化信息抽取装置，该装置包括:语句集合获取模块，用于从语料中获取包含预设属性词的语句集合；seed集合获取模块，用于从所述语句集合中获取包含预设属性值的语句作为种子seed,构成seed集合；pattern抽取模块,用于从各seed中抽取模板pattern构成所述预设属性词对应的pattern集合,所述pattern包括:与属性值相邻的字符串以及seed中满足预设特征要求的特征值；属性值抽取模块，用于利用pattern集合中的各pattern到所述语句集合获取单元获取的语句集合中抽取属性值，得到所述预设属性词对应的属性值集合。根据本专利技术一优选实施例，所述seed集合获取模块利用所述属性值抽取模块得到的属性值集合到语句集合中进行匹配，提取新的seed,加入到seed集合中；所述属性值抽取模块在算法收敛后，得到结构化信息，所述结构化信息包括:属性词和属性值。根据本专利技术一优选实施例，所述pattern抽取模块中与属性值相邻的字符串包括:词语、短语或符号；所述seed中满足预设特征要求的特征值包括以下所列中的至少一种:属性值的前一个动词、后一个动词、最近的名词、属性值的词性、属性值中名词的个数以及属性值的字数。根据本专利技术一优选实施例,该装置还包括pattern过滤模块,用于对所述pattern抽取模块抽取的pattern集合进行过滤后提供给所述属性值抽取模块，过滤方法采用以下所列的至少一种:基于pattern的出现频率进行过滤或者基于pattern的语义相关性进行过滤。根据本专利技术一优选实施例，该装置还包括属性值过滤模块，用于对所述预设属性词对应的属性值集合进行过滤后提供给所述seed集合获取模块，过滤方法可以采用以下所列的一种或几种结合:A、基于词频进行过滤，将词频低于预设要求的属性值过滤掉；B、基于词性特征进行过滤，将词性不符合属性值特征的属性值过滤掉；C、基于属性值的字数，将字数超过预设字数要求的属性值过滤掉；D、基于属性值分词中停用词的个数，将所包含停用词个数超过预设要求的属性值过滤掉。根据本专利技术一优选实施例，所述属性值过滤模块在进行基于本文档来自技高网...

【技术保护点】
一种结构化信息抽取方法，其特征在于，包括：S1、从语料中获取包含预设属性词的语句集合；S2、从所述语句集合中获取包含预设属性值的语句作为种子seed，构成seed集合；S3、从各seed中抽取模板pattern构成所述预设属性词对应的pattern集合，所述pattern包括：与属性值相邻的字符串以及seed中满足预设特征要求的特征值；S4、利用pattern集合中的各pattern到步骤S1获取的语句集合中抽取属性值，得到所述预设属性词对应的属性值集合。

【技术特征摘要】

【专利技术属性】
技术研发人员：李永强，杨帆，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：