一种知识图谱数据抽取方法和系统技术方案

本公开提供了一种知识图谱数据抽取方法和系统，所述方法，包括：S1，获取待抽取的原数据；S2，对原数据进行检查，并判断数据文件类型；S3，对图片类型文件运用光学字符识别技术，识别出文件中的字符；S4，提取文件中的字符内容，并生成包含字串列表的文本数据；S5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；S6，根据提取的实体和关系抽取知识图谱数据。所述系统包括：数据输入管理组件；数据结构辨识组件；光学字符识别组件；文本提取组件；自然语言处理组件；知识图谱构建组件。本公开所述的方法和系统能够丰富知识图谱数据抽取支持的数据种类。提高数据抽取工作的效率。扩充知识图谱潜在的数据源。

【技术实现步骤摘要】
一种知识图谱数据抽取方法和系统
本公开涉及知识图谱，尤其涉及一种知识图谱数据抽取方法和系统
技术介绍
知识图谱是一种显示知识发展进程与结构关系的数据可视化技术，知识图谱描述知识资源及其载体，挖掘、分析、构建、绘制和显示知识及它们之间的相互联系。能够为学科研究提供切实的、有价值的参考。数据抽取系统向知识图谱提供要收录的知识内容，包括实体、关系、属性等信息，以便知识图谱建立实体关联。对于一些非结构化数据，例如文本文件，数据抽取系统会调用自然语言处理模块提取出文本内容中的实体以及关系。然而，很多非结构文件并非由文本组成，例如一部分pdf文件、图片文件等，数据以图片形式存在于文件中，传统自然语言处理技术无法提取出有用的信息，限制了数据抽取的适用范围，也限制了知识图谱的应用。
技术实现思路
为了解决上述技术问题中的至少一个，本公开提供了一种知识图谱数据抽取方法和系统，具体实现方式：一种知识图谱数据抽取方法，包括：S1，获取待抽取的原数据；S2，对原数据进行检查，并判断数据文件类型；其中，所述检查包括文件格式检查和数据特征结构检查；所述文件类型包括图片类型文件、文本文件类型和富文本文件类型；S3，若判断数据文件类型为图片类型文件，则对图片类型文件运用光学字符识别技术，识别出文件中的字符；S4，提取经过光学字符识别技术识别后的图片类型文件、和/或文本类文件、和/或富文本类文件中的字符内容，并根据字符内容生成包含字串类别的文本数据；S5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；S6，从提取的实体和关系中抽取用于构建知识图谱的知识图谱数据。进一步地，步骤S2中，若文件为不可识别的文件类型，则将不可识别的文件从原数据中抽取，并发出告警信息。进一步地，步骤S3中，光学字符识别技术包括：对图片类型文件的图像进行降噪处理、二值化处理、字符切分、归一化处理、特征提取、降维处理、字符识别和结果优化。进一步地，步骤S4中，根据字符内容生成包含字串类表的文本数据的方法包括：将字符内容按原数据的语言结构进行整理，还原成整段文字，根据整段文字生成字串列表。进一步地，步骤S5中，运用自然语言处理技术处理所述文本数据的方法包括：对字串列表进行预处理，生成词汇列表并标记词汇属性；其中所述预处理包括：分词处理、词性标注、词形还原、停止词识别和依赖关系解析。进一步地，在步骤S5中，提取文本数据中实体和关系的方法包括：对词汇列表进行分析，提取命名实体和关系描述，并整理成实体列表和关系列表。进一步地，对词汇列表进行分析包括：对词汇进行命名实体识别、共指解析和歧义消解，为每个实体产生唯一的名称和同义词，并记录实体间关系，同时记录实体的属性信息。进一步地，在步骤S6中，，抽取用于构建知识图谱的知识图谱数据的方法包括：根据所述实体列表构建实体节点并标记属性，按照所述关系列表建立节点之间的边，依据节点之间的边，生成知识图谱数据结构，并根据所述知识图谱数据结构从所述实体和关系中抽取用于构建知识图谱的知识图谱数据。一种知识图谱数据抽取系统，包括：数据输入管理组件，用于获取待抽取的原数据；数据结构辨识组件，用于对原数据进行检查，并判断数据文件类型，将文件分为图片类型文件、文本类型文件、富文本类型文件、以及不可识别文件；光学字符识别组件，用于识别图片类型文件中的字符；文本提取组件，用于提取所述光学字符识别组件识别出的字符，以及提取文本类型文件和富文本类型文件中的字符，并形成文本数据；自然语言处理组件，用于对文本数据中的词汇进行分类标记；实体和关系辨识组件，用于从标记的词汇中提取出实体名词；以及实体间的关系描述；知识图谱构建组件，用于将实体和关系转换为知识图谱数据。进一步地，所述原数据的类型包括：结构化数据文件、非结构化文件。进一步地，所述数据结构辨识组件从原数据中辨识出不可识别文件之后，抽取所述不可识别文件并发出告警信息。附图说明附图示出了本公开的示例性实施方式，并与其说明一起用于解释本公开的原理，其中包括了这些附图以提供对本公开的进一步理解，并且附图包括在本说明书中并构成本说明书的一部分。图1是本公开的知识图谱数据抽取方法逻辑示意图；图2是本公开的知识图谱数据抽取系统原理示意图；图中：数据输入管理组件1；数据结构辨识组件2；光学字符识别组件3；文本提取组件4；自然语言处理组件5；实体和关系辨识组件6；知识图谱构建组件7。具体实施方式下面结合附图和实施方式对本公开作进一步的详细说明。可以理解的是，此处所描述的具体实施方式仅用于解释相关内容，而非对本公开的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本公开相关的部分。需要说明的是，在不冲突的情况下，本公开中的实施方式及实施方式中的特征可以相互组合。下面将参考附图并结合实施方式来详细说明本公开。其中，执行主体可以根据具体案例进行调整，如服务器、电子设备、计算机等。需要说明的是，文中的步骤编号，仅为了方便具体实施例的解释，不作为限定步骤执行先后顺序的作用。本实施例提供的方法可以由相关的服务器执行，且下文均以服务器作为执行主体为例进行说明。实施例一参照图1，本实施例提供一种知识图谱数据抽取方法，基于光学字符识别和自然语言处理技术，知识图谱数据抽取方法包括：S1，获取待抽取的原数据；S2，对原数据进行检查，并判断数据文件类型；其中，所述检查包括文件格式检查和数据特征结构检查；所述文件类型包括图片类型文件、文本文件类型和富文本文件类型；S3，若判断数据文件类型为图片类型文件，则对图片类型文件运用光学字符识别技术，识别出文件中的字符；S4，提取经过光学字符识别技术识别后的图片类型文件、和/或文本类文件、和/或富文本类文件中的字符内容，并根据字符内容生成包含字串列表的文本数据；S5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；S6，从提取的实体和关系中抽取用于构建知识图谱的知识图谱数据。本公开的知识图谱数据抽取方法在收到用户上传的将要进行知识抽取的原数据文件之后，对原数据进行检查，可根据原数据文件的后缀名和数据特征结构判断数据文件类型，并根据文件是否可识别和文本是否可直接读取对不同类型的文件进行抽取，例如：将图片类型文件全部抽取出来，以便于进行下一步的光学字符识别；对文本类型文件和富文类型文件，则可以直接提取文件中的字符内容，对不可识别的文件，则将不可识别的文件从原数据中抽取后向用户发出告警信息，以便于用户排查。需要说明的时，所述图片类型的文件不限于后缀名为jpg、png等图片格式文件，也包括包含图片的word、pdf等文本文件。本实施例中，所述原数据文件可以是后缀名为c本文档来自技高网...

【技术保护点】
1.一种知识图谱数据抽取方法，其特征在于，包括：/nS1，获取待抽取的原数据；/nS2，对原数据进行检查，并判断数据文件类型；/n其中，所述检查包括文件格式检查和数据特征结构检查；所述文件类型包括图片类型文件、文本文件类型和富文本文件类型；/nS3，若判断数据文件类型为图片类型文件，则对图片类型文件运用光学字符识别技术，识别出文件中的字符；/nS4，提取经过光学字符识别技术识别后的图片类型文件、和/或文本类文件、和/或富文本类文件中的字符内容，并根据字符内容生成包含字串列表的文本数据；/nS5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；/nS6，从提取的实体和关系中抽取用于构建知识图谱的知识图谱数据。/n

【技术特征摘要】
1.一种知识图谱数据抽取方法，其特征在于，包括：
S1，获取待抽取的原数据；
S2，对原数据进行检查，并判断数据文件类型；
其中，所述检查包括文件格式检查和数据特征结构检查；所述文件类型包括图片类型文件、文本文件类型和富文本文件类型；
S3，若判断数据文件类型为图片类型文件，则对图片类型文件运用光学字符识别技术，识别出文件中的字符；
S4，提取经过光学字符识别技术识别后的图片类型文件、和/或文本类文件、和/或富文本类文件中的字符内容，并根据字符内容生成包含字串列表的文本数据；
S5，运用自然语言处理技术处理所述字串列表，提取所述文本数据中的实体和关系；
S6，从提取的实体和关系中抽取用于构建知识图谱的知识图谱数据。


2.如权利要求1所述的方法，其特征在于，步骤S2中，若文件为不可识别的文件类型，则将不可识别的文件从原数据中抽取，并发出告警信息。


3.如权利要求1所述的方法，其特征在于，步骤S3中，光学字符识别技术包括：对图片类型文件的图像进行降噪处理、二值化处理、字符切分、归一化处理、特征提取、降维处理、字符识别和结果优化。


4.如权利要求1所述的方法，其特征在于，步骤S4中根据字符内容生成包含字串类表的文本数据的方法包括：将字符内容按原数据的语言结构进行整理，还原成整段文字，根据整段文字生成字串列表。


5.如权利要求1-4任一项所述的方法，其特征在于，步骤S5中，运用自然语言处理技术处理所述文本数据的方法包括：对字串列表进行预处理，生成词汇列表并标记词汇属性；其中所述预处理包括：分词处理、词性标注、词形还原、停止词识别和依赖关...

【专利技术属性】
技术研发人员：洪万福，钱智毅，翁秀玲，
申请(专利权)人：厦门渊亭信息科技有限公司，
类型：发明
国别省市：福建;35