一种数据抽取方法和装置制造方法及图纸

本发明专利技术涉及一种数据抽取方法和装置，其方法包括以下步骤，S1，获取数据抽取任务，并所述数据抽取任务划分多个数据抽取子任务；S2，分别根据各个所述数据抽取子任务选取对应的数据节点，根据所有的所述数据节点制作数据抽取顺序表；S3，根据所述数据抽取顺序表从数据库中抽取数据。在本发明专利技术中，数据节点是根据数据类型和数据之间的关联关系构建的，依据数据节点抽取数据，可以避免对数据重复的搜索，并且数据节点的关系包括继承关系和并列关系，即可以依顺序并列的抽取多个数据，从而可以大大提高数据抽取速度。

【技术实现步骤摘要】
一种数据抽取方法和装置
本专利技术涉及大数据领域，具体涉及一种数据抽取方法和装置。
技术介绍
大数据时代，数据的生产达到了空前的速度，数据的来源、种类、组织形式也越来越广泛，这给数据采集系统，提出了更高的要求。数据抽取是数据采集系统的重要步骤，其主要作用是从各种各样的原始的格式化或者非格式化数据，抽取出指定内容并将其组织成一定格式以便其它系统使用。但对于大数据而言，采用现有的数据抽取方法无法满足各大引用对数据抽取速度的要求。
技术实现思路
本专利技术所要解决的技术问题是提供一种数据抽取方法和装置，可以快速的从大数据中抽取数据。本专利技术解决上述技术问题的技术方案如下：一种数据抽取方法，包括以下步骤，S1，获取数据抽取任务，并将所述数据抽取任务划分多个数据抽取子任务；S2，分别根据各个所述数据抽取子任务选取对应的数据节点，根据所有的所述数据节点制作数据抽取顺序表；S3，根据所述数据抽取顺序表从数据库中抽取数据。在上述技术方案的基础上，本专利技术还可以做如下改进。>进一步，所述S1具本文档来自技高网...

【技术保护点】
1.一种数据抽取方法，其特征在于：包括以下步骤，/nS1，获取数据抽取任务，并将所述数据抽取任务划分多个数据抽取子任务；/nS2，分别根据各个所述数据抽取子任务选取对应的数据节点，根据所有的所述数据节点制作数据抽取顺序表；/nS3，根据所述数据抽取顺序表从数据库中抽取数据。/n

【技术特征摘要】
1.一种数据抽取方法，其特征在于：包括以下步骤，
S1，获取数据抽取任务，并将所述数据抽取任务划分多个数据抽取子任务；
S2，分别根据各个所述数据抽取子任务选取对应的数据节点，根据所有的所述数据节点制作数据抽取顺序表；
S3，根据所述数据抽取顺序表从数据库中抽取数据。


2.根据权利要求1所述的数据抽取方法，其特征在于：所述S1具体为，
获取数据抽取任务，从所述数据抽取任务中分类出待抽取数据的数据类型，根据所述数据类型将所述数据抽取任务划分多个数据抽取子任务。


3.根据权利要求1或2所述的数据抽取方法，其特征在于：在所述S2之前还包括如下步骤，
根据数据类型和数据之间的关联关系在数据库中布置多个数据节点。


4.根据权利要求3所述的数据抽取方法，其特征在于：各个所述数据节点之间的关系包括继承关系和并列关系。


5.根据权利要求3所述的数据抽取方法，其特征在于：在所述S3后还包括如下步骤，
在抽取后的数据库中，根据剩余的数据类型和剩余的数据之间的关联关系在重新布置多个数据节点。


6.一种数据抽...

【专利技术属性】
技术研发人员：张涛，李卫群，兰海翔，陶心万，潘忠瑞，黄纪萍，杨启帆，
申请(专利权)人：贵州力创科技发展有限公司，
类型：发明
国别省市：贵州;52