一种高效归集多系统大数据的实现方法技术方案

本发明专利技术提供一种高效归集多系统大数据的实现方法，属于数据库领域，本发明专利技术包括：对于多系统数据库的多种数据库链接方式的支持，并在数据抽过程中建立数据库链接信息设置表对多数据库的详细链接配置信息进行记录；在多系统数据库的数据抽过程中建立数据抽取表设置表对数据抽取详细信息进行记录；通过在抽取数据前删除影响抽取速度的表索引；通过对数据更新速度的分类，同时结合数据抽取表设置表中的过滤条件字段，对不同数据进行分时分批分过滤条件的数据抽取方式实现大数据量的数据高效抽取。与现有技术相比，本发明专利技术具有数据归集量大、归集速度快、归集的数据可用性强等特点。

【技术实现步骤摘要】

本专利技术涉及数据库领域，尤其涉及一种高效归集多系统大数据的实现方法。
技术介绍
大数据(bigdata)，指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力来适应海量、高增长率和多样化的信息资产。在分析运用大数据前，我们必须进行大数据的归集，而在现有的数据抽取方式上，数据抽取效率低、抽取到的数据可用性差、支持的配置方式不够灵活的缺点亟待优化，这些在数据归集中出现的短板也使的我们在大数据的应用上很难进一步发展。
技术实现思路
为了解决以上技术问题，本专利技术提出了一种高效归集多系统大数据的实现方法。主要通过以下步骤完成:1、数据库链接配置部分通过在数据库中建立数据库链接信息设置表，并且记录各系统数据库的数据库链接配置信息，这样在以后的数据抽取活动中直接访问数据库链接信息设置表，读取相应数据库的链接配置信息，进行快速高效的数据库链接。2、数据定位部分不同于全量抽取，我们要抽取的数据是我们知道的有分析利用价值的数据，所以通过建立数据抽取表设置表进行准确的数据定位，从而实现只对有用数据的抽取，从降低数据抽取量的角本文档来自技高网...

【技术保护点】
一种高效归集多系统大数据的实现方法，其特征在于，A、对于多系统数据库的多种数据库链接方式的支持，并在数据抽取过程中建立数据库链接信息设置表对多数据库的详细链接配置信息进行记录；B、在多系统数据库的数据抽过程中建立数据抽取表设置表对数据抽取详细信息进行记录；C、同过在抽取数据前删除影响抽取速度的表索引的方式提高数据抽取速度；D、通过对数据进行分类，同时结合数据抽取表设置表中的过滤条件字段，分时分批分过滤条件的数据抽取方式实现大数据量的数据抽取。

【技术特征摘要】
1.一种高效归集多系统大数据的实现方法，其特征在于，A、对于多系统数据库的多种数据库链接方式的支持，并在数据抽取过程中建立数据库链接信息设置表对多数据库的详细链接配置信息进行记录；B、在多系统数据库的数据抽过程中建立数据抽取表设置表对数据抽取详细信息进行记录；C、同过在抽取数据前删除影响抽取速度的表索引的方式提高数据抽取速度；D、通过对数据进行分类，同时结合数据抽取表设置表中的过滤条件字段，分时分批分过滤条件的数据抽取方式实现大数据量的数据抽取。2.根据权利要求1中所述的方法，其特征在于：在A中：数据库的链接方式有：DBLINKE、表所有者加表名；在数据抽取过程中建立数据库链接信息设置表，在确定各个系统数据库的链接方式...

【专利技术属性】
技术研发人员：王涛威，马娟，于超，李冉冉，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37