海量数据带条件集中抽取系统及方法技术方案

本发明专利技术提供了一种海量数据带条件集中抽取系统及方法，所述系统包含查询装置和一个或多个数据库；所述查询装置用于根据接收到的查询指令向数据库发送查询请求，将数据库反馈的查询结果写入预设缓存表；以及，根据数据库反馈的查询结果生成提取指令并发送至对应数据库，当数据库无反馈查询结果时，所述将预设缓存表中存储的查询结果提取后反馈查询指令请求方；所述数据库用于根据所述查询请求解析获得查询条件，根据所述查询条件查询本地数据获得查询结果目录，将所述查询结果目录中预定条数的查询结果反馈至所述查询装置；以及，根据提取指令，将所述查询结果目录中未反馈的查询结果按预定条数反馈至所述查询装置。

Extraction system and method of massive data with conditional concentration

【技术实现步骤摘要】
海量数据带条件集中抽取系统及方法
本专利技术涉及数据库技术，尤指一种海量数据带条件集中抽取系统及方法。
技术介绍
信息技术极大地强化了统计学的指导意义。通过分析人类活动中产生的大量数据(例如，流水帐务)，从中挖掘出了更多的价值(例如，用户购物偏好)，反过来鼓励了人类社会更加积极地记录数据，使得存储的数据数量越来越多，也使得分析中抽取的数据量越来越大。存储和使用海量数据的过程中，升级单个服务器性能的“纵向扩展(Scale-Up)”需要克服物理研究、生产工艺等技术挑战，单纯等待单个服务器硬件技术的进步，无法满足数据日益增长的需求迫切性。为此，现代海量数据处理过程中，都使用增加服务器数目，并通过灵活的软件设计来将这些服务器集中起来管理从而实现“横向扩展(Scale-Out)”，来克服纵向扩展的限制。在横向扩展的系统中，往往使用部署2个或以上的数据库。在打印流水账等应用场景中，需要从多个数据库中抽取符合条件的较为大量的数据。在这个过程中会有多个影响其它业务活动的重点难点：首先，查询程序需要有更大的内存来缓存查询结果，导致查询程序的资源紧本文档来自技高网...

【技术保护点】
1.一种海量数据带条件集中抽取系统，其特征在于，所述系统包含查询装置和一个或多个数据库；/n所述查询装置用于根据接收到的查询指令向数据库发送查询请求，将数据库反馈的查询结果写入预设缓存表；以及，根据数据库反馈的查询结果生成提取指令并发送至对应数据库，当数据库无反馈查询结果时，所述将预设缓存表中存储的查询结果提取后反馈查询指令请求方；/n所述数据库用于根据所述查询请求解析获得查询条件，根据所述查询条件查询本地数据获得查询结果目录，将所述查询结果目录中预定条数的查询结果反馈至所述查询装置；以及，根据提取指令，将所述查询结果目录中未反馈的查询结果按预定条数反馈至所述查询装置。/n

【技术特征摘要】
1.一种海量数据带条件集中抽取系统，其特征在于，所述系统包含查询装置和一个或多个数据库；
所述查询装置用于根据接收到的查询指令向数据库发送查询请求，将数据库反馈的查询结果写入预设缓存表；以及，根据数据库反馈的查询结果生成提取指令并发送至对应数据库，当数据库无反馈查询结果时，所述将预设缓存表中存储的查询结果提取后反馈查询指令请求方；
所述数据库用于根据所述查询请求解析获得查询条件，根据所述查询条件查询本地数据获得查询结果目录，将所述查询结果目录中预定条数的查询结果反馈至所述查询装置；以及，根据提取指令，将所述查询结果目录中未反馈的查询结果按预定条数反馈至所述查询装置。


2.根据权利要求1所述的海量数据带条件集中抽取系统，其特征在于，所述数据库还包含：将所述查询结果目录中的各查询结果按主键顺序排序后，反馈预定条数查询结果及对应主键和数据库标识。


3.根据权利要求2所述的海量数据带条件集中抽取系统，其特征在于，所述查询装置包含交互模块、缓存结果集模块和步进记录模块；
所述交互模块用于根据接收到的查询指令向所述数据库发送查询请求，以及，将预设缓存表中存储的查询结果提取后反馈查询指令请求方；
所述缓存结果集模块用于将各数据库反馈的查询结果按序写入预设缓存表；
所述步进记录模块用于根据预设缓存表中查询结果的存储状况获得数据库反馈记录，将所述数据库反馈记录更新至预设步进记录表中。


4.根据权利要求3所述的海量数据带条件集中抽取系统，其特征在于，所述缓存结果集模块还包含排序单元，所述排序单元用于根据所述数据库标识和主键通过插入排序算法，将接收到的查询结果按序写入预设缓存表。


5.根据权利要求3所述的海量数据带条件集中抽取系统，其特征在于，所述预设缓存表还包含多个存储元组，所述存储元组用于按数据库标识、查询结果和查询结果对应的主键分类存储所述查询结果；所述预设步进记录表包含多个记录元组，所述记录元组用于按数据库标识、记录条数、主键阈值分类存储所述数据库反馈记录。


6.根据权利要求5所述的海量数据带条件集中抽取系统，其特征在于，所述查询装置还包含计数模块，所述技术模块用于将所述存储元组中主键与记录元组中主键阈值比较，当所述存储元组中主键大于所述记录元组中主键阈值时，将所述记录元组中主键阈值调整为所述存储元组中主键，并将所述记录条数上调。


7.根据权利要求5所述的海量数据带条件集中抽取系统，其特征在于，所述查询装置包含构建单元，所述构建单元用于根据所述预设步进记录表中各所述记录元组的主键阈值，按预设规则构建提取指令并发送至所述数据库，使所述数据库根据所述主键阈值将所述查询结果目录中未反馈的查询结果按预定条数分批反馈至所述查询装置。


8.一种适用于权利要求1所述的海量数据带条件集中抽取系统的海量数据带条件集中抽取方法，其特征在于，所述方法包含：
根据接收到的查询指令生成查询请求，将所述查询请求发送至一个或多个数据库，并将接收到的查询结果写入预设缓存表；
根据所述预设缓存表中存储的查询结果生成提取指令，并将所述提取指令发送至对应数据库；
当数据库无反馈查询结果时，所述将预设缓存表中存储的查询...

【专利技术属性】
技术研发人员：钟悦，周烨，黄司辉，李海龙，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11