一种基于BI系统的数据处理方法及系统技术方案

本发明专利技术实施例提供一种基于BI系统的数据处理方法，包括以下步骤：步骤一：服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；步骤二：基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；步骤三：将得到的所述N份目标数据存储至所述数据库的内存缓冲池；步骤四：将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。本发明专利技术实施例对于不同的数据库进行拆分，提高在不同的数据库中的查询效率，进而提高用户体验。

【技术实现步骤摘要】
一种基于BI系统的数据处理方法及系统
本专利技术涉及数据库
,更具体地说，涉及到一种基于BI系统的数据处理方法及系统。
技术介绍
随着业务的迅猛发展，数据量快速增长，数据存储及数据使用逐渐成为系统的瓶颈。现有BI系统只支持操作相关关系型数据库,不利于大数据场景下的数据下载，因此如何对数据库进行拆分是改善数据库的性能的一大难题。本
技术实现思路
为了克服现有技术的不足，本专利技术提供本专利技术提供一种基于BI系统的数据处理方法用来如何对数据库进行拆分以便能提高用户的查询效率。本专利技术解决其技术问题所采用的技术方案是：一种基于BI系统的数据处理方法，包括以下步骤：步骤一：服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；步骤二：基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；步骤三：将得到的所述N份目标数据存储至所述数据库的内存缓冲池；步骤四：将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。优选地，所述本文档来自技高网...

【技术保护点】
1.一种基于BI系统的数据处理方法，其特征在于，包括以下步骤：/n步骤一：服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；/n步骤二：基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；/n步骤三：将得到的所述N份目标数据存储至所述数据库的内存缓冲池；/n步骤四：将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。/n

【技术特征摘要】
1.一种基于BI系统的数据处理方法，其特征在于，包括以下步骤：
步骤一：服务器接收客户端数据库拆分请求，所述数据库拆分请求基于SQL语句对数据库中的数据表进行拆分请求；
步骤二：基于获取的所述SQL拆分规则，对所述SQL语句进行拆分，使得所述数据表均分成N份目标数据；
步骤三：将得到的所述N份目标数据存储至所述数据库的内存缓冲池；
步骤四：将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。


2.根据权利要求1所述的一种基于BI系统的数据处理方法，其特征在于，所述服务器接收客户端数据库拆分请求之后，所述步骤还包括：
将所述服务器接收的所述数据库拆分请求标记为待处理数据量分析；
根据所述待处理数据量分析对所述数据库中所述数据表查询记录数进行分析。


3.根据权利要求2所述的一种基于BI系统的数据处理方法，其特征在于，所述基于获取的所述SQL拆分规则之前，所述步骤还包括：
根据所述数据库的性能自动配置参数，所述数据库性能包括CPU、内存、数据库类型；
基于所述配置的参数获取所述SQL拆分规则。


4.根据权利要求1所述的一种基于BI系统的数据处理方法，其特征在于，对所述SQL语句进行拆分，所述步骤包括：
基于状态异步补偿机制对所述SQL语句进行拆分。


5.根据权利要求1所述的一种基于BI系统的数据处理方法，其特征在于，所述将所述数据库的内存缓冲池中的所述N份目标数据合并发送至共享存储。所述步骤包括：
基于状态异步补偿机制将所述数据库的内存缓冲池中的所述N份目标数据合并...

【专利技术属性】
技术研发人员：何青青，刘跃红，张卫，黄文珠，
申请(专利权)人：银盛支付服务股份有限公司，
类型：发明
国别省市：广东;44