一种大数据存储方法和系统技术方案

本发明专利技术涉及一种大数据存储方法和系统，所述方法包括：将源表中的当前最新的数据存储在当前快照表中，这样可以快速响应查询服务请求；将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中，实现对历史任意时间点的数据查询；将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中，用于系统当前反复统计使用，提高系统统计效率，降低逻辑难度；根据业务需求，对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中，用于系统快速统计不同业务维度的数据，这样将大数据按照不同需要进行分割存储，能够很大程度上提供存储性能，提高工作人员的工作效率。

A large data storage method and system

The present invention relates to a large data storage method and system. The method includes: storing the latest data in the source table in the current snapshot table so that the query service request can be quickly responded to, and the data changed in the current snapshot table is stored in the historical zipper table according to the time zipper formula. Data query in any time point of history; storing the common business data in the historical zipper table in the interim interim table for the system's current statistical use, improving the efficiency of the system and reducing the difficulty of logic; combining and storing the data in the interim tables for different dimensions according to the business requirements. In the general ledger compress table, the system is used to quickly statistics the data of different business dimensions, so that large data can be divided into separate storage according to different needs, which can provide storage performance to a large extent and improve the work efficiency of the staff.

【技术实现步骤摘要】
一种大数据存储方法和系统
本专利技术涉及数据存储
，特别是涉及一种大数据存储方法和系统。
技术介绍
目前绩效考核系统是银行重点建设的信息系统之一，对银行的发展极具战略意义。银行每天产生的日常业务数据非常庞大，因此银行如何建立一个高性能、高容量、灵活伸缩扩展、自动归档数据的数据存储机制非常重要。现有银行绩效系统的数据存储普遍存在如下缺点：1、存储的单表业务数据量大，查询效率非常慢，不能快速响应业务请求；2、存储的数据没有历史记录机制，无法查看以往时点状态的数据，只能查看当前最新的业务数据；3、没有临时使用机制，每次需要关联查询多个业务表，导致查询逻辑复杂，效率低下；4、不能快速查询任意维度的汇总数据，只能从帐户粒度的大量数据表进行汇总查询；5、没有归档逻辑，表数据量持续增长，导致最后无法访问；6、不能按业务重要性进行数据快速备份、恢复；7、不能针对性的对高频数据，大表进行内存优化。
技术实现思路
为了克服现有技术存在的银行系统还没有一个高性能、高容量、灵活伸缩扩展、自动归档数据的数据存储机制不足，本专利技术提供了一种大数据存储方法和系统。本专利技术解决其技术问题所采用的技术方案是：一本文档来自技高网...

【技术保护点】
1.一种大数据存储方法，其特征在于，包括：将源表中的当前最新的数据存储在当前快照表中；将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中；将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中；根据业务需求，对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中。

【技术特征摘要】
1.一种大数据存储方法，其特征在于，包括：将源表中的当前最新的数据存储在当前快照表中；将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中；将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中；根据业务需求，对过渡临时表中的数据进行不同维度的组合并存储在总账压缩表中。2.根据权利要求1所述的大数据存储方法，其特征在于，将源表中的当前最新的数据存储在当前快照表中的步骤包括：将当前快照表的数据设置第一标识；将源表的数据设置第二标识，且所述源表的数据存在于当前快照表中；将所述第一标识和第二标识进行关联。3.根据权利要求1所述的大数据存储方法，其特征在于，将所述当前快照表中当天变动的数据按照时间拉链方式存储在历史拉链表中的步骤包括：删除历史拉链表中的旧数据，修改预设结束日期；或者在统计日期为年初时，若历史拉链表中有数据时，则对所述数据进行截断；若历史拉链表中没有数据时，将当前快照表的所有数据导到历史拉链表中，确定起始日期为统计日期；若统计日期不为年初时，若历史拉链表中有数据，总历史拉链表中结束日期等于预设结束日期，且其起始日期小于统计日期的数据关联到当前快照表，并进行数据截断；若历史拉链表中没有数据，将存在于当前快照表的数据，从当前快照表直接导到历史拉链表，并确定起始日期为统计日期。4.根据权利要求3所述的大数据存储方法，其特征在于，在统计日期为年初时，若历史拉链表中有数据时，则对所述数据进行截断的步骤包括：将历史拉链表的中数据的起始日期小于统计日期的数据的预设结束日期修改为统计日期的前一天；将当前快照表的所有数据导到历史拉链表，起始日期为统计日期。5.根据权利要求3所述的大数据存储方法，其特征在于，若统计日期不为年初时，若历史拉链表中有数据，总历史拉链表中结束日期等于预设结束日期，且其起始日期小于统计日期的数据关联到当前快照表，并进行数据截断的步骤包括：将修改历史拉链表中数据的预设结束日期为统计日期的前一天；将当前快照表的数据导到历史拉链表，起始日期确定为统计日期。6.根据权利要求1所述的大数据存储方法，其特征在于，将历史拉链表中当天公共的业务数据汇总存储在过渡临时表中的步骤包括：获取统计日期当天的当前快照表...

【专利技术属性】
技术研发人员：苏家怡，魏烈龙，钟国文，黄海华，
申请(专利权)人：广州天维信息技术股份有限公司，
类型：发明
国别省市：广东,44