【技术实现步骤摘要】
一种历史数据低存储占用查询的管理方法及系统
[0001]本专利技术属于数据存储管理
，具体来说，涉及一种历史数据低存储占用查询的管理方法及系统。
技术介绍
[0002]随着计算机技术的不断发展和信息化程度的不断提高，数据量迅速增长，面向海量数据存储及应用也随着蓬勃发展，大数据引用越来越广泛。大型企业尤其是金融行业的历史数据包含较多的重要信息、敏感信息，例如银行 系统的客户数据等，基于企业自身业务需求或监管需求，不能轻易删除历史数据，因此，需 对信息系统所产生的历史数据进行存储。传统一般采用结构化存储方式，每个存储周期将 结构化历史数据全量备份保存于专门搭建的数据库、数据表中，或保存在增设的磁带库中。 然而，随着大数据时代的到来，存储于数据库中的结构化历史数据量将飞速增长，从而导致 数据库和磁带库消耗的存储资源将越来越大、存储成本将越来越高。
[0003]在专利号为CN201410363419.3的中国专利技术专利中，公开了一种历史数据存储方法，包括：依据预先制定的筛选策略对信息系统产生的结构化历史数据进行筛选，...
【技术保护点】
【技术特征摘要】
1.一种历史数据低存储占用查询的管理方法，其特征在于，包括步骤：S1、根据相同字段的不同时间序列创建数据结构表；S2、将数据结构表拆分为动态数据表和静态数据表；S3、数据字段写入时，先写入动态数据表，同时在动态数据表中标注数据写入时间戳；S4、根据动态数据表存储数据字段的空间存储上限及写入数据字段的平均速率，计算其动态数据表超限时间；S5、实时判断动态数据表中的存储数据字段的保留时间是否超限，若超限进入步骤S6，若没有超限，则返回步骤S3中；S6、将超限的历史数据字段写入静态数据表中。2.根据权利要求1所述的一种历史数据低存储占用查询的管理方法，其特征在于，字段的时间序列至少包括字段ID、写入时间戳、数据类型和数据量。3.根据权利要求2所述的一种历史数据低存储占用查询的管理方法，其特征在于，步骤S2的详细步骤包括：S201、初始数据结构表分表拆分时，用户初始预设两个存储空间；S202、将数据结构表复制后分别存储于两个存储空间内；S203、设定一个数据结构表为接收数据写入的动态数据表，另一个作为历史数据存储的静态数据表。4.根据权利要求3所述的一种历史数据低存储占用查询的管理方法，其特征在于，步骤S4的详细计算步骤包括：S401、根据动态数据表的存储空间内预分配的存储上限和已存储的内存作差，计算获取动态数据表剩余存储空间值；S402、将数据字段当前写入时刻与第一次写入时刻作差后取整，得到数据字段截止当前时刻所持续写入的总时间长度；S403、记录数据字段写入动态数据表的总数据量；S404、将步骤S402计算得到的总时间长度比上步骤S403计算所得到的总数据量，得到写入数据字段的平均速率；S405、将步骤S401计算得到的动态数据表剩余存储空间值比上写入数据字段的平均速率，得到当前动态数据表剩余存储空间存储到超限所需时间。5.根据权利要求4所述的一种历史数据低存储占用查询的管理方法，其特征在于，步骤S3中，数据字段写入时需先采用查询方法，遍历其数据字段存储位置，其详细遍历查询步骤包括：S301、首先在动态数据表中查询待写入数据字段，若查询结果有待写入数据字段，则进入步骤S302，若查询结果没有待写入数据字段，则进入步骤S305；S302、识别待写入数据字段的数据量及单个数据量所需存储空间值；S303、通过待写入数据字段的数据量乘以单个数据量所需存储空间值得到当前待写入数据字段所需总存储空间值；S304、判断动态数据表中剩余存储空间值是否大于待写入数据字段所需总存储空间值，若大于，则进入步骤S4，若小于或等于，则对动态数据表进行扩容，或者写入阻塞对列中；
S305、在静态数据表中查询有无当前待写入数据字段，若静态数据表中有当前待写入数据字段，则进入步骤S306，若静态数据表中没有前待写入数据字段，则进入步骤S307；S306、复制静态数据表的第一行或第一列标题的数据字段，并映射至动态数据表中；S307、根据待写入数据字段包含的时间序列内容，新建动态数据表，并在对应动态数据表中映射相同的静态数据表数据。6.根据权利要求5所述的一种...
【专利技术属性】
技术研发人员：张进昆，
申请(专利权)人：北京泰利思诺信息技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。