System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术涉及计算机,尤其涉及一种数据存储方法和装置。
技术介绍
1、各业务系统在长期的运营过程中,业务数据都会不断增长。面对日益增长的大量的业务数据,通常采用容量大的数据库进行存储,即将所有业务数据都存放到数据库中。这种数据存储方式的灵活性较差,且需要耗费较大的资金成本。
技术实现思路
1、有鉴于此,本专利技术实施例提供一种数据存储方法和装置,能够以灵活地方式存储业务数据,且降低存储大量业务数据所耗费的成本。
2、第一方面,本专利技术实施例提供了一种数据存储方法,应用于存储系统中,所述存储系统包括n个数据分层,n为大于1的整数,包括:
3、接收来自目标生产系统的业务数据,并将所述业务数据存储在所述存储系统中的第一个数据分层中;
4、确定当前数据分层对应的归档策略;根据所述归档策略,从所述当前数据分层存储的数据中确定出归档数据;将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中,所述当前数据分层为所述存储系统中的前n-1个数据分层中的任一数据分层。
5、可选地,所述将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中,包括:
6、确定所述归档数据对应的数据标识是否存在于已归档集合中,所述已归档集合用于存储预设时段内已迁移至所述下一数据分层中的数据对应的数据标识;
7、在所述归档数据对应的数据标识未存在于所述已归档集合中的情况下,将所述归档数据从所述当前数据分层中迁移至所
8、可选地,所述将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中之后,还包括:
9、获取所述归档数据对应的数据标识;
10、将所述数据标识存储至已归档集合中。
11、可选地,所述接收来自目标生产系统的业务数据之后,还包括:
12、接收业务查询请求;
13、确定是否存在与所述业务查询请求对应的匹配数据分层;
14、存在所述匹配数据分层的情况下,在所述匹配数据分层中,获取所述业务查询请求对应的查询数据;
15、不存在所述匹配数据分层的情况下,将所述第一个数据分层确定为目标数据分层,并确定所述目标数据分层中是否存储有所述业务查询请求对应的查询数据;在所述目标数据分层中不存在所述查询数据的情况下,将下一数据分层确定为目标数据分层,以此类推,直至确定出所述业务查询请求对应的查询数据。
16、可选地,所述确定是否存在与所述业务查询请求对应的匹配数据分层,包括:
17、确定所述业务查询请求中是否包含分层标识;
18、在所述业务查询请求中包含分层标识的情况下,将所述分层标识对应的数据分层作为所述匹配数据分层。
19、可选地,所述确定所述业务查询请求中是否包含分层标识之后,还包括:
20、在所述业务查询请求中不包含分层标识的情况下,确定所述业务查询请求中是否包含归档字段的取值,所述归档字段为与所述归档策略相关的字段;
21、在所述业务查询请求中包含归档字段的取值的情况下,根据所述归档字段的取值与所述归档策略的匹配关系,确定所述业务查询请求对应的匹配数据分层;
22、在所述业务查询请求中不包含归档字段的取值的情况下,确定不存在所述匹配数据分层。
23、可选地,所述存储系统中的第m个数据分层符合至少一个如下条件:
24、第m个数据分层的处理性能优于第m+1个数据分层的处理性能;
25、第m个数据分层的存储空间小于第m+1个数据分层的存储空间;
26、第m个数据分层中单位存储的运维费用高于第m+1个数据分层中单位存储的运维费用;其中,m为小于n的正整数。
27、可选地,所述目标生产系统为财务生产系统,所述第一个数据分层对应于热数据分层,所述存储系统还包括:温数据分层及冷数据分层;其中,所述热数据分层采用关系型的数据库、非关系型的数据库或全文搜索引擎搭建,所述温数据分层采用分布式数据库搭建,所述冷数据分层采用云存储搭建。
28、可选地,所述热数据分层对应的归档策略用于将发生时间在第一时间点以前的数据,确定为所述热数据分层中的归档数据;
29、所述温数据分层对应的归档策略用于将发生时间在第二时间点以前且结算完成的数据,确定为所述温数据分层中的归档数据;其中,所述第一时间点晚于所述第二时间点。
30、第二方面,本专利技术实施例提供了一种数据存储装置,应用于存储系统中,所述存储系统包括n个数据分层,n为大于1的整数,包括:
31、数据接收模块,用于接收来自目标生产系统的业务数据,并将所述业务数据存储在所述存储系统中的第一个数据分层中;
32、数据归档模块,用于确定当前数据分层对应的归档策略;根据所述归档策略,从所述当前数据分层存储的数据中确定出归档数据;将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中,所述当前数据分层为所述存储系统中的前n-1个数据分层中的任一数据分层。
33、第三方面,本专利技术实施例提供了一种电子设备,包括:
34、一个或多个处理器;
35、存储装置,用于存储一个或多个程序,
36、当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现上述任一实施例所述的方法。
37、第四方面,本专利技术实施例提供了一种计算机可读介质,其上存储有计算机程序,所述程序被处理器执行时实现上述任一实施例所述的方法。
38、上述专利技术中的一个实施例具有如下优点或有益效果:将目标生产系统的业务数据分散存储在多个数据分层中。可根据需要确定各数据分层的存储介质、数据库、容量大小及数据分层之间的归档策略等信息。因此,本专利技术实施例提供了一种较为灵活的数据存储方案。
39、此外,可选用不同运维成本的存储介质或数据库,搭建不同容量的多个数据分层。相比将所有业务数据存储在处理性能较高的数据库中的方式,能够有效的降低存储大量业务数据所耗费的成本。
40、此外,可根据业务数据的时效性信息和频繁性信息,将业务数据拆分成多个数据集合,分装到多个数据分层中。可采用不同的存储介质和数据库,搭建出具有不同处理性能的各数据分层。例如,对于时效性较高和访问较频繁的业务数据,可将其存储在具有较高处理性能的数据分层中。对于时效性较差和访问频率较低的业务数据,可将其存储在具有较低处理性能的数据分层中。因此,本专利技术在有效降低数据存储成本的同时,还具有较好的数据处理性能。
41、上述的非惯用的可选方式所具有的进一步效果将在下文中结合具体实施方式加以说明。
本文档来自技高网...【技术保护点】
1.一种数据存储方法,其特征在于,应用于存储系统中,所述存储系统包括N个数据分层,N为大于1的整数,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中,包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中之后,还包括:
4.根据权利要求1所述的方法,其特征在于,所述接收来自目标生产系统的业务数据之后,还包括:
5.根据权利要求4所述的方法,其特征在于,所述确定是否存在与所述业务查询请求对应的匹配数据分层,包括:
6.根据权利要求5所述的方法,其特征在于,所述确定所述业务查询请求中是否包含分层标识之后,还包括:
7.根据权利要求1所述的方法,其特征在于,所述存储系统中的第M个数据分层符合至少一个如下条件:
8.根据权利要求1所述的方法,其特征在于,所述目标生产系统为财务生产系统,所述第一个数据分层对应于热数据分层,所述存储系统还包括:温数据分层
9.根据权利要求8所述的方法,其特征在于,所述热数据分层对应的归档策略用于将发生时间在第一时间点以前的数据,确定为所述热数据分层中的归档数据;
10.一种数据存储装置,其特征在于,应用于存储系统中,所述存储系统包括N个数据分层,N为大于1的整数,所装置包括:
11.一种电子设备,其特征在于,包括:
12.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述程序被处理器执行时实现如权利要求1-9中任一所述的方法。
...【技术特征摘要】
1.一种数据存储方法,其特征在于,应用于存储系统中,所述存储系统包括n个数据分层,n为大于1的整数,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中,包括:
3.根据权利要求1所述的方法,其特征在于,所述将所述归档数据从所述当前数据分层中迁移至所述当前数据分层的下一数据分层中之后,还包括:
4.根据权利要求1所述的方法,其特征在于,所述接收来自目标生产系统的业务数据之后,还包括:
5.根据权利要求4所述的方法,其特征在于,所述确定是否存在与所述业务查询请求对应的匹配数据分层,包括:
6.根据权利要求5所述的方法,其特征在于,所述确定所述业务查询请求中是否包含分层标识之后,还包括:
7.根据权利要求1所述的方法,其特征在于,所述存储系统中的第m个...
【专利技术属性】
技术研发人员:周志亮,
申请(专利权)人:北京京东振世信息技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。