一种Hbase表中冷热数据转换方法、装置及电子设备制造方法及图纸

本发明专利技术实施例提供了一种Hbase表中冷热数据转换方法、装置及电子设备，包括：在各热存储区间中，确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的目标热存储区间，并且将目标热存储区间变更为存储冷数据的冷存储区间，以使目标热存储区间存储的热数据转换为冷数据，冷存储区间为在第二硬盘上存储冷数据的存储区间，由于可以将满足一定条件的热存储区间变更为存储冷数据的冷存储区间，不需要将数据从存储热数据的表中迁移到存储热数据的表中，减轻了冷热数据的变更对数据库造成的存储负担。存储负担。存储负担。

【技术实现步骤摘要】
一种Hbase表中冷热数据转换方法、装置及电子设备


[0001]本专利技术涉及数据存储
，特别是涉及一种Hbase表中冷热数据转换方法、装置及电子设备。

技术介绍

[0002]HBase(Hadoop Database，分布式计算数据库)是一种高可靠性、高性能、面向列、可伸缩、实时读写的分布式数据库，由于其众多的优点，使得HBase在Hadoop(分布式计算)生态圈扮演着一个重要的角色。
[0003]在HBase众多的业务场景中，需要按照数据生成的时长，对数据进行分层存储，按照数据生成的时长长短，将数据划分为热数据和冷数据，其中，热数据为生成时长小于设定阈值的数据，冷数据为生成时长大于等于设定阈值的数据。
[0004]为了兼顾存储成本和存储性能，可以将热数据存储在读写性能较强的SSD(Solid State Disk，固态存储硬盘)中，将冷数据存储在读写性能较差，但成本较低的SATA(Serial Advanced Technology Attachment，串行高级技术附件)硬盘中。
[0005]专利技术人在实现本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种Hbase表中冷热数据转换方法，其特征在于，包括：在Hbase表包含的各热存储区间中，确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的热存储区间，作为目标热存储区间，其中，所述热存储区间为在第一硬盘上存储热数据的存储区间，一个存储区间对应的存储时段表示该存储区间用于存储生成时刻位于该存储时段的数据；将所述目标热存储区间变更为存储冷数据的冷存储区间，以使所述目标热存储区间存储的热数据转换为冷数据，所述冷存储区间为在第二硬盘上存储冷数据的存储区间，所述第一硬盘的读写性能高于所述第二硬盘的读写性能。2.根据权利要求1所述的方法，其特征在于，所述Hbase表中每个存储区间对应有区间标识，所述区间标识为第一预设格式的字符串，从一个存储时段的结束时刻到当前时刻的时长大小，与该存储时段对应的区间标识的字符串数值的大小成反比；所述在Hbase表包含的各热存储区间中，确定从存储时段的结束时刻到当前时刻的时长大于第一预设时长的热存储区间，包括：基于第一预设时长，按照预设的第一编码策略，对所述当前时刻进行编码，得到基准标识，其中，所述基准标识为与所述当前时刻相差所述第一预设时长的时刻对应的所述第一预设格式的字符串；在所述各热存储区间中，确定区间标识的字符串数值小于所述基准标识的字符串数值的热存储区间，作为目标热存储区间。3.根据权利要求1或2所述的方法，其特征在于，所述Hbase表中存储区间包含有存储单元；所述将所述目标热存储区间变更为存储冷数据的冷存储区间，以使所述目标热存储区间存储的热数据转换为冷数据，包括：将所述目标热存储区间包含的存储单元的热存储策略修改为冷存储策略，以使所述目标热存储区间包含的存储单元从所述第一硬盘转移至所述第二硬盘。4.一种数据的存储方法，其特征在于，包括：针对待存入Hbase表中的待存储数据，确定所述待存储数据的生成时刻，所述Hbase表中包含热存储区间和冷存储区间，所述热存储区间为在第一硬盘上存储热数据的存储区间，所述冷存储区间为在第二硬盘上存储冷数据的存储区间，所述第一硬盘的读写性能高于所述第二硬盘的读写性能，所述Hbase表中每个存储区间对应有存储时段，一个存储区间对应的存储时段表示该存储区间用于存储生成时刻位于该存储时段的数据；将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间。5.根据权利要求4所述的方法，其特征在于，所述Hbase表中每个存储区间对应有区间标识，所述区间标识为第一预设格式的字符串，从一个存储时段的结束时刻到当前时刻的时长大小，与该存储时段对应的区间标识的字符串数值的大小成反比；在将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间之前，还包括：按照预设的第二编码策略，对所述待存储数据的生成时刻进行编码，得到所述第一预设格式的字符串，作为所述待存储数据的数据时间标识，一个数据的数据时间标识对应的
字符串数值的大小，与该数据的生成时刻与所述当前时刻之间的时长成反比；所述将所述待存储数据存入所述Hbase表中所述待存储数据的生成时刻所属的存储时段对应的存储区间，包括：确定所述Hbase表中对应的区间标识与所述数据时间标识相匹配的存储区间，作为目标存储区间；将所述待存储数据存入所述目标存储区间。6.根据权利要求5所述的方法，其特征在于，所述Hbase表中存储区间包含有存储单元；所述将所述待存储数据存入所述目标存储区间，包括：将所述待存储数据随机存入所述目标存储区间所包含的存储单元中。7.根据权利要求5所述的方法，其特征在于，所述存储区间包括第一预设数量个存储单元，每个存储单元对应有单元盐析标识，属于同一存储区间的存储单元的单元盐析标识对应的字符串数值为从预设阈值开始连续的所述第一预设数量个数值；在确定所述Hbase表中对应的区间标识与所述数据时间标识相匹配的存储区间，作为目标存储区间之前，还包括：获取所述待存储数据的数据行标识；对所述数据行标识进行哈希运算，得到所述数据行标识的哈希运算结果，所述哈希运算结果为数值；将所述哈希运算结果对所述第一预设数量进行取余运算，得到取余数值；基于所述取余数值与所述预设阈值的数值和，确定所述待存储数据的数据盐析标识，所述数据盐析标识的字符串数值为所述数值和；所述将所述待存储数据存入所述目标存储区间，包括：确定所述目标存储区间所包含的存储单元中，单元盐析标识与所述数据盐析标识相同的存储单元，作为目标存储单元；将所述待存储数据存入所述目标存储单元。8.一种Hbase表的建立方法，其特征在于，包括：确定与当前时刻相差第一预设时长的时刻，作为基准时刻；基于所述基准时刻，生成存储区间，其中，所述存储区间包括对应的存储时段的起始时刻大于所述基准时刻的第一存储区间，和对应的存储时段的结束时刻不大于所述基准时刻的第二存储区间，一个存储区间对应的存储时段表示该存储区间用于存...

【专利技术属性】
技术研发人员：许正一，张建兴，李林森，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：