System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本申请涉及数据存储,尤其涉及一种数据存储方法和电子设备。
技术介绍
1、随着社会信息化程度的不断加深,各种领域的数据量也越来越大,而大数据具有体量大、模式多、速度快和价值密度低等属性,这些属性导致大数据的数据管理以及信息处理的复杂性提高。
2、相关技术中,大数据的访问请求可能集中于某一类数据,另一类数据则只有较少的访问请求,对于那些访问请求频率较低的数据,若应用同样的存储策略,不仅会有存储效率低下的问题,也会造成资源浪费。
技术实现思路
1、本申请示例性的实施方式中提供一种数据存储方法和电子设备,用以提高数据存储时的效率,克服数据存储时的资源浪费问题。
2、根据示例性的实施方式中的第一方面,提供一种数据存储方法,包括:
3、获取m组待存储数据;其中,每组待存储数据的类型相同;m为大于或等于1的整数;
4、针对每组待存储数据,确定待存储数据的访问频率集合和影响因子集合,并根据访问频率集合和影响因子集合确定待存储数据的热度特征集合;其中,访问频率集合包括v个时刻中各个时刻的访问频率;影响因子集合中包括v个时刻中各个时刻的影响因子,每个时刻的影响因子表示时刻的数据量占v个时刻的数据量总和的比例;热度特征集合包括v个时刻的v个热度特征;v为大于或等于2的整数;
5、应用设定聚类算法,对m个热度特征集合进行聚类,确定m个热度特征集合各自的热度类型;
6、根据热度类型与存储策略的对应关系,针对每个热度特征集合,采用热度特征
7、根据示例性的实施方式中的第二方面,提供一种电子设备,包括处理器和存储器;
8、处理器被配置为执行:
9、获取m组待存储数据;其中,每组待存储数据的类型相同;m为大于或等于1的整数;
10、针对每组待存储数据,确定待存储数据的访问频率集合和影响因子集合,并根据访问频率集合和影响因子集合确定待存储数据的热度特征集合;其中,访问频率集合包括v个时刻中各个时刻的访问频率;影响因子集合中包括v个时刻中各个时刻的影响因子,每个时刻的影响因子表示时刻的数据量占v个时刻的数据量总和的比例;热度特征集合包括v个时刻的v个热度特征;v为大于或等于2的整数;
11、应用设定聚类算法,对m个热度特征集合进行聚类,确定m个热度特征集合各自的热度类型;
12、存储器被配置为执行:
13、根据热度类型与存储策略的对应关系,针对每个热度特征集合,采用热度特征集合的热度类型对应的存储策略,对热度特征集合对应的待存储数据进行存储。
14、根据示例性的实施方式中的第三方面,提供一种数据存储装置,包括:
15、数据获取单元,用于:获取m组待存储数据;其中,每组待存储数据的类型相同;m为大于或等于1的整数;
16、热度特征确定单元,用于:针对每组待存储数据,确定待存储数据的访问频率集合和影响因子集合,并根据访问频率集合和影响因子集合确定待存储数据的热度特征集合;其中,访问频率集合包括v个时刻中各个时刻的访问频率;影响因子集合中包括v个时刻中各个时刻的影响因子,每个时刻的影响因子表示时刻的数据量占v个时刻的数据量总和的比例;热度特征集合包括v个时刻的v个热度特征;v为大于或等于2的整数;
17、热度类型确定单元,用于:应用设定聚类算法,对m个热度特征集合进行聚类,确定m个热度特征集合各自的热度类型;
18、存储单元,用于:根据热度类型与存储策略的对应关系,针对每个热度特征集合,采用热度特征集合的热度类型对应的存储策略,对热度特征集合对应的待存储数据进行存储。
19、根据示例性的实施方式中的第四方面,提供一种计算机存储介质,计算机存储介质中存储有计算机程序指令,当指令在计算机上运行时,使得计算机执行如第一方面的数据存储方法。
20、本申请实施例,为了准确表示待存储数据的热度,考虑访问频率和数据量的影响,根据数据量构建影响因子,进而将访问频率和影响因子这两个因素共同来衡量数据热度,衡量标准更加符合数据热度的实际情况、更客观。因此,针对每组待存储数据,确定待存储数据的访问频率集合和影响因子集合,并根据访问频率集合和影响因子集合确定待存储数据的热度特征集合,应用设定聚类算法,对m个热度特征集合进行聚类,确定m个热度特征集合各自的热度类型;根据热度类型与存储策略的对应关系,针对每个热度特征集合,采用热度特征集合的热度类型对应的存储策略,对热度特征集合对应的待存储数据进行存储。因此,考虑到数据热度不同,针对不同热度的待存储数据采用适配的存储策略,提高数据存储时的效率,克服数据存储时的资源浪费问题。
本文档来自技高网...【技术保护点】
1.一种数据存储方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述确定M个热度特征集合各自的热度类型之后,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述对M个热度特征集合进行聚类,包括:
5.根据权利要求1所述的方法,其特征在于,每个时刻的访问频率是根据所述时刻的日志数据确定的;其中,所述日志数据包括访问时间、访问方式和访问文件中的一个或多个。
6.根据权利要求1所述的方法,其特征在于,每个时刻的数据量是根据所述时刻之前的全部数据采集时刻各自的数据量确定的。
7.根据权利要求1~6任一项所述的方法,其特征在于,所述热度类型与存储策略的对应关系包括:
8.一种电子设备,其特征在于,包括处理器和存储器;
9.根据权利要求8所述的电子设备,其特征在于,所述处理器还被配置为执行,在所述确定M个热度特征集合各自的热度类型之后:
10.根据权利要求9所述的电子设备,其特征在于,所述处理器
...【技术特征摘要】
1.一种数据存储方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述确定m个热度特征集合各自的热度类型之后,所述方法还包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述对m个热度特征集合进行聚类,包括:
5.根据权利要求1所述的方法,其特征在于,每个时刻的访问频率是根据所述时刻的日志数据确定的;其中,所述日志数据包括访问时间、访问方式和访问文件中的一个或多个。
【专利技术属性】
技术研发人员:薛钰洁,王猛,
申请(专利权)人:青岛海信网络科技股份有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。