数据存储方法和装置以及存储系统巡检方法制造方法及图纸

技术编号:37780840 阅读:9 留言:0更新日期:2023-06-09 09:11
本申请提供了一种数据存储方法和装置、存储系统巡检方法。该数据存储方法包括:获取存储空间的第一访问日志,所述第一访问日志用于记载所述存储空间中的访问操作相关信息;基于所述第一访问日志,确定所述存储空间中待转换存储类型的第一候选存储数据,其中所述第一候选存储数据是从所述第一访问日志对应的访问操作所涉及的存储数据中选取的;响应于所述第一候选存储数据的存储类型属于第一存储类型,将所述第一候选存储数据的存储类型更改为第二存储类型,所述第二存储类型对应的数据访问性能高于所述第一存储类型对应的数据访问性能。该数据存储方法可以用于云存储,有助于降低用户的存储成本并且提高存储系统的数据访问性能。问性能。问性能。

【技术实现步骤摘要】
数据存储方法和装置以及存储系统巡检方法


[0001]本申请涉及云
具体地,涉及一种数据存储方法和装置、存储系统巡检方法、计算设备、计算机可读存储介质以及计算机程序产品。

技术介绍

[0002]随着计算机技术的发展,越来越多的组织和个人开始使用各种终端设备经由计算机网络来处理与工作、生活、社交等相关的各种事务。相应地,这些网络用户在计算机网络中产生和使用的数据量也在迅速增长。大型网站、移动app等互联网/移动互联网应用的静态内容(视频、图片、文件、软件安装包等等)等多种类的数据对数据存储技术提出了越来越高的要求。
[0003]在相关技术中,云服务平台可以为用户提供具有大容量数据存储能力的云存储服务(例如,对象存储服务(Object Storage Service, OSS)),但是由于不同用户在数据访问性能(例如,访问时延、存储期限、数据持久性、读取方式等)方面的需求不同,而且同一用户所存储的不同数据的访问模式(例如,高频访问、低频访问等)也可能不同,因此云服务平台难以通过具有单一的数据存储类型的云存储服务来满足复杂多样的用户需求。目前,存在一些具有不同数据存储类型的云存储服务,但是常常面临数据的访问模式不固定、数据存储类型不便更改等情况,从而导致用户难以在数据访问性能和存储成本之间达到较好的平衡。

技术实现思路

[0004]有鉴于此,本申请提供了一种数据存储方法和装置、存储系统巡检方法、计算设备、计算机可读存储介质以及计算机程序产品,以缓解、减轻、甚至消除上述问题。
[0005]根据本申请的一方面,提供了一种数据存储方法,包括:获取存储空间的第一访问日志,所述第一访问日志用于记载所述存储空间中的访问操作相关信息;基于所述第一访问日志,确定所述存储空间中待转换存储类型的第一候选存储数据,其中所述第一候选存储数据是从所述第一访问日志对应的访问操作所涉及的存储数据中选取的;响应于所述第一候选存储数据的存储类型属于第一存储类型,将所述第一候选存储数据的存储类型更改为第二存储类型,所述第二存储类型对应的数据访问性能高于所述第一存储类型对应的数据访问性能。
[0006]根据本申请的另一方面,提供了一种存储系统的巡检方法,所述存储系统使用本申请所提供的任一数据存储方法来存储数据,所述巡检方法包括:以预设频率对存储系统中的存储数据执行预设操作,所述预设操作包括对所述存储数据执行的下述操作中至少一项:上传、删除、拷贝、下载;基于执行所述预设操作之前所述存储数据的存储类型,确定执行所述预设操作之后所述存储数据的预期存储类型;响应于执行所述预设操作之后所述存储数据的存储类型和所述预期存储类型相同,确认所述存储系统运行正常。
[0007]根据本申请的再一方面,提供了一种数据存储装置,包括:获取模块,被配置为获
取存储空间的第一访问日志,所述第一访问日志用于记载所述存储空间中的访问操作相关信息;确定模块,被配置为基于所述第一访问日志,确定所述存储空间中待转换存储类型的第一候选存储数据,其中所述第一候选存储数据是从所述第一访问日志对应的访问操作所涉及的存储数据中选取的;更改模块,被配置为响应于所述第一候选存储数据的存储类型属于第一存储类型,将所述第一候选存储数据的存储类型更改为第二存储类型,所述第二存储类型对应的数据访问性能高于所述第一存储类型对应的数据访问性能。
[0008]在一些实施例中,所述获取模块包括:监控子模块,其被配置为实时监控所述存储空间中的访问操作;以及第一生成子模块,其被配置为响应于所述存储空间中发生实时访问操作,生成第一访问日志,其中所述第一访问日志包括所述实时访问操作的相关信息。
[0009]在一些实施例中,所述确定模块包括第一确定子模块,所述第一确定子模块被配置为将所述第一访问日志记载的所述实时访问操作所涉及的存储数据确定为所述第一候选存储数据。
[0010]在一些实施例中,所述获取模块包括:第一获取子模块,其被配置为获取在第一预定时间段内所述存储空间中发生的至少一个访问操作;以及第二生成子模块,其被配置为基于在所述第一预定时间段内所述存储空间中发生的所述至少一个访问操作,生成第一访问日志。
[0011]在一些实施例中,所述确定模块包括:访问次数确定子模块,其被配置为根据所述第一访问日志,确定所述第一访问日志对应的所述至少一个访问操作所涉及的至少一个存储数据中每一个在所述第一预定时间段内的被访问次数;以及第二确定子模块,其被配置为基于所述至少一个存储数据中每一个在所述第一预定时段内的被访问次数,从所述至少一个存储数据中确定第一候选存储数据。
[0012]在一些实施例中,所述数据存储装置还包括:第二获取模块,其被配置为获取所述存储空间的第二访问日志,所述第二访问日志用于记载在第二预定时间段内所述存储空间中的访问操作相关信息;第二确定模块,其被配置为基于所述第二访问日志,确定所述存储空间中待转换存储类型的第二候选存储数据,所述第二候选存储数据包括在预定时长内存储空间中未被访问的存储数据和被访问次数小于或等于预设阈值的存储数据中至少一个,其中所述预定时长小于所述第二预定时间段的长度;以及第二更改模块,其被配置为响应于所述第二候选存储数据的存储类型属于所述第二存储类型,将所述第二候选存储数据的存储类型更改为所述第一存储类型。
[0013]在一些实施例中,所述第二确定模块包括:访问情况确定子模块,其被配置为根据所述第二访问日志,确定所述第二访问日志对应的访问操作所涉及的至少一部分存储数据在所述第二预定时间段内的被访问情况;以及第三确定子模块,其被配置为基于所述至少一部分存储数据在所述第二预定时间段内的被访问情况,从所述至少一部分存储数据中确定第二候选存储数据。
[0014]在一些实施例中,所述数据存储装置还包括:第三获取模块,其被配置为获取所述存储空间的第三访问日志,所述第三访问日志用于记载在第三预定时间段内所述存储空间中的访问操作相关信息;清单获取模块,其被配置为获取所述存储空间的存储清单,所述存储清单用于记载存储空间中存储类型属于所述第二存储类型并且保持所述第二存储类型的持续时间大于所述第三预定时间段的长度的存储数据的相关信息;第三确定模块,其被
配置为根据所述第三访问日志和所述存储清单,确定所述存储空间中待转换存储类型的第三候选存储数据,所述第三候选存储数据包括从所述存储清单对应的存储数据中选取的在所述第三预定时间段内未被访问的存储数据;以及第三更改模块,其被配置为将所述第三候选存储数据的存储类型更改为所述第一存储类型。
[0015]在一些实施例中,所述访问操作包括对存储空间中存储数据执行的下述操作中至少一项:上传、删除、拷贝、下载。
[0016]根据本申请的再一方面,提供了一种计算设备,包括:存储器,其被配置成存储计算机可执行指令;处理器,其被配置成当所述计算机可执行指令被处理器执行时执行根据本申请一些实施例的方法。
[0017]根据本申请的再一方面,提供了一种计算机可读存储介质,其存储有计算机可执行指令本文档来自技高网
...

【技术保护点】

【技术特征摘要】
1.一种数据存储方法,包括:获取存储空间的第一访问日志,所述第一访问日志用于记载所述存储空间中的访问操作相关信息;基于所述第一访问日志,确定所述存储空间中待转换存储类型的第一候选存储数据,其中所述第一候选存储数据是从所述第一访问日志对应的访问操作所涉及的存储数据中选取的;响应于所述第一候选存储数据的存储类型属于第一存储类型,将所述第一候选存储数据的存储类型更改为第二存储类型,所述第二存储类型对应的数据访问性能高于所述第一存储类型对应的数据访问性能。2.根据权利要求1所述的方法,其中所述获取存储空间的第一访问日志包括:实时监控所述存储空间中的访问操作;响应于所述存储空间中发生实时访问操作,生成第一访问日志,其中所述第一访问日志包括所述实时访问操作的相关信息。3.根据权利要求2所述的方法,其中所述基于所述第一访问日志,确定所述存储空间中待转换存储类型的第一候选存储数据,包括:将所述第一访问日志记载的所述实时访问操作所涉及的存储数据确定为所述第一候选存储数据。4.根据权利要求1所述的方法,其中所述获取存储空间的第一访问日志,包括:获取在第一预定时间段内所述存储空间中发生的至少一个访问操作;基于在所述第一预定时间段内所述存储空间中发生的所述至少一个访问操作,生成第一访问日志。5.根据权利要求4所述的方法,其中所述基于所述第一访问日志,确定所述存储空间中待转换存储类型的第一候选存储数据,包括:根据所述第一访问日志,确定所述第一访问日志对应的所述至少一个访问操作所涉及的至少一个存储数据中每一个在所述第一预定时间段内的被访问次数;基于所述至少一个存储数据中每一个在所述第一预定时段内的被访问次数,从所述至少一个存储数据中确定第一候选存储数据。6.根据权利要求1所述的方法,还包括:获取所述存储空间的第二访问日志,所述第二访问日志用于记载在第二预定时间段内所述存储空间中的访问操作相关信息;基于所述第二访问日志,确定所述存储空间中待转换存储类型的第二候选存储数据,所述第二候选存储数据包括在预定时长内存储空间中未被访问的存储数据和被访问次数小于或等于预设阈值的存储数据中至少一个,其中所述预定时长小于所述第二预定时间段的长度;响应于所述第二候选存储数据的存储类型属于所述第二存储类型,将所述第二候选存储数据的存储类型更改为所述第一存储类型。7.根据权利要求6所述的方法,其中所述基于所述第二访问日志,确定所述存储空间中待转换存储类型的第二候选存储数据,包括:根据所述第二访问日志,确定所述第二访问日志对应的访问操作所涉及的至少一部分
存储数据在所述第二预定时间段内的被访问情况;基于所述至少一部分存储数据在所述第二预定时间段内的被访问情况,从所述至少一部分存储数据中确定第二候选存储数据。8.根据权利要求1所述的方法,还包括:获取所述存储空间的第三访问日志,所述第三访问日志用于记载在第三预定时间段内所述存储空间中的访问操作相关信息;获取所述存储空间的存储清单,所述存储清单用于记载存储空间中存储类型属于所述第二存储类型并且保持所述第二存储类型的持续时间大于所述第三预定时间段的长度的...

【专利技术属性】
技术研发人员:刘斌
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1