【技术实现步骤摘要】
本专利技术属于云存储、服务计算领域，尤其涉及一种云端冷热数据随机性在线分层存储方法及系统。
技术介绍
1、近年来，数字经济飞速发展，推动了云计算产业不断壮大。云计算具有数据规模大、资源虚拟化、可扩展性高、价格低廉等特点，在社交应用、移动应用、大数据应用、人工智能应用等领域中具有广阔的发展前景。
2、人们在享受数字经济给我们的工作生活带来极大便利的同时，也间接产生了海量的数据。数据量激增所带来的存储需求，给各大互联网企业带来了诸多挑战。目前各大互联网企业的数据量早已达到了pb级规模，并且仍在以每日数百tb的速度不断激增，因此如何有效降低
3、数据存储成本，成为了当前众多互联网企业重点关注的问题。
4、随着云计算的不断发展，云存储逐渐得到了大家广泛的认可。相比于自建存储服务器所造成的硬件资源成本高、维护开销大等缺点，更多的互联网企业选择了存储成本低、更加智能化的云存储系统来替代原有的存储体系。相比于传统的存储服务器，云用户可以随时随地通过任何可连接到互联网的设备连接到云端，从而更加便捷的进行数据存取，这样不仅可以
5、有效降低用户的存储成本，还可以在时空维度为用户提供更加便利的服务。
6、对于当前大多数的云存储服务提供商，如amazon、阿里云、azure等，均提供类似的冷存储和热存储两种不同的云存储服务类型。冷存储是指在一段时间内对存储数据访问频率较低的一种存储方式，热存储是指在一段时间内对存储数据访问频率较高的一种存储方式。
7、amazon s3是亚马逊推
8、阿里云对象存储服务oss，目前主要包含4种存储类型，分别为：标准类型、低频访问类型、归档类型、冷归档类型。近些年，阿里云oss为云用户提供了一种基于最后一次修改时间的生命周期规则来定期转换存储类型的服务，从而降低云用户使用云存储服务的成本。
9、现有的冷热数据分层存储方案主要是解决分层策略的单一问题。专利cn112860189a提供了一种冷热分层云存储冗余存储方法，通过将用户上传的数据进行纠删码(m，n)编码，分成n个数据块，然后将n个数据块分别上传到n个云存储中，从而自适应地根据数据热度为云中的数据选择合适的存储层，解决了一个或多个云存储服务不可用导致数据无法访问甚至丢失的问题。专利cn112948398a提供了一种面向冷热数据的分级存储方法，通过分析数据访问请求进行计算并得到数据温度，通过对热库和冷库中的数据进行监控，将不符合热库或冷库中的数据进行迁移，并根据数据访问特征动态调整迁移阈值，通过对数据的温度进行量化，从而实现对冷热数据的判定和冷热数据的分离存储。
10、然而，无论是amazon s3的分层服务、阿里云的对象存储服务oss，还是上述两篇专利中提出的冷热数据分层存储方法，都存在着一些不足：
11、一方面，这些服务对于指导云用户选择合适的数据存储分层不够智能。对于一些长时间未被访问的冷数据，如果短时间内被访问多次，即使在之后较长的一段时间这些数据都未被访问，这些数据仍会被调整到热层。但站在长远的时间维度来看待这些数据的存储方式，显然这些数据一直存储在冷层是更为合适的。反之，对于一些被频繁访问的热数据，如果在未来一段时间被访问的次数显著降低，但由于生命存储周期未达到调整数据存储分层的要求，因此这些本应被调整到冷层的数据，依然会存储在热层。综上所述，当前的一些数据存储分层服务会给云用户造成一定的成本损失。
12、另一方面，当前绝大多数的云服务提供商所提出的数据分层存储服务，给到云用户的自主选择权较少，和云用户的交互性不足。对于不同的云用户而言，通常有着不同的存储需求和存储行为，相对应的，用户所存储数据的冷热情况也会实时变化。因此如何为不同的云用户设定个性化的数据存储分层策略，进一步增加云用户使用云存储服务时的体验感，是十分重要的。
技术实现思路
1、本专利技术所要解决的技术问题是针对
技术介绍
的不足提供本专利技术提出一种云端冷热数据随机性在线分层存储方法及系统；引入随机性在线算法，结合概率密度函数和数学期望，使得数据存储的成本更低，存储分层的选择更加智能、高效。
2、本专利技术为解决上述技术问题采用以下技术方案：
3、一种云端冷热数据随机性在线分层存储方法，具体包括以下步骤：
4、步骤1，设定相关参数：令m为数据的总分层数，令mj为各层数据存储的单价，令wj为访问各层数据的服务费单价，令t为云用户的存储计费周期；
5、步骤2，采集云用户资源信息：采集当前云用户的数据存储容量c、存储时长t、访问次数qj；
6、步骤3，计算多平衡点和滑动窗口阈值，具体包含如下步骤：
7、步骤3.1，根据数据存储的总分层数m，设定n个盈亏平衡点βi,且m＝n+1，i∈[1,n]；通过计算各数据分层的存储价格公式：gj＝c·t·mj+wj·qj，可以得出各数据分层之间在某一时刻t0的盈亏平衡点βi的计算公式：
8、
9、步骤3.2，计算滑动窗口的阈值；令z为滑动窗口的尺寸大小，令常量p为滑动窗口在每个单位时间的滑动步长；
10、在ti时刻滑动窗口所途径的滑动区间存储成本为得出各数据分层之间在某一时刻t0滑动阈值μi的计算公式：
11、
12、步骤4，获取随机因子；
13、步骤5，设计随机性在线算法；
14、步骤6：数据迁移：将云用户当前在li层存储的数据，迁移到lj层，此时数据存储层区调整完毕；并从当前时刻t'开始，重复步骤2，为云用户在下一个存储周期t中数据存储层区的选择做出决策。
15、作为本专利技术一种云端冷热数据随机性在线分层存储方法的进一步优选方案，所述步骤4，具体包括以下步骤：
16、步骤4.1，设计概率密度函数：
17、通过步骤2中计算得到的盈亏平衡点βi，设计如下的概率密度函数：
18、
19、其中，e为自然指数，δ(·)为狄拉克δ函数；
20、步骤4.2，获取随机因子；
21、令计算函数f(h)的数学期望通过计算f(h)的反函数，可以得到一个随机因子h；令f(h)＝k，则可得到随机因子h的计算公式：
22、
23、作为本专利技术一种云端冷热数据随机性在线分层存储方法的进一步优选方案，所述步骤5具体包括以下步骤：
24、步骤5.1，设定多级存储队列；
25、步骤5.2，计算当前数据所在存储层级的滑动窗口阈值；
26、步骤5.3，寻找数据存储最优层级。
27、作为本专利技术一种云端冷热数据随机性在线分层存储方法的进一步本文档来自技高网...
【技术保护点】
1.一种云端冷热数据随机性在线分层存储方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤4，具体包括以下步骤：
3.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5具体包括以下步骤：
4.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5.1具体包含如下步骤；
5.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5.2具体包含如下步骤；
6.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5.3具体包含如下步骤；
7.根据权利要求6所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：根据步骤2中得到的滑动阈值μi，判断当前所遍历到的存储层级li和滑动阈值μi的大小关系：
8.一种基于权利要求1至7任一项所述的云端冷热数据随机性在线分层存储方法的系统，其特征在于：包含采集模块、接收模块、存储模块
9.一种电子设备，其特征在于：包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述步骤1-6任一项所述的方法。
10.一种计算机可读存储介质，其特征在于：用于存储计算机指令，所述计算机指令被处理器执行时，完成步骤1-6任一项所述的方法。
...【技术特征摘要】
1.一种云端冷热数据随机性在线分层存储方法，其特征在于：具体包括以下步骤：
2.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤4，具体包括以下步骤：
3.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5具体包括以下步骤：
4.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5.1具体包含如下步骤；
5.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5.2具体包含如下步骤；
6.根据权利要求1所述的一种云端冷热数据随机性在线分层存储方法，其特征在于：所述步骤5.3具体包含如下步骤；
7.根据权利要求6所述的一种云端冷热数...
【专利技术属性】
技术研发人员：谢永杰，潘晓东，李伟泽，黎达伟，罗熙，
申请(专利权)人：天翼云科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。