System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种随机性在线云边端协同的数据存储方法及系统技术方案_技高网

一种随机性在线云边端协同的数据存储方法及系统技术方案

技术编号:40991191 阅读:2 留言:0更新日期:2024-04-18 21:33
本发明专利技术公开了一种随机性在线云边端协同的数据存储方法及系统,方法包括:首先选取研究对象,在一个地域范围内,随机选取一个可用区作为对象,统计该可用区AZ中边缘端节点的数量n,继而设定相关参数,随后设定滑动窗口尺寸大小并统计相关数据,设定滑动窗口的尺寸大小z,实时监测终端设备的数据请求情况,再计算弹性平衡点β<subgt;e</subgt;,构造概率密度函数,获取随机因子k,最后设计随机性在线云边端协同数据存储算法,通过该算法判断当前数据是否需要进行迁移,它通过提供一种智能、灵活、高效的数据存储策略,在保证数据存储性能的同时极大地降低云存储服务的部署成本,提高云存储服务的部署效率。

【技术实现步骤摘要】

本专利技术属于云边端协同、云存储,特别是一种随机性在线云边端协同的数据存储方法及系统


技术介绍

1、近年来,伴随着数字经济的飞速发展,云计算一直保持着迅猛的发展势头,同时也是当今i t技术发展领域的热点话题之一。云计算作为计算技术和生产实践长期演变的产物,不仅可以有效降低服务的成本,也可以大幅提升资源的利用率。此外,云计算还具备着弹性扩展、容灾恢复、按需获取等诸多优点。

2、随着云计算在i aas、paas、saas领域不断深耕并逐步发展壮大,数据量的激增给各大云服务提供商带来了前所未有的存储压力。相比于自建存储服务器所造成的硬件资源成本高、维护开销大等缺点,更多的互联网企业选择了存储成本低、更加智能化的云存储系统。得益于云存储的高效率、低成本、智能化、高可靠等特点,云存储被广泛地应用到各生产环境中,如:通用存储、大数据分析、数据库服务、微服务等领域,并发挥着关键的作用。

3、现如今,随着智能设备越来越多的接入网络,传统云计算范式中的数据存储、工作负载以及带宽资源等方面将面临巨大挑战,使得在车联网、智能监控等低延迟、高带宽需求的应用场景面临着诸多问题。对于存储在云端的数据,通过云边端协同可以更加高效的将需要实时计算和分析的数据存放到靠近终端设备的地方,以保证数据处理的实时性。在“云-边-端”架构中,“云”是中心节点,负责对边缘计算的管控,“边”是云计算的边缘侧,负责局部的数据分析,“端”是终端设备,负责数据的采集、感知等操作。云边端协同的机制,不仅可以有效降低云用户的存储成本,还可以在时空的维度为云用户提供更加优质的服务。

4、对于云服务提供商而言,相较于在边缘端设立大量的存储服务器来进行数据存储,在云端存储数据往往会节省更多的成本。在一段时间内,如果某些数据在边缘侧被频繁访问,显然这些数据存放到边缘端更加合适,一方面可以尽可能地保证数据在传输过程中的实时性,另一方面可以有效降低数据在传输过程中带宽的开销。相反,如果某些数据一段时间内在边缘侧被访问的频次很低,显然这些数据存储在云端更加合适,这样不仅可以有效降低数据存储的成本,也可以有效缓解边缘侧数据存储的压力。

5、在现有的云边协同方案中,专利cn111800486a提供了一种云边协同的资源调度方法及系统。该专利技术在执行的过程中根据用户各地区带宽的实际占用情况实时地做出预留决策,从而有效减少由于访问人数短时间内的激增而导致的带宽费用的激增。该专利技术从访问带宽出发,通过实时监测各mec服务器服务范围内客户对每一个资源的访问热度,来判断某地区某资源客户的访问带宽达到所设定的阈值,进而判断在该地区应当租用mec服务器还是在所述租用mec服务器的预留期内,协同使用mec服务器和云服务器提供访问。然而,该专利技术没有充分考虑用户在使用云存储服务的qos,其应用场景具有一定的局限性。同时,该专利技术提出的云边协同资源调度方法较为简单,在算法设计上有着很大的优化空间,以节约更多的存储成本。

6、专利cn113157446a提供了一种云边协同的资源分配方法、装置、设备及介质。该专利技术通过区块链和云边协同方案对资源进行限定控制,根据耦合规则逻辑启动所有子任务,最终根据所有的子任务执行成果聚合完成总任务。首先通过云边协同平台对需要分配资源的任务进行分析,确定所述待分配资源的任务参数以及最小拆分子集,并根据所述待分配资源的任务参数结合任务资源协同算法,确定云边协同方案,最终根据所述区块链以及所述云边协同方案,对所述待分配资源的任务进行资源分配。然而,该专利技术引入了区块链技术,会造成能源的大量消耗,伴随着数据量的激增,会衍生出不同程度的性能问题。此外,该专利技术没有考虑降低数据存储的成本,仅是单一的提出了一种理想化的云边协同资源分配策略。

7、近年来云服务提供商日益重视优化云成本、控制云浪费和提高云部署效率,加之越来越多的智能设备接入网络,边缘侧对数据的感知需求愈发强烈,因此如何从云边端协同的角度来充分降低云存储的成本,提高云存储服务的部署效率,具有重要的研究意义与价值。当前的云边协同资源调度机制已难以满足当前应用场景对任务处理的需求。


技术实现思路

1、本专利技术的目的是提供一种随机性在线云边端协同的数据存储方法及系统,以解决现有技术中的不足,它根据数据的历史存储行为以及云、边两侧对数据的处理频次,来实时提供一种智能、灵活、高效的数据存储策略,在保证数据存储性能的同时极大地降低云存储服务的部署成本,提高云存储服务的部署效率。

2、本申请的一个实施例提供了一种随机性在线云边端协同的数据存储方法,所述方法包括:

3、步骤1:开始选取研究对象,在一个地域范围内,随机选取一个可用区作为对象,统计该可用区az中边缘端节点的数量n。

4、步骤2:设定相关参数,令bcenter为云端存储的数据量,令为边缘端存储的数据量,令pcenter为数据在云端存储的单价,令为数据在边缘端存储的单价,其中i∈[1,n],令q为数据存取的单价,令t为数据的存储时长,令t为存储计费的周期。假设在过去一个存储周期中数据存放在云端,令其存储成本为ccenter,假设在过去一个存储周期中数据存放在边缘端,令其存储成本为cedge。

5、步骤3:设定滑动窗口尺寸大小并统计相关数据,设定滑动窗口的尺寸大小z,实时监测终端设备的数据请求情况,记录并统计滑动窗口范围内云用户在终端发起的数据存取请求次数m,统计这些数据在云端和边缘端进行处理的次数,其中将在云端进行数据处理的次数记作hcenter,将在边缘端进行数据处理的次数记作hedge。

6、步骤4:计算弹性平衡点βe,构造概率密度函数,获取随机因子k;

7、步骤5:设计随机性在线云边端协同数据存储算法;

8、步骤6:通过所述机性在线云边端协同数据存储算法判断当前数据是否需要进行迁移。

9、可选的,所述随机性在线云边端协同的数据存储方法还包括:

10、若所述当前数据需要迁移,则将存储在边缘端的数据迁移到云端,或将云端的数据迁移到边缘端,在当前存储周期t,随机性在线云边端协同的数据存储方法执行完毕,在下一存储周期t',重复执行该方法,若所述当前数据不需要迁移,则直接结束进程。

11、进一步的,所述计算弹性平衡点βe是为提出随机性在线云边端协同数据存储算法做前期准备,所述弹性平衡点βe通过步骤1-3中设定的相关参数,得出在过去一个存储计费周期t中,数据存储在云端的成本为ccenter=bcenter·pcenter·t+z·hcenter/t·q,数据存储在边缘端的成本为

12、进一步的,所述计算弹性平衡点βe中将云端数据的存储成本ccenter和边缘端数据的存储成本cedge建立关联,并设定弹性区间s为[l,r],其中l=min(z/t·hcenter,m),r=max(z/t·hedge,m)。

13、进一步的,所述弹性平衡点βe通过计算得出:

14、

15、进一本文档来自技高网...

【技术保护点】

1.一种随机性在线云边端协同的数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述计算弹性平衡点βe是为提出随机性在线云边端协同数据存储算法做前期准备,所述弹性平衡点βe通过步骤1-3中设定的相关参数,得出在过去一个存储计费周期T中,数据存储在云端的成本为Ccenter=bcenter·pcenter·t+z·hcenter/T·q,数据存储在边缘端的成本为

4.根据权利要求3所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述计算弹性平衡点βe中将云端数据的存储成本Ccenter和边缘端数据的存储成本Cedge建立关联,并设定弹性区间s为[l,r],其中l=min(z/T·hcenter,m),r=max(z/T·hedge,m)。

5.根据权利要求4一种随机性在线云边端协同的数据存储方法,其特征在于,所述弹性平衡点βe通过计算得出:

6.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,在步骤4中,所述构造概率密度函数通过结合数据存储成本的计算公式以及设定的相关参数再结合计算得出的弹性平衡点βe,其中令φ=所述构造概率密度函数如下:

7.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述构造的概率密度函数,通过计算其反函数来获取随机因子k,其中令函数f(y)的数学期望计算f(k)的反函数得到随机因子k,其随机因子k的计算公式为:

8.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,在步骤5中,所述设计随机性在线云边端协同数据存储算法,包括如下步骤:

9.一种随机性在线云边端协同的数据存储系统,其特征在于,所述系统包括七个模块:

10.一种终端设备,包括:至少一个处理器、至少一个存储器、以及至少一个计算机程序,其特征在于,所述处理器与存储器连接,所述存储器中存储有计算机程序,所述处理器被设置为执行所述计算机程序以实现所述权利要求1至8任一项中所述的方法。

...

【技术特征摘要】

1.一种随机性在线云边端协同的数据存储方法,其特征在于,所述方法包括:

2.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述方法还包括:

3.根据权利要求1所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述计算弹性平衡点βe是为提出随机性在线云边端协同数据存储算法做前期准备,所述弹性平衡点βe通过步骤1-3中设定的相关参数,得出在过去一个存储计费周期t中,数据存储在云端的成本为ccenter=bcenter·pcenter·t+z·hcenter/t·q,数据存储在边缘端的成本为

4.根据权利要求3所述的一种随机性在线云边端协同的数据存储方法,其特征在于,所述计算弹性平衡点βe中将云端数据的存储成本ccenter和边缘端数据的存储成本cedge建立关联,并设定弹性区间s为[l,r],其中l=min(z/t·hcenter,m),r=max(z/t·hedge,m)。

5.根据权利要求4一种随机性在线云边端协同的数据存储方法,其特征在于,所述弹性平衡点βe通过计算得出:...

【专利技术属性】
技术研发人员:谢永杰潘晓东李伟泽黎达伟罗熙赵学慧
申请(专利权)人:天翼云科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1