【技术实现步骤摘要】
本专利技术属于边缘计算，涉及一种边缘计算重复数据删除方法及系统。
技术介绍
1、近年来，随着物联网(lot)的不断发展，智能化移动设备与移动网络不断升级，各种智能设备传感器收集的数据量正在急剧增加，有限的储存资源无法处理庞大的数据量，为了提高数据使用率，减少数据冗余，重复数据删除技术应运而生。
2、在传统云计算中，重复数据删除已经得到广泛应用。用户将数据发送至云端，由云端进行统一数据删除。这种方式操作便利，但却无法忽略巨大数据量传输带来的网络负载压力与网络流量消耗。
3、而边缘计算作为一种在网络边缘侧就近提供智能服务的计算模式，边缘服务器能够代替云端提供计算、存储等资源服务，大大降低网络负载与服务延迟，提供更好的用户体验。只是相比传统云计算，边缘服务器存储空间更小，更加有限的存储空间会对应用程序造成巨大影响。但边缘服务器可从邻近服务器获取数据的特性，大大增加了单一数据的覆盖范围，使得边缘服务器不用存储也可访问数据。当边缘服务器可从多个服务器获取相同数据，被视为边缘网络中存在重复数据。如何在边缘存储环境下，实现重复数据删除，成为了边缘计算领域中需要面对的问题。
4、对于一个给定的边缘计算重复数据删除场景，场景中存在n个边缘服务器s＝{s1,s2,...,sn}，这些边缘服务器之间可以相互通信。每个边缘服务器的总储存空间并不相同，单个边缘服务器si有大小为msi的总储存空间。场景中存在n个用户集合u＝{u1,u2,...,un}，ui为边缘服务器si覆盖范围内的用户集合。由于用户上传数据，访问数据
5、针对上述场景，需要给出一个可行的边缘重复数据删除方案，使得在满足所有用户都仍然可以在给定的延迟内访问所有数据的前提下，删除重复数据，实现减小数据冗余的目的。
6、一个好的缓存方案需要考虑三点要素：服务器本地缓存数据的删除势必会带来用户访问数据延迟的增加，然而增加的这部分延迟应尽可能最小；相同的数据备份在边缘存储系统中应尽可能少，使得边缘存储系统有更多的空间存储其他的数据，同时提高了单一数据的使用率；边缘存储系统中的边缘服务器负载压力应该尽可能相似，尽量避免数据全部缓存在某几个服务器上，造成缓存压力过大与资源浪费。综上所述，该缓存方案需要满足三个优化目标：
7、1.边缘网络中的用户总体访问延迟增长尽可能小。
8、2.边缘存储系统中缓存的数据重复率尽可能小。
9、3.边缘存储系统尽可能负载均衡，即使得删除后的边缘服务器平衡的保留数据。
10、对于上述的边缘计算重复数据删除场景，现行的求解方案均需要收集整个边缘网络的信息，基于全局信息进行建模并求解。这样的求解方案虽然能够得到较优解，但收集全局信息的集中式求解方案无法体现边缘计算的低网络负载、隐私保护等优点。
技术实现思路
1、本专利技术的目的在于提供一种边缘计算重复数据删除方法及系统，以解决现有方案中需要收集全局信息进行求解而无法利用边缘计算分布性优势的局限性的问题。
2、为了达到上述目的，本专利技术的基础方案为：一种边缘计算重复数据删除方法，包括如下步骤：
3、将边缘计算中的所有服务器均作为智能体，每个智能体与所有邻居智能体传输信息；
4、利用数据删除损失、重复数据删除效益和负载均衡效益建立目标函数，所述数据删除损失表示网络局部内两邻近服务器的删除方案对其覆盖范围内的用户服务质量的影响，所述重复数据删除效益表示衡量服务器删除本地缓存数据后，局部重复数据的保留情况，所述负载均衡效益表示网络边缘两邻近服务器执行删除分配方案后，两服务器间缓存占用情况；
5、在硬约束条件下，求解目标函数，得到重复数据删除方案。
6、本基础方案的工作原理和有益效果在于：本技术方案利用边缘网络的特性，使每个服务器作为决策节点单独进行决策，边缘服务器不需要收集全局信息，可以仅仅通过与邻居进行信息交互，根据本地以及局部信息做出决策并对问题进行求解。这样实现降低决策节点的计算压力与边缘网络负载，避免将所有信息发送给决策中心的求解方案也最大限度的保护了边缘服务器中缓存的用户数据隐私。
7、进一步，目标函数λ*为：
8、
9、其中，cl,cd,cb分别为数据删除损失，重复数据删除效益，负载均衡效益的系数；ldij表示二者之间数据删除的损失；bdi为重复数据删除效益；bbij为负载均衡效益；λi∈λ表示智能体si的重复数据删除方案集合，λ＝{λ1,λ2,...,λn}为决策变量集合；集合s＝{s1,s2,...,sn}表示n个服务器的集合。
10、根据数据删除相关参数，建立目标函数，操作简单。
11、进一步，数据删除损失ldij的计算方法为：
12、n(si)为本地服务器si的邻居服务器集合，lij表示智能体si到智能体sj的跳数，当lij＝1时，称sj是si的邻居；
13、对于智能体si,sj使用ldij表示二者之间数据删除的损失，由于数据删除损失与用户数目直接相关，使用|ui|表示si覆盖范围内的用户数目：
14、
15、其中，为初始阶段智能体si访问数据dk的最小延迟，表示智能体si做出当前删除操作后的最小延迟；ldij为非正数，即当删除方案带来的访问延迟增加越小时，ldij越大，删除方案越好；λi∈λ表示智能体si的重复数据删除方案集合，λ＝{λ1,λ2,...,λn}为决策变量集合，表示当前智能体si是否决定删除缓存数据dk∈data，data＝{d1,d2...,dm}为边缘存储系统中所有数据集合，ui为边缘服务器si覆盖范围内的用户集合。
16、设置数据删除损失ldij，基于用户数据访问方式设置，用来衡量服务器删除本地缓存数据后，对本地用户带来的访问延迟增长。
17、进一步，重复数据删除效益bdi的计算方法如下：
18、
19、其中，为智能体si获取数据dk的来源总数，当边缘网络局部相同数据被删除越多时，bdi越大，删除方案越好；data＝{d1,d2...,dm}为边缘存储系统中所有数据集合。
20、基于边缘存储系统局部重复数据删除率设置，用来衡量服务器删除本地缓存数据后，局部重复数据的保留情况。
21、进一步，获取负载均衡效益bbij的方法为：
22、
23、其中，γi为服务器si的缓存利用占比：
24、
25、其中，msi表示边缘服务器上的本文档来自技高网...
【技术保护点】
1.一种边缘计算重复数据删除方法，其特征在于，包括如下步骤：
2.如权利要求1所述的边缘计算重复数据删除方法，其特征在于，目标函数λ*为：
3.如权利要求2所述的边缘计算重复数据删除方法，其特征在于，数据删除损失LDij的计算方法为：
4.如权利要求2所述的边缘计算重复数据删除方法，其特征在于，重复数据删除效益BDi的计算方法如下：
5.如权利要求2所述的边缘计算重复数据删除方法，其特征在于，获取负载均衡效益BBij的方法为：
6.如权利要求1所述的边缘计算重复数据删除方法，其特征在于，硬约束包括本地硬约束，建立本地硬约束的方法为：
7.如权利要求1所述的边缘计算重复数据删除方法，其特征在于，硬约束还包括局部硬约束，建立局部硬约束的方法为：
8.如权利要求1所述的边缘计算重复数据删除方法，其特征在于，求解目标函数的方法包括如下步骤：
9.如权利要求8所述的边缘计算重复数据删除方法，其特征在于，计算边缘服务器的本地约束代价LocalBenifiti的方法为：
10.一种边缘计
...【技术特征摘要】
1.一种边缘计算重复数据删除方法，其特征在于，包括如下步骤：
2.如权利要求1所述的边缘计算重复数据删除方法，其特征在于，目标函数λ*为：
3.如权利要求2所述的边缘计算重复数据删除方法，其特征在于，数据删除损失ldij的计算方法为：
4.如权利要求2所述的边缘计算重复数据删除方法，其特征在于，重复数据删除效益bdi的计算方法如下：
5.如权利要求2所述的边缘计算重复数据删除方法，其特征在于，获取负载均衡效益bbij的方法为：
6.如权利要求1所述的边缘计算重复数据删除方法，其特征在于，硬约束包括本地...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。