一种自组织网络的边缘云迁移的数据清理方法技术

技术编号:33373048 阅读:22 留言:0更新日期:2022-05-11 22:39
本发明专利技术公开了一种自组织网络的边缘云迁移的数据清理方法,具体包括:所述重复数据删除技术和所述消除语义差异技术;所述重复数据删除的具体步骤为:(1)选择比较数据块粒度的大小;(2)使用FUSE库作为中间层,从而发现在创建启动虚拟机的过程中修改的磁盘和内存部分,随后,在每次写入虚拟磁盘或内存快照时,将写入重定向到相应的覆盖文件,并通过位图标记指示该块已经改变;(3)获得发生修改后磁盘和内存块的列表,并利用SHA算法对发生变化块进行计算得到散列值;(4)通过多个比较方法获得一组有相同变化的块列表;所述消除语义差异技术中磁盘语义差异和内存语义差异。本发明专利技术针对带宽受限的无线网络环境中云计算平台快速迁移提出了一整套实用化数据清理技术,能够显著压缩迁移过程的数据传输量,降低迁移延时,同时使得数据压缩和传输效率比传统云计算迁移的压缩和传输效率更高。压缩和传输效率更高。压缩和传输效率更高。

【技术实现步骤摘要】
一种自组织网络的边缘云迁移的数据清理方法


[0001]本专利技术涉及计算机
,具体涉及一种自组织网络的边缘云迁移的数据清理方法。

技术介绍

[0002]边缘云,是基于云计算技术,为网络边缘节节点提供云计算能力的一种技术。它是构筑在边缘基础设施之上的云计算平台。形成边缘位置的计算、网络、存储、安全等能力全面的弹性云平台,并与中心云和物联网终端形成“云边端三体协同”的端到端的技术架构,通过将网络转发、存储、计算,智能化数据分析等工作放在边缘处理,降低响应时延、减轻云端压力、降低带宽成本,并提供全网调度、算力分发等云服务。
[0003]由于在边缘云平台部署在网络边缘,支撑平台运行的计算、存储和网络的信息基础设施的性能和可靠性远比传统数据中心差,因此边缘云平台必须具备灵活的快速迁移能力,以保证在某个边缘云平台发生故障或网络异常中断时,系统能够快速迁移到新的平台以保证服务的持续运行。
[0004]目前无线自组织网络中的边缘云计算技术的专利相同较少,可以查到少量涉及本专利技术某一部分技术的相关专利,但应用的技术方法与本专利技术有明显差本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种自组织网络的边缘云迁移的数据清理方法,具体包括:所述重复数据删除技术和所述消除语义差异技术;所述重复数据删除的具体步骤为:(1)选择比较数据块粒度的大小;(2)使用FUSE库作为中间层,从而发现在创建启动虚拟机的过程中修改的磁盘和内存部分,随后,在每次写入虚拟磁盘或内存快照时,将写入重定向到相应的覆盖文件,并通过位图标记指示该块已经改变;(3)获得发生修改后磁盘和内存块的列表,并利用SHA算法对发生变化块进行计算得到散列值;(4)通过多个比较方法获得一组有相同变化的块列表;所述消除语义差异技术中磁盘语义差异和内存语义差异,其中,为了准确地计算出不需传输的磁盘块,消除磁盘语义差异具体包括两种方法:(1)从客户操作系统向主机传送此信息,该方法需要客户支持,并且可能不适用于每个客户操作系统;(2)扫描虚拟磁盘上文件系统内容的方法以搜集这此操作系统级别的信息,该方法不需要客户支持,但需要了解磁盘上的文件系统格式;消除内存语义差异具体采用两种方法:(1)从客户操作系统向主机传送空闲页面信息(类似磁盘TRIM);(2)解释客户操作系统维护的内存布局数据结构;因为目前还没有第一种方法的标准方法(即没有与TRIM支持相对应的内存),所以主要集中在第二种方法上。2.根据权利要求1所述的方法,其特征在于,所述重复数据的来源包括:(1)在虚拟机覆盖文件构建过程中,启动虚拟机暂停时,客户操作系统的I/O缓冲区高速缓存包含一些也存在于其虚拟磁盘中的数据;(2)来自虚拟磁盘上某些文件的数据可能已被应用程序后端在初始化过程中读取到其虚拟内存中;(3)某些应用程序在存储器和磁盘上都可能存在可变初始化数据的副本。3.根据权利要求1所述的方法,其特征在于,其特征在于,所述通过多个比较方法获得一组有相同变化的块列表,具体包括:与基本虚拟机磁盘块比较;与基本虚拟机内存块比较;与其自身内部的其他块进行比较;与零填充块比较;与其它标记为发生变化的内存和磁盘镜像块比较。4.根据权利要求1所述的方法,其特征在于,所述利用上述消除磁盘语义差异中的两个方法将来自客户操作系统的可用磁盘块信息通知主机,从而能够进一步减少虚拟机覆盖文件大小。5.根据权利要求1所述的方法,其特征在于,所述消除内存语义差异的方法(2)具体为:为了获得可用内存页面的列表,我们首先在Linux客户机中引入一个小内核模块,该模块通过guest虚拟机中的/proc文件系统获得用于内存管理的两种数据结构的内存地址,然后暂停虚拟机,并将这些地址和内存快照提供给脱机扫描程序,此扫描程序将读取内存快照并解析指定地址处的内存管理数据结构以识别空闲页面。
6.一种...

【专利技术属性】
技术研发人员:方立姜波于保宏
申请(专利权)人:北京韦加智能科技股份有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1