概率性重复数据删除感知的工作负载迁移制造技术

本申请公开了概率性重复数据删除感知的工作负载迁移。计算方法包括在多个计算节点上运行访问存储页面的相应的集合的多个工作负载。为工作负载中的至少一些计算相应的位图，其中(i)工作负载的位图在统计上指示由工作负载使用的存储页面集合的基数，(ii)两个或更多个位图的并集在统计上指示由两个或更多个相应的工作负载使用的存储页面集合的并集的基数，以及(iii)第一和第二位图的交集在统计上指示在由相应的工作负载使用的相应的存储页面的第一和第二集合之间的重叠。基于位图的一个或多个做出将选择的工作负载从源计算节点迁移到目的计算节点的决定。

【技术实现步骤摘要】
专利
本专利技术通常涉及计算系统，且特别地涉及用于虚拟机(VM)和其它工作负载的迁移的方法和系统。专利技术背景机器虚拟化通常用在各种计算环境中，诸如在数据中心和云计算中。各种虚拟化解决方案在本领域中是已知的。例如，VMware有限公司(加利福尼亚州帕罗奥多)提供用于诸如数据中心、云计算、个人桌面和移动计算的环境的虚拟化软件。专利技术概述本文所述的本专利技术的实施方式提供计算方法，其包括：在多个计算节点上运行访问存储页面的相应的集合的多个工作负载。为工作负载中的至少一些计算相应的位图，其中(i)工作负载的位图在统计上指示由工作负载使用的存储页面集合的基数，(ii)两个或更多个位图的并集在统计上指示由两个或更多个相应的工作负载使用的存储页面集合的并集的基数，以及(iii)第一和第二位图的交集在统计上指示在由相应的工作负载使用的存储页面的相应的第一集合和第二集合之间的重叠。基于位图中的一个或多个做出将选择的工作负载从源计算节点迁移到目的计算节点的决定。在一些实施方式中，迁移选择的工作负载的决定包括基于在位图中的一个或多个上限定且旨在最大化在由选择的工作负载使用的存储页面和由在目的计算节点上的现有工作负载使用的存储页面之间的重叠的选择标准来选择所选择的工作负载和目的计算节点中的一个或两个。在示例实
施方式中，选择标准旨在最大化由选择的工作负载使用并可在选择的工作负载的迁移之后在目的计算节点上被删除重复数据的存储页面的数量。在另一实施方式中，计算位图包括通过计算在目的节点上的现有工作负载的位图的并集来计算目的计算节点的节点级位图，以及迁移工作负载的决定包括基于目的计算节点的节点级位图来评估选择标准。在一些实施方式中，迁移工作负载的决定包括基于在位图的一个或多个上限定且旨在最小化在由选择的工作负载使用的存储页面和由在源计算节点上的现有工作负载使用的存储页面之间的重叠的选择标准来选择所选择的工作负载和源计算节点中的一个或两个。在示例实施方式中，选择标准旨在最小化由在源计算节点上的现有工作负载使用并在选择的工作负载的迁移之后在源计算节点上不再能够被删除重复数据的存储页面的数量。在另一实施方式中，计算位图包括通过计算在源节点上的现有工作负载的位图的并集来计算源计算节点的节点级位图，以及迁移工作负载的决定包括基于目的计算节点的节点级位图来评估选择标准。在一些实施方式中，计算对于给定工作负载的位图包括在由给定工作负载使用的存储页面中的至少一些上计算相应的散列值以及基于散列值来计算位图。计算位图可包括只在由给定工作负载以比预定的修改率低的频率修改的存储页面的散列值上评估该位图。在实施方式中，计算位图包括计算HyperLogLog(HLL)位图。在所公开的实施方式中，响应于检测到源计算节点过载而执行迁移选择的工作负载的决定。根据本专利技术的实施方式另外提供了包括接口和处理器的计算装置。接口配置成与运行访问存储页面的相应的集合的多个工作负载的多个计算节点进行通信。处理器配置成从计算节点接收为工作负载中的至少一些计算的位图，其中(i)工作负载的位图在统计上指示由工作负载使用的存储页面集合的基数，(ii)两个或更多个位图的并集在统计上指示由两个或更多个相应的工作负载使用的存储页面集合的并集的基数，以及(iii)第一和第二位图的交集在统计上指示在由相应的工作负载使用的存储页面的相应的第一集合和第二集合之间的重叠，并且所述处理器基于位图中的一
个或多个做出将选择的工作负载从源计算节点迁移到目的计算节点的决定。根据本专利技术的实施方式还提供了包括多个计算节点和处理器的计算系统。计算节点配置成运行访问存储页面的相应的集合的多个工作负载，并计算工作负载中的至少一些的相应位图，其中(i)工作负载的位图在统计上指示由工作负载使用的存储页面集合的基数，(ii)两个或更多个位图的并集在统计上指示由两个或更多个相应的工作负载使用的存储页面集合的并集的基数，以及(iii)第一和第二位图的交集在统计上指示在由相应的工作负载使用的存储页面的相应的第一集合和第二集合之间的重叠。处理器配置成从计算节点接收位图并基于一个或多个位图决定将选择的工作负载从源计算节点迁移到目的计算节点。本专利技术从对其实施方式的以下具体描述连同附图中将得到更充分理解，其中：附图的简要描述图1是示意性示出根据本专利技术的实施方式的计算系统的框图；图2是示意性示出根据本专利技术的实施方式的图1的计算系统的元件的框图；以及图3是示意性示出根据本专利技术的实施方式的用于重复数据感知的负载平衡的方法的流程图。实施方式的详细描述综述本文所述的本专利技术的实施方式提供用于将虚拟机(VM)和其它工作负载从一个计算节点迁移到另一个计算节点(例如，用于负荷平衡)的改进的方法和系统。在所公开的实施方式中，被称为“协调器”的协调过程基于与由待迁
移的VM使用的存储页面集合、VM当前在其上运行的预期目的节点和/或源节点有关的统计选择标准来做出迁移决定。选择标准旨在提高由节点执行的本地重复数据删除过程的性能。在本专利申请的上下文中和在权利要求中，术语“迁移”指的是使在某个计算节点(被称为源节点)上操作或以前操作的工作负载在不同的计算节点(被称为目的节点)上恢复操作或以其他方式操作的任何操作。一种类型的迁移是动态迁移，其中运行的工作负载在操作期间连同其当前状态从一个节点迁移到另一节点。另一类型的迁移是在过去运行但当前停止、暂停或被置于快照模式中的工作负载的放置。可选地，所公开的技术可用于执行任何其它适当类型的迁移。在一些实施方式中，协调器选择待迁移的VM和/或目的节点，以便最大化在由VM使用的存储页面和由已经在目的节点上运行的VM使用的存储页面之间的重叠。这个标准增加了可在目的节点上被删除重复数据的页面的数量。作为结果，目的节点存储器被更有效地使用。另外地或可选地，协调器可选择待迁移的VM和/或源节点，以便最小化由迁移引起的在源节点上的复制效率中的降低。例如，协调器可选择迁移VM，其存储页面具有与由在源节点上运行的其它VM使用的存储页面的最小重叠。在一些实施方式中，在各种节点上的重复数据删除只应用于内容不频繁地改变的存储页面。这样的存储页面被称为“冷页”，与被频繁地写入的“热页”相反。因此，在一些实施方式中，协调器应用所公开的选择标准，同时只考虑VM和节点的冷页面。为了做出明智的迁移决定，协调器估计在由待迁移的VM使用的存储页面和由在各种候选目的节点上运行的VM使用的存储页面之间的重叠(例如，以最大化重复数据删除增益)。协调器也可估计在由待迁移的VM使用的存储页面和由在源节点上运行的VM使用的存储页面之间的重叠(例如，以最小化重复数据删除损失)。为了建立这些估计，协调器一般使用在各种存储页面的内容上计算的散列值，其可能是用于实际重复数据删除的相同散列值。在原则上，可能通过详尽地比较存储页面的两个集合(例如，VM的存储页面和节点的存储页面)的散列值来评估在存储页面的这两个集合之间的重叠。然而，这个天真的解决方案是非常计算密集的并需要节点将大量元数据传递到协调器。这样的解决方案不是可扩展的，并可能在运行大量VM的一大群计算节点中是被禁止的。替代地，在一些所公开的实施方式中，协调器由压缩位图代表存储页面的每个集本文档来自技高网...

【技术保护点】
一种计算方法，包括：在多个计算节点上运行访问存储页面的相应的集合的多个工作负载；为所述工作负载中的至少一些工作负载计算相应的位图，其中(i)工作负载的位图在统计上指示由所述工作负载使用的存储页面的集合的基数；(ii)两个或更多个位图的并集在统计上指示由两个或更多个相应的工作负载使用的存储页面的集合的并集的基数；以及(iii)第一位图和第二位图的交集在统计上指示在由所述相应的工作负载使用的相应的存储页面的第一集合和存储页面的第二集合之间的重叠；以及基于所述位图中的一个或多个位图，做出将选择的工作负载从源计算节点迁移到目的计算节点的决定。

【技术特征摘要】
2015.05.04 US 62/156,347;2016.03.31 US 15/086,1231.一种计算方法，包括：在多个计算节点上运行访问存储页面的相应的集合的多个工作负载；为所述工作负载中的至少一些工作负载计算相应的位图，其中(i)工作负载的位图在统计上指示由所述工作负载使用的存储页面的集合的基数；(ii)两个或更多个位图的并集在统计上指示由两个或更多个相应的工作负载使用的存储页面的集合的并集的基数；以及(iii)第一位图和第二位图的交集在统计上指示在由所述相应的工作负载使用的相应的存储页面的第一集合和存储页面的第二集合之间的重叠；以及基于所述位图中的一个或多个位图，做出将选择的工作负载从源计算节点迁移到目的计算节点的决定。2.如权利要求1所述的方法，其中迁移所述选择的工作负载的决定包括：基于选择标准来选择所述选择的工作负载和所述目的计算节点中的一个或两个，所述选择标准被在所述位图的一个或多个位图上限定且旨在最大化在由所述选择的工作负载使用的存储页面和由在所述目的计算节点上的现有工作负载使用的存储页面之间的重叠。3.如权利要求2所述的方法，其中，所述选择标准旨在最大化由所述选择的工作负载使用并且能够在所述选择的工作负载的迁移之后在所述目的计算节点上被删除重复数据的存储页面的数量。4.如权利要求2所述的方法，其中，计算所述位图包括通过计算在所述目的节点上的现有工作负载的位图的并集来计算用于所述目的计算节点的节点级位图，以及其中迁移所述工作负载的决定包括基于所述目的计算节点的节点级位图来评估所述选择标准。5.如权利要求1所述的方法，其中，迁移所述工作负载的决定包括
\t基于选择标准来选择所述源计算节点和所述选择的工作负载中的一个或两个，所述选择标准被在所述位图的一个或多个上限定且旨在最小化在由所述选择的工作负载使用的存储页面和由在所述源计算节点上的现有工作负载使用的存储页面之间的重叠。6.如权利要求5所述的方法，其中，所述选择标准旨在最小化由在所述源计算节点上的现有工作负载使用并且在所述选择的工作负载的迁移之后在所述源计算节点上不再能够被删除重复数据的存储页面的数量。7.如权利要求5所述的方法，其中，计算所述位图包括通过计算在所述源节点上的现有工作负载的位图的并集来计算所述源计算节点的节点级位图，以及其中迁移所述工作负载的决定包括基于所述目的计算节点的节点级位图来评估所述选择标准。8.如权利要求1所述的方法，其中计算对于给定工作负载的位图包括：在由所述给定工作负载使用的存储页面的至少一些上计算相应的散列值以及基于所述散列值来计算所述位图。9.如权利要求8所述的方法，其中，计算所述位图包括只在由所述给定工作负载以比预定的修改率低的频率修改的存储页面的散列值上评估所述位图。10.如权利要求1所述的方法，其中，计算所述位图包括计算HyperLogLog(HLL)位图。11.如权利要求1所述的方法，其中，响应于检测到所述源计算节点过载而执行迁移所述选择的工作负载的决定。12.一种计算装置，包括：接口，其用于与运行访问存储页面的相应的集合的多个工作负载的多个计算节点通信；以及处理器，其配置成从所述计算节点接收为所述工作负载中的至少一些计算的位图，其中(i)工作负载的位图在统计...

【专利技术属性】
技术研发人员：本诺特·纪尧姆·查尔斯·胡德奇亚，亚历山大·索尔佳尼克，
申请(专利权)人：斯特拉托斯卡莱有限公司，
类型：发明
国别省市：以色列;IL