用于物理机的数据分配方法和数据分配装置制造方法及图纸

本公开内容涉及用于物理机的数据处理方法和数据处理装置。提供了一种用于物理机的数据分配方法，在所述物理机上运行有多个虚拟机。所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。通过上述方法，能够充分利用物理机资源，提高物理机的处理效率，缩短物理机整体上对待处理数据的处理时间，进而有利于整个作业的完成，缩短作业的处理时间。

【技术实现步骤摘要】
【专利摘要】本公开内容涉及用于物理机的数据处理方法和数据处理装置。提供了一种用于物理机的数据分配方法，在所述物理机上运行有多个虚拟机。所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。通过上述方法，能够充分利用物理机资源，提高物理机的处理效率，缩短物理机整体上对待处理数据的处理时间，进而有利于整个作业的完成，缩短作业的处理时间。【专利说明】用于物理机的数据分配方法和数据分配装置
本专利技术涉及数据处理领域，并且更具体地，涉及数据处理领域中的用于物理机的 数据分配方法和数据分配装置。
技术介绍
随着虚拟化技术的发展，在一个物理机上通常可以同时运行多个虚拟机。这些虚 拟机共享物理机的硬件资源并协同工作，不仅可以扩大物理机的硬件容量，而且在各虚拟 机中进行的数据处理可以独立进行而不相互影响，由此可以显著提高物理机的工作效率。 目前常用的虚拟化技术包括Xen、KVM(KernelVirtualMachine,内核虚拟机)等。 以Xen为例，在一个物理机A上可以同时运行被称为DomO、Doml、Dom2、......、DomU的这 U+1个虚拟机。DomO虚拟机作为控制虚拟机，能够分辨物理机A接收的数据分别属于Doml至Dom U中的哪个虚拟机。Doml至Dom U中的每一个均具有一个属于它自己的队列。DomO 通过将数据存储在Dom i (i为1至U的整数）的队列中以供Dom i处理。例如，DomO通过 将待分配给Doml的数据存储在对应于Doml的基准存储页面Pagel中，然后通过将Pagel 中的数据与Doml对应的虚拟机存储页面Pagel'中的数据进行交换，向Doml分配属于它的 数据。分配给Doml的数据被存储在Doml自己的队列中。同样地，分配给Dom2至Dom U中 的每一个的数据也被存储在它们各自的队列中。这样，DomO至Dom U中的每一个通过从它 们各自的队列中取数据来并行运行。 然而，由于每个虚拟机在处理一个作业的数据的过程中所处理的数据可能对应于 该作业中包含的具有不同复杂度的任务(一个作业可以包含多个任务)，因此，即便每个虚 拟机需处理的数据量相等，由于不同数据对应不同的操作和计算复杂度，每个虚拟机的处 理时间可能不相同。例如，对于某MapReduce负载，由于一个物理机上的多个虚拟机处理相 同数据量任务的处理时间不同，97%的任务可能将在1个小时内完成，但是剩下的一些任务 可能需要花费相当长的时间才能够完成，例如大于10个小时。 由于物理机上不同虚拟机对数据的处理时间不同，因此，可能出现一台物理机上 的一些虚拟机已经完成数据处理而另一些虚拟机仍处于数据处理过程的现象，使得该物理 机上的一些虚拟机处于漫长的等待状态，从而使得物理机的资源没有得到充分利用而影响 物理机的处理效率。
技术实现思路
本专利技术的实施例提供了一种用于物理机的数据分配方法和数据分配装置，能够避 免空闲的虚拟机长期等待，从而能够充分利用单个物理机的资源，提高单个物理机的处理 效率。 根据本专利技术的一方面，提供了一种用于物理机的数据分配方法，在所述物理机上 运行有多个虚拟机，所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接 收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向 该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。 根据本专利技术的另一方面，提供了一种用于物理机的数据分配装置，在所述物理机 上运行有多个虚拟机，所述装置包括：接收部件，被配置为从用于分配作业数据的调度器接 收待处理数据；存储部件，被配置为将接收的待处理数据存储在单个队列中；以及分配部 件，被配置为响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列 中的数据，以供该空闲的虚拟机进行处理。 根据上述技术方案，通过为物理机上的多个虚拟机设置单个队列，一旦有虚拟机 空闲，就可以从该单个队列中取出数据供该空闲的虚拟机处理。相比于现有技术中为不 同虚拟机设置不同的队列而言，多个虚拟机共享单个队列的方式能够更有效地利用各虚拟 机，避免有虚拟机处于等待状态而浪费物理机资源。这样，当物理机上还有待处理数据时， 物理机上的虚拟机都能够保持在运行状态，从而能够充分利用物理机资源，提高物理机的 处理效率，缩短物理机整体上对待处理数据的处理时间。由于物理机的处理时间的缩短，有 利于物理机更快地请求新的待处理数据，从而进一步有利于整个作业的完成，缩短作业的 处理时间。 【专利附图】【附图说明】 通过结合附图对本公开示例性实施方式进行更详细的描述，本公开的上述以及其 它目的、特征和优势将变得更加明显，其中，在本公开示例性实施方式中，相同的参考标号 通常代表相同部件。 图1表示根据本专利技术一实施例的云计算节点； 图2表示根据本专利技术一实施例的云计算环境； 图3表示根据本专利技术一实施例的抽象模型层； 图4是示出根据本专利技术实施例的用于物理机的数据分配方法的流程图； 图5是示出用于实现根据本专利技术实施例的数据分配方法的系统配置的例子的示 意图； 图6是示出根据本专利技术实施例的在单个物理机上采取的单队列多窗口（也可以被 称为单队列多服务器）模型的示意图； 图7是示出在现有技术中在单个物理机上采取的多队列多窗口模型的示意图； 图8是示出根据本专利技术实施例的由调度器一侧执行的向物理机分配作业数据的 方法的流程图； 图9是示出根据本专利技术实施例的由虚拟机一侧执行的数据处理方法的流程图； 图10是示出根据本专利技术实施例的用于物理机的数据分配装置的结构框图；以及 图11是示出根据本专利技术实施例的用于物理机的数据分配装置的另一结构框图。 【具体实施方式】 下面将参照附图更详细地描述本公开的优选实施方式。虽然附图中显示了本公开 的优选实施方式，然而应该理解，可以以各种形式实现本公开而不应被这里阐述的实施方 式所限制。相反，提供这些实施方式是为了使本公开更加透彻和完整，并且能够将本公开的 范围完整的传达给本领域的技术人员。 首先应当理解，尽管本公开包括关于云计算的详细描述，但其中记载的技术方案 的实现却不限于云计算环境，而是能够结合现在已知或以后开发的任何其它类型的计算环 境而实现。 云计算是一种服务交付模式，用于对共享的可配置计算资源池进行方便、按需的 网络访问。可配置计算资源是能够以最小的管理成本或与服务提供者进行最少的交互就能 快速部署和释放的资源，例如可以是网络、网络带宽、服务器、处理、内存、存储、应用、虚拟 机和服务。这种云模式可以包括至少五个特征、至少三个服务模型和至少四个部署模型。 特征包括： 按需自助式服务：云的消费者在无需与服务提供者进行人为交互的情况下能够单 方面自动地按需部署诸如服务器时间和网络存储等的计算能力。 广泛的网络接入：计算能力可以通过标准机制在网络上获取，这种标准机制促进 了通过不同种类的瘦客户机平台或厚客户机平台（例如移动电话、膝本文档来自技高网...

【技术保护点】
一种用于物理机的数据分配方法，在所述物理机上运行有多个虚拟机，所述方法包括：从用于分配作业数据的调度器接收待处理数据；将接收的待处理数据存储在单个队列中；以及响应于所述多个虚拟机中存在空闲的虚拟机，向该空闲的虚拟机分配该队列中的数据，以供该空闲的虚拟机进行处理。

【技术特征摘要】

【专利技术属性】
技术研发人员：李立，史巨伟，戈弋，刘亮，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US