用于在网络中管理工作负荷的计算机实现方法和系统技术方案

实施例包括用于在网络中管理工作负荷的方法、系统和计算机程序产品。交换机接收与工作负荷相关联的数据。以将数据与工作负荷相关联的标识符标记收到的数据。基于确定存储在交换机的缓冲器内的第二数据超过阈值，压缩收到的数据。交换机将压缩数据存储在缓冲器中。基于交换机过载的确定，将压缩数据发送到第二网络。

【技术实现步骤摘要】

本专利技术总的来说涉及计算技术，并且更具体地说，本专利技术涉及资源过载。
技术介绍
可以配置数据中心，以处理大量或者大容量数据。在处理大量的大容量数据的情况下，可以采用映射减小(map-reduce)算法。映射减小算法需要将大数据集映射到较小数据集或者工作负荷中。工作负荷可以由多个机器、虚拟机或者线程潜在地并行地处理，以获得子处理结果。最终可以将子处理结果合并或者组合，以获得总结果。在网络计算的情况下，诸如交换机的资源可以进入所谓的“过载(over-subscript1n) ”状态。简洁地说，如果要求交换机处理的或者操作的输入数据或者负荷超过交换机的输出能力，则交换机可能过载。过载的资源可能表示网络中的瓶颈。为了解决过载，可以分配附加资源(例如，附加交换机)。然而，分配附加资源表示就例如资金、复杂性、管理等方面的附加成本。此外，过载可能表示动态或者瞬态情况。因此，在大多数时间，附加资源是空闲的，导致不能充分利用资源。这样，网络提供商或者运营商可选择先行分配附加资源。然而，如果未解决，则过载可能导致数据(例如，数据包)丢失。从网络质量或者可靠性恶化来说可能反映数据丢失。
技术实现思路
实施例包括用于在网络中管理工作负荷的方法、系统和计算机程序产品。交换机接收与工作负荷相关联的数据。利用将数据与工作负荷相关联的标识符标记收到的数据。具有确定存储在交换机的缓冲器内的第二数据超过阈值，压缩收到的数据。交换机将压缩数据存储在缓冲器中。基于确定交换机过载，将压缩数据发送到第二网络。【附图说明】在作为本说明书的结论的权利要求书中特别指出了并且明确要求保护作为实施例的主题。结合附图，根据下面的详细描述，实施例的上述以及其他特征和优点显而易见，附图中:图1示出根据实施例的计算系统环境；图2示出根据实施例的结合管理网络的用于处理工作负荷的计算系统环境；图3示出根据实施例的用于处理工作负荷的处理流程；以及图4示出根据实施例的计算系统环境。【具体实施方式】根据一个或者多个实施例，描述解决诸如交换机的网络资源的过载的系统、设备和方法。监视与交换机相关联的缓冲器，以确定交换机要处理的输入数据何时超过阈值。当输入数据超过阈值时，可以压缩该数据，并且以唯一标识符标记。该唯一标识符区别由其产生数据的源或者工作负荷。通过交换机的一个或者多个输出链路发送压缩的标记的数据。与数据的未压缩版本相比，压缩数据占据的(各)输出链路的更少带宽。在某些实施例中，数据(例如，压缩数据)可以由交换机提供到管理网络，以进行操作或者处理，以撬动管理网络中的可用带宽。现在回到图1，总地示出计算系统100。系统100可以与一个或者多个诸如数据网络102、管理网络104等的网络相关联。该网络可以互相耦合。系统100可以包括许多不同类型的计算装置。为了使说明简单并且容易解释，所示的系统100包括大量服务器114和大量交换机122。技术人员明白在某些实施例中可以包括其他类型的装置。在某些实施例中，交换机122可以互相耦合。例如，数据可以作为多条路径的一部分，通过一个或者多个交换机122，并且可能通过一个或者多个服务器114。服务器114可以耦合到交换机122的一个或者多个端口。例如，服务器114可以耦合到交换机122的数据端口(DP) 130。通常，DP 130可以用作在服务器114与交换机122之间传输数据的主要端口。DP 130可以耦合到一个或者多个管理端口(MP)140。下面将进一步描述MP 140的作用。由于将数据从服务器114提供到交换机122，这可以作为映射减小算法的所谓“拖曳阶段”的一部分，所以交换机122可以通过一个或者多个缓冲器150缓存数据。缓冲器150可以向交换机122提供处理或者操作输入数据的附加时间。在输入数据量超过交换机122处理该数据的能力时，需要该附加时间。使用缓冲器150有助于避免数据丢失或者将数据丢失降低到最小。在某些实施例中，可以监视缓冲器的状态。该监视可以在一个或者多个实体进行。例如，交换机122可以监视其自有缓冲器150的状态。在某些实施例中，可以通过管理网络104 (可能与MP 140相关联)监视缓冲器150的状态。在交换机122的输入数据的处理和操作可以是缓冲器150的状态的函数。例如，如果交换机122要操作或者处理的存储在缓冲器150内的输入数据超过阈值，则交换机122可以压缩数据，并且可以利用唯一标识符(ID)标记该数据。ID可以识别就工作负荷而言数据源或者数据起源，以使操作或者处理的最终结果与给定任务相关联。另一方面，如果存储在缓冲器150内的输入数据小于阈值，则交换机可以不压缩数据。确定是否压缩数据使用的阈值可以是一个或者多个参数的函数。例如，在选择阈值时可以考虑到吞吐量要求(例如，单位时间内要处理或者操作的数据的量)、交换机122处的输入数据的预期最高速率、以及缓冲器150的性能。此外，所选阈值实际上可以是动态的，并且可以基于一个或者多个考虑或者因素而改变。关于数据的未压缩版本，压缩数据可以消耗交换机的输出链路的更少带宽。另一方面，就数据到达最终目的地(例如，服务器14)和/或者产生数据的最终处理结果花费的时间方面，压缩表示增加等待时间的附加任务。因此，选择上面描述的阈值可以考虑在带宽与等待时间之间取折衷。如上所述，管理网络104可以监视缓冲器150的状态。更一般地说，管理网络104可以监视网络102的性能并且管理与网络102相关联的任何错误。参考图2，管理网络可以通过控制器218执行该监视和管理。控制器218可以向一个或者多个管理装置(未示出)报告监视和管理结果。管理网络104可以在考虑监视和管理用途所需的任意带宽后具有可用的备用能力或者带宽。在数据网络102过载的情况下，使用该额外带宽。这样，如图2所示，可以通过MP 140-a将第一交换机例如交换机122-a操作或者处理的输入数据从交换机122_a发送到管理网络104的控制器218。可以对通过MP 140-a发送的数据进行压缩和/或者标记唯一 ID。控制器218可以代表交换机122-a操作或者处理数据。控制器218可以将操作/处理结果发送到另一实体，诸如第二交换机，例如交换机122-b。交换机122-b可以包括与管理网络104/控制器218接口的MP 140-b。如果数据在任何一点被压缩，则该数据可以保持被压缩，直到数据到达最终目的地之前的最后一跳为止，在此点可以对数据解压缩。交换机122可以是软件定义网络(SDN)使能交换机。这样，数据可以在交换机122的各种实体或者端口(例如，DP 130和MP 140)之间传输。转到图3，示出了方法300的流程图。方法300可以由一个或者多个系统、装置或者部件，诸如在此描述的系统、装置或者部件执行。方法300可以用于处理与工作负荷相关联的数据。在方框302，可以接收与工作负荷相关联的数据。例如，通过交换机的DP，数据可以由交换机接收。在方框304，关于监视算法的状态进行确定。例如，如果监视算法指出交换机的缓冲器内的数据超过阈值，或者该交换机过载，则该流程从方框304进入方框306。相反，如果监视指出交换机/缓冲器有足够的能力容纳正在进行的数据操作，则流程从方框304进入方框340。在方框306，可以对方本文档来自技高网...

【技术保护点】
一种用于在网络中管理工作负荷的计算机实现方法，所述方法包括：由交换机接收与工作负荷相关联的数据；以将数据与工作负荷相关联的标识符标记收到的数据；基于确定存储在交换机的缓冲器内的第二数据超过阈值，压缩收到的数据；由交换机将压缩数据存储在缓冲器中；以及基于交换机过载的确定，将压缩数据发送到第二网络。

【技术特征摘要】
...

【专利技术属性】
技术研发人员：C德库萨蒂斯，S卡夏普，RB克里施纳默西，
申请(专利权)人：国际商业机器公司，
类型：发明
国别省市：美国;US