用于对媒体服务器实例进行负载均衡的系统和方法技术方案

本发明专利技术提供用于对媒体服务器实例进行负载均衡的系统和方法。在实施例中，媒体被分解成多租户服务，从而允许媒体独立于基于云的协作平台上所支持的组织的数量而被调整。调整可以发生在扩展或缩减操作中。媒体服务的状态可以包括服务中、静默中、静默后、故障等。所述状态可以用于监控与实例相关联的会话，并确定在缩减操作期间终止哪些媒体实例。在实施例中，新实例可以响应于扩展操作中增加的工作负载而被添加到媒体实例的集合中。

【技术实现步骤摘要】
【国外来华专利技术】用于对媒体服务器实例进行负载均衡的系统和方法
本专利技术实施例的一些方面涉及计算机系统的管理领域，包括管理跨多个计算机系统的工作的分配。更具体地，本专利技术涉及跨多种媒体服务器实例的负载均衡。相关申请的交叉引用本申请要求享有于2017年8月31日提出申请的名称为“SYSTEMSANDMETHODSFORLOADBALANCING均衡”的美国临时申请62/553,083号的权益。
技术实现思路
本专利技术提出一种用于对媒体服务器实例进行负载均衡的系统和方法。在实施例中，媒体被分解成多租户服务，从而允许单独调整媒体并与基于云的协作平台上所支持的组织的数量无关。该调整可以发生在扩展操作或缩减操作中。媒体服务的状态可以包括服务中、静默中、静默后、故障等。所述状态可以用于监控与实例相关联的会话，并确定在缩减操作期间要终止哪些媒体实例。在实施例中，新实例可以响应于扩展操作中所增加的工作负载而被添加到媒体实例的集合中。在一个实施例中，提出了一种方法，所述方法用于使动态调整大小的计算资源集合上的工作负载负载均衡，从而在用于处理媒体请求的系统中提供长期运行的服务，所述方法包括以下步骤：由媒体管理器接收对资源的请求；通过可操作地连接到媒体管理器的数据存储区选择一组实例中的实例，其中所述实例符合第一标准，并且避免选择所述实例组中满足第二标准的任何实例，所述组的每个实例都被配置为通过以下方式维持与符合第一标准的实例相关联的会话集合：响应于转发请求，将与所述请求相关联的会话添加到会话集合；和响应于实例状态的改变，从会话集合中移除该会话；通过媒体管理器检测符合第一标准的实例子组内的缩减操作；将符合第一标准的实例子组中的至少一个实例转换到符合第二标准的实例子组；保持符合第二标准的实例子组中的每个实例，同时与符合第二标准的实例相关联的会话集合包括至少一个会话；以及当与符合第二标准的实例相关联的会话集合为空时，将符合第二标准的实例转换到符合第三标准的实例子组。附图说明图1是示出通信基础设施的实施例的视图；图2是示出基于云的通信基础设施的实施例的视图；图3A是示出用于处理对资源的请求的过程的实施例的流程图；图3B是示出用于请求资源的过程的实施例的视图；图4是示出实例的状态的实施例的视图；图5是示出一组实例的管理的实施例的视图；图6是示出用于衡量一组实例的过程的实施例的流程图；图7是示出用于衡量一组实例的过程的实施例的视图；图8A是示出计算装置的实施例的视图；以及图8B是示出计算装置的实施例的视图。具体实施方式为了增强对本专利技术原理的理解，现在将参照附图中示出的实施例，并且将使用特定语言来描述该实施例。然而，将理解的是，这并非意图限制本专利技术的保护范围。所述实施例中的任何改变和另外的变型以及在此描述的本专利技术的原理的任何进一步的应用，都应被认为是本专利技术所涉及的本领域技术人员通常会想到的。在计算领域中，工作负载可以横跨计算资源的集合被分配。例如，对网页的请求可以被分配在多个网络服务器上。使用多个计算资源而不是单个计算资源可以提高可靠性(例如，通过在计算资源出现故障时提供冗余)，并且也可以更具成本效益(例如，运行一个更强大的计算资源可能比运行多个不太强大的计算资源更为昂贵)。负载均衡器可以横跨资源集合执行工作负载的分配。例如，对网页的请求可以最初被传递至负载均衡器，并且负载均衡器可以将请求转发到根据工作负载分配算法所选择的计算资源集合中的一个(一个实例)。在一些情况下，计算资源的集合可以是静态的。负载均衡器在固定的计算资源集合之间分配工作负载。当工作负载基本恒定时，可以将资源集合的大小设置为固定值，以满足对计算服务的恒定需求。然而，如果工作负载随时间变化，则对于变化的工作负载来说无法适当调整静态计算资源集合的大小。例如，当工作负载高时，可能没有足够的计算资源来处理工作负载，从而增加响应时间或者潜在地导致服务中断。当工作负载低时，可能会有多余的计算能力，这可能会增加提供计算服务的成本。本专利技术的实施例的多个方面涉及用于在提供长期运行服务的计算资源集合上进行负载均衡以及用于动态调整计算资源集合的大小的系统和方法。为了解决变化的工作负载状态的问题，弹性计算系统可以响应于工作负载的变化而动态地调节(或调整)计算能力。例如，随着工作负载的增加，可以在称为“扩展”的过程中分配或提供另外的计算资源来处理工作负载。类似地，当工作负载减少且不再需要计算资源时，可以在称为“放大”的过程中重新分配或取消提供多余的容量以降低成本。这些可调整大小的计算资源组可以被称为以下任意组：动态组、弹性组或自动调整组。为了方便起见，集合中的计算资源中的每一个在本文中都可以被称为“实例”。每个实例可以对应于例如物理计算机系统(例如，处理器、内存和通过系统总线连接在一起的外围设备)或者虚拟机(例如，虚拟专用服务器、Docker容器、FreeBSD监狱(jail)、以及由作为服务提供商(例如，AmazonWebServices)的基础设施提供的实例)。实例的集合可以被称为“组”。计算服务可以由包括一个或多个实例的组提供，其中每个实例都可以运行提供Web应用程序(例如，部署在Java应用服务器上作为JavaWeb应用程序资源文件)的Web应用程序服务器(例如，诸如ApacheTomcat的Java应用程序服务器)。随着越来越多的用户在一天的特定时间(例如，晚上)访问计算服务(例如，社交网络)，工作负载增加，并且会需要向该组分配额外的实例，以便为增加的工作负载服务。在一天中的晚些时候(例如，许多用户入睡后)，工作负载减少，可以从该组中重新分配实例以降低成本。在许多情况下，可以在用户和实例之间建立长时间运行的会话。这可以被称为“会话亲和力”或“粘滞会话”，其中会话与用户和实例的组合相关联，其中在整个粘滞会话的过程中由相同实例提供服务。例如，用户可以登录到计算服务，并且会话信息(例如，用户的登录状态)可以存储在实例本身上。响应于请求而返回给用户的数据可以取决于实例上存储的信息(例如，用户是否登录和/或用户在会话期间已经执行的其它动作)。作为另一个示例，用户可以流式处理诸如音频和/或视频的媒体内容，并且为了提供媒体内容的流畅回放，对于由相同实例服务的媒体内容的所有请求是有益的。在其中必须由特定实例处理请求的情况将被称为“硬”约束，而在其中特定实例优选处理请求的情况被称为“软”约束。在放大事件期间取消分配实例会中断与已取消分配实例相关联的用户的长时间运行的会话的服务。这样，实施例的一些方面涉及用于在自动调整组中保持长时间运行会话的系统和方法。例如，本专利技术的实施例涉及用于在终止实例前通过使被标记为要移除的实例等待以达到静默状态(例如，用于与已经结束的实例相关联的所有会话)来放大自动调整组而不会丢失长时间运行的会话的系统和方法。呼叫中心系统图1是示出整体以100标示的通信基础设施的实施例的视图。例如，图1示出用于在提供呼叫中心服务中支持呼叫中心的系统。呼叫本文档来自技高网...

【技术保护点】
1.一种用于使动态调整大小的计算资源集合上的工作负载负载均衡的方法，所述计算资源集合在系统中提供长时间运行的服务以处理媒体请求，所述方法包括以下步骤：/n通过媒体管理器接收对资源的请求；/n通过可操作地连接到所述媒体管理器的数据存储区来选择实例组中的实例，其中所述实例符合第一标准，并且避免选择所述实例组中符合第二标准的任何实例，所述实例组中的每个实例都被配置为通过以下方式维护与符合所述第一标准的实例相关联的会话集合：/n响应于转发请求，将与所述请求相关联的会话添加到所述会话集合中；和/n响应于实例状态改变，从所述会话集合中移除所述会话；/n通过所述媒体管理器检测符合所述第一标准的实例子组内的缩减操作；/n将符合所述第一标准的实例子组中的至少一个实例转换到符合所述第二标准的实例子组；/n保持符合所述第二标准的实例子组中的每个实例，同时与符合所述第二标准的实例相关联的所述会话集合包括至少一个会话；和/n当与符合所述第二标准的实例相关联的所述会话集合为空时，将符合所述第二标准的实例转换到符合第三标准的实例子组。/n

【技术特征摘要】
【国外来华专利技术】20170831 US 62/553,0831.一种用于使动态调整大小的计算资源集合上的工作负载负载均衡的方法，所述计算资源集合在系统中提供长时间运行的服务以处理媒体请求，所述方法包括以下步骤：
通过媒体管理器接收对资源的请求；
通过可操作地连接到所述媒体管理器的数据存储区来选择实例组中的实例，其中所述实例符合第一标准，并且避免选择所述实例组中符合第二标准的任何实例，所述实例组中的每个实例都被配置为通过以下方式维护与符合所述第一标准的实例相关联的会话集合：
响应于转发请求，将与所述请求相关联的会话添加到所述会话集合中；和
响应于实例状态改变，从所述会话集合中移除所述会话；
通过所述媒体管理器检测符合所述第一标准的实例子组内的缩减操作；
将符合所述第一标准的实例子组中的至少一个实例转换到符合所述第二标准的实例子组；
保持符合所述第二标准的实例子组中的每个实例，同时与符合所述第二标准的实例相关联的所述会话集合包括至少一个会话；和
当与符合所述第二标准的实例相关联的所述会话集合为空时，将符合所述第二标准的实例转换到符合第三标准的实例子组。


2.根据权利要求1所述的方法，其中，符合所述第一标准的实例包括服务中实例。


3.根据权利要求1所述的方法，其中，符合所述第二标准的实例包括静默中实例。


4.根据权利要求1所述的方法，其中，符合所述第三标准的实例包括静默后实例。


5.根据权利要求1所述的方法，还包括以下步骤：
终止符合所述第三标准的实例子组中的实例。


6.根据权利要求5所述的方法，其中，所述终止步骤通过所述实例本身直接执行或者通过第三方进程执行。


7.根...

【专利技术属性】
技术研发人员：G·T·内瑟克特，R·M·弗朗西斯科，F·I·维斯，K·W·伍德沃德，
申请(专利权)人：格林伊登美国控股有限责任公司，
类型：发明
国别省市：美国;US