用于在数据中心中确定应用依赖性路径的系统和方法技术方案

本发明专利技术公开了一种用于在数据中心中确定应用依赖性路径的方法和系统。该方法和系统利用交换机和监测代理捕捉服务器上的应用业务量数据；基于应用业务量数据产生应用的所有部件的应用业务矩阵；经奇异值分解或幂因式分解残差过程利用秩估计从业务矩阵估计数据中心中的应用的数量；以及使用估计的应用的数量利用非负矩阵因式分解过程把业务矩阵分解为第一矩阵和第二矩阵。第一矩阵代表属于每个应用的部件的集合，并且第二矩阵代表随着时间过去由每个应用产生的业务的量。利用基于并发容量比的相关过程去除第一矩阵和第二矩阵中的任何噪声。

【技术实现步骤摘要】
【国外来华专利技术】
本申请涉及系统管理和操作。更具体地讲，本申请涉及一种用于在企业网络和数据中心中确定应用依赖性发现的系统和方法。
技术介绍
现今的企业网络和现代数据中心具有各种不同的应用(例如，电子商务、内容分发)和服务(例如，DNS、活动目录、电子邮件和验证)，这些应用和服务以复杂的方式彼此交错。具体地讲，每项服务可支持多个应用并且特定应用可依赖于许多不同的服务。此外，每个应用自身通常具有多个部件，一些部件可与多个应用共享。对于一系列系统管理任务(诸如，异常检测和故障分析、系统升级和打补丁以及应用隔离和迁移)，理解和识别每个应用的部件和它们的相互依赖性很重要。例如，多层应用能够包括具有共同的部件(诸如，应用服务器)的不同的应用，诸如拍卖应用和电子商务应用。这个问题的已有处理方法采用各种技术，从活动服务器设备到轻型中间件部署直至非侵入网络业务(traffic)监测。通过对获得的网络和/或系统踪迹执行相关分析，推断应用依赖性。这些处理方法依赖于成对流分析，成对流分析可在实践中表现出某些限制。具体地讲，从成对依赖性信息几乎不能推断大規模交易系统中常见的多跳(即，超过三个)依赖性。如同在多跳交叠应用的情况下一祥，当存在单个部件被多个应用共享并且成对分析的准确性降低的交叠应用时，尤其如此。此外，在给定时间间隔内在每个主机的基础上执行流对相关。在确定性能和准确性时，选择这个间隔的合适长度很重要，但也容易发生误报。因此，对于正在经历应用的大規模成长和服务部件之间的复杂交互的企业网络和数据中心的日常系统管理和操作而言，需要一种自动应用依赖性发现系统和方法。
技术实现思路
公开了ー种用于在具有多个服务器和多个不同应用的数据中心中确定应用依赖性路径的方法，每个应用具有多个部件，与一个或多个其它应用共享ー个或多个部件。该方法包括下述步骤捕捉服务器上的应用业务量数据；基于应用业务量数据产生应用的所有部件的应用业务矩阵；从业务矩阵估计数据中心中的应用的数量；以及使用估计的应用的数量把业务矩阵分解为第一矩阵和第二矩阵，第一矩阵代表属于每个应用的部件的集合，并且第二矩阵代表随着时间过去由每个应用产生的业务的量。在一些实施例中，该方法还包括下述步骤从第一矩阵和第二矩阵去除噪声。还公开了一种用于在具有多个服务器和多个不同应用的数据中心中确定应用依赖性路径的系统，每个应用具有多个部件，与一个或多个其它应用共享ー个或多个部件。该系统包括数据收集部件；和控制器，与数据收集部件处于数据通信。数据收集部件包括多个交换机，每个交換机具有用于捕捉服务器上的应用业务量数据的镜像端ロ ；和监测代理，用于监测每个镜像端ロ。控制器包括连通性绘图单元，用于基于由监测服务器捕捉的应用业务量数据产生应用的所有部件的应用业务矩阵；总体估计单元，用于从由连通性绘图单元产生的业务矩阵估计数据中心中的应用的数量；和应用分解単元，用于使用由总体估计单元产生的估计的应用的数量把业务矩阵分解为第一矩阵和第二矩阵，第一矩阵代表属于每个应用的部件的集合，并且第二矩阵代表随着时间过去由每个应用产生的业务的量。在一些实施例中，该系统的控制器还包括后处理单元，用于从第一矩阵和第二矩阵去除噪声。附图说明图I是根据本公开的用于在数据中心中确定应用依赖性路径的系统的示例性实施例的方框图。 图2是代表本公开的业务图的业务矩阵的示例性实施例。图3是由本公开的系统执行的数据中心应用依赖性发现方法的示例性实施例的流程图。图4A是在图3的方法中使用的幂因式分解过程的示例性实施例的流程图。图4B是在图3的方法中使用的经幂因式分解残差过程的秩估计的示例性实施例的流程图。图5是在图3的方法中使用的基于非负矩阵因式分解的依赖性分解过程的示例性实施例的流程图。图6是在图3的方法中用于使邻近链路上的应用业务相关的基于并发容量比(CVR)的相关过程的图形表示。图7是CVR相关过程的示例性实施例的流程图。具体实施例方式本公开提供了ー种使用随着时间动态构造的时间全局应用业务图和在数据中心的每个服务器处观察的空间局部业务而在企业网络、基于云的数据中心和其它类似数据中心中提取应用依赖性的矩阵因式分解系统和方法。数据中心包括运行多个不同应用(例如，电子商务、内容分发)的多个服务器。每个应用在应用的依赖性路径中具有多个部件(例如，web服务器、应用服务器、数据库服务器)，其中与一个或多个其它应用共享ー个或多个部件。因为这种数据中心通常托管大量的多层应用，所以在空间域和时间域二者中，应用请求都交叠，使得常规成对统计相关技术难以正确地提取这些交错但独立的应用。在本公开的系统和方法中，使用应用业务的基于矩阵的表示，所述应用业务的基于矩阵的表示捕捉系统快照及其历史演进二者。该系统和方法把应用图的矩阵表示分解为小的子图，每个子图代表单个应用。这使得本公开的系统和方法在存在多跳和/或交叠应用的情况下特别有效。由于交错并且交叠的应用请求，应用的数量通常预先是未知的，这进一歩对各个应用子图的发现提出了挑战。在本公开的系统和方法中，在具有理论边界保证的情况下在完整和不完整业务数据方案下或者利用基于奇异值分解的解算器或者利用基于幂因式分解的解算器使用低秩矩阵估计来确定应用的数量。来自交换机的业务分接由交换机以及监测主机的能力限制。交换机通常仅能够同时镜像几个端ロ。另外，监测在多个交换机(每个交換机具有多个端ロ)上收集的数据可导致高容量聚合网络业务并且可能导致包丢失。这两种情况都导致监测数据的显著丢失。为了克服这个问题，本公开的系统和方法有效地使用历史数据提供充分的冗余并采用基于幂因式分解的技术提供对数据丢失和估计误差的适应能力。本公开的系统和方法还使用分布式网络监测和集中式数据处理以在数据中心中确定应用依赖性路径。图I是本公开的系统的示例性实施例的方框图。该系统包括数据收集部件100和中央服务器或控制器110。数据收集部件100具有多个交换机102和多个监测代理104，所述多个监测代理104连接到交换机并从它们收集业务数据，并且中央控制器110具有预处 理单元112、依赖性分解単元114和后处理单元116。控制器110的预处理単元112、依赖性分解単元114和后处理单元116由控制器110的一个或多个处理器(未示出)实现。(这些)处理器执行存储在例如控制器110的一个或多个存储器中的程序指令，所述程序指令能够使控制器110执行本文描述的预处理、依赖性分解和后处理方法和过程。数据收集部件100执行对数据中心的分布式网络监测并且可包括位于网络的树形结构中的最低层中的柜顶(TOR)交換机(边缘交換机)，所述树形结构具有连接到位于相同机柜中的数据中心的服务器(例如，20至80个服务器)的下行链路和连接到上层聚合交换机的上行链路。在姆个边缘交换机102处捕捉网络业务,边缘交换机102经边缘交换机102的镜像端ロ直接连接到专用监测服务器104(监测代理)。由于这种类型的端ロ镜像的高效业务捕捉能力连同对遍历(traverse)业务具有最小的影响而使用这种类型的端ロ镜像。定期地，监测服务器处理收集的数据(解析并提取流级信息，对当前间隔中的每个流的包的数量进行计数)，计算每个应用层链路的业务量，并把数据转发给控制器110。从每个监测服务器接收的数据由控制器110集中处本文档来自技高网...

【技术保护点】

【技术特征摘要】
【国外来华专利技术】...

【专利技术属性】
技术研发人员：M丁，V辛赫，Y张，G姜，
申请(专利权)人：美国日本电气实验室公司，
类型：
国别省市：