基于端到端性能观察与评估来改进通信网络的性能制造技术

方法、系统和装置，包括在计算机存储介质上被编码的计算机程序，用于观察、评估和改进一个或多个通信网络的性能。接收所生成的针对通信网络的性能指标，接收针对通信网络的外部性能指标，以及响应于确定所生成的性能指标与外部性能指标之间的差异，评估与通信网络相关联的关键性能指示符。性能指标至少部分地基于关键性能指示符集合和对应的阈值来生成。外部性能指标表示通信网络的用户体验。响应于确定给定关键性能指示符的值未能通过与其一个或多个相应阈值进行的阈值比较，自动修改针对通信网络的一个或多个设置。

【技术实现步骤摘要】
基于端到端性能观察与评估来改进通信网络的性能
技术介绍
通信网络(例如，蜂窝网络)是为通信设备(例如，电话、移动电话、智能电话、平板电脑、膝上型计算机、个人数字助理、车辆计算机设备、游戏设备等)提供有线链路和无线链路的网络。网络可以分布在广泛的地理区域上，由提供被用于传送话音和数据的覆盖的多个节点(例如，用于无线网络的基站)服务。可以连接节点，从而使得通信设备能够与节点以及在网络中的任何地方彼此进行通信。通信网络可以维护与由网络处理的通信相关联的数据(例如，日志数据、指示符、警报等)。
技术实现思路
本公开的实现方式包括用于评估和改进一个或多个通信网络的性能的计算机实现的方法。在一些实现方式中，动作包括：接收所生成的针对通信网络的性能指标，接收针对通信网络的外部性能指标，以及响应于确定所生成的性能指标与外部性能指标之间的差异，评估与通信网络相关联的一个或多个关键性能指示符。性能指标至少部分地基于关键性能指示符的集合以及对应的阈值来生成。外部性能指标表示通信网络的用户体验。评估一个或多个关键性能指示符包括：对于每个关键性能指示符，接收与关键性能指示符相关联的数据；至少部分地基于所接收的数据，确定关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及将关键性能指示符值与对应的一个或多个阈值进行比较。响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，则自动修改通信网络的一个或多个设置。这些方面的其他实现方式包括对应的系统、装置和计算机程序，其被配置成执行被编码在计算机存储设备上的方法的动作。这些和其他实现方式可以各自可选地包括以下一个或多个特征。通信网络可以是移动通信网络和/或固定通信网络。响应于确定给定键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，可以更新关键性能指示符集合以包括给定关键性能指示符及其一个或多个对应的阈值。与关键性能指示符相关联的数据可以是从通信网络接收的通信事件数据。与关键性能指示符相关联的数据可以包括从通信网络的一个或多个业务支持系统接收的数据。评估中的一个或多个关键性能指示符可以包括至少一个关键性能指示符，其被包括在所生成的针对通信网络的性能指标所基于的关键性能指示符集合中。评估中的一个或多个关键性能指示符可以包括至少一个关键性能指示符，其没有被包括在所生成的针对通信网络的性能指标所基于的关键性能指示符集合中。确定关键性能指示符值可以包括：标识关键性能指示符的多个分量，标识针对多个分量中的每个分量的分量值，以及使用相应的分量值执行计算。评估与通信网络相关联的一个或多个关键性能指示符可以包括：针对两个或多个不同维度中的每个维度过滤所接收到的数据；以及针对两个或多个不同维度的每个给定维度，确定给定维度中的针对关键性能指示符的关键性能指示符值和一个或多个对应的阈值，以及将关键性能指示符值与给定维度中对应的一个或多个阈值进行比较。两个或多个不同的维度可以包括以下各项中的两项或多项：指示由通信网络提供的服务类型的服务维度，指示由通信网络服务的位置的位置维度，指示由通信网络服务的设备类型的设备维度，以及指示由通信网络提供的网络类型的网络维度。可以存储与将每个关键性能指示符值与其一个或多个对应的阈值进行比较相关联的一系列比较结果。响应于两次或多次连续出现的给定关键性能指示符未能通过与其一个或多个对应的阈值进行的阈值比较，可以基于所存储的一系列比较结果来更新关键性能指示符集合以包括给定关键性能指示符及其一个或多个对应的阈值。响应于在预先确定的观察窗口中，以预先确定的百分比出现给定关键指示符指标未能通过与其一个或多个对应的阈值进行的阈值比较，可以基于所存储的一系列比较结果来更新关键性能指示符集合以包括给定关键性能指示符及其一个或多个对应的阈值。本公开的实现方式提供了以下优点中的一个或多个优点。可以针对多个不同的通信网络维护关键性能指示符、相关联的阈值和相关联的权重的列表，从而便于使用不同准则来评估不同网络。随着网络的性能(即，健康状况)和能力随着时间的推移而改变，以及随着评价网络的标准随着时间的推移而改变，可以评估通信网络的性能。可能的关键性能指示符的子集可以用于生成性能指标，从而节省处理资源并且改善处理时间。可以确定一个或多个维度的极化，其可能有助于标识和排除可能在通信网络中发生的具体类型的问题。通信网络可以手动或自动重新配置，并且可以提高性能。通常不会与差网络性能相关联的网络性能因子可以被发现，并且当评估通信网络的性能时可以被考虑。本公开还提供了一种耦合至一个或多个处理器并且具有存储在其上的指令的计算机可读存储介质，该指令当被一个或多个处理器执行时，使得一个或多个处理器按照本文中所提供的方法的实现方式来执行操作。本公开还提供了一种用于实现本文中所提供的方法的系统。该系统包括一个或多个处理器，以及耦合至一个或多个处理器的、具有存储在其上的指令的计算机可读存储介质，该指令当由一个或多个处理器执行时，其使得一个或多个处理器按照本文中所提供的方法的实现方式来执行操作。应当领会，按照本公开的方法可以包括本文中所描述的方面和特征的任何组合。也就是说，按照本公开的方法不限于本文中特定描述的方面和特征的组合，而且还包括所提供的方面和特征的任何组合。在附图和下文的描述中阐述了本公开的一个或多个实现方式的细节。本公开的其他特征和优点将根据描述和附图以及权利要求书而变得明显。附图说明图1至图5描绘了可以执行本公开的实现方式的示例系统。图6描绘了可以在本公开的实现方式中执行的示例过程。具体实施方式本公开的实现方式通常涉及观察、评估和改进一个或多个通信网络的性能。一般而言，可以观察和评估通信网络的端到端性能，并且可以将所生成的通信网络的性能指标与表示通信网络的用户体验的外部性能指标进行比较。响应于确定所生成的性能指标和外部性能指标之间的差异，可以评估与通信网络相关联的一个或多个关键性能指示符。为了评估每个关键性能指示符，例如，接收与关键性能指示符相关联的数据，确定关键性能指示符的关键性能指示符值和一个或多个对应的阈值，并且将关键性能指示符值与对应的一个或多个阈值进行比较。响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，可以动态地更新用于生成性能指标的关键性能指示符集合，以包括给定关键性能指示符和其一个或多个对应的阈值。在一些实现方式中，可以自动修改通信网络设置的设置以解决所标识的网络问题。图1描绘了可以执行本公开的实现方式的示例系统100。在所描绘的示例中，系统100包括网络系统102(例如，移动通信网络和/或固定通信网络)、网络数据分析系统104以及网络自动化系统106。系统102、104和106中的每个系统例如可以包括一个或多个服务器，包括但不限于web服务器、应用服务器、网络服务器和/或服务器群。在一些示例中，系统102、104和106中的两个或更多个系统可以组合成单个系统。在一些实现方式中，以下示例阶段可以用于分析与通信网络相关联的数据，评估通信网络的性能，以及自动重新配置通信网络以改善网络性能。在阶段“A”，与网络系统102有关的网络数据110可以被收集和存储(例如，通过大数据系统，或用于收集、维护和提供对大数据集的访问的另本文档来自技高网...

【技术保护点】
一种用于评估一个或多个通信网络的性能的计算机实现的方法，所述方法由一个或多个处理器执行并且包括：接收所生成的针对通信网络的性能指标，其中所述性能指标至少部分地基于关键性能指示符集合和对应的阈值而被生成；接收针对所述通信网络的外部性能指标，其中所述外部性能指标表示所述通信网络的用户体验；响应于确定所生成的性能指标和所述外部性能指标之间的差异，评估与所述通信网络相关联的一个或多个关键性能指示符，所述评估包括，针对每个关键性能指示符：接收与所述关键性能指示符相关联的数据；至少部分地基于所接收的所述数据，确定针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及将所述关键性能指示符值与所述一个或多个对应的阈值进行比较；以及响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，自动修改用于所述通信网络的一个或多个设置。

【技术特征摘要】
2016.11.14 US 15/350,6351.一种用于评估一个或多个通信网络的性能的计算机实现的方法，所述方法由一个或多个处理器执行并且包括：接收所生成的针对通信网络的性能指标，其中所述性能指标至少部分地基于关键性能指示符集合和对应的阈值而被生成；接收针对所述通信网络的外部性能指标，其中所述外部性能指标表示所述通信网络的用户体验；响应于确定所生成的性能指标和所述外部性能指标之间的差异，评估与所述通信网络相关联的一个或多个关键性能指示符，所述评估包括，针对每个关键性能指示符：接收与所述关键性能指示符相关联的数据；至少部分地基于所接收的所述数据，确定针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及将所述关键性能指示符值与所述一个或多个对应的阈值进行比较；以及响应于确定给定关键性能指示符的值未能通过与其一个或多个对应的阈值进行的阈值比较，自动修改用于所述通信网络的一个或多个设置。2.根据权利要求1所述的计算机实现的方法，还包括：响应于确定所述给定关键性能指示符的所述值未能通过与其一个或多个对应的阈值进行的阈值比较，更新所述关键性能指示符集合，以包括所述给定关键性能指示符及其一个或多个对应的阈值。3.根据权利要求1所述的计算机实现的方法，其中与所述关键性能指示符相关联的所述数据是从所述通信网络接收到的通信事件数据。4.根据权利要求1所述的计算机实现的方法，其中与所述关键性能指示符相关联的所述数据包括从所述通信网络的一个或多个业务支持系统接收到的数据。5.根据权利要求1所述的计算机实现的方法，其中被评估的所述一个或多个关键性能指示符包括至少一个关键性能指示符，所述至少一个关键性能指示符被包括在所生成的所述通信网络的性能指标所基于的所述关键性能指示符集合中。6.根据权利要求1所述的计算机实现的方法，其中被评估的所述一个或多个关键性能指示符包括至少一个关键性能指示符，所述至少一个关键性能指示符没有被包括在所生成的所述通信网络的性能指标所基于的所述关键性能指示符集合中。7.根据权利要求1所述的计算机实现的方法，其中确定所述关键性能指示符值包括：标识所述关键性能指示符的多个分量，标识针对所述多个分量中的每个分量的分量值，以及使用相应的分量值执行计算。8.根据权利要求1所述的计算机实现的方法，其中所述评估还包括：针对两个或更多个不同维度中的每个维度，过滤所接收的数据，以及针对所述两个或更多个不同维度中的每个给定维度：确定所述给定维度中的针对所述关键性能指示符的关键性能指示符值和一个或多个对应的阈值；以及在所述给定维度中将所述关键性能指示符值与一个或多个对应的阈值进行比较。9.根据权利要求8所述的计算机实现的方法，其中所述两个或多个不同维度包括以下各项中的两项或更多项：指示由所述通信网络所提供的服务类型的服务维度，指示由所述通信网络所服务的位置的位置维度，指示由所述通信网络所服务的设备类型的设备维度，以及指示由所述通信网络所提供的网络类型的网络维度。10.根据权利要求1所述的计算机实现的方法，还包括：存储一系列比较结果，所述一系列比较结果与将每个关键性能指示符值与其一个或多个对应的阈值进行比较相关联。11.根据权利要求10所述的计算机实现的方法，其中响应于两次或多次连续出现的所述给定关键性能指示符未能通过与其一个或多个对应的阈值的所述阈值比较，所述关键性能指示符集合基于所存储的一系列比较结果而被更新，以包括所述给定关键性能指示符及其一个或多个对应的阈值。12.根据权利要求1所述的计算机实现的方法，其中响应于在预先确定的观察窗口中以预先确定的百分比出现所述给定关键性能指示符未能通过与其一个或多个对应的阈值的所述阈值比较，所述关键性能指示符集合基于所存储的一系列比较结果而被更新，以包括所述给定关键性能指示符及其一个或多个对应的阈...

【专利技术属性】
技术研发人员：A·里奇，
申请(专利权)人：埃森哲环球解决方案有限公司，
类型：发明
国别省市：爱尔兰,IE