用于在实时数据收集中使用的分级数据收集器和相关技术制造技术

描述用于在具有大量互连端点的分布式计算系统中使用的分布式实时数据收集、处理和处置系统与相关技术。分布式实时数据收集、处理和处置系统与技术利用分级数据收集器和操作方法。

【技术实现步骤摘要】
【国外来华专利技术】用于在实时数据收集中使用的分级数据收集器和相关技术
本文中描述的概念一般涉及分布式实时数据收集、处理和处置的方法，其带有出于监测和/或控制的目的从计算装置的大型系统收集数据的一个示例应用。
技术介绍
从跨全球分布的计算装置的大型系统收集数据是常见任务，但是直到今天，要大规模地快速且可靠地实现仍然是极为困难的问题。例如，软件即服务（SaaS）供应商可能希望立即分析他们的全球基础设施的实时状态以便了解他们正在向他们的客户提供的当前可用性、性能和成本，并在他们的全球负载平衡系统中触发对当前状况做出反应的动作。在另一个示例中，物联网（IoT）供应商可能想要立即分析来自他们的所有天气传感器的数据以便了解全球天气形势如何变化，然后在例如龙卷风警报系统中触发动作。在诸如此类的应用中，值得期望的是：1)立即收集数据，2)实时可靠地分析它，以及3)在可快速触发动作的一个简洁包中提供结果。此外，解决方案可扩展。如果在增加更多计算装置、传感器、服务器和数据时不会危害数据的完整性和系统的操作，那么是有益的。解决方案还应当是低成本的。如今市场上的数据收集系统通常利用落在以下两种类别之一中的方法：(1)“中央数据库”方法；以及(2)“分布式日志记录”方法。参考图1，基于中央数据库方法的监测系统100包括在中央位置（例如，在纽约市中）中的数据库102。监测器104可包括用于从数据库102取回数据的一个或多个计算装置，并且可称为“网络操作中心监测器”或“NOC监测器”。NOC监测器104可访问数据库102以便基于在数据库102中收集的数据发现异常。作为系统100的一部分并且可位于本地或远程位置的各个计算装置可将原始数据推送（或提取）到数据库102中。在一些系统中，可将数据从各个机器提取到数据库中，或者NOC监测器104可将数据提取到数据库102中。尽管中央数据库方法对于相对小型的系统很奏效（例如，监测数百个全球分布的系统），但是这种方法会遭受若干个缺陷。例如，位于不同地区（例如，亚洲、欧洲和非洲）中的机器可能需要通信到离开很远距离的中央数据库。如果出现网络连接性问题（例如，由于网络分区或其它连接性问题——它们随距离变得越来越普遍），那么这些远程机器会失去与中央数据库通信的能力。它还可能会导致计算装置分段成分区以及受危害的传导性或受限制的带宽。这种现象可称为“网络分区问题”。一些传统系统所使用的用于减轻部分“网络分区问题”的一种方式是在每个远程区域中安装代理（例如，在数据中心106、108和/或110中，它们可位于远程系统和中央数据库之间的地理区域中）。代理尝试聚合和缓存数据以便传送给中央数据库102。该解决方案可针对网络分区提供一定量的恢复力（当对网络进行划分时，通过代理存储数据，并在服务恢复时，将数据重新传送给中央数据库）。该缓存功能性保护免于数据丢失。但是，可仍然存在根本性问题——在中心106、108、110和中央数据库102之间失去连接性。如果数据从系统的子集不可获得，那么在来自那些被分区的系统的任何事件上能够不触发动作。作为示例，一家公司在印度具有为印度的末端用户提供视频服务的一组机器，并在美国具有“中央数据库”监测系统。在该示例中，在印度和美国之间可能存在连接性问题，由此将网络分区并妨碍“中央数据库”监测系统看到印度的机器。印度的服务器可提供视频服务给印度的末端用户。但是，如果在印度出现任何问题（例如，服务器之一具有硬件故障），那么监测系统将不知道它。通常，监测系统可快速触发动作以便从服务去除此类不健康的机器，但是如果中央数据库不知道问题，那么它无法去除不健康的机器。中央数据库方法存在的另一个问题是“扩展性问题”，即，增加系统的尺寸和范围。由于单独的系统的尺寸有限，所以如果将所有数据存储在一个中央数据库102中，那么可能难以扩展此类系统以便适应大量分布式数据集（例如，从几十万个端点收集的数千个数据点）。仍有的另一个问题称为“数据集问题”，它与系统将分布式数据相互关联并对它们进行分析的能力有关。例如，天气应用可收集每个邮政区码中的温度，并定义在它越过阈值时（例如，如果它下降到大约冰点的冰冻警告以下）要采取的动作。但是，当数据与诸如露点、气压变化等的其它数据点相互关联时，可实现益处。本领域技术人员可了解，随着相互关联和分析的数据集变得越来越大，可能需要更多系统基础设施来处理数据。利用中央数据库方法的系统可能在它的处理大量分布式数据集并基于数据采取自动化动作的能力方面受到限制。另一个问题可能是“反应时间问题”。在载波级网络中，可能需要99.999%的系统可用性度量。为了满足该要求，必须快速检测和纠正故障。此类现有技术监测系统中的一个问题是收集数据、将数据相互关联并进行分析，然后经由显示器将结果呈现给随后必须做出反应以纠正问题的技术人员（通常称为“警报”）。因此，这在系统的控制回路中需要人工参与。但是，监测大型系统的技术人员的平均反应时间通常是大约几分钟——这意味着对一个问题的正常反应时间能够危害99.999%可用性。如同网络分区问题，对于反应时间问题也存在变通方法（work-around）。现在参考图2，一个变通方法涉及脚本子系统中的构建，其消费由NOC监测器206、208创建的警报202、204，并执行自动化响应以便处理警报202、204。这些自动化响应可以是不然本可由NOC技术人员响应于警报而执行的简单动作。警报自动化与NOC监测器206、208采用接口连接。一旦NOC监测器206、208识别到出现了错误，那么可创建警报，并且然后，脚本系统可接着例如远程连接到（一个或多个）远程系统以便解决该状况。因此，可通过警报自动化而不是通过NOC技术人员210、212来处置由报警系统检测到的错误状况的子集。这对减少反应时间起作用，但是可能会受到“网络分区问题”的阻碍。例如，当网络由于连接性或带宽中的限制而分区（即，分段）时，它可能会阻塞中央数据库对远程机器的访问。另外，这种方法可能需要相对较长的控制回路。考虑到错误的概率随系统的复杂性增加，可能难以使长控制回路保持像这样可靠。为了防止这些错误，此类警报自动化系统通常需要它们自己的监测系统，这能够增加系统复杂性。此外，当控制回路发生故障时，那么通常需要人为干预（例如，NOC），这能够增加时延。对反应时间问题的另一个变通方法是将健康检查集成到接近于远程系统214的硬件负载平衡器中。这远离中央系统来分布控制回路，并且负载平衡器214可接着对本地错误状况快速做出反应。在此方法中，客户端216可通过负载平衡器214访问系统。负载平衡器214可针对各个服务器（例如，服务器218、220）执行一个或多个“健康测试”。如果服务器218、220视为“健康”，例如没有错误并且能够处理进入的工作，那么负载平衡器将客户端引导到（所述一个或多个）健康服务器。如果服务器跨许多不同的数据中心分散，那么负载平衡器必须检查的一系列不同的错误状况可能会超过负载平衡器的能力。此外，使用具有诊断问题的不同视图的多个系统（即，负载平衡器和NOC监测器均检查错误状况）可能会导致不一致性并使分诊（triage）和/或恢复复杂化。作为来自此类不一致性的问题的示例，如果服务器218、220具有错误，那么NOC监测器20本文档来自技高网...

【技术保护点】
1.一种用于在具有大量端点的分布式系统中使用的分布式实时数据收集、处理和处置系统，所述系统由以下项组成：指派给本地范围层的第一多个端点，其中所述本地范围层中的每个端点与多个不同位置中的一个位置相关联，其中所述本地范围层中的每个端点包括：本地范围分级数据收集器（HDC），所述本地范围分级数据收集器布置成收集所述HDC存在于其中的所述端点的本地的信息，以及能够执行动作的经处理的数据的本地消费者；指派给全局范围层的第一多个端点，其中所述全局范围层中的每个端点包括：全局范围分级数据收集器（HDC），所述全局范围分级数据收集器（HDC）布置成收集所述HDC存在于其中的所述端点的本地的信息，并且还从它下方的位于所述本地范围层中的任何端点收集信息，以及所述经处理的数据的全局范围的消费者；以及指派给通用范围层的至少一个端点，其中所述通用范围层中的所述至少一个端点中的每个端点包括：通用范围分级数据收集器（HDC），所述通用范围分级数据收集器（HDC）布置成收集所述通用范围HDC存在于其中的所述端点的本地的信息，并且还从所述全局范围层中的任何端点以及所述本地范围层中的任何端点收集信息；以及经处理的数据的通用范围消费者。...

【技术特征摘要】
【国外来华专利技术】2016.06.10 US 62/3484071.一种用于在具有大量端点的分布式系统中使用的分布式实时数据收集、处理和处置系统，所述系统由以下项组成：指派给本地范围层的第一多个端点，其中所述本地范围层中的每个端点与多个不同位置中的一个位置相关联，其中所述本地范围层中的每个端点包括：本地范围分级数据收集器（HDC），所述本地范围分级数据收集器布置成收集所述HDC存在于其中的所述端点的本地的信息，以及能够执行动作的经处理的数据的本地消费者；指派给全局范围层的第一多个端点，其中所述全局范围层中的每个端点包括：全局范围分级数据收集器（HDC），所述全局范围分级数据收集器（HDC）布置成收集所述HDC存在于其中的所述端点的本地的信息，并且还从它下方的位于所述本地范围层中的任何端点收集信息，以及所述经处理的数据的全局范围的消费者；以及指派给通用范围层的至少一个端点，其中所述通用范围层中的所述至少一个端点中的每个端点包括：通用范围分级数据收集器（HDC），所述通用范围分级数据收集器（HDC）布置成收集所述通用范围HDC存在于其中的所述端点的本地的信息，并且还从所述全局范围层中的任何端点以及所述本地范围层中的任何端点收集信息；以及经处理的数据的通用范围消费者。2.如权利要求1所述的分布式实时数据收集、处理和处置系统，其中所述本地范围层中的每个端点包括所述经处理的数据的本地范围消费者。3.如权利要求1所述的分布式实时数据收集、处理和处置系统，其中所述全局范围层中的每个端点包括所述经处理的数据的全局范围消费者。4.如权利要求1所述的分布式实时数据收集、处理和处置系统，其中所述本地范围、全局范围和通用范围层中的每个端点包括至少一个数据表。5.如权利要求1所述的分布式实时数据收集、处理和处置系统，其中每个本地范围HDC、全局范围HDC和通用范围HDC包括用于生成C-表的部件。6.如权利要求5的系统的所述的分布式实时数据收集、处理和处置系统，其中所述本地范围层、全局范围层和通用范围层中的每个端点包括以下至少其中之一：其中存储有信息的至少一个数据表；以及其中存储有从存储在至少一个其它表中的信息导出的信息的至少C-表。7.如权利要求5所述的分布式实时数据收集、处理和处置系统，其中所述全局范...

【专利技术属性】
技术研发人员：C格莱巴，B威尔科克斯，J沙尔伯，
申请(专利权)人：瑞典爱立信有限公司，
类型：发明
国别省市：瑞典,SE