转发日志行制造技术

提供用于聚合日志行的技术。在一方面，识别日志聚合节点。可以建立到日志聚合节点的连接。可以通过建立的连接将日志行发送到日志聚合节点。日志聚合节点可以将日志行转发到日志服务器。

【技术实现步骤摘要】
【国外来华专利技术】
技术介绍
现代数据中心可能包含数万或数十万的计算机，它们也可被称为节点。每个节点可以包含端口，例如串行端口，通过该端口可以发送日志数据。典型地，日志数据是与节点有关的信息，可以分析该信息以确定节点性能或者调试可能已经在节点上发生的错误。在许多数据中心中，来自每个节点的日志数据可被收集到少量的日志服务器上。因此，可以获取来自许多节点的日志数据而不必单独地访问每个节点。附图说明图1描绘可利用本文描述的日志聚合技术的系统的示例。图2描绘可利用本文描述的日志聚合技术的系统的另一示例。图3是根据本文描述的技术用于将日志行转发到日志聚合节点的概要流程图的示例。图4是根据本文描述的技术用于识别日志聚合节点并将日志行转发到所识别的节点的概要流程图的示例。图5是根据本文描述的技术用于从节点接收日志行并在转发之前附加节点标识符的概要流程图的示例。图6是根据本文描述的技术用于将日志行转发到从其它日志聚合节点聚合日志行的节点的概要流程图的另一示例。图7是根据本文描述的技术用于从节点接收日志行并转发到日志服务器的处理器指令的示例。图8是根据本文描述的技术用于识别日志聚合节点以及转发到日志服务器的处理器指令的示例。具体实施方式尽管提供中心日志服务器来从许多节点聚合日志数据提供了收集日志数据而不必单独地访问每个节点的有效方式，但是这种聚合不是没有问题。例如，日志数据通常被发送到节点上的串行端口之外。为了使得日志服务器从每个节点收集日志数据，必须在每个节点和日志服务器之间为串行电缆规定路线。考虑到在标准机架中不断增长的节点密度，这种电缆的负担变得非常巨大。例如，存在当前数据中心盒式架构，其允许每个外壳有45个盒，其中每个盒四个节点，每个机架10个外壳。该密度转化成每个机架1800个节点，每个节点依次需要1800根串行电缆。因为在日志服务器上具有1800个串行端口将是不合理的，因此将需要另外的设备，例如串行扩展器。为了部分地克服该问题，创建了虚拟串行端口。使用虚拟串行端口，将通过该串行端口正常发送的日志数据被通过网络连接发送。例如，每个节点可以建立通过网络与日志服务器的连接。例如，网络可以是连接数据中心内的所有节点和日志服务器的以太网网络。通过串行端口正常输出的日志数据可以被放置到数据包中通过与日志服务器建立的连接发送。因为数据通过网络传送，因此数据连接可以被加密以提高安全性。如应该理解的，网络拓扑的使用消除了对在每个节点和日志服务器之间具有特定电缆的需要。尽管虚拟串行端口的使用解决了与在日志服务器处收集日志数据有关的一些问题，但虚拟串行端口自身产生了另外的问题。例如，因为必须在每个节点和日志服务器之间建立连接，因此每个节点必须单独配置有日志服务器的网络地址。此外，必须建立和维护每个节点和日志服务器之间的连接。尽管在节点处这不是大问题，但是在日志服务器中不是这样。考虑到上述的示例密度，单个机架需要与日志服务器建立1800个连接。进一步加剧该问题的是在每个连接上加密的使用。如果使用加密，则用于加密和解密通过连接发送的日志信息的开销将是过多的。本文描述的技术通过在发送到日志服务器之前聚合日志数据克服了这些问题。每个节点可以通过虚拟串行连接将日志数据发送到聚合节点。聚合节点在受信任的域内对于外壳和/或机架是本地的，使得在节点和聚合节点之间不需要加密。聚合节点可以建立安全连接，诸如与日志服务器连接的安全外壳协议(SSH)。通过聚合节点，从每个节点接收的数据可以被发送到日志服务器。因此，对于每个节点不再需要建立到日志服务器的安全连接。为了克服利用聚合节点配置每个节点的问题，可以使用自发现机制。在一个示例实施方式中，每个节点可以监听来自聚合节点的广播消息。一旦接收到广播消息，节点就可以从该消息中获取聚合节点的地址。在可替代的示例实施方式中，每个节点可以广播要求聚合节点的网络地址的请求消息。聚合节点可以响应，并且该节点可以存储聚合节点的地址。在任何一种情况中，聚合节点的地址不需要被预先配置到每个节点中。因为所有日志数据被发送到单个日志服务器，所以可能期望能够识别从每个节点发送的数据。来自节点的日志数据典型地是一行文本，其可以被称为日志行(logline)。在一些示例实施方式中，标识符被附加到每个日志行，使得能够识别生成日志行的具体节点。标识符可以是唯一属性，诸如IP地址或节点名称。标识符的特定形式相对不重要，只要其被理解为唯一地识别数据中心中的一个节点。在一些示例实施方式中，节点标识符可以由发送日志行的节点附加到每个日志行，而在其它示例实施方式中，节点标识符可以由聚合节点附加。在下面进一步详细地并结合附图描述这些技术。图1描绘可利用本文描述的日志聚合技术的系统的示例。系统100可以包括节点110-1…n、日志聚合节点120-1…n、以及日志服务器130。节点110-1…n可以是诸如服务器计算机节点的节点。节点110-1…n还可以是其它类型的节点，诸如开关节点，I/O节点或者任何其它形式的节点。应该理解的是，节点110-1…n是可以具有要被输出到日志文件的数据的节点。为了本公开目的，要被输出到日志文件的数据可以被称为日志行。这并不意味着输出的数据是单行数据。相反，日志行简单的是一个单位，该单位可指节点希望写入日志文件的项目。日志聚合节点120-1可以是从节点110-1…n聚合日志行的节点。在一些实例实施方式中，日志聚合节点120-1可以是执行任务的节点，这些任务与由节点110-1…n执行的工作负荷不相交。在其它示例实施方式中，日志聚合节点120-1可以执行与节点110-1…n相同的任务，但是此外还执行日志聚合任务。例如，机架可以包含多个节点。在一些示例实施方式中，除了处理正常的工作负荷，可以选择一个节点以执行日志聚合功能。在其它示例实施方式中，日志聚合节点可以负责日志聚合，但是不负责处理普通的工作负荷。应该注意，存在多个日志聚合节点。如图1中所示，可能存在日志聚合节点120-2…n。这些节点中的每一个节点可以执行与日志聚合节点120-1类似的功能。为了方便解释，详细描述一个日志聚合节点120-1。然而，应该理解，可以存在多个日志聚合节点。系统100还可以包括日志服务器130。日志服务器130可以是从所有节点110-1…n(通过日志聚合节点)收集日志行的服务器计算机。换句话说，在系统管理员期望检查各种节点的日志时，可以从日志服务器130获取日志行。尽管未示出，本文档来自技高网...

【技术保护点】
一种方法，其包括：由一节点识别日志聚合节点；建立到所述日志聚合节点的连接；以及通过所建立的连接将日志行发送到所述日志聚合节点，其中所述日志聚合节点将所述日志行转发到日志服务器。

【技术特征摘要】
【国外来华专利技术】1.一种方法，其包括：
由一节点识别日志聚合节点；
建立到所述日志聚合节点的连接；以及
通过所建立的连接将日志行发送到所述日志聚合节点，其中所述日志聚合节点将
所述日志行转发到日志服务器。
2.根据权利要求1所述的方法，其中识别日志聚合节点包括：
在连接结构上监听来自所述日志聚合节点的广播消息；并且
存储所述日志聚合节点的地址，所述地址被包括在所述广播消息中。
3.根据权利要求1所述的方法，其中识别日志聚合节点包括：
在连接结构上发送针对所述日志聚合节点的广播查询；
从所述日志聚合节点接收响应；并且
存储所述日志聚合节点的地址。
4.根据权利要求1所述的方法，进一步包括：
由所述节点将节点标识标签附加到每个日志行，其中所述节点标识标签标识发送
该日志行的节点。
5.根据权利要求1所述的方法，进一步包括：
由所述日志聚合节点将节点标识标签附加到每个日志行，其中所述节点标识标签
标识发送该日志行的节点。
6.根据权利要求1所述的方法，其中将所述日志行转发到日志服务器通过安全通
信信道。
7.一种方法，其包括：
在第一底架管理器处从节点集的第一子集接收日志行流；
利用所述第一底架管理器，将节点标识符附加到每个日志行，其中所述节点标识
符标识生成该日志行的具体节点；以及
将具有所附加的节点标识符的日志行转发到第三底架管理器。
8.根据权利要求7所述的方法，进一步包括：<...

【专利技术属性】
技术研发人员：安德鲁·布朗，哈基姆·阿里·易卜拉欣·穆罕默德，
申请(专利权)人：慧与发展有限责任合伙企业，
类型：发明
国别省市：美国;US