一种数据处理方法、消息追踪监控方法和分布式系统技术方案

本发明专利技术实施例公开了一种数据处理方法、消息追踪监控方法和分布式系统，通过协议层封装将业务消息的全局标识存储至业务消息的消息头中，使得服务器收集的日志信息能够根据全局标识形成业务消息对应的日志流，根据日志流对业务消息进行追踪监控，由此，本实施例可以在不影响系统性能的同时实现业务消息的追踪监控，保证了系统的高可用性。

A Data Processing Method, Message Tracking Monitoring Method and Distributed System

【技术实现步骤摘要】
一种数据处理方法、消息追踪监控方法和分布式系统
本专利技术涉及计算机
，更具体地，涉及一种数据处理方法、消息追踪监控方法和分布式系统。
技术介绍
随着微服务架构的广泛应用,服务按照不同的维度进行拆分，进程数量增多，进程之间的通信复杂,往往一次请求会涉及到多个服务，一旦程序异常，定位分析问题的难度和时间将会大大增加。因此，需要通过消息链路监控来在上下文中理解分布式系统的行为，监控不同节点之间的关联动作，以便于定位分析系统中的问题。目前，通常采用探针的方式(如zipkin，一种分布式数据追踪系统)来实现分布式系统中的消息链路监控，但是，这种将业务组件引入项目中，增加了开发的负担，同时，会消耗系统资源，降低系统性能。
技术实现思路
有鉴于此,本专利技术实施例提供一种数据处理方法、消息追踪监控方法和分布式系统，以在不影响系统性能的同时实现业务消息的追踪监控，保证了系统的高可用性。第一方面，本专利技术实施例提供一种数据处理方法，所述方法包括：接收并解析业务消息；响应于所述业务消息的消息头为空，生成所述业务消息的全局标识；通过协议层封装将所述业务消息的全局标识存储至所述业务消息的消息头中；生成并发送所述业务消息对应的日志信息，所述日志信息包括所述业务消息的全局标识、源节点标识、目标节点标识和时间戳。进一步地，所述方法还包括：响应于所述业务消息的消息头中存在全局标识，生成并发送所述业务消息对应的日志信息。第二方面，本方实施例提供一种消息追踪监控方法，应用于包括多个节点的数据处理系统，所述方法包括：收集并存储业务消息对应的日志信息，所述日志信息包括所述业务消息的全局标识、源节点标识、目标节点标识和时间戳；其中，所述业务消息的全局标识通过协议层封装存储在所述业务消息的消息头中；根据所述业务消息的全局标识获取所述业务消息对应的日志流，所述日志流包括所述业务消息对应的所有日志信息；分析所述日志流以实现对所述业务消息的追踪监控。进一步地，分析所述日志流以实现对所述业务消息的追踪监控包括：根据所述日志流获取所述业务消息的传输信息；响应于所述业务消息传输异常，发送警告信息。进一步地，收集并存储业务消息对应的日志信息包括：通过ELK日志分析平台收集并存储所述业务消息对应的日志信息。第三方面，本专利技术实施例提供一种分布式系统，所述系统包括：多个节点，被配置为接收和/或发送业务消息、以及发送所述业务消息对应的日志信息，所述日志信息包括所述业务消息的全局标识、源节点标识、目标节点标识和时间戳；其中，所述业务消息的全局标识通过协议层封装存储在所述业务消息的消息头中；服务器，被配置为收集并存储所述业务消息对应的日志信息；所述服务器进一步被配置为根据所述业务消息的全局标识获取所述业务消息对应的日志流，分析所述日志流以实现对所述业务消息的追踪监控，所述日志流包括所述业务消息对应的所有日志信息。进一步地，所述节点还被配置为解析接收到的业务消息，并响应于所述业务消息的消息头为空，生成所述业务消息的全局标识，并通过协议层封装将所述业务消息的全局标识存储至所述业务消息的消息头中；所述节点进一步被配置为生成所述业务消息对应的日志信息。进一步地，所述服务器进一步被配置为根据所述日志流获取所述业务消息的传输信息，并响应于所述业务消息传输异常，发送警告信息。进一步地，所述服务器进一步被配置为通过ELK日志分析平台收集并存储所述业务消息对应的日志信息。第四方面，本专利技术实施例提供一种计算机可读存储介质，其上存储计算机程序指令，所述计算机程序指令在被处理器执行时实现如本专利技术实施例第一方面和/或本专利技术实施例第二方面所述的方法。本专利技术实施例公开了一种数据处理方法、消息追踪监控方法和分布式系统，通过协议层封装将业务消息的全局标识存储至业务消息的消息头中，使得服务器收集的日志信息能够根据全局标识形成业务消息对应的日志流，根据日志流对业务消息进行追踪监控，由此，本实施例可以在不影响系统性能的同时实现业务消息的追踪监控，保证了系统的高可用性。附图说明通过以下参照附图对本专利技术实施例的描述，本专利技术的上述以及其它目的、特征和优点将更为清楚，在附图中：图1是本专利技术实施例的分布式系统的示意图；图2是本专利技术实施例的日志收集分析过程的示意图；图3是本专利技术实施例的数据处理方法的流程图；图4是本专利技术实施例的消息追踪监控方法的流程图；图5是本专利技术实施例的数据处理装置的示意图；图6是本专利技术实施例的消息追踪监控装置的示意图；图7是本专利技术实施例的电子设备的示意图。具体实施方式以下基于实施例对本专利技术进行描述，但是本专利技术并不仅仅限于这些实施例。在下文对本专利技术的细节描述中，详尽描述了一些特定的细节部分。对本领域技术人员来说没有这些细节部分的描述也可以完全理解本专利技术。为了避免混淆本专利技术的实质，公知的方法、过程、流程、元件和电路并没有详细叙述。此外，本领域普通技术人员应当理解，在此提供的附图都是为了说明的目的，并且附图不一定是按比例绘制的。除非上下文明确要求，否则整个说明书和权利要求书中的“包括”、“包含”等类似词语应当解释为包含的含义而不是排他或穷举的含义；也就是说，是“包括但不限于”的含义。在本专利技术的描述中，需要理解的是，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性。此外，在本专利技术的描述中，除非另有说明，“多个”的含义是两个或两个以上。图1是本专利技术实施例的分布式系统的示意图。如图1所示，本实施例的分布式系统1包括节点11-15和服务器16。应理解，图1中的节点个数仅仅是示例性的，本实施例并不对此进行限定。在本实施例中，节点11-15被配置为接收和/或发送业务消息。具体地，以节点11为例，节点11接收并解析业务消息，并响应于业务消息的消息头为空，生成业务消息的全局标识，通过协议层封装将业务消息的全局标识存储至业务消息的消息头中。由此，本实施例无需引入业务组件，便能够通过业务消息的全局标识追踪监控该业务消息，保证了系统性能不受影响。在一种可选的实现方式中，节点11中预置有可执行文件，该可执行文件可用于解析业务消息，并在业务消息的消息头为空时，生成该业务消息的全局标识。可选的，可执行文件的文件类型可以为lib类型文件。在组播通信中，将可执行文件生成的业务消息的全局标识通过组播通信框架ultra/dsp的协议封装至业务消息的消息头中。节点11还用于生成业务消息对应的日志信息。其中，日志信息包括业务消息的全局标识，源节点标识、目标节点标识和时间戳，时间戳包括节点11接收业务消息的时间和发送业务消息的时间。服务器16被配置为收集并存储业务消息对应的日志信息，并根据业务消息的全局标识获取该业务消息对应的日志流，分析日志流以实现对业务消息的追踪监控。日志流包括该业务消息对应的所有日志信息。分析日志流以实现对业务消息的追踪监控具体可以为根据日志流获取业务消息的传输信息，响应于业务消息传输异常，发送警告信息。其中，业务消息的传输信息可以包括业务消息的传输时间、相关节点对该业务消息是否响应及响应时间等。若业务消息的传输时间较长、或相关节点未对该业务消息进行响应，或响应时间太长，发送警告信息。如图1所示，以节点11接收业务消息a为例进行描述。节点11接收到业务消息a后，通过预置的可执行文件解析业务消息a本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，所述方法包括：接收并解析业务消息；响应于所述业务消息的消息头为空，生成所述业务消息的全局标识；通过协议层封装将所述业务消息的全局标识存储至所述业务消息的消息头中；生成并发送所述业务消息对应的日志信息，所述日志信息包括所述业务消息的全局标识、源节点标识、目标节点标识和时间戳。

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法包括：接收并解析业务消息；响应于所述业务消息的消息头为空，生成所述业务消息的全局标识；通过协议层封装将所述业务消息的全局标识存储至所述业务消息的消息头中；生成并发送所述业务消息对应的日志信息，所述日志信息包括所述业务消息的全局标识、源节点标识、目标节点标识和时间戳。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：响应于所述业务消息的消息头中存在全局标识，生成并发送所述业务消息对应的日志信息。3.一种消息追踪监控方法，应用于包括多个节点的数据处理系统，其特征在于，所述方法包括：收集并存储业务消息对应的日志信息，所述日志信息包括所述业务消息的全局标识、源节点标识、目标节点标识和时间戳；其中，所述业务消息的全局标识通过协议层封装存储在所述业务消息的消息头中；根据所述业务消息的全局标识获取所述业务消息对应的日志流，所述日志流包括所述业务消息对应的所有日志信息；分析所述日志流以实现对所述业务消息的追踪监控。4.根据权利要求3所述的方法，其特征在于，分析所述日志流以实现对所述业务消息的追踪监控包括：根据所述日志流获取所述业务消息的传输信息；响应于所述业务消息传输异常，发送警告信息。5.根据权利要求3所述的方法，其特征在于，收集并存储业务消息对应的日志信息包括：通过ELK日志分析平台收集并存储所述业务消息对应的日志信息。6...

【专利技术属性】
技术研发人员：杜晓，刘卫东，丁宝宝，周鹏，张希，卢艳民，李正，
申请(专利权)人：中汇信息技术上海有限公司，
类型：发明
国别省市：上海,31