数据解析方法及系统、设备和存储介质技术方案

本发明专利技术提供一种数据解析方法及系统、设备和存储介质，该方法包括：通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；通过该消息中间件为应用程序提供性能指标数据。本发明专利技术通过配置自定义的udp服务对若干不同大数据组件发送的报文数据进行解析，并通过自定义的消息中间件将解析得到的性能指标数据提供给后端的应用程序，从而实现了为系统提供适配于多样化大数据组件的统一数据采集入口。

Data parsing method and system, device and storage medium

The invention provides a data parsing method and a system, a device and a storage medium. The method comprises receiving and parsing message data sent by several large data components through a custom UDP service, obtaining performance index data and pushing it to a custom message middleware, and providing the message middleware for an application program. Performance index data. By configuring a customized UDP service to parse the message data sent by several different large data components and providing the parsed performance index data to the back-end application program through a customized message middleware, the unified data acquisition adapted to a variety of large data components for the system is realized. Entrance.

【技术实现步骤摘要】
数据解析方法及系统、设备和存储介质
本申请涉及数据解析
，具体涉及一种数据解析方法及系统、设备和存储介质。
技术介绍
随着计算机和信息技术的迅猛发展和普及应用，科学技术发展日新月异，由此产生的数据量呈现爆发式增长。为应对处理大数据催生出了各式各样的大数据组件，包含分布式存储，分布式计算、分布式调度等组件。各大数据组件是存储和处理数据的利器，只有组件正常健康的运行才能从数据中挖掘更大的价值，因此对大数据组件的性能指标采集就极为重要。通过性能指标采集，构建监控数据底盘，对及时了解分析大数据组件的运行健康状况极有裨益。目前，大数据组件种类繁多，如何采集多样化大数据组件的性能指标，当前的系统通常不具备适配于多样化大数据组件的统一数据采集入口，导致无法充分利用来源于不同大数据组件的数据。
技术实现思路
鉴于现有技术中的上述缺陷或不足，期望提供一种提供适配于多样化大数据组件的统一数据采集入口的数据解析方法及系统、设备和存储介质。第一方面，本专利技术提供一种数据解析方法，包括：通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；通过该消息中间件为应用程序提供性能指标数据。第二方面，本专利技术提供一种数据解析系统，包括解析单元和中间件单元。解析单元配置用于通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；中间件单元配置用于通过该消息中间件为应用程序提供性能指标数据。第三方面，本专利技术还提供一种设备，包括一个或多个处理器和存储器，其中存储器包含可由该一个或多个处理器执行的指令以使得该一个或多个处理器执行根据本专利技术各实施例提供的数据解析方法。第四方面，本专利技术还提供一种存储有计算机程序的存储介质，该计算机程序使计算机执行根据本专利技术各实施例提供的数据解析方法。本专利技术诸多实施例提供的数据解析方法及系统、设备和存储介质通过配置自定义的udp服务对若干不同大数据组件发送的报文数据进行解析，并通过自定义的消息中间件将解析得到的性能指标数据提供给后端的应用程序，从而实现了为系统提供适配于多样化大数据组件的统一数据采集入口；本专利技术一些实施例提供的数据解析方法及系统、设备和存储介质进一步通过为自身未配置ganglia插件的大数据组件提供Jvmtrans采集工具的下载信息，实现了可通过任意大数据组件获取ganglia报文数据，从而进一步保障了数据解析的成功率；本专利技术一些实施例提供的数据解析方法及系统、设备和存储介质进一步通过netty自定义udp服务，通过kafka自定义消息中间件，进一步提高了统一数据采集入口的数据吞吐量。附图说明通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本申请的其它特征、目的和优点将会变得更明显：图1为本专利技术一实施例提供的一种数据解析方法的流程图。图2为图1所示方法的一种优选实施方式的流程图。图3为本专利技术一实施例提供的一种数据解析系统的结构示意图。图4为图3所示系统的一种优选实施方式的结构示意图。图5为本专利技术一实施例提供的一种设备的结构示意图。具体实施方式下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释相关专利技术，而非对该专利技术的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与专利技术相关的部分。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。图1为本专利技术一实施例提供的一种数据解析方法的流程图。如图1所示，在本实施例中，本专利技术提供一种数据解析方法，包括：S30：通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；S50：通过该消息中间件为应用程序提供性能指标数据。具体地，在本实施例中，报文数据配置为ganglia报文数据。Ganglia是UCBerkeley发起的一个开源集群监视项目，设计用于测量数以千计的节点。Ganglia的核心包含gmond、gmetad以及一个Web前端，主要是用于监控系统性能，如：cpu、mem、硬盘利用率，I/O负载、网络流量情况等，可通过曲线便捷地反映每个节点的工作状态。当前大多数的大数据组件中均自带有ganglia采集插件。相对应地，在步骤S30中预配置有ganglia报文数据的解析方法，各大数据组件可以根据自身是否配置有ganglia插件选择以下的一种方式来采集生成ganglia报文数据：对于自身配置有ganglia插件的大数据组件，可以通过自带的ganglia插件采集生成ganglia报文数据；对于自身未配置有ganglia插件的大数据组件，可以通过配置带有ganglia插件的Jvmtrans采集工具，或其它任意一种带有ganglia插件的采集工具，再利用该采集工具中的ganglia插件采集生成ganglia报文数据。在更多实施例中，还可以根据实际需求将报文数据配置为其它不同类型的报文数据，并在步骤S30中配置该类型的报文数据的解析方法，以及，在各大数据组件中配置相对应的插件或采集工具以采集该类型的报文数据。更进一步地，还可根据实际需求将报文数据配置为多种类型的报文数据的组合，并在步骤S30中配置各类型的报文数据的解析方法，以及，在各大数据组件中配置各类型的报文数据中至少一类报文数据所对应的插件或采集工具。在步骤S30中，各大数据组件通过负载均衡将各自采集的ganglia报文数据发送至解析单元，该解析单元配置有基于netty自定义的udp服务，通过udp服务对接收的各ganglia报文数据进行解析，得到性能指标数据，并将性能指标数据推送至基于kafka自定义的消息中间件。其中，netty是基于JavaNIOclient-server的网络应用框架，使用netty可以快速开发网络应用，例如服务器和客户端协议。Netty提供了一种新的方式来开发网络应用程序，这种新的方式使它很容易使用和具有很强的扩展性。由于netty是一种开源架构，本领域技术人员可以通过开源的技术资料获知基于netty自定义udp服务的技术原理，具体在此不再赘述。Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。本领域技术人员同样可以通过开源的技术资料获知基于kafka自定义消息中间件的技术原理，具体在此不再赘述。在步骤S50中，通过该消息中间件为后端的应用程序提供性能指标数据。本实施例选用了基于netty自定义udp服务、基于kafka自定义消息中间件的方式，利用netty和kafka吞吐量高的特性，可以实现提高统一数据采集入口的数据吞吐量的效果。在更多实施例中，还可采用不同的技术框架来实现udp服务和消息中间件，例如基于Akka、ZMQ、smart-socket等任一框架自定义udp服务，基于RabbitMQ、RocketMQ自定义消息中间件，等等，可实现相似的技术效果。上述各实施例通过配置自定义的udp服务对若干不同大数据组件发送的报文数据进行解析，并通过自定义的消息中本文档来自技高网...

【技术保护点】
1.一种数据解析方法，其特征在于，包括：通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；通过所述消息中间件为应用程序提供所述性能指标数据。

【技术特征摘要】
1.一种数据解析方法，其特征在于，包括：通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；通过所述消息中间件为应用程序提供所述性能指标数据。2.根据权利要求1所述的方法，其特征在于，所述报文数据为ganglia报文数据，所述ganglia报文数据通过以下任一种方式生成：由所述大数据组件通过自带的ganglia插件采集生成；由所述大数据组件配置Jvmtrans采集工具，并利用所述Jvmtrans采集工具中的ganglia插件采集生成。3.根据权利要求2所述的方法，其特征在于，还包括：接收所述大数据组件发送的采集工具下载请求，返回Jvmtrans采集工具的下载信息以供下载并配置Jvmtrans采集工具。4.根据权利要求1-3任一项所述的方法，其特征在于，所述udp服务基于netty自定义。5.根据权利要求1-3任一项所述的方法，其特征在于，所述消息中间件基于kafka自定义。6.一种数据解析系统，其特征在于，包括：解析单元，配置用于通过自定义的udp服务接收若干大数据组件发送的报文数据并进行解析，得到性能指标数据并推送至自定义的消息中间件；中间件单元，配置用...

【专利技术属性】
技术研发人员：黄昌明，童晨曦，蔡适择，
申请(专利权)人：顺丰科技有限公司，
类型：发明
国别省市：广东,44