一种基于UDP的海量事件实时数据收集方法及装置制造方法及图纸

技术编号:20627797 阅读:37 留言:0更新日期:2019-03-20 17:23
本发明专利技术实施例提供一种基于UDP的海量事件实时数据收集方法及装置,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。上述技术方案具有如下有益效果:可以自由的配置监控系统,构建多维度报表,可以进行海量事件数据的收集,并且具有容错性。

A Method and Device for Real-time Data Collection of Massive Events Based on UDP

The embodiment of the present invention provides a method and device for collecting massive event real-time data based on UDP, which includes: sending the development code of application service to Brubeck through UDP of user datagram protocol; sending data collected by Brubeck to Graphite; collecting data locally or remotely by CollectD; and transmitting data acquired by Graphite. Write to disk; use the visual panel Crafana to get data from Graphite and use it as a unified portal to display data. The above technical scheme has the following beneficial effects: it can configure monitoring system freely, construct multi-dimensional reports, collect massive event data, and be fault-tolerant.

【技术实现步骤摘要】
一种基于UDP的海量事件实时数据收集方法及装置
本专利技术涉及数据统计和分析
,尤其涉及一种基于UDP的海量事件实时数据收集方法及装置。
技术介绍
为了适应行业的发展,现在的项目都有许多个应用微服务组成,由于对数据统计和分析的需求越来越强烈,已经是必不可少的一部分,所以必须对应用微服务加以监控,如果这些监控全部人工完成,显然不太可能。
技术实现思路
本专利技术实施例提供一种基于UDP的海量事件实时数据收集方法及装置,以自由的配置监控系统,进行海量事件数据的收集。一方面,本专利技术实施例提供了一种基于UDP的海量事件实时数据收集方法,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。另一方面,本专利技术实施例提供了一种基于UDP的海量事件实时数据收集装置,所述装置包括:数据聚合器Brubeck单元,用于接收通过用户数据报协议UDP发送的应用服务的开发代码;Graphite单元,用于作为路由,收集利用Brubeck收集的数据和利用CollectD从本地或者远程收集的数据,并将Graphite获取的数据写入磁盘;可视化面板Crafana单元,用于从Graphite获取数据,并作为统一的门户用来显示数据。上述技术方案具有如下有益效果:可以自由的配置监控系统,构建多维度报表,可以进行海量事件数据的收集,并且具有容错性。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本专利技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。图1为本专利技术实施例一种基于UDP的海量事件实时数据收集方法流程图;图2为本专利技术实施例一种基于UDP的海量事件实时数据收集装置结构示意图;图3为本专利技术应用实例一种基于UDP的海量事件实时DevOp数据收集原理示意图。具体实施方式下面将结合本专利技术实施例中的附图,对本专利技术实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本专利技术一部分实施例,而不是全部的实施例。基于本专利技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本专利技术保护的范围。如图1所示,为本专利技术实施例一种基于UDP的海量事件实时数据收集方法流程图,所述方法包括:101、将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;102、将利用Brubeck收集的数据发送到Graphite;103、利用CollectD从本地或者远程收集数据发送到Graphite;104、将Graphite获取的数据写入磁盘;105、利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。优选地,所述将利用Brubeck收集的数据发送到Graphite,具体包括:将利用Brubeck收集的数据通过传输控制协议TCP发送到Graphite。UDP:是一个简单的面向数据包的传输层协议,只把应用程序传给IP层的数据报发送出去。Graphite:开源实时、显示时间序列度量数据的图形系统,就像一个数据库一样,接受度量数据,然后以实时方式查询、转换、组合这些度量数据。Crafana:一个可视化面板,非常漂亮的图表和布局展示,可以混搭多种风格。CollectD:是一个守护进程,收集系统上的信息。优选地,所述将Graphite获取的数据写入磁盘,具体包括:将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的写入磁盘。优选地,将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的通过结构化的文件存储whisper写入磁盘。优选地,所述方法还包括:使用基于Moira构建的系统,通过触发器比对获取的数据,并在评估达不到预设指标时发送报警消息。对应于上述方法实施例,如图2所示,为本专利技术实施例一种基于UDP的海量事件实时数据收集装置结构示意图,所述装置包括:数据聚合器Brubeck单元21,用于接收通过用户数据报协议UDP发送的应用服务的开发代码;Graphite单元22,用于作为路由,收集利用Brubeck收集的数据和利用CollectD从本地或者远程收集的数据,并将Graphite获取的数据写入磁盘;可视化面板Crafana单元23,用于从Graphite获取数据,并作为统一的门户用来显示数据。优选地,所述Graphite单元22,用于作为路由,具体通过传输控制协议TCP收集利用Brubeck收集的数据。优选地,所述Graphite单元22,具体用于将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的写入磁盘。优选地,所述Graphite单元22,进一步具体用于将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的通过结构化的文件存储whisper写入磁盘。优选地,所述装置还包括:Moira单元24,用于使用基于Moira构建的系统,通过触发器比对获取的数据,并在评估达不到预设指标时发送报警消息。如图3所示,为本专利技术应用实例一种基于UDP的海量事件实时DevOp数据收集原理示意图(DevOps:是一组过程、方法与系统的统称,提倡开发和IT运维之间高度协同,从而在完成高频率部署的同时,提高生产环境的可靠行、稳定性、弹性和安全性),其可以自由的配置监控系统,可以把所有应用服务(APPS)的开发代码都通过UDP发送到数据聚合器Brubeck,数据聚合器Brubeck通过TCP发送数据到Graphite;所有的数据都使用CollectD收集;CollectD会从本地或者远程收集数据发送到Graphite。Graphite作为一个路由收集所有聚合器发送过来的数据以及路由到这些节点,并且在路由时会检查所有监控数据,不符合规范就会被丢掉;获取的数据使用whisper结构化的文件存储)写入磁盘。Crafana(可视化面板)从Graphite获取数据,并且作为统一的门户用来显示监控数据;对于每个服务开发者可以构建自己独有的报表;然后使用二维图形会显示来自应用的监控数据。除了Crafana,本专利技术应用实例还用一个基于Graphite的数据分析SLA(服务等级协议)的python进程。使用SLAM查看文档对比Graphite的数据,并且评估服务的可用性是不是达到了指标。对于报警本专利技术应用实例可以使用基于Moira构建的强大系统。并且使用Redis集群作为主要数据库。使本专利技术应用实例的系统具有良好的容错能力。由于其依据一些触发器来对比监控数据,所以它具备每分钟处理GB级别的数据。本专利技术应用实例为一种基于UDP的海量事件实时DevOp数据收集装置,对事件产生的数据进行统计和分析,可以自由的配置监控系统,构建多维度报表,可以进行海量事件数据的收集,并且具有容错性。应该明白,公开的过程中的步骤的特本文档来自技高网...

【技术保护点】
1.一种基于UDP的海量事件实时数据收集方法,其特征在于,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。

【技术特征摘要】
1.一种基于UDP的海量事件实时数据收集方法,其特征在于,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。2.如权利要求1所述基于UDP的海量事件实时数据收集方法,其特征在于,所述将利用Brubeck收集的数据发送到Graphite,具体包括:将利用Brubeck收集的数据通过传输控制协议TCP发送到Graphite。3.如权利要求1所述基于UDP的海量事件实时数据收集方法,其特征在于,所述将Graphite获取的数据写入磁盘,具体包括:将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的写入磁盘。4.如权利要求3所述基于UDP的海量事件实时数据收集方法,其特征在于,将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的通过结构化的文件存储whisper写入磁盘。5.如权利要求1所述基于UDP的海量事件实时数据收集方法,其特征在于,所述方法还包括:使用基于Moira构建的系统,通过触发器比对获取的数据,并在评估达不到预设指标时发送报警消息。6.一种...

【专利技术属性】
技术研发人员:马哲
申请(专利权)人:北京雷石天地电子技术有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1