The embodiment of the present invention provides a method and device for collecting massive event real-time data based on UDP, which includes: sending the development code of application service to Brubeck through UDP of user datagram protocol; sending data collected by Brubeck to Graphite; collecting data locally or remotely by CollectD; and transmitting data acquired by Graphite. Write to disk; use the visual panel Crafana to get data from Graphite and use it as a unified portal to display data. The above technical scheme has the following beneficial effects: it can configure monitoring system freely, construct multi-dimensional reports, collect massive event data, and be fault-tolerant.
【技术实现步骤摘要】
一种基于UDP的海量事件实时数据收集方法及装置
本专利技术涉及数据统计和分析
,尤其涉及一种基于UDP的海量事件实时数据收集方法及装置。
技术介绍
为了适应行业的发展,现在的项目都有许多个应用微服务组成,由于对数据统计和分析的需求越来越强烈,已经是必不可少的一部分,所以必须对应用微服务加以监控,如果这些监控全部人工完成,显然不太可能。
技术实现思路
本专利技术实施例提供一种基于UDP的海量事件实时数据收集方法及装置,以自由的配置监控系统,进行海量事件数据的收集。一方面,本专利技术实施例提供了一种基于UDP的海量事件实时数据收集方法,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。另一方面,本专利技术实施例提供了一种基于UDP的海量事件实时数据收集装置,所述装置包括:数据聚合器Brubeck单元,用于接收通过用户数据报协议UDP发送的应用服务的开发代码;Graphite单元,用于作为路由,收集利用Brubeck收集的数据和利用CollectD从本地或者远程收集的数据,并将Graphite获取的数据写入磁盘;可视化面板Crafana单元,用于从Graphite获取数据,并作为统一的门户用来显示数据。上述技术方案具有如下有益效果:可以自由的配置监控系统,构建多维度报表,可以进行海 ...
【技术保护点】
1.一种基于UDP的海量事件实时数据收集方法,其特征在于,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。
【技术特征摘要】
1.一种基于UDP的海量事件实时数据收集方法,其特征在于,所述方法包括:将应用服务的开发代码通过用户数据报协议UDP发送到数据聚合器Brubeck;将利用Brubeck收集的数据发送到Graphite;利用CollectD从本地或者远程收集数据发送到Graphite;将Graphite获取的数据写入磁盘;利用可视化面板Crafana从Graphite获取数据,并作为统一的门户用来显示数据。2.如权利要求1所述基于UDP的海量事件实时数据收集方法,其特征在于,所述将利用Brubeck收集的数据发送到Graphite,具体包括:将利用Brubeck收集的数据通过传输控制协议TCP发送到Graphite。3.如权利要求1所述基于UDP的海量事件实时数据收集方法,其特征在于,所述将Graphite获取的数据写入磁盘,具体包括:将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的写入磁盘。4.如权利要求3所述基于UDP的海量事件实时数据收集方法,其特征在于,将Graphite获取的数据中不符合预设条件规范的丢掉,符合预设条件规范的通过结构化的文件存储whisper写入磁盘。5.如权利要求1所述基于UDP的海量事件实时数据收集方法,其特征在于,所述方法还包括:使用基于Moira构建的系统,通过触发器比对获取的数据,并在评估达不到预设指标时发送报警消息。6.一种...
【专利技术属性】
技术研发人员:马哲,
申请(专利权)人:北京雷石天地电子技术有限公司,
类型:发明
国别省市:北京,11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。