数据处理系统及方法技术方案

本发明专利技术提供了一种数据处理系统及方法，该系统包括：Prometheus用于采集监控数据，并对采集到的各个监控数据进行分片。Fsider获取监控软件在历史时间段内已分片的各个监控数据，并发送至存储器进行存储。Fgraph用于向查询组件发送数据查询请求，Fquery在接收到该数据查询请求后转发给Fsider，Fsider基于该数据查询请求中的数据信息，查询该数据查询请求对应的各个监控数据，并按原请求路径返回。Fgraph在接收到各个监控数据后进行整合并绘制对应的数据绘图，由Fquery进行显示。应用本发明专利技术提供的系统，可以实现对监控数据的长期冷存储，在需要调出时进行预热调度。需要调出时进行预热调度。需要调出时进行预热调度。

【技术实现步骤摘要】
数据处理系统及方法


[0001]本专利技术涉及数据处理
，特别是涉及一种数据处理系统及方法。

技术介绍

[0002]Prometheus是一个开源的Prometheus，它既适用于面向服务器等硬件指标的监控，也适用于高动态的面向服务架构的监控。现技术的Prometheus通过PrometheusServer定时去监控对象上抓取监控数据，并将监控数据推送并存入时序数据库TSDB中。
[0003]虽然Prometheus很好的支持了对服务器、组件服务等监控对象的监控，但是随着技术的进步，服务器和组件的成倍增长，监控数据的种类以及数量也随之增多，Prometheus内的时序数据库难以支持长期存储大量数据。

技术实现思路

[0004]有鉴于此，本专利技术提供一种监控数据处理系统及方法，通过该系统，可以实现对监控数据的长期冷存储，在需要调出时进行预热调度。
[0005]一种监控数据处理系统，包括：
[0006]监控集群、边缘收集器Fsider、存储器、查询组件Fquery以及绘图控件Fgragh；
[0007]所述监控集群包含至少一个监控软件Prometheus；
[0008]每个所述Prometheus，用于按照预设的时间周期采集其对应的监控对象的各个监控数据，并将各个所述监控数据按照预先设定的监控类型进行分片；
[0009]所述Fsider，用于获取历史时间段内各个所述Prometheus采集的各个监控数据，并将所述历史时间段内采集的各个监控数据发送至所述存储器；当接收到所述Fquery发送的数据查询请求时，获取所述数据查询请求对应的数据信息；基于所述数据信息，从各个所述Prometheus获取所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个监控数据发送至所述Fquery；
[0010]所述存储器，用于存储所述Fsider发送的各个监控数据；
[0011]所述Fquery，用于接收所述Fgraph下发的数据查询请求，向所述Fsider转发所述数据查询请求；当接收所述Fsider反馈的所述数据查询请求对应的各个监控数据时，将所述数据查询请求对应的各个监控数据发送至所述Fgraph；当接收到所述Fgraph基于所述数据查询请求对应的各个监控数据发送的数据绘图时，显示所述数据绘图；
[0012]所述Fgraph，用于向所述Fquery下发数据查询请求；在接收到所述Fquery基于所述数据查询请求反馈的监控数据时，对所述数据查询请求对应的各个监控数据进行整合，生成对应的数据绘图，并将所述数据绘图发送至所述Fquery。
[0013]上述的数据处理系统，可选的，所述Prometheus，包括：
[0014]数据节点、监控服务和分片模块；
[0015]所述数据节点，用于按照所述时间周期采集监控对象的每个监控类型对应的各个监控数据；
[0016]所述分片模块，用于将各个所述监控数据按照各个所述监控类型进行分片；
[0017]所述监控服务，用于创建各个已分片的监控数据对应的TSDB存储文件；获取每个所述已分片的监控数据对应的时序信息；并将各个所述时序信息设置为所述TSDB存储文件对应的索引信息。
[0018]上述的数据处理系统，可选的，所述Fsider，包括：
[0019]第一查询接口和收集器组件；
[0020]所述第一查询接口，用于当接收到所述Fquery发送的数据查询请求时，获取所述数据查询请求对应的数据信息；基于所述数据信息，从各个所述Prometheus获取所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个监控数据进行封装，将已封装的各个监控数据发送至所述Fquery；
[0021]所述收集器组件，用于获取历史时间段内各个所述Prometheus采集的各个监控数据，并将所述历史时间段内采集的各个监控数据发送至所述存储器。
[0022]上述的数据处理系统，可选的，当所述第一查询接口获取到所述数据查询请求对应的各个监控数据后，所述收集器组件收集所述第一查询接口获取的所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个监控数据发送至所述存储器。
[0023]上述的数据处理系统，可选的，还包括：
[0024]存储网关控件Fstoregateway；
[0025]所述Fstoregateway，用于接收所述Fquery发送的数据查询请求，并获取所述数据查询请求对应的数据信息；基于所述数据信息，从所述存储器中查询所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个监控数据发送至所述Fquery。
[0026]上述的数据处理系统，可选的，所述Fquery，包括：
[0027]第二查询接口、第三查询接口和显示界面；
[0028]所述第二查询接口，用于接收所述Fgraph下发的数据查询请求，并将所述数据查询请求对应的各个监控数据发送至所述Fgraph；
[0029]所述第三查询接口，用于将所述数据查询请求转发至所述Fsider或所述Fstoregateway，并接收所述Fsider或所述Fstoregateway反馈的所述数据查询请求对应的各个监控数据；
[0030]所述显示界面，用于将所述Fgraph发送的数据绘图进行显示。
[0031]上述的数据处理系统，可选的，所述Fstoregateway，包括：
[0032]第四查询接口和第五查询接口；
[0033]所述第四查询接口，用于接收所述Fquery发送的数据查询请求，并将所述数据查询请求对应的各个监控数据发送给所述Fquery；
[0034]所述第五查询接口，用于获取所述数据查询请求中的数据信息，并基于所述数据信息，从所述存储器中获取所述数据查询请求对应的各个监控数据。
[0035]上述的数据处理系统，可选的，当所述Fquery接收到所述Fgraph发送的数据查询请求时，基于所述数据查询请求对应的数据信息，确定各个待查询的监控数据是否属于所述历史时间段内采集的监控数据；若是，则将所述数据查询请求转发至所述Fstoregateway；反之，则将所述数据查询请求转发至所述Fsider。
[0036]一种数据处理方法，所述方法应用于Fsider，所述方法包括：
[0037]获取历史时间段内各个Prometheus采集的各个监控数据，各个所述Prometheus用于实时采集其对应的监控范围内的各个监控数据，并将各个所述监控数据按照预先设定的监控类型进行分片；
[0038]将所述历史时间段内采集的各个监控数据发送至存储器；
[0039]当接收到所述Fquery发送的数据查询请求时，获取所述数据查询请求对应的数据信息；
[0040]基于所述数据信息，从各个所述Prometheus获取所述数据查询请求对应的各个监控数据；
[0041]将所述数据查询请求对应的各个监控数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理系统，其特征在于，包括：监控集群、边缘收集器Fsider、存储器、查询组件Fquery以及绘图控件Fgragh；所述监控集群包含至少一个监控软件Prometheus；每个所述Prometheus，用于按照预设的时间周期采集其对应的监控对象的各个监控数据，并将各个所述监控数据按照预先设定的监控类型进行分片；所述Fsider，用于获取历史时间段内各个所述Prometheus采集的各个监控数据，并将所述历史时间段内采集的各个监控数据发送至所述存储器；当接收到所述Fquery发送的数据查询请求时，获取所述数据查询请求对应的数据信息；基于所述数据信息，从各个所述Prometheus获取所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个监控数据发送至所述Fquery；所述存储器，用于存储所述Fsider发送的各个监控数据；所述Fquery，用于接收所述Fgraph下发的数据查询请求，向所述Fsider转发所述数据查询请求；当接收所述Fsider反馈的所述数据查询请求对应的各个监控数据时，将所述数据查询请求对应的各个监控数据发送至所述Fgraph；当接收到所述Fgraph基于所述数据查询请求对应的各个监控数据发送的数据绘图时，显示所述数据绘图；所述Fgraph，用于向所述Fquery下发数据查询请求；在接收到所述Fquery基于所述数据查询请求反馈的监控数据时，对所述数据查询请求对应的各个监控数据进行整合，生成对应的数据绘图，并将所述数据绘图发送至所述Fquery。2.根据权利要求1所述的数据处理系统，其特征在于，所述Prometheus，包括：数据节点、监控服务和分片模块；所述数据节点，用于按照所述时间周期采集监控对象的每个监控类型对应的各个监控数据；所述分片模块，用于将各个所述监控数据按照各个所述监控类型进行分片；所述监控服务，用于创建各个已分片的监控数据对应的TSDB存储文件；获取每个所述已分片的监控数据对应的时序信息；并将各个所述时序信息设置为所述TSDB存储文件对应的索引信息。3.根据权利要求1所述的数据处理系统，其特征在于，所述Fsider，包括：第一查询接口和收集器组件；所述第一查询接口，用于当接收到所述Fquery发送的数据查询请求时，获取所述数据查询请求对应的数据信息；基于所述数据信息，从各个所述Prometheus获取所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个监控数据进行封装，将已封装的各个监控数据发送至所述Fquery；所述收集器组件，用于获取历史时间段内各个所述Prometheus采集的各个监控数据，并将所述历史时间段内采集的各个监控数据发送至所述存储器。4.根据权利要求1所述的数据处理系统，其特征在于，当所述第一查询接口获取到所述数据查询请求对应的各个监控数据后，所述收集器组件收集所述第一查询接口获取的所述数据查询请求对应的各个监控数据，并将所述数据查询请求对应的各个...

【专利技术属性】
技术研发人员：佘朝辉，
申请(专利权)人：北京搜房科技发展有限公司，
类型：发明
国别省市：