数据处理方法及装置、系统、计算机可读存储介质制造方法及图纸

一种数据处理方法及装置、系统、计算机可读存储介质，该系统包括：数据节点集群、管理节点和多个代理节点，数据节点集群包括多个存储节点，每个存储节点包括多个存储分片，每个存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象；管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，目标聚合任务携带目标数据对象；目标代理节点用于根据该目标聚合任务向目标存储节点发送聚合请求，该聚合请求携带目标数据对象；目标存储节点用于根据该聚合请求从目标存储节点的目标存储分片中，并行获取该目标数据对象对应的目标时序数据，对该目标时序数据进行聚合得到聚合时序数据。本申请有助于提高数据处理效率。

Data processing method and device, system, computer readable storage medium

【技术实现步骤摘要】
数据处理方法及装置、系统、计算机可读存储介质
本申请涉及数据处理领域，特别涉及一种数据处理方法及装置、系统、计算机可读存储介质。
技术介绍
时序数据是指按照时间顺序记录的数据，例如，监控系统中按照时间产生的时序数据(例如一天中各个时刻的温度数据)。时序数据具有海量性，其存储成本较高。为了降低时序数据的存储成本，通常对时序数据降精度处理(例如从海量时序数据中提取业务价值较高的时序数据)后进行存储。相关技术中，可以由Elasticsearch(简称：ES)服务器集群对时序数据进行聚合，以对时序数据进行降精度处理。ES服务器集群包括处理节点和多个存储节点，处理节点可以提供Rollup组件，该Rollup组件可以生成聚合任务，并向多个存储节点发送该聚合任务，该聚合任务携带时序数据的数据对象(例如气温)，存储节点根据该聚合任务对该数据对象对应的时序数据进行单线程聚合(也即是在一部分数据聚合完成后，聚合另一部分数据)，以对该数据对象对应的时序数据降精度处理。但是，由于在降精度处理的过程中，ES服务器集群中的存储节点对时序数据进行单线本文档来自技高网...

【技术保护点】
1.一种数据处理系统，其特征在于，所述系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，/n所述管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标聚合任务携带目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；/n所述目标代理节点用于根据所述目标...

【技术特征摘要】
1.一种数据处理系统，其特征在于，所述系统包括：数据节点集群、管理节点和多个代理节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，
所述管理节点用于获取至少一个聚合任务，向至少一个目标代理节点发送目标聚合任务，每个所述聚合任务携带一种数据对象，每个所述聚合任务指示对相应的所述数据对象对应的时序数据进行聚合，所述目标聚合任务为所述至少一个聚合任务中的任一聚合任务，所述目标聚合任务携带目标数据对象，所述目标代理节点为所述多个代理节点中代理所述目标数据对象的代理节点；
所述目标代理节点用于根据所述目标聚合任务向目标存储节点发送所述聚合请求，所述聚合请求携带所述目标数据对象，所述目标存储节点为存储有所述目标数据对象对应的目标时序数据的存储节点；
所述目标存储节点用于根据所述聚合请求从所述目标存储节点的目标存储分片中，并行获取所述目标数据对象对应的所述目标时序数据，对所述目标时序数据进行聚合得到聚合时序数据。


2.根据权利要求1所述的系统，其特征在于，
所述管理节点，还用于根据节点路由表和所述目标聚合任务携带的所述目标数据对象，从所述多个代理节点中确定所述至少一个目标代理节点，所述节点路由表记录有数据对象与代理节点的对应关系；
所述目标存储节点，还用于根据存储路由表和所述聚合请求携带的所述目标数据对象，确定所述目标存储节点中的所述目标存储分片，所述存储路由表记录有数据对象与存储分片的对应关系。


3.根据权利要求1所述的系统，其特征在于，
所述聚合请求包括至少两个子请求，所述至少两个子请求与所述至少两个目标存储分片一一对应，
所述目标代理节点用于通过至少两个线程，并行向所述目标存储节点发送所述至少两个子请求；
所述目标存储节点用于根据所述至少两个子请求，并行从所述至少两个目标存储分片中获取目标数据对象对应的所述目标时序数据，且并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。


4.根据权利要求3所述的系统，其特征在于，
每个所述子请求携带查询条件和聚合条件，
所述目标存储节点用于根据所述至少两个子请求携带的所述查询条件，并行从所述至少两个目标存储分片中获取所述目标数据对象对应的所述目标时序数据，根据所述至少两个子请求携带的所述聚合条件，并行对从所述至少两个目标存储分片中获取的所述目标时序数据进行聚合得到聚合时序数据。


5.根据权利要求1至4任一所述的系统，其特征在于，
所述管理节点用于将所述目标聚合任务拆分成多个子任务，基于负载均衡原则，分批次向所述至少一个目标代理节点发送所述多个子任务。


6.一种数据处理方法，其特征在于，应用于数据处理系统中的管理节点，所述数据处理系统包括：数据节点集群、多个代理节点和所述控制节点，所述数据节点集群包括多个存储节点，每个所述存储节点包括多个存储分片，每个所述存储分片中存储有至少一种时序数据，每种时序数据对应一种数据对象，所述方法包括：
获取至少一个聚合任务，每个所述聚合任务携带一种数...

【专利技术属性】
技术研发人员：黄国航，姜国强，陈曦，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东;44