数据处理方法及装置制造方法及图纸

本发明专利技术提供一种数据处理方法及装置，涉及数据处理技术领域，该数据处理方法包括：接收主节点发送的业务数据和业务数据的至少一个数据属性，基于主节点发送的至少一个数据属性，确定业务数据归属的第一业务数据子表，将业务数据存储至第一业务数据子表。由于业务数据子表中业务数据的数据量，少于业务数据表中业务数据的数据量，因此，相比于一个计算节点从包括数据较多的业务数据表查询业务数据，多个从节点并行从业务数据子表查询业务数据，能够显著提高效率，也即是，提高了数据处理系统的效率。

Data Processing Method and Device

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及数据处理
，具体而言，涉及一种数据处理方法及装置。
技术介绍
随着互联网、物理网的发展，数据采集和传输技术的进步，各种各样的数据也在急速增长，因此，如何进行数据处理已经越来越受到关注。现有技术中，为了提高海量数据的快速提取，计算节点可以获取业务数据以及该业务数据的数据属性；将该业务数据存储至该计算节点的业务数据表中，之后当该计算节点接收到数据查询请求时，可以根据数据查询请求所携带的数据属性，从该业务数据表中查找得到相应的业务数据。但是，由于受到计算节点的处理器性能以及输入输出性能的限制，因此，数据查询的效率低下。
技术实现思路
本专利技术的目的在于，针对上述现有技术中的不足，提供一种数据处理方法及装置，以解决数据查询的效率低下的问题。为实现上述目的，本专利技术实施例采用的技术方案如下：第一方面，本专利技术实施例提供了一种数据处理方法，应用于数据处理系统中的各从节点，所述数据处理系统包括主节点和多个所述从节点，各所述从节点存储有归属于同一业务数据表的业务数据子表，所述方法包括：接收主节点发送的业务数据和所述业务数据的至少一个数据属性，基于所述主节点发本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于数据处理系统中的各从节点，所述数据处理系统包括主节点和多个所述从节点，各所述从节点存储有归属于同一业务数据表的业务数据子表，所述方法包括：接收主节点发送的业务数据和所述业务数据的至少一个数据属性；基于所述主节点发送的至少一个数据属性，确定所述业务数据归属的第一业务数据子表；将所述业务数据存储至所述第一业务数据子表。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于数据处理系统中的各从节点，所述数据处理系统包括主节点和多个所述从节点，各所述从节点存储有归属于同一业务数据表的业务数据子表，所述方法包括：接收主节点发送的业务数据和所述业务数据的至少一个数据属性；基于所述主节点发送的至少一个数据属性，确定所述业务数据归属的第一业务数据子表；将所述业务数据存储至所述第一业务数据子表。2.如权利要求1所述的方法，其特征在于，所述将所述业务数据存储至所述第一业务数据子表，包括：基于所述主节点发送的至少一个数据属性，确定所述业务数据归属的目标数据区域；将所述业务数据存储至所述目标数据区域。3.如权利要求1所述的方法，其特征在于，在所述接收主节点发送的业务数据和所述业务数据的至少一个数据属性之前，所述方法还包括：接收所述主节点发送的业务数据子表创建请求，所述业务数据子表创建请求中携带至少一种与所述业务数据子表对应的数据属性；基于所述业务数据子表创建请求携带的至少一个数据属性，创建所述业务数据子表。4.如权利要求1所述的方法，其特征在于，所述基于所述主节点发送的至少一个数据属性，确定所述业务数据归属的第一业务数据子表，包括：基于所述主节点发送的至少一个数据属性，确定所述业务数据归属的多个第一业务数据子表；所述将所述业务数据存储至所述第一业务数据子表，包括：将所述业务数据存储至任一所述第一业务数据子表。5.如权利要求1-4任一所述的方法，其特征在于，所述方法还包括：接收所述主节点发送的数据查询请求，所述数据查询请求携带至少一个数据属性；确定与所述数据查询请求携带的至少一个数据属性对应的第二业务数据子表；从所述第二业务数据子表中获取目标业务数据；向所述主节点发送数据查询反馈，所述数据查询反馈携带所述目标业务数据，所述数据查询反馈用于所述主...

【专利技术属性】
技术研发人员：吴阿丹，
申请(专利权)人：中国科学院寒区旱区环境与工程研究所，
类型：发明
国别省市：甘肃,62