基于数据访问权限的分布式处理方法、装置及系统制造方法及图纸

本发明专利技术公开了一种基于数据访问权限的分布式处理方法、装置及系统。该方法包括：第一处理单元确定与待处理数据相对应的数据存储单元，从数据存储单元中读取待处理数据；将读取到的与待处理数据相对应的数据内容信息存储至预设存储空间，并将预设存储空间中存储的数据内容信息划分为多个分别与各个第二处理单元相对应的数据内容子信息；分别将各个数据内容子信息对应的子信息标识分发给对应的第二处理单元，以供各个第二处理单元从预设存储空间中读取与子信息标识对应的数据内容子信息，以执行分布式处理；第一处理单元具有访问数据存储单元的权限，且各个第二处理单元具有访问预设存储空间的权限。利用本发明专利技术提供的方案，提升了效率也更加安全。

Distributed processing method, device and system based on data access authority

The invention discloses a distributed processing method, device and system based on data access authority. The method includes: the first processing unit determines the data storage unit corresponding to the data to be processed, reads the data to be processed from the data storage unit, stores the read data content information corresponding to the data to be processed into the preset storage space, and divides the data content information stored in the preset storage space into two parts. A plurality of data content sub-information corresponding to each second processing unit respectively; the sub-information identification corresponding to each data content sub-information is distributed to the corresponding second processing unit separately for each second processing unit to read the data content sub-information corresponding to the sub-information identification from the preset storage space for execution sub-information. Distributed processing; the first processing unit has access to the data storage unit, and each second processing unit has access to the preset storage space. By using the scheme provided by the invention, the efficiency and safety are enhanced.

【技术实现步骤摘要】
基于数据访问权限的分布式处理方法、装置及系统
本专利技术涉及计算机
，具体涉及一种基于数据访问权限的分布式处理方法、装置及系统。
技术介绍
随着计算机技术的日益发展，要处理的数据量越来越多，因此，出现了各种各样的大数据处理引擎。在这些大数据处理引擎中，为了提升处理效率，通常将要处理的数据分成多个块，然后将这些块分发到多个不同的机器上进行处理，处理完成之后再进行结果的汇聚，俗称分布式处理。例如，图1示出了一种常用的分布式处理系统的架构图。如图1所示，数据存储节点11用于存储业务数据，数据处理主节点12用于读取待处理的业务数据的描述信息，并将待处理的业务数据进行分块后分发给多个数据处理从节点13，各个数据处理从节点13根据各个分块的分块信息从数据存储节点11中读取对应的分块数据，以进行分布式处理，最后，各个数据处理从节点13将各自处理完毕的分块数据交由数据汇总节点14进行汇总。但是，专利技术人在实现本专利技术的过程中发现，现有技术中的上述方式至少存在如下缺陷：在上述的分布式处理方式中，各个数据处理从节点13都需要从数据存储节点11中读取业务数据。然而，在特定的业务应用场景中，数据存本文档来自技高网...

【技术保护点】
1.一种基于数据访问权限的分布式处理方法，包括：第一处理单元确定与待处理数据相对应的数据存储单元，从所述数据存储单元中读取所述待处理数据；将读取到的与所述待处理数据相对应的数据内容信息存储至预设存储空间，并将所述预设存储空间中存储的所述数据内容信息划分为多个分别与各个第二处理单元相对应的数据内容子信息；分别将各个数据内容子信息对应的子信息标识分发给对应的第二处理单元，以供各个第二处理单元从所述预设存储空间中读取与所述子信息标识对应的数据内容子信息，以执行分布式处理；其中，所述第一处理单元具有访问所述数据存储单元的权限，且各个第二处理单元具有访问所述预设存储空间的权限。

【技术特征摘要】
1.一种基于数据访问权限的分布式处理方法，包括：第一处理单元确定与待处理数据相对应的数据存储单元，从所述数据存储单元中读取所述待处理数据；将读取到的与所述待处理数据相对应的数据内容信息存储至预设存储空间，并将所述预设存储空间中存储的所述数据内容信息划分为多个分别与各个第二处理单元相对应的数据内容子信息；分别将各个数据内容子信息对应的子信息标识分发给对应的第二处理单元，以供各个第二处理单元从所述预设存储空间中读取与所述子信息标识对应的数据内容子信息，以执行分布式处理；其中，所述第一处理单元具有访问所述数据存储单元的权限，且各个第二处理单元具有访问所述预设存储空间的权限。2.根据权利要求1所述的方法，其中，所述将读取到的与所述待处理数据相对应的数据内容信息存储至预设存储空间的步骤具体包括：将读取到的与所述待处理数据相对应的数据内容信息进一步划分为多个分块内容信息，将各个分块内容信息分别存储至预设存储空间。3.根据权利要求2所述的方法，其中，一个分块内容信息对应于多个数据内容子信息，或者，一个数据内容子信息对应于多个分块内容信息；则所述分别将各个数据内容子信息对应的信息标识分发给对应的第二处理单元，以供各个第二处理单元从所述预设存储空间中读取与所述信息标识对应的数据内容子信息的步骤具体包括：分别将各个数据内容子信息对应的子信息标识及其对应的分块内容信息的分块标识信息分发给对应的第二处理单元，以供各个第二处理单元从所述预设存储空间中读取与所述分块标识信息对应的分块内容信息，以获取与所述子信息标识相对应的数据内容子信息。4.根据权利要求2或3所述的方法，其中，所述将读取到的与所述待处理数据相对应的数据内容信息进一步划分为多个分块内容信息的步骤具体包括：根据所述待处理数据的数据总量和/或所述第二处理单元的数量，确定单个分块内容信息的数据量。5.根据权利要求2-4任一所述的方法，其中，所述将读取到的与所述待处理数据相对应的数据内容信息进一步划分为多个分块内容...

【专利技术属性】
技术研发人员：徐皓，朱海龙，
申请(专利权)人：北京奇虎科技有限公司，
类型：发明
国别省市：北京,11