数据处理方法及装置制造方法及图纸

本发明专利技术公开了一种数据处理方法及装置，属于大数据领域。方法包括：根据数据指示标识和第一处理指令，生成数据对象，数据指示标识指示待处理的数据，第一处理指令指示第一处理操作，第一处理操作为获取类操作或更新类操作；基于数据对象调用与第一处理操作匹配的指定接口，指定接口包括与获取类操作匹配的获取接口和与更新类操作匹配的更新接口中的任一个；在与第一处理操作匹配的指定接口的运行过程中，对数据指示标识和第一处理指令进行封装，得到数据处理请求，向数据指示标识对应的服务器发送数据处理请求，服务器根据第一处理指令对数据进行第一处理操作，得到第一处理结果。本发明专利技术设置两个通用的接口，提高通用性，扩展了应用范围。

Data processing methods and devices

The invention discloses a data processing method and device, belonging to the field of big data. The method includes: the data object is generated according to the data indication sign and the first processing instruction, the data indication sign indicates the data to be processed, the first processing instruction indicates the first processing operation, the first processing operation is the class operation or the update class operation, and the specified interface based on the data object is called with the first processing operation. The specified interface includes an access interface that matches the acquisition class operation and any one in the update interface that matches the update class operation. During the operation of the specified interface that matches the first processing operation, the data indication and first processing instructions are encapsulated, the data processing requests are obtained, and the data indication identity corresponds to the data. The server sends the data processing request, and the server performs the first processing operation on the data according to the first processing instruction to obtain the first processing result. The invention sets two general interfaces, improves universality and extends application scope.

【技术实现步骤摘要】
数据处理方法及装置
本专利技术涉及大数据领域，特别涉及一种数据处理方法及装置。
技术介绍
随着互联网的数据规模不断扩大，采用单个节点已经无法满足存储数据和处理数据的需求，而分布式数据处理系统有效解决了这一难题。分布式数据处理系统中包括服务器和计算节点，服务器用于存储数据并提供数据处理接口，计算节点用于调用数据处理接口，请求服务器对存储的数据进行处理操作。为了实现多种处理操作，服务器通常会设置多种数据处理接口，每种数据处理接口中设置有固定的处理指令，能够实现处理指令所指示的处理操作，则一种数据处理接口对应于一种处理操作，例如数据清零接口对应于将数据置为零的操作，求取最大值接口对应于求取数据最大值的操作。当计算节点要请求服务器对某些数据进行某种处理操作时，获取用于指示该数据的数据指示标识，基于数据指示标识调用该处理操作对应的数据处理接口，在该数据处理接口的运行过程中，会对数据指示标识和数据处理接口中固定的处理指令进行封装，得到数据处理请求，并发送给数据指示标识对应的服务器，即存储该数据的服务器，数据指示标识对应的服务器接收到数据处理请求时，对该数据指示标识所指示的数据进行处理指令所指示的处理操作。在实现本专利技术的过程中，专利技术人发现相关技术至少存在以下问题：一旦服务器未设置某种数据处理接口，将无法实现对应的处理操作，因而现有的数据处理方式的应用范围狭窄，存在局限。
技术实现思路
为了解决相关技术的问题，本专利技术实施例提供了一种数据处理方法及装置。所述技术方案如下：第一方面，提供了一种数据处理方法，应用于计算节点中，所述方法包括：根据数据指示标识和第一处理指令，生成数据对象，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；基于所述数据对象调用与所述第一处理操作匹配的指定接口，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个；在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求，向所述数据指示标识对应的服务器发送所述数据处理请求，所述服务器用于存储所述数据，根据所述第一处理指令对所述数据进行所述第一处理操作，得到第一处理结果。第二方面，提供了一种数据处理方法，应用于服务器中，所述方法包括：接收计算节点发送的数据处理请求；对所述数据处理请求进行解析，得到数据指示标识和第一处理指令，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；根据所述第一处理指令，对所述数据指示标识指示的所述数据进行所述第一处理操作，得到第一处理结果；其中，所述计算节点用于根据所述数据指示标识和所述第一处理指令，生成数据对象，基于所述数据对象调用与所述第一处理操作匹配的指定接口，在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到所述数据处理请求，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个。第三方面，提供了一种数据处理装置，应用于计算节点中，所述装置包括：生成模块，用于根据数据指示标识和第一处理指令，生成数据对象，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；调用模块，用于基于所述数据对象调用与所述第一处理操作匹配的指定接口，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个；封装模块，用于在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求；发送模块，用于向所述数据指示标识对应的服务器发送所述数据处理请求，所述服务器用于存储所述数据，根据所述第一处理指令对所述数据进行所述第一处理操作，得到第一处理结果。第四方面，提供了一种数据处理装置，应用于服务器中，所述装置包括：接收模块，用于接收计算节点发送的数据处理请求；解析模块，用于对所述数据处理请求进行解析，得到数据指示标识和第一处理指令，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；处理模块，用于根据所述第一处理指令，对所述数据指示标识指示的所述数据进行所述第一处理操作，得到第一处理结果。其中，所述计算节点用于根据所述数据指示标识和所述第一处理指令，生成数据对象，基于所述数据对象调用与所述第一处理操作匹配的指定接口，在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到所述数据处理请求，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个。本专利技术实施例提供的技术方案带来的有益效果是：本专利技术实施例提供的方法及装置，为获取类操作和更新类操作这两类处理操作设置两个通用的指定接口：获取接口和更新接口，分别用于实现多种获取类操作和多种更新类操作。则根据数据指示标识和处理指令生成数据对象，基于该数据对象调用与处理指令匹配的指定接口时，服务器即可实现与处理指令匹配的处理操作，无需为每个处理操作分别设置对应的接口，而且基于不同的处理指令调用同一指定接口可以实现不同的处理操作，提高了通用性，扩展了应用范围。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1A是本专利技术实施例提供的一种实施环境的示意图；图1B是本专利技术实施例提供的一种实施环境的示意图；图1C是本专利技术实施例提供的一种实施环境的示意图；图1D是本专利技术实施例提供的一种实施环境的示意图；图2A是本专利技术实施例提供的一种数据处理方法的流程图；图2B是本专利技术实施例提供的一种机器学习场景下计算节点的操作流程图；图2C是本专利技术实施例提供的一种机器学习场景下PS的操作流程图；图2D是本专利技术实施例提供的另一种机器学习场景下计算节点的操作流程图；图2E是本专利技术实施例提供的一种机器学习场景下PS的操作流程图；图3A是本专利技术实施例提供的一种数据处理装置的结构示意图；图3B是本专利技术实施例提供的一种数据处理装置的结构示意图；图4A是本专利技术实施例提供的一种数据处理装置的结构示意图；图4B是本专利技术实施例提供的一种数据处理装置的结构示意图；图5是本专利技术实施例提供的一种终端的结构示意图；图6是本专利技术实施例提供的一种服务器的结构示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。图1A是本专利技术实施例提供的一种实施环境的示意图，该实施环境包括：服务器101和计算节点102，服务器101和计本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，应用于计算节点中，所述方法包括：根据数据指示标识和第一处理指令，生成数据对象，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；基于所述数据对象调用与所述第一处理操作匹配的指定接口，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个；在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求，向所述数据指示标识对应的服务器发送所述数据处理请求，所述服务器用于存储所述数据，根据所述第一处理指令对所述数据进行所述第一处理操作，得到第一处理结果。

【技术特征摘要】
1.一种数据处理方法，其特征在于，应用于计算节点中，所述方法包括：根据数据指示标识和第一处理指令，生成数据对象，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；基于所述数据对象调用与所述第一处理操作匹配的指定接口，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个；在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求，向所述数据指示标识对应的服务器发送所述数据处理请求，所述服务器用于存储所述数据，根据所述第一处理指令对所述数据进行所述第一处理操作，得到第一处理结果。2.根据权利要求1所述的方法，其特征在于，所述对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求，向所述数据指示标识对应的服务器发送所述数据处理请求，包括：如果所述数据指示标识包括数据标识，对所述数据标识和所述第一处理指令进行封装，得到数据处理请求，所述数据标识用于指示对应的数据；确定所述数据标识对应的数据集合标识，所述数据集合标识用于指示所述数据所属的数据集合；向所述数据集合标识对应的服务器发送所述数据处理请求，所述数据集合标识对应的服务器用于存储所述数据集合。3.根据权利要求1所述的方法，其特征在于，所述对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求，向所述数据指示标识对应的服务器发送所述数据处理请求，包括：如果所述数据指示标识包括数据集合标识，对所述数据集合标识和所述第一处理指令进行封装，得到数据处理请求，所述数据集合标识用于指示对应的数据集合；向所述数据集合标识对应的服务器发送所述数据处理请求。4.根据权利要求1所述的方法，其特征在于，所述对所述数据指示标识和所述第一处理指令进行封装，得到数据处理请求，向所述数据指示标识对应的服务器发送所述数据处理请求，包括：如果所述数据指示标识包括相互对应的数据集合标识和数据标识，对所述数据集合标识、所述数据标识和所述第一处理指令进行封装，得到数据处理请求，所述数据标识用于指示对应的数据，所述数据集合标识用于指示对应的数据集合；向所述数据集合标识对应的服务器发送所述数据处理请求。5.根据权利要求1-4任一项所述的方法，其特征在于，所述根据数据指示标识和第一处理指令，生成数据对象，包括：根据所述数据指示标识、所述第一处理指令和第二处理指令，生成所述数据对象，所述第二处理指令用于指示对第一处理结果进行第二处理操作；所述向所述数据指示标识对应的服务器发送所述数据处理请求之后，所述方法还包括：接收所述服务器发送的所述第一处理结果；根据所述第二处理指令，对所述第一处理结果进行所述第二处理操作。6.一种数据处理方法，其特征在于，应用于服务器中，所述方法包括：接收计算节点发送的数据处理请求；对所述数据处理请求进行解析，得到数据指示标识和第一处理指令，所述数据指示标识用于指示待处理的数据，所述第一处理指令用于指示对所述数据进行第一处理操作，所述第一处理操作为获取类操作或更新类操作；根据所述第一处理指令，对所述数据指示标识指示的所述数据进行所述第一处理操作，得到第一处理结果；其中，所述计算节点用于根据所述数据指示标识和所述第一处理指令，生成数据对象，基于所述数据对象调用与所述第一处理操作匹配的指定接口，在与所述第一处理操作匹配的指定接口的运行过程中，对所述数据指示标识和所述第一处理指令进行封装，得到所述数据处理请求，所述指定接口包括与所述获取类操作匹配的获取接口和与所述更新类操作匹配的更新接口中的任一个。7.根据权利要求6所述的方法，其特征在于，所述根据所述第一处理指令，对所述数据指示标识指示的所述数据进行所述第一处理操作，得到第一处理结果之后，所述方法还包括：向所述计算节点发送所述第一处理结果。8.根据权利要求6所述的方法，其特征在于，所述第一处理操作为更新类操作，且所述第一处理操作包含指定更新方式，所述根据所述第一处理指令，对所述数据指示标识指示的所述数据进行所述第一处理操作，得到第一处理结果，包括：按照所述指定更新方式，对所述数据进行更新，得到更新后的数据。...

【专利技术属性】
技术研发人员：肖品，江佳伟，余乐乐，崔斌，
申请(专利权)人：腾讯科技深圳有限公司，
类型：发明
国别省市：广东,44