一种数据处理方法及装置制造方法及图纸

申请实施例提供了一种数据处理方法及装置，对于具有至少一个边缘节点和控制单元的分布式数据处理系统，在获取到第一任务文件之后，控制单元可以先判断所述第一任务文件是否包括第一标签。其中，第一任务文件用于指示执行目标处理任务，第一标签表示目标任务文件用于指示边缘节点执行目标处理任务。如果第一任务文件包括第一标签，说明该第一任务文件需要边缘节点执行，那么控制单元可以根据第一任务文件确定至少一个目标节点，并指示至少一个目标节点执行目标处理任务。其中，目标节点为第一任务文件所指示的边缘节点，即执行目标处理任务的边缘节点。如此，只需对标签进行调整和修改，即可实现应用在边缘节点的统一分发与调度。度。度。

【技术实现步骤摘要】
一种数据处理方法及装置


[0001]本申请涉及计算机
，尤其涉及一种数据处理方法及装置。

技术介绍

[0002]随着计算机技术的发展，容器技术虚拟化技术已经成为一种广泛应用到的容器技术服务器资源共享方式，可以在按需构建容器技术操作系统实例的过程当中为系统管理员提供极大的灵活性。容器技术可以改善虚拟机监视器技术(hypervisor)存在的性能和资源使用效率方面的问题，为用户提供了一种高效地使用计算资源。
[0003]将容器技术与分布式处理技术相结合，可以得到容器集群。容器集群可以依赖一个或多个实体计算机设备，每个计算机设备上可以运行一个或多个容器，每个容器均可以相对独立地执行任务。在容器集群中，每个容器可以被称为一个节点，表示该容器可以相对独立地对数据进行处理。
[0004]如果组成容器集群的实体计算机设备处于不同的地理位置，那么容器集群中不可避免地会存在位于地域边缘的边缘节点，边缘节点之间可能存在网络不互通的问题，导致在边缘节点上配置任务较为困难。

技术实现思路

[0005]有鉴于此，本申请实施例提供了一种数据处理方法及装置，旨在提供一种能够高效地在边缘节点上部署任务的技术方案。
[0006]第一方面，本申请实施例提供了一种数据处理方法，所述方法应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点，包括：
[0007]控制单元获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
[0008]所述控制单元判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
[0009]响应于所述第一任务文件包括第一标签，所述控制单元根据所述第一任务文件确定至少一个目标节点，所述目标节点属于所述至少一个边缘节点；
[0010]所述控制单元指示所述至少一个目标节点执行所述目标处理任务。
[0011]可选地，所述至少一个目标节点包括第一节点，所述控制单元指示所述至少一个目标节点执行所述目标处理任务包括：
[0012]所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；
[0013]所述控制单元基于所述第二任务文件，在所述第一节点上创建目标处理任务。
[0014]可选地，在控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件之前，所述方法还包括：
[0015]所述控制单元解析所述第一任务文件，得到第二标签信息；
[0016]所述控制单元根据所述第二标签信息确定所述第一节点的信息。
[0017]可选地，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；
[0018]所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件包括：
[0019]所述控制单元根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；
[0020]所述控制单元根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。
[0021]可选地，所述多个节点包括第二节点，所述方法还包括：
[0022]所述控制单元获取所述第二节点的相关信息；
[0023]响应于所述第二节点的相关信息包括所述第一标签，所述控制单元将所述第二节点确定为边缘节点；或，
[0024]响应于所述第二节点的相关信息不包括所述第一标签，所述控制单元将所述第二节点确定为非边缘节点。
[0025]可选地，所述分布式数据处理系统基于Kubernetes引擎实现。
[0026]可选地，所述方法还包括：
[0027]响应于第三节点加入所述分布式数据处理系统，获取所述第三节点的第一位置信息；
[0028]响应于所述第三节点的地理位置信息与所述第一节点的地理位置信息相同，且所述第三节点为边缘节点，为所述第三节点添加所述第一标签。
[0029]可选地，所述至少一个目标节点还包括第三节点，所述第三节点与所述第一节点属于不同的地域，所述方法还包括：
[0030]确定所述第一任务文件具有应用于所述第一节点对应的地域和所述第二节点对应的地域的功能。
[0031]第二方面，本申请实施例提供了一种数据处理装置，所述装置应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点；所述装置包括：
[0032]获取模块，用于获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；
[0033]判断模块，用于判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；
[0034]确定模块，用于响应于所述第一任务文件包括第一标签，根据所述第一任务文件确定至少一个目标节点，所述目标节点属于所述至少一个边缘节点；
[0035]指示模块，用于指示所述至少一个目标节点执行所述目标处理任务。
[0036]可选地，所述至少一个目标节点包括第一节点；
[0037]所述指示模块，用于根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；基于所述第二任
务文件，在所述第一节点上创建目标处理任务。
[0038]可选地，所述装置还包括第二确定模块；
[0039]所述第二确定模块，用于解析所述第一任务文件，得到第二标签信息；根据所述第二标签信息确定所述第一节点的信息。
[0040]可选地，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；
[0041]所述指示模块，用于根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。
[0042]可选地，所述多个节点包括第二节点，所述装置还包括调整模块；
[0043]所述调整模块，用于获取所述第二节点的相关信息；响应于所述第二节点的相关信息包括所述第一标签，将所述第二节点确定为边缘节点；或，响应于所述第二节点的相关信息不包括所述第一标签，所述控制单元将所述第二节点确定为非边缘节点。
[0044]第三方面，本申请实施例还提供了一种设备，所述设备包括存储器和处理器，所述存储器用于存储指令，所述处理器用于运行所述存储器存储的所述指令，以使所述设备执行前述第一方面所述的数据处理方法。
[0045]第四方面，本申请实施例还提供了一种计算机可读存储介质，所述计算机可读存储机制用于存储计算机程序，所述计算机程序用于控制计算机执行前述第一方面所述的数据处本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据处理方法，其特征在于，所述方法应用于分布式数据处理系统，所述分布式处理系统包括控制单元和多个节点，所述多个节点包括至少一个边缘节点，包括：控制单元获取第一任务文件，所述第一任务文件用于指示节点执行目标处理任务；所述控制单元判断所述第一任务文件是否包括第一标签，所述第一标签表示所述目标任务文件用于指示边缘节点执行所述目标处理任务；响应于所述第一任务文件包括第一标签，所述控制单元根据所述第一任务文件确定至少一个目标节点，所述目标节点为边缘节点；所述控制单元指示所述至少一个目标节点执行所述目标处理任务。2.根据权利要求1所述的方法，其特征在于，所述至少一个目标节点包括第一节点，所述控制单元指示所述至少一个目标节点执行所述目标处理任务包括：所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件，所述第二任务文件用于指示所述第一节点执行所述目标处理任务；所述控制单元基于所述第二任务文件，在所述第一节点上创建目标处理任务。3.根据权利要求2所述的方法，其特征在于，在控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件之前，所述方法还包括：所述控制单元解析所述第一任务文件，得到第二标签信息；所述控制单元根据所述第二标签信息确定所述第一节点的信息。4.根据权利要求3所述的方法，其特征在于，所述第一节点的信息包括所述第一节点的拒绝调度参数，所述拒绝调度参数用于指示所述第一节点拒绝执行不具有与所述拒绝调度参数对应的容忍参数的任务；所述控制单元根据所述第一任务文件和所述第一节点的信息生成第二任务文件包括：所述控制单元根据所述第一节点的拒绝调度参数确定与所述拒绝调度参数对应的容忍参数；所述控制单元根据所述与所述拒绝调度参数对应的容忍参数和所述第一任务文件生成第二任务文件。5.根据权利要求1
‑
4任一项所述的方法，其特征在于，所述多个节点包括第二节点，所述方法还包括：所述控制单元获取所...

【专利技术属性】
技术研发人员：刘茂扬，张德波，
申请(专利权)人：济南浪潮数据技术有限公司，
类型：发明
国别省市：