分布式计算方法、装置及平台制造方法及图纸

本公开公开了分布式计算方法、装置及平台，涉及数据处理技术领域，尤其涉及云计算技术领域、大数据技术领域。具体实现方案为：接收作业任务请求，其中，作业任务请求中包括：对象标识和作业任务；确定服务的虚拟私有云的私有网络区中与对象标识对应的调度节点；将作业任务分配给调度节点，以使调度节点从私有网络区中与对象标识对应的执行节点中选择执行节点执行作业任务，在服务的虚拟私有云的私有网络区中为不同对象部署不同的调度节点和执行节点，能够实现多个对象之间执行节点之间的资源隔离，确保多个对象的作业任务之间的资源隔离，稳定对象的作业任务的执行时间，提升作业任务的执行效率。任务的执行效率。任务的执行效率。

【技术实现步骤摘要】
分布式计算方法、装置及平台


[0001]本公开涉及数据处理
，尤其涉及云计算
、大数据
，尤其涉及分布式计算方法、装置及平台。

技术介绍

[0002]目前的分布式计算框架中，采用Spark引擎+Hadoop Yarn调度系统的结构，Hadoop Yarn调度系统在基础网络区部署调度节点和执行节点，提供基于线程监控的内存使用机制和基于Cgroup的资源隔离机制。上述方法中，Hadoop Yarn调度系统的资源隔离机制差，作业任务的执行时间和效率波动大。

技术实现思路

[0003]本公开提供了一种分布式计算方法、装置及平台。
[0004]根据本公开的一方面，提供了一种分布式计算方法，包括：接收作业任务请求，其中，所述作业任务请求中包括：对象标识和作业任务；确定服务的虚拟私有云的私有网络区中与所述对象标识对应的调度节点；将所述作业任务分配给所述调度节点，以使所述调度节点从所述私有网络区中与所述对象标识对应的执行节点中选择执行节点执行所述作业任务。
[0005]根据本公开的另一方面，提供了一种分布式计算本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种分布式计算方法，包括：接收作业任务请求，其中，所述作业任务请求中包括：对象标识和作业任务；确定服务的虚拟私有云的私有网络区中与所述对象标识对应的调度节点；将所述作业任务分配给所述调度节点，以使所述调度节点从所述私有网络区中与所述对象标识对应的执行节点中选择执行节点执行所述作业任务。2.根据权利要求1所述的分布式计算方法，其中，在接收作业任务请求之前，还包括：为所述对象标识分配所述私有网络区中待部署调度实例的第一容器组和待部署执行实例的第二容器组；在所述第一容器组上部署所述调度实例，得到所述对象标识对应的调度节点；在所述第二容器组上部署所述执行实例，得到所述对象标识对应的执行节点。3.根据权利要求2所述的分布式计算方法，其中，还包括：对所述调度实例和所述执行实例，进行启动运行以及停止运行管理。4.根据权利要求2所述的分布式计算方法，其中，所述第一容器组和所述第二容器组为，kata容器组。5.根据权利要求1所述的分布式计算方法，其中，所述虚拟私有云部署在开源的容器集群Kubernetes中。6.根据权利要求1所述的分布式计算方法，其中，所述执行节点执行所述作业任务的方式为，通过所述对象标识对应的浮动地址调用所述对象标识对应的虚拟私有云的私有网络区中的第一集群服务，和/或，通过所述对象标识对应的临时访问凭证调用所述对象标识对应的虚拟私有云的基础网络区中的第二集群服务，来执行所述作业任务。7.一种分布式计算装置，包括：接收模块，用于接收作业任务请求，其中，所述作业任务请求中包括：对象标识和作业任务；确定模块，用于确定服务的虚拟私有云的私有网络区中与所述对象标识对应的调度节点；分配模块，用于将所述作业任务分配给所述调度节点，以使所述调度节点从所述私有网络区中与所述对象标识对应的执行节点中选择执行节点执行所述作业任务。8.根据权利要求7所述的分布式计算装置，其中，还包括：部署模块；所述分配模块，还用于为所述对象标识分配所述私有网络区中待部署调度实例的第一容器组和待部署执行实例的第二容器组；所述部署模...

【专利技术属性】
技术研发人员：于汝国，解耀伟，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：