数据调度方法、系统、设备及计算机可读存储介质技术方案

本发明专利技术公开了一种数据调度方法、系统、设备及计算机可读存储介质，该数据调度方法包括：根据Volcano模块、Fluid模块和Kubernetes Operator子系统，通过CRD自定义资源的方式对Job资源进行改造；通过调度程序插件的方式，将Volcano模块的vc‑scheduler组件集成进入Kube‑scheduler子系统，通过Volcano模块、Fluid模块和Kubernetes Operator子系统对数据进行调度。本发明专利技术实现了对应用数据的数据智能感知和调度优化。

【技术实现步骤摘要】

本专利技术涉及容器调度，尤其涉及一种数据调度方法、系统、设备及计算机可读存储介质。

技术介绍

1、基于hadoop生态的传统大数据系统缺乏弹性能力的特性，需要按照高峰期的业务需求部署大数据系统才能满足业务需求，但是这样就会造成低峰期资源利用率低的问题。而云原生技术天然适合解决传统大数据系统面临的弹性不足、资源利用率低的问题，但是云原生本身的存算分离的特性，使得大数据上云面临着性能大大降低，如何提升大数据在云上的性能问题成为了不能不解决的问题。

2、目前主要从两个方面着手来提升云上性能，一个是优化网络信号，另一个是拉近数据和计算的距离。前者一般是通过提高带宽等基础设施实现，对于后者，在拉近数据和计算的距离后，如何基于应用数据进行智能调度和调度优化成为了关键，它是执行作业又快又好的关键保证，而kubernetes本身的调度无法感知数据，更无法基于应用数据进行智能调度和调度优化。

技术实现思路

1、本专利技术的主要目的在于提供一种数据调度方法、系统、设备及计算机可读存储介质，旨在实现对应用数据的数据智能本文档来自技高网...

【技术保护点】

1.一种数据调度系统，其特征在于，所述数据调度系统包括Kubernetes Operator子系统和Kube-apiserver子系统，所述Operator子系统包括Kube-controller-manager子系统、Kube-scheduler子系统、Volcano模块和Fluid模块，其中，

2.如权利要求1所述的数据调度系统，其特征在于，所述Runtime模块包括AlluxioRuntime组件、GooseFS Runtime组件、JuiceFS Runtime组件和JindoFS Runtime组件。

3.如权利要求1所述的数据调度系统，其特征在于，所述...

【技术特征摘要】

1.一种数据调度系统，其特征在于，所述数据调度系统包括kubernetes operator子系统和kube-apiserver子系统，所述operator子系统包括kube-controller-manager子系统、kube-scheduler子系统、volcano模块和fluid模块，其中，

2.如权利要求1所述的数据调度系统，其特征在于，所述runtime模块包括alluxioruntime组件、goosefs runtime组件、juicefs runtime组件和jindofs runtime组件。

3.如权利要求1所述的数据调度系统，其特征在于，所述数据调度系统还包括oss(object storage service)组件、ceph组件和hdfs(hadoop distributed file system)组件。

4.一种数据调度方法，其特征在于，所述数据调度方法应用于如权利要求1至3中任一项所述的数据调度系统，所述数据调度系统包括volcano模块、fluid模块和kubernetesop...

【专利技术属性】
技术研发人员：王龙，周辉，
申请(专利权)人：中移动信息技术有限公司，
类型：发明
国别省市：