【技术实现步骤摘要】
基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法
[0001]本专利技术属于资源调度领域，具体涉及一种基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法。
技术介绍
[0002]近年来，以Docker为代表的容器技术引起了人们越来越多的关注，并逐渐成为了实现PaaS平台的关键技术之一。Docker容器的本质是运行在宿主机上的一个进程。通过写时复制机制，Docker实现了高效的文件操作。通过cgroups技术和namespace技术，Docker实现了资源的隔离与限制。在软件研发过程中使用Docker容器技术能够实现产品的快速开发和部署。相比于传统的虚拟机，Docker具有资源使用率高、启动运行速度快、性能开销小等优点，自推出以来，就受到了业界的广泛关注。经过多年的发展，已经逐渐形成了围绕Docker容器的完整生态体系，越来越多的公司将Docker作为了替代虚拟机的软件交付新方案。
[0003]批量的Docker容器难以通过人工控制的方式进行管理，因此需要一个容器管理系统来统一地管理和...
【技术保护点】
【技术特征摘要】
1.一种基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法，其特征在于，该方法包括如下步骤：S1、通过采集应用历史运行情况相关信息，包括资源使用情况、高并发访问时间和资源利用率，训练BP神经网络，构建基于kubernetes的资源预测模型；对应用当前所需要使用的资源进行预测，并将相应预测结果输入到分布式缓存系统；S2、利用多个计算节点本地的内存和磁盘资源，通过分布式缓存技术，构建统一的分布式缓存系统，将预测结果存储在分布式缓存系统中；S3、资源调度算法从分布式缓存系统获取预测结果，针对不同种类的资源，资源动态调度算法会生成一系列资源借贷决策，并将决策响应到容器组的请求资源限制中。2.如权利要求1所述的基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法，其特征在于，BP神经网络的学习过程包括信号的正向传播与误差的反向传播；正向传播时，样本从输入层传入,经各隐含层逐层进行处理后,传向输出层，若输出层的实际输出与期望输出不符,则进入误差的反向传播阶段；反向传播时，利用sigmoid函数，将误差反传平摊到各隐含层，以此不断修正误差，直到函数收敛。3.如权利要求2所述的基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法，其特征在于，BP神经网络的训练过程包括：对应用相关数据进行采集整理，建立神经网络结构后，从训练数据集中选取一个batch的数据进行神经网络参数训练，采用sigmoid函数作为BP网络的训练函数基准，不断修改神经网络的权重参数，当训练达到一定次数后，对测试数据集误差进行测试；如果达到条件1训练次数上限，则修改神经网络结构；如果达到条件2误差不满足要求，则返回上一步骤对数据重新进行神经网络参数训练；如果达到条件3误差满足要求，则训练过程结束，得到定型的能够预测应用资源的神经网络，能用于使用训练结果对未知数据进行预测。4.如权利要求1所述的基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法，其特征在于，分布式缓存系统采用内存文件系统Alluxio。5.如权利要求4所述的基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法，其特征在于，Alluxio系统包括客户端、控制节点与工作者组件，通过控制节点与工作者组件实现在客户端应用与存储之间的高速数据交换。6.如权利要求1
‑
5任一项所述的基于神经网络和分布式缓存的Kubernetes集群资源混合调度方法，其特征在于，kubernetes对应用资源进行调度，创建容器组，使应用正常运行；当Kubernetes上的应用实例以容器组的形式调度到集群某个节点上运行起来后，根据资源调度算法决定该容器组和容器的资源配额；资源调度算法根据借贷原则，对于任意时刻t，将应用实例对某种资源R的需求表示为一个元组：(R
cur
,R
limit
,R
dr
,R
cr
,R
future
)其中，R
cur
表示实例当前对资源R的使用量，R
limit
表示实例对资源R的最大使用量，R
dr
表示该实例从其它实例借来的资源R的数值，R
cr
表示该实例将资源R借给其它实例的数值，R
future
表示未来某个时间段内实例对资源R的平均使用量；定义借方为：从其它实例借用了资源；定义贷方为：将资源借出给了其它实例；
对于该元组，定义的限制...
【专利技术属性】
技术研发人员：杨飞，钟生海，吴江，丁晓东，平笑柔，苏醒，
申请(专利权)人：北京计算机技术及应用研究所，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。