一种基于Paxos算法的云函数分布式系统技术方案

技术编号:24946195 阅读:66 留言:0更新日期:2020-07-17 22:56
本发明专利技术公开了一种基于Paxos算法的云函数分布式系统。它具体包括如下步骤:创建云端节点;装载作业执行器:装载过程是自动化的,在部署开始前需要指定作业执行器类型:作业类型或者检查类型;作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时,通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业执行器,被优选出的执行器使用主动竞争模块抢注该请求的处理权,由成功者处理该作业请求;检查类型的作业执行器通过RPC通信模块主动统计缓存各作业执行器的状态,并对作业执行器进行优化或横向扩容。本发明专利技术的有益效果是:降低系统作业执行器的计算量;优化整体资源使用率;动态计算决定整体系统是否要横向扩容。

【技术实现步骤摘要】
一种基于Paxos算法的云函数分布式系统
本专利技术涉及数据处理相关
,尤其是指一种基于Paxos算法的云函数分布式系统。
技术介绍
现有技术中存在以下方案:(1)一种适用于LINUX操作系统的云函数执行系统及方法,该方法针对的是在同一个Linux系统中创建一个沙箱环境用来构建执行用户提交的函数,并输出结果;在沙箱内做了各个函数进程之间的隔离。该技术所述云函数只依赖单点Linux服务,云函数健壮性几乎没有。该技术没有体现如何保障在并发状态下创建沙箱环境,执行结果的数据一致性;即横向扩展能力几乎没有。(2)分布式计算系统,该方案主要描述了分布式协调服务器在得知配置信息变更时向对应的计算节点发送修改请求,然后该节点在不重启系统即更新配置。该现有技术需要有一个分布式协调服务器,分布式协调服务器的存在降低了服务内聚性,节点变得不透明,再去发送修改指令给计算节点;这没有体现分布式计算的去中性化,横向扩展能力低。该技术没有提到高并发状态下如何保障各个计算节点的结果数据一致性。该技术的健壮性依赖于协调服务器,整体健壮性比较低。<本文档来自技高网...

【技术保护点】
1.一种基于Paxos算法的云函数分布式系统,其特征是,具体包括如下步骤:/n(1)创建云端节点:基于Zookeeper分布式服务框架,创建奇数个云端节点,每个节点选择使用容器化服务来部署;/n(2)装载作业执行器:每个作业执行器包含HTTP服务模块、云函数执行模块、主动竞争模块、繁忙积分模块、RPC通信模块和检查模块;装载过程是自动化的,部署即视为装载,在部署开始前需要指定作业执行器类型:作业类型或者检查类型;/n(3)作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时,通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业类型的作业执行器,被优选出的作业类型的作业执行器使...

【技术特征摘要】
1.一种基于Paxos算法的云函数分布式系统,其特征是,具体包括如下步骤:
(1)创建云端节点:基于Zookeeper分布式服务框架,创建奇数个云端节点,每个节点选择使用容器化服务来部署;
(2)装载作业执行器:每个作业执行器包含HTTP服务模块、云函数执行模块、主动竞争模块、繁忙积分模块、RPC通信模块和检查模块;装载过程是自动化的,部署即视为装载,在部署开始前需要指定作业执行器类型:作业类型或者检查类型;
(3)作业类型的作业执行器通过HTTP服务模块监听到HTTP请求时,通过结合调度算法与繁忙积分模块中的繁忙积分算法优选出一部分作业类型的作业执行器,被优选出的作业类型的作业执行器使用主动竞争模块抢注该请求的处理权,由成功者处理该作业请求;
(4)检查类型的作业执行器通过检查模块升级为节点检查器,节点检查器通过RPC通信模块主动统计缓存各作业执行器的状态,并对作业执行器进行优化或横向扩容。


2.根据权利要求1所述的一种基于Paxos算法的云函数分布式系统,其特征是,在步骤(2)中,当作业执行器以作业类型部署时:每个节点都会调用主动竞争模块进行HTTP服务的抢注Leader,成功抢注Leader的节点将获得提供web服务的优先权,其称为Leader状态执行器;抢注失败的则称为Follower状态执行器;当作业执行器以检查类型部署时:该节点自动转变成节点检查器,节点检查器若创建则只能设置一个,一旦作业执行器部署成节点检查器,则该节点不再参与作业执行,其称为Observer状态执行器。


3.根据权利要求2所述的一种基于Paxos算法的云函数分布式系统,其特征是,在步骤(3)中,具体操作方法为:Leader状态执行器开启HTTP服务模块监监听到HTTP请求时,通过结合调度算法与繁忙积分算法优选出一部分作业类型的作业执行器用于云函数执行权的竞争,被优选出的作业类型的作业执行器继续使用主动竞争模块抢注该请求的处理权,由成功者处理该作业请求;Follower状态执行器通过RPC通信模块定时ping节点检查器,若没有检查器则pingLeader状态执行器,如果Lea...

【专利技术属性】
技术研发人员:高海顾湘余思尚赟
申请(专利权)人:杭州趣维科技有限公司
类型:发明
国别省市:浙江;33

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1