一种应用运行方法和装置制造方法及图纸

技术编号:28320512 阅读:40 留言:0更新日期:2021-05-04 13:00
本发明专利技术公开了应用运行方法和装置,涉及计算机技术领域。该方法的一具体实施方式包括接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组件对应的计算进程。从而,本发明专利技术的实施方式能够解决现有技术外围组件异常导致整个应用失败的问题。

【技术实现步骤摘要】
一种应用运行方法和装置
本专利技术涉及计算机
,尤其涉及一种应用运行方法和装置。
技术介绍
Spark是新一代分布式内存计算框架,Apache开源的顶级项目,能够更好地适用于数据挖掘、机器学习算法,极大提升开发效率。而Sparkonkubernetes是一种基于容器化的调度方案,基于kubernetes自身强大的容器管理和编排特性,spark可以和其他的容器服务混合部署。该方案从技术积累上比较新,也面临着一系列的问题,其中,externalshuffleservice是spark的一个外围组件,其恢复方法是一个关键性问题,决定了sparkonkubernetes的稳定和性能,externalshuffleservice是Spark的一个外围组件,负责存储spark的中间数据。其中,Kubernetes是容器集群管理系统,为容器化的应用提供部署运行、资源调度、负载均衡、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的便捷性。在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下问题:如果e本文档来自技高网...

【技术保护点】
1.一种应用运行方法,其特征在于,包括:/n接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;/n基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组件对应的计算进程。/n

【技术特征摘要】
1.一种应用运行方法,其特征在于,包括:
接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;
基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组件对应的计算进程。


2.根据权利要求1所述的方法,其特征在于,杀掉所述外围组件对应的计算进程,包括:
对计算进程添加探针检查,以监听外围组件端口;
根据预设检查次数阈值,确定所述端口异常,杀掉对应的计算进程。


3.根据权利要求1或2所述的方法,其特征在于,杀掉所述外围组件对应的计算进程之后,包括:
重新调度以启动计算进程,接收计算进程丢失消息,删除所述计算进程对应的所有shuffle元信息。


4.根据权利要求1所述的方法,其特征在于,将所述外围组件注册的信息写入磁盘中之后,包括:
触发外围组件重启事件,加载磁盘中的全部信息,以恢复所述外围组件数据;其中,外围组件配置成容器集群管理系统中DaemonSet的方式。


5.一种应用运行装置,其特征在于,包括:
接收模块,用于接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;
处理模块,用于基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组...

【专利技术属性】
技术研发人员:范振
申请(专利权)人:北京沃东天骏信息技术有限公司
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1