【技术实现步骤摘要】
一种应用运行方法和装置
本专利技术涉及计算机
,尤其涉及一种应用运行方法和装置。
技术介绍
Spark是新一代分布式内存计算框架,Apache开源的顶级项目,能够更好地适用于数据挖掘、机器学习算法,极大提升开发效率。而Sparkonkubernetes是一种基于容器化的调度方案,基于kubernetes自身强大的容器管理和编排特性,spark可以和其他的容器服务混合部署。该方案从技术积累上比较新,也面临着一系列的问题,其中,externalshuffleservice是spark的一个外围组件,其恢复方法是一个关键性问题,决定了sparkonkubernetes的稳定和性能,externalshuffleservice是Spark的一个外围组件,负责存储spark的中间数据。其中,Kubernetes是容器集群管理系统,为容器化的应用提供部署运行、资源调度、负载均衡、服务发现和动态伸缩等一系列完整功能,提高了大规模容器集群管理的便捷性。在实现本专利技术过程中,专利技术人发现现有技术中至少存在如下 ...
【技术保护点】
1.一种应用运行方法,其特征在于,包括:/n接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;/n基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组件对应的计算进程。/n
【技术特征摘要】
1.一种应用运行方法,其特征在于,包括:
接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;
基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组件对应的计算进程。
2.根据权利要求1所述的方法,其特征在于,杀掉所述外围组件对应的计算进程,包括:
对计算进程添加探针检查,以监听外围组件端口;
根据预设检查次数阈值,确定所述端口异常,杀掉对应的计算进程。
3.根据权利要求1或2所述的方法,其特征在于,杀掉所述外围组件对应的计算进程之后,包括:
重新调度以启动计算进程,接收计算进程丢失消息,删除所述计算进程对应的所有shuffle元信息。
4.根据权利要求1所述的方法,其特征在于,将所述外围组件注册的信息写入磁盘中之后,包括:
触发外围组件重启事件,加载磁盘中的全部信息,以恢复所述外围组件数据;其中,外围组件配置成容器集群管理系统中DaemonSet的方式。
5.一种应用运行装置,其特征在于,包括:
接收模块,用于接收外围组件重启事件,通过挂载文件,将所述外围组件注册的信息写入磁盘中;
处理模块,用于基于预设时间阈值,确定外围组件重启事件失败,杀掉所述外围组...
【专利技术属性】
技术研发人员:范振,
申请(专利权)人:北京沃东天骏信息技术有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。