任务处理方法和装置制造方法及图纸

技术编号:19489110 阅读:40 留言:0更新日期:2018-11-17 12:02
本发明专利技术公开了一种任务处理方法和装置。该方法包括:将待处理的任务进行拆分,得到多个拆分任务,其中,待处理的任务在运行时占用的CPU超过预设阈值;将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收多个目标虚拟机发送的运行结果。通过本发明专利技术,达到了提高大数据分析时的速度的效果。

【技术实现步骤摘要】
任务处理方法和装置
本专利技术涉及计算机领域,具体而言,涉及一种任务处理方法和装置。
技术介绍
随着日常业务中收集到的用户行为数据爆炸式增长,在单机上完成复杂的计算任务已变的难以实现,所需的时间也难以接受,需要解决大量数据的计算任务,快速响应业务需求,相关技术中,都是在单台机器上完成计算的,计算过程会经常出现异常,例如,过程缓慢等待时间久,一旦出现错误则其他计算都无法继续。针对相关技术中在单台机器上进行大数据分析时速度慢的问题,目前尚未提出有效的解决方案。
技术实现思路
本专利技术的主要目的在于提供一种任务处理方法和装置,以解决单台机器上进行大数据分析时速度慢的问题。为了实现上述目的,根据本专利技术的一个方面,提供了一种任务处理方法,该方法包括:将待处理的任务进行拆分,得到多个拆分任务,其中,所述待处理的任务在运行时占用的CPU超过预设阈值;将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收多个目标虚拟机发送的运行结果。进一步地,将待处理的任务进行拆分,得到多个拆分任务包括:将待处理的任务按照逻辑进行拆分,得到多个拆分任务。进一步地,将待处理的任务进行拆分,得到多个拆分任务包括:通过任务调度服务器根据任务内容和任务数量以及所述目标虚拟机的数量进行分布式配置,得到配置结果;根据所述配置结果对所述待处理的任务进行拆分,得到多个拆分任务;根据所述配置结果将多个拆分任务分别发送到对应的所述目标虚拟机中。进一步地,所述运行结果包括运行成功或运行失败,在接收多个目标虚拟机发送的运行结果之后,所述方法还包括:在所述运行结果为失败的情况下,通过所述任务调度服务器对运行失败的任务进行重新配置。进一步地,在将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果之前或之后,所述方法还包括:所述任务调度服务器与所述目标虚拟机保持心跳连接。进一步地,在将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果之后,所述方法还包括:将所述运行结果保存到缓存数据库中。为了实现上述目的,根据本专利技术的另一方面,还提供了一种任务处理装置,该装置包括:拆分单元,用于将待处理的任务进行拆分,得到多个拆分任务,其中,所述待处理的任务在运行时占用的CPU超过预设阈值;配置单元,用于将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收单元,用于接收多个目标虚拟机发送的运行结果。进一步地,所述拆分单元用于:将待处理的任务按照逻辑进行拆分,得到多个拆分任务。为了实现上述目的,根据本专利技术的另一方面,还提供了一种存储介质,包括存储的程序,其中,在所述程序运行时控制所述存储介质所在设备执行本专利技术所述的任务处理方法。为了实现上述目的,根据本专利技术的另一方面,还提供了一种处理器,用于运行程序,其中,所述程序运行时执行本专利技术所述的任务处理方法。本专利技术通过将待处理的任务进行拆分,得到多个拆分任务,其中,待处理的任务在运行时占用的CPU超过预设阈值;将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收多个目标虚拟机发送的运行结果,解决了在单台机器上进行大数据分析时速度慢的问题,进而达到了提高大数据分析时的速度的效果。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解,本专利技术的示意性实施例及其说明用于解释本专利技术,并不构成对本专利技术的不当限定。在附图中:图1是根据本专利技术实施例的任务处理方法的流程图;图2是根据本专利技术实施例的任务处理的整体示意图;图3是根据本专利技术实施例的任务处理的单个单元的示意图;以及图4是根据本专利技术实施例的任务处理装置的示意图。具体实施方式需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。为了使本
的人员更好地理解本申请方案,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分的实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本申请保护的范围。需要说明的是,本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本申请的实施例。此外,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖不排他的包含,例如,包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元,而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。为了便于描述,以下对本申请实施例涉及的几个术语进行说明:分布式配置:程序配置存储在云端,缓存在所有分布式部署的服务主机上。主配置可以根据需要随时变更,云端实时(极低延迟)地向订阅服务推送配置内容。订阅服务可以在下一次读取配置时获取到变更内容。消息服务:消息服务提供稳定和可靠的消息传递,可以作为任务分发传递通道。同时消息服务自带服务发现和负载均衡。消息服务的重试和完成后响应的能力也为分析任务的高可用和进度监控提供了实现。分布式缓存:分布式缓存相较于数据库和硬盘具有更快速的读写能力,考虑到计算数据在计算过程中会被多次读取,且计算产生的结果也需要重复快速的读取,因此利用Redis等缓存服务能极大的提高分析性能,减少使用成本。本专利技术实施例提供了一种任务处理方法。图1是根据本专利技术实施例的任务处理方法的流程图,如图1所示,该方法包括以下步骤:步骤S102:将待处理的任务进行拆分,得到多个拆分任务,其中,待处理的任务在运行时占用的CPU超过预设阈值。步骤S104:将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果。步骤S106:接收多个目标虚拟机发送的运行结果。该实施例采用将待处理的任务进行拆分,得到多个拆分任务,其中,待处理的任务在运行时占用的CPU超过预设阈值;将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收多个目标虚拟机发送的运行结果,解决了在单台机器上进行大数据分析时速度慢的问题,进而达到了提高大数据分析时的速度的效果。在本专利技术实施例中,待处理的任务可以是多个,多个待处理的任务可以拆分,每个拆分后的拆分任务可以独立运行,将每个可独立运行的拆分任务发送到不同的虚拟机上运行可以独立运行,减少多个任务的排队等待时间,因而可以解决在单台机器上进行大数据分析时速度慢的问题,进而达到了提高大数据分析时的速度的效果。可选地,将待处理的任务进行拆分,得到多个拆分任务可以是:将待处理的任务按照逻辑进行拆分,得到多个拆分任务。在对待处理的任务进行拆分时,可以通过逻辑进行拆分,这样可以最大程度的减少拆分对任务的执行带来的影响,例如,A任务是依托于B任务的执行结果来运行的,这种情况下,A任务和B任务就不适合拆分到两个虚拟机中运行,而是需要在一个虚拟机中运行。可选地,将待处理的任务进行拆分,得到多个拆分任务包括:通过任务调度服务器根据任务内容和任务数量以及目标虚拟机的数量进行分布式配置,得到配置结果;根据配置结果对待处理的任务进行拆分,得到多个拆分任务;根据配置结果将本文档来自技高网
...

【技术保护点】
1.一种任务处理方法,其特征在于,包括:将待处理的任务进行拆分,得到多个拆分任务,其中,所述待处理的任务在运行时占用的CPU超过预设阈值;将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收多个目标虚拟机发送的运行结果。

【技术特征摘要】
1.一种任务处理方法,其特征在于,包括:将待处理的任务进行拆分,得到多个拆分任务,其中,所述待处理的任务在运行时占用的CPU超过预设阈值;将多个拆分任务发送到分布式配置到多个目标虚拟机运行,得到运行结果;接收多个目标虚拟机发送的运行结果。2.根据权利要求1所述的方法,其特征在于,将待处理的任务进行拆分,得到多个拆分任务包括:将待处理的任务按照逻辑进行拆分,得到多个拆分任务。3.根据权利要求1所述的方法,其特征在于,将待处理的任务进行拆分,得到多个拆分任务包括:通过任务调度服务器根据任务内容和任务数量以及所述目标虚拟机的数量进行分布式配置,得到配置结果;根据所述配置结果对所述待处理的任务进行拆分,得到多个拆分任务;根据所述配置结果将多个拆分任务分别发送到对应的所述目标虚拟机中。4.根据权利要求3所述的方法,其特征在于,所述运行结果包括运行成功或运行失败,在接收多个目标虚拟机发送的运行结果之后,所述方法还包括:在所述运行结果为失败的情况下,通过所述任务调度服务器对运行失败的任务进行重新配置。5.根据权利要求3所述的方法,其特征在于,在将多个拆分任...

【专利技术属性】
技术研发人员:王嘉伟
申请(专利权)人:北京趣拿信息技术有限公司
类型:发明
国别省市:北京,11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1