数据处理任务调度处理方法、装置、设备和存储介质制造方法及图纸

技术编号:46326708 阅读:8 留言:0更新日期:2025-09-09 19:07
本申请涉及一种数据处理任务调度处理方法、装置、设备和存储介质。所述方法涉及云技术,包括:确定所接收的任务处理请求携带的数据处理任务、和数据处理任务所属的任务类型,根据任务类型,从预配置参数配置策略中,获取与任务类型对应的虚拟机启动参数,作为数据处理任务的目标启动参数。对目标启动参数进行编码,得到目标启动参数对应的差分服务代码点编码值,将与差分服务代码点编码值相匹配的网络作为目标网络,将数据处理任务调度至目标网络,通过目标网络执行数据处理任务以获得任务执行结果。采用本方法能够为不同数据处理任务灵活设置与其相匹配的目标网络,在满足任务处理需求的同时节省网络带宽成本,提升了任务处理效率。

【技术实现步骤摘要】

本申请涉及云,特别是涉及一种数据处理任务调度处理方法、装置、计算机设备、存储介质和计算机程序产品。


技术介绍

1、随着人云技术的发展,以及各类大数据平台的推广使用,为提升对大数据平台上各数据处理任务的处理效率,出现了基于数据处理任务进行流量调度的方式。传统上,通常采用对大数据平台上的各数据处理任务进行批量调度的方式,来减少任务处理过程中的重复、繁琐操作,以达到节约资源消耗和提升任务处理效率的目的。

2、然而,现有的大数据平台为了稳定性和成本考虑,往往都是跨域部署,业务之间需要进行跨域访问,存在离线业务和在线业务混部的情况,且不同类型的业务(包括离线业务和在线业务)所需消耗的网络资源通常是不同,若采用传统的批量调度或规模化调度的方式,由于其固定单一和批量化的调度模式,无法满足在离线业务和在线业务混部的场景下的资源调度需求,存在资源浪费的情况,导致基于大数据平台的数据业务处理效率较低的问题。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种能够减少数据业务处理过程中的资源浪费,提升基于大数据本文档来自技高网...

【技术保护点】

1.一种数据处理任务调度处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将与所述差分服务代码点编码值相匹配的网络,作为目标网络,并将所述数据处理任务调度至所述目标网络,以通过所述目标网络执行所述数据处理任务,获得任务执行结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述将与所述差分服务代码点编码值相匹配的网络,作为目标网络,并将所述数据处理任务调度至所述目标网络,以通过所述目标网络执行所述数据处理任务,获得任务执行结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述将与所述差分服务代码点编码值相匹配...

【技术特征摘要】

1.一种数据处理任务调度处理方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述将与所述差分服务代码点编码值相匹配的网络,作为目标网络,并将所述数据处理任务调度至所述目标网络,以通过所述目标网络执行所述数据处理任务,获得任务执行结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述将与所述差分服务代码点编码值相匹配的网络,作为目标网络,并将所述数据处理任务调度至所述目标网络,以通过所述目标网络执行所述数据处理任务,获得任务执行结果,包括:

4.根据权利要求1所述的方法,其特征在于,所述将与所述差分服务代码点编码值相匹配的网络,作为目标网络,并将所述数据处理任务调度至所述目标网络,以通过所述目标网络执行所述数据处理任务,获得任务执行结果,包括:

5.根据权利要求1至3任意一项所述的方法,其特征在于,所述根据所述任务类型,从预配置参数配置策略中,获取与所述任务类型对应的虚拟机启动参数,作为所述数据处理任务的目标启动参数,...

【专利技术属性】
技术研发人员:张同宝方京伟孙宇杨晓峰储金辉陈鹏
申请(专利权)人:腾讯科技深圳有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1