【技术实现步骤摘要】
本申请属于数据处理,尤其涉及一种数据开发平台的数据处理方法、装置及数据开发平台。
技术介绍
1、数据开发平台采用前端微服务、分布式处理等开源技术,以数据库作为数据存储中间件,打造具有数据全生命周期的综合治理能力的一站式大数据开发平台,覆盖数据采集集成、数据清洗加工、数据标注、数据分析等场景,提供各类服务,实现数据通道互联、数据价值互享,助力政务数据资产超市构建,服务政企数字化转型升级。
2、随着企业业务系统增多以及数据增多,现有的数据开发平台,随着时间的积累,每天调度任务也会剧增,资源需求也增多,数据开发任务无法按时运行完成,就无法为客户高效地提供数据服务。
3、上述数据开发存在安排任务运行顺序和运行资源不合理和不灵活的问题。
技术实现思路
1、本申请旨在至少解决现有技术中存在的技术问题之一。为此,本申请提出一种数据开发平台的数据处理方法、装置及数据开发平台,通过基于数据开发平台的任务自调度,灵活安排每个待执行任务的目标执行顺序,合理分配任务运行资源,避免浪费,同时
...【技术保护点】
1.一种数据开发平台的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据开发平台的数据处理方法,其特征在于,所述待执行任务的任务属性包括任务类型和生成时刻,所述基于所述多个待执行任务的任务属性和所述运行时长,确定所述多个待执行任务的目标执行顺序,包括:
3.根据权利要求2所述的数据开发平台的数据处理方法,其特征在于,所述基于所述执行优先级、所述生成时刻和所述运行时长,确定所述多个待执行任务的目标执行顺序,包括:
4.根据权利要求3所述的数据开发平台的数据处理方法,其特征在于,所述根据所述优先级特征值、所述进程特征值和所述
...【技术特征摘要】
1.一种数据开发平台的数据处理方法,其特征在于,包括:
2.根据权利要求1所述的数据开发平台的数据处理方法,其特征在于,所述待执行任务的任务属性包括任务类型和生成时刻,所述基于所述多个待执行任务的任务属性和所述运行时长,确定所述多个待执行任务的目标执行顺序,包括:
3.根据权利要求2所述的数据开发平台的数据处理方法,其特征在于,所述基于所述执行优先级、所述生成时刻和所述运行时长,确定所述多个待执行任务的目标执行顺序,包括:
4.根据权利要求3所述的数据开发平台的数据处理方法,其特征在于,所述根据所述优先级特征值、所述进程特征值和所述时长特征值,确定所述目标执行顺序,包括:
5.根据权利要求1-4任一项所述的数据开发平台的数据处理方法,其特征在于,所述获取多个待执行任务执...
【专利技术属性】
技术研发人员:李明月,田丰,
申请(专利权)人:广州广电运通信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。