【技术实现步骤摘要】
基于标签引擎的任务管理方法、装置、设备及存储介质
本申请涉及人工智能的数据处理
,尤其涉及大数据、标签引擎技术和任务管理
,具体涉及一种基于标签引擎的任务管理方法、装置、设备及存储介质。
技术介绍
随着大数据处理技术的发展,标签引擎系统的应用越来越普遍。目前的标签引擎系统,需要依赖不同的第三方计算平台,如计算引擎Spark平台、分布式系统Hadoop平台或弗林克Flink等计算平台进行标签任务的计算处理,因此,如果标签引擎系统需要进行任务管理,如查看任务进度、任务日志时,需要用户手动跳转到不同的第三方计算平台进行查询,管理操作效率低,亟需改进。
技术实现思路
本公开提供了一种基于标签引擎的任务管理方法、装置、设备及存储介质。根据本公开的一方面,提供了一种基于标签引擎的任务管理方法,包括:通过预先配置的对外服务接口,获取待执行的标签任务;根据所述标签任务,确定待调用的目标计算平台;根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目 ...
【技术保护点】
1.一种基于标签引擎的任务管理方法,包括:/n通过预先配置的对外服务接口,获取待执行的标签任务;/n根据所述标签任务,确定待调用的目标计算平台;/n根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。/n
【技术特征摘要】
1.一种基于标签引擎的任务管理方法,包括:
通过预先配置的对外服务接口,获取待执行的标签任务;
根据所述标签任务,确定待调用的目标计算平台;
根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务。
2.根据权利要求1所述的方法,其中,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务,包括:
若所述标签任务为信息查询任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台获取待查询信息;
通过所述预先配置的对外服务接口展示所述待查询信息。
3.根据权利要求2所述的方法,其中,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,包括:
启动信息抓取线程池;
采用所述信息抓取线程池,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台。
4.根据权利要求2所述的方法,还包括:
将所述待查询信息存储在预设存储空间。
5.根据权利要求2-4中任一项所述的方法,其中,所述待查询信息包括:任务运行状态、任务日志和任务分析结果中的至少一种。
6.根据权利要求1所述的方法,其中,根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以通过所述目标计算平台执行所述标签任务,包括:
若所述标签任务为操作执行任务,则根据所述目标计算平台预先配置的平台信息和调用接口,访问所述目标计算平台,以控制所述目标计算平台执行所述标签任务。
7.根据权利要求6所述的方法,其中,所述操作执行任务包括:提交任务、启动任务、终止任务和异常处理任务中的至少一种。
8.根据权利要求1所述的方法,还包括:
在执行所述标签任务的过程中,根据通用任务状态逻辑和所述目标计算平台的目标任务状态逻辑进行所述标签任务的状态信息转换。
9.根据权利要求1所述的方法,还包括:
通过所述预先配置的对外服务接口,调整所述标签引擎提供的标签任务服务逻辑。
10.一种基于标签引擎的任务管理装置,包括:
标签任务获取模块,用于通过预先配置的对外服务接口,获取待执行的标签任务;
计算平台确定模块,用于根据所述标签任务,确定待调用的目标计算平台;
标签任务执行模块,用于根据所述目标计算平台预先配置的平台信息和调用接口,访...
【专利技术属性】
技术研发人员:崔轩,
申请(专利权)人:北京百度网讯科技有限公司,
类型:发明
国别省市:北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。