一种数据导入方法、装置、设备及存储介质制造方法及图纸

技术编号:42243463 阅读:25 留言:0更新日期:2024-08-02 13:54
本申请公开了一种数据导入方法、装置、设备及存储介质,具体的,该方法包括:响应于针对目标数据的数据导入任务,获取目标存储区域对应的导入关联信息和下游服务调用信息,导入关联信息用于表征目标存储区域对应的导入任务队列的运行状态,下游服务调用信息用于表征目标存储区域与下游数据调用端之间的数据调用链路的运行状态;基于导入关联信息和下游服务调用信息进行任务调度分析,得到任务调度指示信息;向数据导入平台发送任务调度指示信息,以使数据导入平台基于任务调度指示信息,执行数据导入任务。利用本申请提供的方案,可以建立数据导入性能和下游服务性能间的自动反馈机制,从而在提升数据导入效率的同时,保证下游服务质量。

【技术实现步骤摘要】

本申请涉及数据导入,尤其涉及一种数据导入方法、装置、设备及存储介质


技术介绍

1、由于大数据相关应用的蓬勃发展,存在很多需要将海量数据导入到线上服务进行查询的应用场景,具体的,在上游数据挖掘端将相关数据导入至在线存储的同时,下游服务可以通过调用在线存储的方式进行数据查询。

2、然而,现有的数据导入方案更多地关注导入便利性和异构性导入的支持情况,却很少关注数据导入过程对下游服务调用的影响,例如,大量数据并行导入线上存储可能会使得下游服务对线上存储的调用效率降低,因此,为了平衡数据导入性能和下游服务质量,需要提供一种更加精准有效的数据导入方案。


技术实现思路

1、本申请提供了一种数据导入方法、装置、设备及存储介质,通过导入关联信息和下游服务调用信息建立数据导入性能和下游服务性能间的自动反馈机制,可以在提升数据导入效率的同时,提升下游数据调用端的服务质量,本申请技术方案如下:

2、一方面,提供了一种数据导入方法,所述方法包括:

3、响应于针对目标数据的数据导入任务,获取目标存储本文档来自技高网...

【技术保护点】

1.一种数据导入方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述导入关联信息包括:所述导入任务队列的任务并行信息和所述导入任务队列的任务排队信息,所述下游服务调用信息包括:数据调用耗时信息和数据调用超时信息,所述基于所述导入关联信息和所述下游服务调用信息进行任务调度分析,得到任务调度指示信息包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述...

【技术特征摘要】

1.一种数据导入方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述导入关联信息包括:所述导入任务队列的任务并行信息和所述导入任务队列的任务排队信息,所述下游服务调用信息包括:数据调用耗时信息和数据调用超时信息,所述基于所述导入关联信息和所述下游服务调用信息进行任务调度分析,得到任务调度指示信息包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述方法还包括:

7.根据权利要求6所述的方法,其特征在于,所述方法还包括:

8.根据权利要求1至7任一所述的方法...

【专利技术属性】
技术研发人员:彭承晴
申请(专利权)人:腾讯科技北京有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1