【技术实现步骤摘要】
本申请涉及数据导入,尤其涉及一种数据导入方法、装置、设备及存储介质。
技术介绍
1、由于大数据相关应用的蓬勃发展,存在很多需要将海量数据导入到线上服务进行查询的应用场景,具体的,在上游数据挖掘端将相关数据导入至在线存储的同时,下游服务可以通过调用在线存储的方式进行数据查询。
2、然而,现有的数据导入方案更多地关注导入便利性和异构性导入的支持情况,却很少关注数据导入过程对下游服务调用的影响,例如,大量数据并行导入线上存储可能会使得下游服务对线上存储的调用效率降低,因此,为了平衡数据导入性能和下游服务质量,需要提供一种更加精准有效的数据导入方案。
技术实现思路
1、本申请提供了一种数据导入方法、装置、设备及存储介质,通过导入关联信息和下游服务调用信息建立数据导入性能和下游服务性能间的自动反馈机制,可以在提升数据导入效率的同时,提升下游数据调用端的服务质量,本申请技术方案如下:
2、一方面,提供了一种数据导入方法,所述方法包括:
3、响应于针对目标数据的数据导
...【技术保护点】
1.一种数据导入方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述导入关联信息包括:所述导入任务队列的任务并行信息和所述导入任务队列的任务排队信息,所述下游服务调用信息包括:数据调用耗时信息和数据调用超时信息,所述基于所述导入关联信息和所述下游服务调用信息进行任务调度分析,得到任务调度指示信息包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6
...【技术特征摘要】
1.一种数据导入方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述导入关联信息包括:所述导入任务队列的任务并行信息和所述导入任务队列的任务排队信息,所述下游服务调用信息包括:数据调用耗时信息和数据调用超时信息,所述基于所述导入关联信息和所述下游服务调用信息进行任务调度分析,得到任务调度指示信息包括:
3.根据权利要求2所述的方法,其特征在于,所述方法还包括:
4.根据权利要求1所述的方法,其特征在于,所述方法还包括:
5.根据权利要求1所述的方法,其特征在于,所述方法还包括:
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
8.根据权利要求1至7任一所述的方法...
【专利技术属性】
技术研发人员:彭承晴,
申请(专利权)人:腾讯科技北京有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。