一种数据传输方法、装置、设备及存储介质制造方法及图纸

本申请公开了一种数据传输方法、装置、设备及存储介质，包括：获取数据传输任务的传输配置信息；根据所述传输配置信息，从至少两个执行引擎中选取目标执行引擎；创建所述目标执行引擎对应的执行引擎实例；基于所述执行引擎实例执行所述数据传输任务；从而根据当前数据传输任务的传输配置信息在多个执行引擎中选取一个适应当前待传输数据的执行引擎，在提高数据传输性能的同时，避免传输资源的浪费。避免传输资源的浪费。避免传输资源的浪费。

【技术实现步骤摘要】
一种数据传输方法、装置、设备及存储介质


[0001]本申请涉及计算机
，涉及但不限于一种数据传输方法、装置设备、及存储介质。

技术介绍

[0002]数据传输工具用于将数据从发送端传输至接收端。相关技术中，数据传输工具包括：异构数据源离线同步工具DataX、在Hadoop(Hive)与传统的数据库(mysql、postgresql等)之间进行数据的传递的工具Sqoop等。其中，DataX只在单节点运行，存在单点故障和输入输出(Input
‑
Output，IO)瓶颈，不适合大数据量的数据抽取，且传输效率较低。Sqoop将导入或导出命令翻译成映射归约(MapReduce)程序来实现数据的传送，因此，Sqoop只适用于大数据量的任务传输，而且启动MapReduce任务需要一定时间，映射(map)阶段之后还要进行数据的排序和归约(reduce)阶段，不适用于小数据量的任务传输。
[0003]因此，相关技术中的数据传输工具无法适应不同的传输任务。

技术实现思路

[0004]本申请实施例提供一种数据传输方法、装本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：获取数据传输任务的传输配置信息；根据所述传输配置信息，从至少两个执行引擎中选取目标执行引擎；创建所述目标执行引擎对应的执行引擎实例；基于所述执行引擎实例执行所述数据传输任务。2.根据权利要求1所述的方法，其特征在于，所述传输配置信息包括：表征用户指定的执行引擎的引擎信息；所述根据所述传输配置信息，从至少两个执行引擎中选取目标执行引擎，包括：选取所述至少两个执行引擎中，所述引擎信息对应的执行引擎为所述目标执行引擎。3.根据权利要求1所述的方法，其特征在于，所述传输配置信息包括：指示所述待传输数据的传输端的数据源，所述数据源包括以下至少之一：指示所述待传输数据的发送端的源数据源和指示所述待传输的数据的接收端的目标数据源；所述根据所述传输配置信息，从至少两个执行引擎中选取目标执行引擎，包括：根据所述数据源确定所述传输端是否包括数据库；当所述传输端包括数据库的情况下，选取所述至少两个执行引擎中的第一执行引擎为目标执行引擎；所述第一执行引擎利用数据库的原生接口进行数据的读写。4.根据权利要求1或3所述的方法，其特征在于，所述传输配置信息包括：所述待传输数据的数据量；所述根据所述传输配置信息，从至少两个执行引擎中选取目标执行引擎，包括：当所述数据量大于数据量阈值，选取所述至少两个执行引擎中的第二执行引擎为所述目标执行引擎；所述第二执行引擎用于启动设定数量个映射，并在每一所述映射中执行一个作业的数据的读写；当所述数据量小于或等于所述数据量阈值，选取所述至少两个执行引擎中...

【专利技术属性】
技术研发人员：王玉雷，
申请(专利权)人：中国移动通信集团有限公司，
类型：发明
国别省市：