【技术实现步骤摘要】
本说明书涉及数据传输，尤其是涉及一种本地数据加载方法及装置。
技术介绍
1、各大网络公司和银行利用多种数据库，如hadoop、hive、数据仓库、mysql等实现存储服务，部分用户终端本地存有大量数据文件，为了满足业务需求，需要将这些大量数据文件加载进不同类型的数据库中，这些大量数据文件的数据量大，现有的加载方案主要包括直接上传、文件切分上传，后端加载上传三种方式，其中，直接上传是指终端用户通过数据库连接终端，通过网络接口直接上传，当数据文件较小时，可以很轻松完成加载任务，但是这种上传方式内存占用过高，传统方法需要在内存中处理和拼接数据块，导致内存占用过高，限制了处理超大数据文件的能力，当数据文件过大，加载过程容易受本地终端性能和网络连接影响，导致加载失败，文件切分上传是指终端用户对数据文件进行切分，分割成多个小型数据文件，再通过数据库终端进行多次上传操作，之后再进行远程拼接加载，但是这种上传方式受限于本地终端性能，数据拼接耗时，数据加载完成后，需要进行数据拼接操作，增加了数据加载的时间和复杂度，无法传输较大文件且并发能力受到较大局限，...
【技术保护点】
1.一种本地数据加载方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述加载任务信息包括目标任务信息和目标数据库信息；所述目标任务信息包括目标数据、传输速度、调度策略、调度节点组、加载任务并发数；所述目标数据库信息包括目标数据库类型、目标数据库地址、访问凭证和目标表参数。
3.根据权利要求2所述的方法，其特征在于，获取数据加载请求对应的加载任务信息后，进一步包括：
4.根据权利要求3所述的方法，其特征在于，将所述目标数据库信息与所述数据探查接口进行对接，以校验目标数据库信息，包括：
5.根据权...
【技术特征摘要】
1.一种本地数据加载方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述加载任务信息包括目标任务信息和目标数据库信息；所述目标任务信息包括目标数据、传输速度、调度策略、调度节点组、加载任务并发数；所述目标数据库信息包括目标数据库类型、目标数据库地址、访问凭证和目标表参数。
3.根据权利要求2所述的方法，其特征在于，获取数据加载请求对应的加载任务信息后，进一步包括：
4.根据权利要求3所述的方法，其特征在于，将所述目标数据库信息与所述数据探查接口进行对接，以校验目标数据库信息，包括：
5.根据权利要求3所述的方法，其特征在于，校验目标数据库信息后，进一步包括：
6.根据权利要求1所述的方法，其特征在于，所述对存储于本地的目标数据进行分片处理，包括：
7.根据权利要求1所述的方法，其特征在于，所述分片处理结果包括分片信息和切分后的数据。
8.根据权利要求7所述的方法，其特征在于，将分片处理结果上传至与所述加载任务信息对应的存储缓存区前，进一步包括：
9.根据权利要求8所述的方法，其特征在于，将分片处理结果上传至与所述加载任务信息对应的存储缓存区，包括：
<...【专利技术属性】
技术研发人员：王晓林，康平，周骏，冯云青，解英杰，马兴宇，
申请(专利权)人：上海浦东发展银行股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。