【技术实现步骤摘要】
数据传输方法、装载、存储介质及电子装置
本申请涉及数据传输
，具体而言，涉及一种数据传输方法、装载、存储介质及电子装置。
技术介绍
业务系统在运行的过程中会产生业务数据，随着计算机技术的发展，让大数据创造大价值，是现在企业发展的趋势，因而需要将业务数据应用到大数据分析中。但是，在相关技术中，大多情况下业务数据和大数据系统是两个不同的环境，为了实现运用大数据创造更多的数据价值，需要将现有业务数据导入到大数据系统中，这样才能给后期的数据应用提供基础。目前数据导入主要分为实时数据导入和离线数据导入，实时数据导入和离线数据导入都存在多种具体的导入方法，在离线数据的导入的过程中，常常出现由于采用的数据导入方式不合适，使得数据传输效率低的问题。针对相关技术中采用离线传输方式将业务系统的业务数据传输至数据系统时，导入效率低的问题，目前尚未提出有效的解决方案。
技术实现思路
本申请提供一种数据传输方法、装载、存储介质及电子装置，以解决相关技术中采用离线传输方式将业务系统的业务数据传输至数据系统时，导入效率低...
【技术保护点】
1.一种数据传输方法，其特征在于，包括：/n在接收到目标指令的情况下，将业务系统的存储服务器内的文件，传输至数据库系统的主节点的服务器的目标目录下，并检测所述目标目录对应的文件的大小，其中，所述目标指令用于指示将所述业务系统的存储服务器内的文件导入至所述数据库系统；/n在所述目标目录对应的文件小于等于预设容量的情况下，将所述目标目录对应的文件通过所述主节点导入至所述数据库系统的多个数据节点中；/n在所述目标目录对应的文件大于所述预设容量的情况下，通过GPFDIST服务将所述目标目录对应的文件导入所述数据库系统的所述多个数据节点中。/n
【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
在接收到目标指令的情况下，将业务系统的存储服务器内的文件，传输至数据库系统的主节点的服务器的目标目录下，并检测所述目标目录对应的文件的大小，其中，所述目标指令用于指示将所述业务系统的存储服务器内的文件导入至所述数据库系统；
在所述目标目录对应的文件小于等于预设容量的情况下，将所述目标目录对应的文件通过所述主节点导入至所述数据库系统的多个数据节点中；
在所述目标目录对应的文件大于所述预设容量的情况下，通过GPFDIST服务将所述目标目录对应的文件导入所述数据库系统的所述多个数据节点中。
2.根据权利要求1所述的方法，其特征在于，在所述目标目录对应的文件大于所述预设容量的情况下，通过GPFDIST服务将所述目标目录对应的文件导入所述数据库系统的多个数据节点中之前，所述方法还包括：
在所述目标目录对应的文件大于所述预设容量的情况下，判断所述目标目录对应的文件的个数是否大于预设数量；
在所述目标目录对应的文件的个数小于等于所述预设数量的情况，将所述目标目录对应的文件通过所述主节点导入至所述数据库系统的多个数据节点中；
在所述目标目录对应的文件的个数大于所述预设数量的情况，执行通过GPFDIST服务将所述目标目录对应的文件导入所述数据库系统的多个数据节点中的步骤。
3.根据权利要求1所述的方法，其特征在于，将所述目标目录对应的文件通过所述主节点导入至所述数据库系统的多个数据节点中包括：
在所述主节点中确定文件存储的元数据，其中，所述文件存储的元数据至少包括：待导入的文件的源存储地址以及所述待导入的文件的目的存储地址；基于所述文件存储的元数据，采用网络传输的方式将所述目标目录对应的文件导入至所述多个数据节点。
4.根据权利要求1所述的方法，其特征在于，通过GPFDIST服务将所述目标目录对应的文件导入所述数据库系统的多个数据节点中包括：
启动GPFDIST服务，并创建所述数据库系统的外部表，其中，所述外部表中至少存储有待导入的文件的源存储地址；
在所述GPFDIST服务接收到所述数据节点的连接的情况下，通过所述数据库系统的外部表将所述目标目录对应的文件装载至所述多个数据节点。
5.根据权利要求4所述的方法，其特征在于，通过所述数据库系统的外部表将所述目标目录对应的文件装载至所述多个数据节点包括：
通过所述GPFDIS...
【专利技术属性】
技术研发人员：刘利强，喻波，王志海，安鹏，李永刚，
申请(专利权)人：北京明朝万达科技股份有限公司，
类型：发明
国别省市：北京;11
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。