数据传输方法和系统技术方案

本申请涉及大数据处理技术领域，特别是涉及一种数据传输方法和系统。方法包括：数据处理服务器集群获取第三方系统的原始文件，并对原始文件进行压缩处理得到多个压缩文件，将多个压缩文件传输至分布式文件系统；数据库服务器获取多个压缩文件对应的压缩文件信息表，以及数据接收服务器集群的集群信息表；数据库服务器根据压缩文件信息表，将与各个压缩文件对应的导入任务分配至数据接收服务器集群中的各目标数据接收服务器，并更新压缩文件信息表；各目标数据接收服务器根据压缩文件信息表从分布式文件系统或数据处理服务器集群中获取压缩文件，将压缩文件对应的目标文件传输至数据库服务器，以实现数据传输。采用本方法能够提高数据传输的效率。够提高数据传输的效率。够提高数据传输的效率。

【技术实现步骤摘要】
数据传输方法和系统


[0001]本申请涉及大数据处理
，特别是涉及一种数据传输方法和系统。

技术介绍

[0002]随着信息化技术的发展，数据的传输和存储越来越重要，尤其对于企业，比如交易所、登记公司、券商、基金公司和商业银行等金融机构，由于技术平台不同，每天都会涉及到大量不同类型的数据文件的传输和交互。
[0003]传统方式中，对于外部文件的传输，通常都是单个服务器节点直接与数据导入平台进行对接，实现数据的导入传输。但单个服务器节点能够处理的数据量有限，且常常会存在由于单个服务器节点的故障导致整个系统瘫痪，因而存在数据传输效率低的问题。

技术实现思路

[0004]基于此，有必要针对上述技术问题，提供一种能够提高数据传输效率的数据传输方法和系统。
[0005]第一方面，本申请提供了一种数据传输方法。所述方法包括：
[0006]数据处理服务器集群获取第三方系统的原始文件，并对所述原始文件进行处理压缩得到多个压缩文件，并将所述多个压缩文件传输至分布式文件系统；
[0007]数据库服务器获取多个所述本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，所述方法包括：数据处理服务器集群获取第三方系统的原始文件，并对所述原始文件进行处理压缩得到多个压缩文件，并将所述多个压缩文件传输至分布式文件系统；数据库服务器获取多个所述压缩文件对应的压缩文件信息表，以及数据接收服务器集群的集群信息表；所述数据库服务器根据所述压缩文件信息表，将与各个压缩文件对应的导入任务分配至所述数据接收服务器集群中的各目标数据接收服务器，并基于每个目标数据接收服务器所分配的导入任务更新所述压缩文件信息表；所述数据接收服务器集群中的目标数据接收服务器获取更新后的压缩文件信息表，并根据更新后的压缩文件信息表获取各自所对应的待处理的压缩文件信息；所述数据接收服务器集群中的目标数据接收服务器基于所述待处理的压缩文件信息，从所述分布式文件系统或所述数据处理服务器集群中获取压缩文件，并对获取的压缩文件进行解压后传输至所述数据库服务器中，以实现数据传输。2.根据权利要求1所述的方法，其特征在于，所述数据处理服务器集群获取第三方系统的原始文件，并对所述原始文件进行处理压缩得到多个压缩文件，包括：数据处理服务器集群通过第三方接口，读取第三方系统中的原始文件；将具有不同文件格式的多个原始文件分别转换成预设标准格式的目标文件；对多个所述目标文件进行压缩得到多个压缩文件。3.根据权利要求2所述的方法，其特征在于，所述将具有不同文件格式的多个原始文件分别转换成预设标准格式的目标文件，包括：通过公共接口读取每个原始文件的文件内容；将具有相同文件格式的原始文件的文件内容，写入同一个新的具有预设标准格式的文件中，得到对应的目标文件。4.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述数据处理服务器集群中的部分数据处理服务器出现故障时，所述数据处理服务器集群中断出现故障的数据处理服务器中的压缩处理操作，并将出现故障的数据处理服务器停机下线；所述数据处理服务器集群确定其他正常的数据处理服务器，通过正常的数据处理服务器重新执行所述出现故障的数据处理服务器中中断的压缩处理操作。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：当所述数据接收服务器集群中的部分数据接收服务器出现故障时，所述数据接收服务器集群中断出现故障的数据接收服务器中的导入任务，并将出现故障的数据接收服务器停机下线；所述数据接收服务器集群确定其他正常的数据接收服务器，通过正常的数据接收服务器重新执行所述出现故障的数据接收服务器中中断的导入任务。6.根据权利要求1所述的方法，其特征在于，所述方法还包括：所述...

【专利技术属性】
技术研发人员：顾言午，诸文东，陈宇婷，李泽云，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：