一种数据传输方法、装置、设备及存储介质制造方法及图纸

本发明专利技术公开了一种数据传输方法、装置、设备及存储介质，涉及分布式技术领域，该数据传输方法包括：接收来自于数据发送方的子文件，并将所述子文件存储至第一文件目录；采用预设的加密算法对所述子文件进行解密，并将解密后的子文件移动至第二文件目录；接收来自于分布式文件监听工具的文件传输消息并进行响应，基于所述文件传输消息对所述第二文件目录中的子文件进行文件合并，生成目标文件；在所述目标文件的数量达到预设目标数量阈值时，则开启批量文件处理作业。通过上述技术方案，实现了线程资源的节约，同时提高了批量文件处理作业的时效性。

【技术实现步骤摘要】

本专利技术涉及分布式，尤其涉及一种数据传输方法、装置、设备及存储介质。

技术介绍

1、在分布式系统中，存在对大量文件进行批量处理的过程，且这些文件通常又不在同一台物理服务器上。当前分布式批量文件处理时，某些业务场景下需要等待多个文件到齐后才允许开始。

2、目前分布式批量文件处理存在两种处理方式，其一为通过创建独立线程，例如，每1秒扫描一次文件目录，并判断文件目录下是否包含批量文件处理的所有必须文件，直至满足条件后启动批量处理作业。其二为每隔一段时间启动批量处理作业服务，当判断到文件未到齐则退出处理，当文件到齐后才真正开始批量作业的业务处理。前者消耗无端消耗内存资源，导致系统资源利用率低下。后者方案则由于循环多场次执行批量作业，时效较低。

技术实现思路

1、本专利技术提供了一种数据传输方法、装置、设备及存储介质，降低内存资源的消耗，提高批量文件处理的效率。

2、根据本专利技术的一方面，提供了一种数据传输方法，应用于数据接收方，该方法包括：

3、接收来自于数据发送方的子文件，并本文档来自技高网...

【技术保护点】

1.一种数据传输方法，其特征在于，应用于数据接收方，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，其中，所述文件传输消息中包括子文件的文件命名信息、文件摘要信息以及子文件数量阈值；

3.根据权利要求2所述的方法，其特征在于，所述第三文件目录所存储的子文件为待合并的文件，具有相同的前置命名信息。

4.根据权利要求2所述的方法，其特征在于，根据所述文件命名信息中的前置命名信息对第二文件目录中的子文件进行遍历，确定出目标子文件，包括：

5.根据权利要求2所述的方法，其特征在于，所述前置命名信息为子文件所属母文件的文件命名信息，所述后置...

【技术特征摘要】

1.一种数据传输方法，其特征在于，应用于数据接收方，所述方法包括：

2.根据权利要求1所述的方法，其特征在于，其中，所述文件传输消息中包括子文件的文件命名信息、文件摘要信息以及子文件数量阈值；

3.根据权利要求2所述的方法，其特征在于，所述第三文件目录所存储的子文件为待合并的文件，具有相同的前置命名信息。

4.根据权利要求2所述的方法，其特征在于，根据所述文件命名信息中的前置命名信息对第二文件目录中的子文件进行遍历，确定出目标子文件，包括：

5.根据权利要求2所述的方法，其特征在于，所述前置命名信息为子文件所属母文件的文件命名信息，所述后置命名信息用于表征子文件被切分时的切分顺序。

6.根据权利要求1所述的方法，其特征在于，采用预设...

【专利技术属性】
技术研发人员：戚海荣，吴逸，张素洁，陈兴，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：