一种数据传输方法及系统技术方案

本发明专利技术提供的一种数据传输方法及系统，该方法包括：获取原存储位置的待传输数据，待传输数据由多个KB级的存储对象构成；根据待传输数据中各存储对象的最后修改时间将待传输数据进行排序，生成待传输列表；按照待传输列表，将待传输数据分解为预设数量的待传输对象；将多个待传输对象并行传输至目标存储位置。通过依据各存储对象的最后修改时间将待传输数据进行排序，生成待传输列表。并在待传输列表生成后，将传输数据分解成多个待传输对象进行传输，优化了数据传输方式，提高了数据传输效率。

【技术实现步骤摘要】
一种数据传输方法及系统
本专利技术涉及大数据存储和蓝光存储领域，具体涉及一种数据传输方法及系统。
技术介绍
在现有的AmazonS3分布式系统中，针对存储对象在大吞吐量的数据传输或存储类型转换提出了专门的性能优化策略，以提高数据传输效率。但是现有的性能优化策略只能实现存储对象大小在MB级、GB级，甚至TB级的数据处理，而当存储空间中存储有大量的、内容较少的、KB级别的对象，当用户需要将这些对象进行数据传输时，现有的AmazonS3分布式系统会出现并发数据传输拥堵，影响数据传输效率。
技术实现思路
因此，本专利技术要解决的技术问题在于克服现有技术中在对象进行数据传输时，数据传输速度较慢的缺陷，从而提供一种数据传输方法及系统。为达到上述目的，本专利技术提供如下技术方案：第一方面，本专利技术实施例提供一种数据传输方法，包括：获取原存储位置的待传输数据，所述待传输数据由多个KB级的存储对象构成；根据待传输数据中各存储对象的最后修改时间将所述待传输数据进行排序，生成待传输列表；按照所述待传输列表，将待传输数据分解为预设本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：/n获取原存储位置的待传输数据，所述待传输数据由多个KB级的存储对象构成；/n根据待传输数据中各存储对象的最后修改时间将所述待传输数据进行排序，生成待传输列表；/n按照所述待传输列表，将待传输数据分解为预设数量的待传输对象；/n将多个所述待传输对象并行传输至目标存储位置。/n

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：
获取原存储位置的待传输数据，所述待传输数据由多个KB级的存储对象构成；
根据待传输数据中各存储对象的最后修改时间将所述待传输数据进行排序，生成待传输列表；
按照所述待传输列表，将待传输数据分解为预设数量的待传输对象；
将多个所述待传输对象并行传输至目标存储位置。


2.根据权利要求1所述的数据传输方法，其特征在于，所述获取原存储位置的待传输数据，包括：
获取原存储位置的热数据文件；
基于热数据文件占用的存储空间，对所述热数据文件进行排序，筛选出满足KB级别范围内的热数据文件；
将筛选出的热数据文件合并生成待传输数据。


3.根据权利要求2所述的数据传输方法，其特征在于，所述基于热数据文件占用的存储空间，对所述热数据文件进行排序，包括：
获取各热数据文件的文件参数；
根据所述文件参数分别计算各热数据文件占用的存储空间；
根据所述存储空间对所述热数据文件进行排序。


4.根据权利要求1所述的数据传输方法，其特征在于，所述预设数量为16。


5.根据权利要求1所述的数据传输方法，其特征在于，
当所述原存储位置为磁盘时，所述目标存储位置为蓝光存储器；
当所述原存储位置为蓝光存储器时，所述目标存储位置为磁盘。
...

【专利技术属性】
技术研发人员：苏国忠，潘家铭，
申请(专利权)人：华录光存储研究院大连有限公司，
类型：发明
国别省市：辽宁;21