一种大数据文件自适应单向传输方法及装置制造方法及图纸

本发明专利技术公开了一种大数据文件自适应单向传输方法及装置，针对大数据文件传输的难度越来越高，传输质量伴随着网络的带宽和网络通信质量而改变，待传输的文件过大容易导致传输速度慢和传输异常等问题，本发明专利技术可以针对不同的网络环境，主动对当前的网络状况发测试包测试网络，以当前网络的实际信道容量作为阈值进行分割传输，提升了数据传输的安全性与稳定性，提高了网络传输效率。

【技术实现步骤摘要】
一种大数据文件自适应单向传输方法及装置
本公开涉及数据信息传输领域，具体涉及一种大数据文件自适应单向传输方法及装置。
技术介绍
随着互联网技术的发展，使得大数据信息的应用越来越广泛，而且数据的规模越来越大，文件，而且来源各异的数据通过各种方式从各个渠道采集汇聚海量的个人、企业、政府、行政单位、金融机构等各个方面的公开数据，构成海量丰富的数据基础。在高速发展的信息化时代，通过各种终端、渠道、应用等每时每刻产生出难以估算的海量数据，大数据文件传输的难度也越来越高，传输质量伴随着网络的带宽和网络通信质量而改变，待传输的文件过大容易导致传输速度慢和传输异常等问题。
技术实现思路
本公开的目的是针对现有技术的不足，提供一种大数据文件自适应单向传输方法及装置，具体包括以下步骤：步骤1，启动大数据文件自适应单向传输装置，使大数据接收模块处于接收状态；步骤2，大数据传输模块向大数据接收模块发送多级带宽测试数据，大数据接收模块接收完成后返回响应数据包给大数据传输模块；步骤3，分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值；步骤4，大数据分割模块将待传输大数据文件按照分割阈值进行分割，得到大数据文件分割信息、一个或多个文件分割块；步骤5，大数据传输模块向大数据接收模块发送大数据文件分割信息、一个或多个文件分割块；步骤6，大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块；步骤7，大数据组合模块将一个或多个文件分割块组合成为原大数据文件；其中，所述大数据文件自适应单向传输装置包括发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块；其中，所述大数据文件分割信息为分割完成后生成，所述大数据文件分割信息包括各文件分割块数量，各文件分割块大小，文件分割块顺序编号。进一步地，在步骤2中，所述多级带宽测试数据包括多个带宽测试数据，各带宽测试数据的大小至少包括1M、5M、10M、20M、30M和50M。进一步地，在步骤3中，所述分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值的方法为：选择返回耗时最短的响应数据包，将响应数据包对应的带宽测试数据的大小数值设置为分割阈值。进一步地，在步骤4中，所述将待传输大数据文件按照分割阈值进行分割的方法为：当待传输大数据文件大小为小于或等于分割阈值时不进行分割，将待传输大数据文件单独作为一个分割块文件；当待传输大数据文件大小为大于分割阈值时，分割为N个分割块文件，一个或多个文件分割块大小为分割阈值，分割块文件大小为小于分割阈值的文件为实际文件大小，其中,进一步地，在步骤6中，所述大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块的方法为，大数据接收模块按照文件分割块顺序编号和各文件分割块数量依次接收各个分割块文件。进一步地，在步骤7中，所述大数据组合模块将一个或多个文件分割块组合成原大数据文件的方法为，大数据组合模块按照文件分割块顺序编号、各文件分割块大小和各文件分割块数量将接收到的各个分割块文件依次按照编号顺序和数量、大小组合成为原大数据文件。本专利技术还提供了一种大数据文件自适应单向传输装置，所述大数据文件自适应单向传输装置包括：发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块。本公开的有益效果为：本专利技术公开了一种大数据文件自适应单向传输方法，可以针对不同的网络环境，主动对当前的网络状况发测试包测试网络，以当前网络的实际信道容量作为阈值进行分割传输，提升了数据传输的安全性与稳定性，提高了网络传输效率。附图说明通过对结合附图所示出的实施方式进行详细说明，本公开的上述以及其他特征将更加明显，本公开附图中相同的参考标号表示相同或相似的元素，显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图，在附图中：图1所示为本公开的一种大数据文件自适应单向传输装置。具体实施方式以下将结合实施例和附图对本公开的构思、具体结构及产生的技术效果进行清楚、完整的描述，以充分地理解本公开的目的、方案和效果。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。如图1所示为根据本公开的一种大数据文件自适应单向传输装置，下面结合图1来阐述根据本公开的实施方式的大数据文件自适应单向传输方法。本公开提出一种大数据文件自适应单向传输方法，具体包括以下步骤：步骤1，启动大数据文件自适应单向传输装置，使大数据接收模块处于接收状态；步骤2，大数据传输模块向大数据接收模块发送多级带宽测试数据，大数据接收模块接收完成后返回响应数据包给大数据传输模块；步骤3，分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值；步骤4，大数据分割模块将待传输大数据文件按照分割阈值进行分割，得到大数据文件分割信息、一个或多个文件分割块；步骤5，大数据传输模块向大数据接收模块发送大数据文件分割信息、一个或多个文件分割块；步骤6，大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块；步骤7，大数据组合模块将一个或多个文件分割块组合成为原大数据文件；其中，所述大数据文件自适应单向传输装置包括发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块；其中，所述大数据文件分割信息为分割完成后生成，所述大数据文件分割信息包括各文件分割块数量，各文件分割块大小，文件分割块顺序编号。进一步地，在步骤2中，所述多级带宽测试数据包括多个带宽测试数据，各带宽测试数据的大小至少包括1M、5M、10M、20M、30M和50M。进一步地，在步骤3中，所述分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值的方法为：选择返回耗时最短的响应数据包，将响应数据包对应的带宽测试数据的大小数值设置为分割阈值。进一步地，在步骤4中，所述将待传输大数据文件按照分割阈值进行分割的方法为：当待传输大数据文件大小为小于或等于分割阈值时不进行分割，将待传输大数据文件单独作为一个分割块文件；当待传输大数据文件大小为大于分割阈值时，分割为N个分割块文件，一个或多个文件分割块大小为分割阈值，分割块文件大小为小于分割阈值的文件为实际文件大小，其中,进一步地，在步骤6中，所述大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块的方法为，大数据接收模块按照文件分割块顺序编号和各文件分割块数量依次接收各个分割块文件。进一步地，在步骤7中，所述大数据组合模块将一个或多个文件分割块组合成原大数据文件的方法为，大数据组合模块按照文件分割块顺序编号、各文件分割块大小和各文件分割块数量将接收到的各个分割块文件依次按照编号顺序和数量、大小组合成为原大数据文件。进一步地，在一个优选实施例中，接收端还包括接收端文件信息缓存模块，用于在分布式文件系统接收端程序为文件数据和文件元数据提供缓存空间以及缓存空本文档来自技高网...

【技术保护点】
1.一种大数据文件自适应单向传输方法，其特征在于，包括以下步骤：步骤1，启动大数据文件自适应单向传输装置，使大数据接收模块处于接收状态；步骤2，大数据传输模块向大数据接收模块发送多级带宽测试数据，大数据接收模块接收完成后返回响应数据包给大数据传输模块；步骤3，分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值；步骤4，大数据分割模块将待传输大数据文件按照分割阈值进行分割，得到大数据文件分割信息、一个或多个文件分割块；步骤5，大数据传输模块向大数据接收模块发送大数据文件分割信息、一个或多个文件分割块；步骤6，大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块；步骤7，大数据组合模块将一个或多个文件分割块组合成为原大数据文件；其中，所述大数据文件自适应单向传输装置包括发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块；其中，所述大数据文件分割信息包括各文件分割块数量，各文件分割块大小，文件分割块顺序编号。

【技术特征摘要】
1.一种大数据文件自适应单向传输方法，其特征在于，包括以下步骤：步骤1，启动大数据文件自适应单向传输装置，使大数据接收模块处于接收状态；步骤2，大数据传输模块向大数据接收模块发送多级带宽测试数据，大数据接收模块接收完成后返回响应数据包给大数据传输模块；步骤3，分割阈值获取模块根据返回耗时最短的响应数据包确定分割阈值；步骤4，大数据分割模块将待传输大数据文件按照分割阈值进行分割，得到大数据文件分割信息、一个或多个文件分割块；步骤5，大数据传输模块向大数据接收模块发送大数据文件分割信息、一个或多个文件分割块；步骤6，大数据接收模块接收大数据文件分割信息，并按照大数据文件分割信息接收一个或多个文件分割块；步骤7，大数据组合模块将一个或多个文件分割块组合成为原大数据文件；其中，所述大数据文件自适应单向传输装置包括发送端与接收端，所述发送端包括大数据传输模块、大数据接收模块、分割阈值获取模块、大数据分割模块，所述接收端包括大数据接收模块、大数据组合模块；其中，所述大数据文件分割信息包括各文件分割块数量，各文件分割块大小，文件分割块顺序编号。2.根据权利要求1所述的一种大数据文件自适应单向传输方法，其特征在于，在步骤2中，所述多级带宽测试数据包括多个带宽测试数据，各带宽测试数据的大小至少包括1M、5M、10M、20M、30M和50M。3.根据权利要求1所述的一种大数据文件自适应单向传输方法，其特征在于，在步骤3中，所述分割阈值获取模块根据返回耗时最短的响应数据包确定...

【专利技术属性】
技术研发人员：欧阳永中，
申请(专利权)人：佛山科学技术学院，
类型：发明
国别省市：广东,44