一种数据传输方法、装置、电子设备以及存储介质制造方法及图纸

本公开提供了一种数据传输方法、装置、电子设备以及存储介质，其中，该方法包括：获取待传输数据，对待传输数据进行数据分块处理，得到至少一个待传输的数据块；确定待传输的数据块的第一传输信息，其中，第一传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；向分布式消息中间件RocketMQ传输至少一个待传输的数据块和待传输的数据块的第一传输信息。本公开实施例，通过将待传输数据进行分块处理，并通过分布式消息中间件RocketMQ对上述至少一个待传输的数据块进行传输的方式，可以提高文件传输的效率，且通过设置第一传输信息的方式，可以通过实现对每个待传输的数据块进行数据传输的管理，以满足用户的各种数据传输需求。户的各种数据传输需求。户的各种数据传输需求。

A data transmission method, device, electronic device and storage medium

【技术实现步骤摘要】
一种数据传输方法、装置、电子设备以及存储介质


[0001]本公开涉及通信
，具体而言，涉及一种数据传输方法、装置、电子设备以及存储介质。

技术介绍

[0002]随着互联网技术的发展，企业以及个人用户对于文件传输的效率以及质量的要求也在逐渐增高。在现有的技术方案中，在管理和传输文件过程中最常用的方式是通过FTP(File Transfer Protocol，文件传输协议)进行传输。然而，FTP在传输大文件和海量文件时往往传输耗时较长。因此，针对传输大文件和海量文件的情况，亟待一种更高效，实用性更强的传输方式。

技术实现思路

[0003]本公开实施例至少提供一种数据传输方法、装置、电子设备以及存储介质。
[0004]第一方面，本公开实施例提供了一种数据传输方法，应用于数据传输端，包括：获取待传输数据，对所述待传输数据进行数据分块处理，得到至少一个待传输的数据块；确定所述待传输的数据块的第一传输信息，其中，所述第一传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；向分布式消息中间件RocketMQ传输所述至少一个待传输的数据块和所述待传输的数据块的第一传输信息。
[0005]一种可选的实施方式中，所述对所述待传输数据进行数据分块处理，得到至少一个待传输的数据块，包括：对所述待传输数据进行加密，并对加密之后的待传输数据进行分块处理，得到所述至少一个待传输的数据块；或者对所述待传输数据进行数据分块处理，得到初始数据块，并对所述初始数据块进行加密处理，得到所述至少一个待传输的数据块。
[0006]一种可选的实施方式中，所述方法还包括：获取数据接收端返回的第一校验信息；其中，所述第一校验信息为所述数据接收端基于接收到的数据块生成的校验信息；对所述待传输数据进行计算，得到所述待传输数据的校验信息，得到第二校验信息；将所述第一校验信息和所述第二校验信息进行比对，得到第一比对结果，其中，所述第一比对结果用于表征所述数据接收端接收到的数据块是否完整。
[0007]一种可选的实施方式中，所述第一校验信息为所述数据接收端接收到的每个数据块的校验信息，所述第二校验信息为所述至少一个待传输的数据块中每个数据块的校验信息；所述将所述第一校验信息和所述第二校验信息进行比对，得到第一比对结果，包括：将所述第一校验信息和所述第二校验信息进行匹配，得到至少一个匹配校验组，其中，相同匹配校验组中所包含的校验信息对应相同的数据块；将每个匹配校验组中的第一校验信息和第二校验信息进行比对，得到每个所述匹配校验组的比对结果，以根据所述比对结果确定所述数据接收端接收到的数据块是否完整。
[0008]一种可选的实施方式中，所述第一校验信息为所述数据接收端接收到的每个数据块的校验信息，所述第二校验信息为所述至少一个待传输的数据块中每个数据块的校验信
息；所述将所述第一校验信息和所述第二校验信息进行比对，所述方法还包括：获取所述第一校验信息的数量，得到第一数量；并获取所述第二校验信息的数量，得到第二数量；在所述第一数量和所述第二数量不相同的情况下，将成功传输至所述数据接收端的数据块的第二校验信息和所述第一校验信息进行比对，得到第二比对结果；并确定未成功传输至所述数据接收端的数据块。
[0009]一种可选的实施方式中，所述确定未成功传输至所述数据接收端的数据块，包括：获取包含所述数据接收端接收到的每个数据块的标识信息的第一标识信息，并获取包含所述至少一个待传输的数据块中每个待传输的数据块的标识信息的第二标识信息。将所述第一标识信息中包含且第二标识信息中不包含的标识信息确定为目标标识信息，并将所述目标标识信息所对应的数据块确定为所述未成功传输至数据接收端的数据块。
[0010]一种可选的实施方式中，所述方法还包括：在根据所述比对结果确定出所述数据接收端接收到的数据块不完整的情况下，确定所述至少一个待传输的数据块中未成功发送到所述数据接收端的目标数据块；确定所述目标数据块的第二传输信息，其中，所述第二传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；向所述分布式消息中间件RocketMQ重新传输所述目标数据块和所述第二传输信息。
[0011]第二方面，本公开实施例提供了另一种数据传输方法，应用于分布式消息中间件RocketMQ，包括：获取数据传输端发送的至少一个待传输的数据块和每个所述待传输的数据块的第一传输信息，其中，所述第一传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；按照每个所述待传输的数据块的第一传输信息，向数据接收端传输所述至少一个待传输的数据块。
[0012]一种可选的实施方式中，所述按照每个所述待传输的数据块的第一传输信息，向数据接收端传输所述至少一个待传输的数据块，包括：根据所述至少一个待传输的数据块的第一传输信息中的接收地址，确定数据接收端的设备信息，所述设备信息包括以下至少之一：数量、种类、设备优先级；按照所述设备信息和所述第一传输信息，生成至少一个目标传输队列，其中，一个目标传输队列对应一个数据接收端，所述目标传输队列用于指示传输至对应数据接收端的数据块；按照每个所述目标传输队列向所述数据接收端传输所述至少一个待传输的数据块。
[0013]一种可选的实施方式中，所述按照每个所述目标传输队列向所述数据接收端传输所述至少一个待传输的数据块，包括：在所述数据接收端的数量为多个的情况下，创建多个传输进程，其中，一个数据接收端对应一个传输进程，一个传输进程对应多个传输线程，每个传输线程对应传输一个数据块；基于每个所述传输进程中的多个传输线程，按照每个所述目标传输队列向该传输进程对应的数据接收端发送对应的数据块。
[0014]一种可选的实施方式中，所述方法还包括：获取数据接收端返回的数据容量信息，其中，所述数据容量信息用于表征该数据接收端所能接收数据块的容量；向数据传输端返回所述数据容量信息，以使所述数据传输端根据所述数据容量信息对所述待传输数据进行数据分块处理，得到所述至少一个待传输的数据块。
[0015]第三方面，本公开实施例还提供了一种数据传输装置，安装在数据传输端，包括：第一获取模块，用于获取待传输数据，对所述待传输数据进行数据分块处理，得到至少一个待传输的数据块；确定模块，用于确定每个所述待传输的数据块的第一传输信息，其中，所
述第一传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；第一传输模块，用于向分布式消息中间件RocketMQ传输所述至少一个待传输的数据块和每个所述待传输的数据块的第一传输信息。
[0016]第四方面，本公开实施例还提供了另一种数据传输装置，安装在分布式消息中间件RocketMQ，包括：第二获取模块，用于获取数据传输端发送的至少一个待传输的数据块和每个所述待传输的数据块的第一传输信息，其中，所述第一传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；第二传输模块，用于按照每个所述待传输的数据块的第一传输信息，向数据接收端传输所述至少一个待本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据传输方法，其特征在于，应用于数据传输端，包括：获取待传输数据，对所述待传输数据进行数据分块处理，得到至少一个待传输的数据块；确定所述待传输的数据块的第一传输信息，其中，所述第一传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；向分布式消息中间件RocketMQ传输所述至少一个待传输的数据块和所述待传输的数据块的第一传输信息。2.根据权利要求1所述的方法，其特征在于，所述对所述待传输数据进行数据分块处理，得到至少一个待传输的数据块，包括：对所述待传输数据进行加密，并对加密之后的待传输数据进行分块处理，得到所述至少一个待传输的数据块；或者对所述待传输数据进行数据分块处理，得到初始数据块，并对所述初始数据块进行加密处理，得到所述至少一个待传输的数据块。3.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取数据接收端返回的第一校验信息；其中，所述第一校验信息为所述数据接收端基于接收到的数据块生成的校验信息；对所述待传输数据进行计算，得到所述待传输数据的校验信息，得到第二校验信息；将所述第一校验信息和所述第二校验信息进行比对，得到第一比对结果，其中，所述第一比对结果用于表征所述数据接收端接收到的数据块是否完整。4.根据权利要求3所述的方法，其特征在于，所述第一校验信息为所述数据接收端接收到的每个数据块的校验信息，所述第二校验信息为所述至少一个待传输的数据块中每个数据块的校验信息；所述将所述第一校验信息和所述第二校验信息进行比对，得到第一比对结果，包括：将所述第一校验信息和所述第二校验信息进行匹配，得到至少一个匹配校验组，其中，相同匹配校验组中所包含的校验信息对应相同的数据块；将每个匹配校验组中的第一校验信息和第二校验信息进行比对，得到每个所述匹配校验组的比对结果，以根据所述比对结果确定所述数据接收端接收到的数据块是否完整。5.根据权利要求3所述的方法，其特征在于，所述第一校验信息为所述数据接收端接收到的每个数据块的校验信息，所述第二校验信息为所述至少一个待传输的数据块中每个数据块的校验信息；所述将所述第一校验信息和所述第二校验信息进行比对，所述方法还包括：获取所述第一校验信息的数量，得到第一数量；并获取所述第二校验信息的数量，得到第二数量；在所述第一数量和所述第二数量不相同的情况下，将成功传输至所述数据接收端的数据块的第二校验信息和所述第一校验信息进行比对，得到第二比对结果；并确定未成功传输至所述数据接收端的数据块。6.根据权利要求5所述的方法，其特征在于，所述确定未成功传输至所述数据接收端的数据块，包括：
获取包含所述数据接收端接收到的每个数据块的标识信息的第一标识信息，并获取包含所述至少一个待传输的数据块中每个待传输的数据块的标识信息的第二标识信息；将所述第一标识信息中包含且第二标识信息中不包含的标识信息确定为目标标识信息，并将所述目标标识信息所对应的数据块确定为所述未成功传输至数据接收端的数据块。7.根据权利要求3所述的方法，其特征在于，所述方法还包括：在根据所述比对结果确定出所述数据接收端接收到的数据块不完整的情况下，确定所述至少一个待传输的数据块中未成功发送到所述数据接收端的目标数据块；确定所述目标数据块的第二传输信息，其中，所述第二传输信息包括以下至少之一：接收地址、传输时间、传输优先级、传输方式；向所述分布式消息...

【专利技术属性】
技术研发人员：ꢀ七四专利代理机构，
申请(专利权)人：北京高途云集教育科技有限公司，
类型：发明
国别省市：