The application provides a data transmission method, device and system based on a data transmission system for reducing the network transmission burden in the process of retransmitting data. The method includes sending a first request for obtaining the first data to the first management node in at least one management node, so that the first management node sends a first instruction for indicating that L storage nodes in at least one storage node send K data blocks included in the first data block and K first information corresponding to K data blocks one by one; and The storage node obtains M data blocks corresponding to the first data, and M first information corresponding to M data blocks one by one. According to M data blocks and M first information, the first storage node corresponding to the first data block with data errors in M data blocks is determined from L storage nodes. A second request is sent to the first storage node to enable the first storage node to resend. The first data block.
【技术实现步骤摘要】
一种基于数据传输系统的数据传输方法、装置及系统
本申请涉及通信
，尤其涉及一种基于数据传输系统的数据传输方法、装置及系统。
技术介绍
远程直接内存访问(RemoteDirectMemoryAccess，RDMA)传输数据可以满足大数据传输的低处理延时的需求。存储系统中，一个数据可能分布地存储多个存储节点中，当本地服务器需要获取该数据时，需要向多个存储节点发送数据读取请求，该多个存储节点中的每个存储节点注册相应的内存缓冲区，然后将存储在每个存储节点上的数据块依次写入注册的内存缓冲区中，本地服务器获取该内存缓冲区中的多个数据块，然后将多个数据块进行组合，最终获取该数据。本地服务器依次接收到相应的数据块之后，会校验某个或者某些数据块是否出错，一旦某个数据块出错，本地服务器会要求该多个存储节点中的每个存储节点重传数据，多个存储节点需要重复上述的数据传输过程，多个存储节点重传数据过程会消耗网络带宽，增加网络传输负担。
技术实现思路
本申请实施例提供一种数据传输方法、装置及系统，用于减少重传数据过程中的网络传输负担。本申请实施例提供的具体技术方案如下：第一方面，提供一种基于...
【技术保护点】
1.一种基于数据传输系统的数据传输方法，其特征在于，所述数据传输系统包括至少一个管理节点、至少一个存储节点和至少一个服务器，所述方法应用于所述至少一个服务器中的第一服务器中，所述方法包括：向所述至少一个管理节点中的第一管理节点发送用于获取第一数据的第一请求，以使所述第一管理节点向所述至少一个存储节点发送用于指示所述至少一个存储节点中的L个存储节点发送所述第一数据包括的K个数据块以及与所述K个数据块一一对应的K个第一信息的第一指令，其中，所述第一数据分布存储在所述L个存储节点中，所述K个第一信息中的每个第一信息包括对应的数据块所在存储节点的信息，L为小于或等于K的正整数；从所...
【技术特征摘要】
1.一种基于数据传输系统的数据传输方法，其特征在于，所述数据传输系统包括至少一个管理节点、至少一个存储节点和至少一个服务器，所述方法应用于所述至少一个服务器中的第一服务器中，所述方法包括：向所述至少一个管理节点中的第一管理节点发送用于获取第一数据的第一请求，以使所述第一管理节点向所述至少一个存储节点发送用于指示所述至少一个存储节点中的L个存储节点发送所述第一数据包括的K个数据块以及与所述K个数据块一一对应的K个第一信息的第一指令，其中，所述第一数据分布存储在所述L个存储节点中，所述K个第一信息中的每个第一信息包括对应的数据块所在存储节点的信息，L为小于或等于K的正整数；从所述L个存储节点中获取与所述第一数据对应的M个数据块，以及所述M个数据块一一对应的M个第一信息，其中，M为小于或等于K的正整数；根据所述M个数据块以及所述M个第一信息，从所述L个存储节点中确定与所述M个数据块中出现数据错误的第一数据块对应的第一存储节点；向所述第一存储节点发送第二请求，以使所述第一存储节点重新发送所述第一数据块。2.如权利要求1所述的方法，其特征在于，根据所述M个数据块以及所述M个第一信息，从所述L个存储节点中确定与所述M个数据块中出现数据错误的第一数据块对应的第一存储节点，包括：将所述M个数据块中的每个数据块中携带的校验码与其携带的数据内容进行运算，获得与所述M个数据块中的每个数据块对应的校验值；将对应的校验值与预设值不同的数据块确定为所述第一数据块；根据与所述第一数据块对应的第一信息，确定出所述第一存储节点。3.如权利要求1所述的方法，其特征在于，从所述L个存储节点中确定与所述M个数据块中出现数据错误的第一数据块对应的第一存储节点之前，还包括：从所述第一管理节点获取包括所述K个数据块的标识及所述K个第一信息的第二信息，其中，所述K个数据块的标识是所述L个存储节点根据所述第一指令和所述K个数据块生成的。4.如权利要求3所述的方法，其特征在于，所述方法还包括：若M小于K，则根据所述M个数据块的标识以及所述第二信息，确定出未接收到的第二数据块的标识；根据所述第二信息以及所述第二数据块的标识，确定出所述第二数据块所在的第二存储节点；向所述第一管理节点发送第三请求，以使所述第一管理节点向所述第二存储节点发送用于指示所述第二存储节点重新发送所述第二数据块的第二指令。5.一种基于数据传输系统的数据传输方法，其特征在于，所述数据传输系统包括至少一个管理节点、至少一个存储节点和至少一个服务器，所述方法应用于所述至少一个管理节点中的第一管理节点，所述方法包括：接收所述至少一个服务器中的第一服务器发送的用于获取第一数据的第一请求；向所述至少一个存储节点发送第一指令，以使所述至少一个存储节点中的L个存储节点将所述第一数据包括的K个数据块，以及所述K个数据块一一对应的K个第一信息发送给所述第一服务器，其中，所述第一数据分布存储在所述L个存储节点，所述K个第一信息中的每个第一信息包括对应的数据块所在存储节点的信息。6.如权利要求5所述的方法，其特征在于，所述方法还包括：接收所述L个存储节点发送的第一信息，得到所述K个第一信息；根据所述K个第一信息及所述K个数据块的标识生成第二信息，其中，所述K个数据块的标识是所述L个存储节点根据所述第一指令和所述K个数据块生成的；将所述第二信息发送给所述第一服务器。7.如权利要求6所述的方法，其特征在于，将所述第二信息发送给所述第一服务器之后，还包括：接收所述第一服务器发送的用于请求第二存储节点重发第二数据块的第三请求，其中，所述第二存储节点为所述第一服务器根据所述第二信息以及所述第一服务器接收到的M个数据块，确定出未接收到的第二数据块所对应的存储节点，M为小于或等于K的正整数；向所述第二存储节点发送第二指令，以使所述第二存储节点重新发送所述第二数据块。8.如权利要求5-7任一所述的方法，其特征在于，接收所述至少一个服务器中的第一服务器发送的用于获取第一数据的第一请求之后，还包括：向所述L个存储节点发送第三指令，以使所述L个存储节点拆分各自存储的属于所述第一数据的第二数据后得到所述K个数据块。9.一种基于数据传输系统的数据传输方法，其特征在于，所述数据传输系统包括至少一个管理节点、至少一个存储节点和至少一个服务器，所述方法应用于所述至少一个存储节点中的L个存储节点的第一存储节点中，所述方法包括：接收所述至少一个管理节点中的第一管理节点发送的用于指示向所述至少一个服务器中的第一服务器发送第一数据包括的至少一个数据块以及与所述至少一个数据块对应的至少一个第一信息的第一指令，所述第一指令是所述第一管理节点接收到所述第一服务器发送的用于获取所述第一数据的第一请求后发送的，所述第一数据分布存储在所述L个存储节点中，所述至少一个第一信息中的每个第一信息包括对应的数据块所在存储节点的信息；根据存储的所述至少一个数据块生成所述至少一个第一信息；将所述至少一个数据块以及所述至少一个第一信息发送给所述第一服务器；若接收所述第一服务器发送的用于请求重新发送第一数据块的第二请求，则向所述第一服务器发送所述第一数据块，其中，所述第一数据块为所述第一服务器确定的出现数据错误的数据块，所述至少一个数据块包括所述第一数据块。10.如权利要求9所述的方法，其特征在于，接收所述第一服务器发送的用于请求重新发送第一数据块的第二请求之前，还包括：根据所述第一指令和所述至少一个数据块生成所述至少一个数据块的标识；将所述至少一个第一信息和所述至少一个数据块的标识，发送给所述第一管理节点，以使所述第一管理节点在接收K个第一信息、以及K个数据块的标识后，生成包括所述K个数据块的标识及所述K个第一信息的第二信息。11.如权利要求10所述的方法，其特征在于，将所述至少一个第一信息发送给所述第一管理节点之后，还包括：接收所述第一管理节点发送的用于指示重新发送所述第二数据块的第二指令，所述至少一个数据块包括所述第二数据块；向所述第一服务器发送所述第二数据块。12.如权利要求9-11任一所述的方法，其特征在于，将所述至少一个数据块以及所述至少一个第一信息发送给所述第一服务器之前，还包括：接收所述第一管理节点发送的用于指示拆分存储的属于所述第一数据的第二数据的第三指令；拆分存储的属于所述第一数据的第二数据，得到所述至少一个数据块。13.一种基于数据传输系统的数据传输装置，其特征在于，所述数据传输系统包括至少一个管理节点、至少一个存储节点和至少一个服务器，所述装置应用于所述至少一个服务器中的第一服务器中，所述装置包括：收发模块，用于向所述至少一个管理节点中的第一管理节点发送用于获取第一数据的第一请求，以使所述第一管理节点向所述至少一个存储节点发送用于指示所述至少一个存储节点中的L个存储节点发送所述第一数据包括的K个数据块以及与所述K个数据块一一对应的K个第一信息的第一指令；从所述L个存储节点中获取与所述第一数据对...
【专利技术属性】
技术研发人员：陈小龙，朱丽品，
申请(专利权)人：锐捷网络股份有限公司，
类型：发明
国别省市：福建,35
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。