本发明专利技术提出的一种分布式存储系统的数据传输方法、系统、设备及介质，该方法通过将待传输数据分割为多个分割数据，并将各分割数据通过发送队列分别发送至各分割数据对应的目标对象，获取各目标对象的响应消息，并生成待传输数据的传输结果，能够对待传输数据进行分割，实现消息的分聚，在客户端本地线程中就完成了对集群多个节点的请求分发及结果合并，大大提高了分布式存储系统中的数据传输处理的效率。效率。效率。
【技术实现步骤摘要】
分布式存储系统的数据传输方法、系统、设备及介质
[0001]本专利技术涉及计算机
，尤其涉及一种分布式存储系统的数据传输方法、系统、设备及介质。
技术介绍
[0002]分布式存储系统包括一套多个节点组成的存储集群，运行过程中，其内部有着大量的数据传输，因此数据传输的功能、性能对分布式存储系统至关重要。
[0003]相关技术中的数据传输方式中同样的任务需要更多的流程来实现，完成认为时需要循环请求或响应等，或者需要依赖于多线程等技术来实现，耗时，且增加了对系统资源的消耗。
技术实现思路
[0004]鉴于以上所述现有技术的缺点，本专利技术提供一种分布式存储系统的数据传输方法、系统设备及介质，以解决上述技术问题。
[0005]本专利技术提供的一种分布式存储系统的数据传输方法，所述方法包括:
[0006]将待传输数据分割为多个分割数据，并将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象；
[0007]获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果。
[0008]可选的，将各所述分割数据通过发送队列分别发送至各分割数据对应的目标对象包括：
[0009]生成所述待传输数据的至少一个冗余数据，将所述冗余数据新增为分割数据；
[0010]获取分割数据对应的目标对象标识，根据所述分割数据、目标对象标识和发送标识生成待发送消息，得到各分割数据对应的待发送消息；
[0011]将各所述待发送消息通过发送队列分别发送至各所述分割数据对应的目标对象。
[0012]可选的，所述响应消息包括响应标识，所述响应标识与所述发送标识一一对应，获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果包括：
[0013]获取各所述响应消息中的响应标识；
[0014]根据预设响应标识
‑
发送标识映射关系确定所述响应标识对应的发送标识，并确定各所述分割数据的传输状态；
[0015]根据各所述分割数据的传输状态确定所述传输结果。
[0016]可选的，根据各所述分割数据的传输状态确定所述传输结果包括：
[0017]若不存在所述分割数据对应的响应标识，所述分割数据的传输状态为传输失败；
[0018]获取目标分割数据的失败数量，确定所述传输结果，其中所述目标分割数据包括传输状态为传输失败的分割数据。
[0019]可选的，生成所述待传输数据的传输结果包括以下至少之一：
[0020]监听各所述目标对象的响应消息，获取监听时长，若所述监听时长超过预设时长
阈值，停止监听，根据当前获取的各所述目标对象的响应消息生成所述待传输数据的传输结果；
[0021]监听各所述目标对象的响应消息，获取监听时长，将所述监听时长超过预设时长阈值后获取到的响应消息丢弃。
[0022]可选的，所述待发送消息还包括调用函数标识，所述方法还包括：
[0023]所述目标对象获取所述待发送消息后，通过所述调用函数标识对应的调用函数处理所述待发送消息，生成反馈消息；
[0024]获取所述目标对象反馈的所述反馈消息。
[0025]可选的，将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象之前，所述方法还包括：
[0026]对目标对象设置自定义数据段，所述自定义数据段包括多个调用函数和各调用函数的调用函数标识，所述调用函数用于处理所述分割数据。
[0027]可选的，所述方法还包括：
[0028]获取更新消息，所述更新消息包括新增函数和删除函数中至少之一；
[0029]根据所述更新消息对自定义数据段进行更新。
[0030]可选的，通过发送端将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象，发送端将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象之前，所述方法还包括：
[0031]将所述发送端和各所述目标对象确定为数据传输节点，依次建立各所述数据传输节点之间的连接；
[0032]为每一个连接分配网络句柄，通过所述网络句柄标识所述连接；
[0033]获取各所述数据传输节点的地址信息，并建立各所述地址信息与网络句柄之间的映射关系；
[0034]各数据传输节点分别将连接节点的地址信息、网络句柄及映射关系进行存储，所述连接节点为与所述数据传输节点连接的其他的数据传输节点。
[0035]可选的，发送端将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象包括：
[0036]获取分割数据对应的发送标识，所述发送标识包括所述地址信息；
[0037]根据所述地址信息和映射关系确定所述分割数据对应的网络句柄，得到各分割数据对应的网络句柄；
[0038]发送端基于各所述网络句柄将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象。
[0039]可选的，所述方法还包括：
[0040]分别获取各连接下各数据传输节点的数据流量；
[0041]若存在零流连接，分别控制各所述零流连接的一个数据传输节点间隔第一预设时间向所述零流连接的另一个数据传输节点发送探测消息，所述探测消息用于触发另一个数据传输节点生成响应探测消息并通过所述零流连接进行反馈，所述零流连接中存在至少一个数据传输节点的数据流量为零；
[0042]若所述零流连接的另一个数据传输节点间隔第二预设时间的数据流量为零，将所
述零流连接确定为失效连接，所述第二预设时间少于所述第一预设时间。
[0043]本专利技术还提供了一种分布式存储系统的数据传输系统，所述系统包括：
[0044]分割模块，将待传输数据分割为多个分割数据，并将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象；
[0045]聚合模块，用于获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果。
[0046]本专利技术还提供了一种电子设备，包括处理器、存储器和通信总线；
[0047]所述通信总线用于将所述处理器和存储器连接；
[0048]所述处理器用于执行所述存储器中存储的计算机程序，以实现如上述中任一项实施例所述的方法。
[0049]本专利技术还提供了一种计算机可读存储介质，其上存储有计算机程序，
[0050]所述计算机程序用于使计算机执行如上述任一项实施例所述的方法。
[0051]本专利技术的有益效果：本专利技术提出的一种分布式存储系统的数据传输方法、系统、设备及介质，该方法通过将待传输数据分割为多个分割数据，并将各分割数据通过发送队列分别发送至各分割数据对应的目标对象，获取各目标对象的响应消息，并生成待传输数据的传输结果，能够对待传输数据进行分割，实现消息的分聚，在客户端本地线程中就完成了对集群多个节点的请求分发及结果合并，大大提高了分布式存储系统中的数据传输处理的效率。
附图说明
[0052]图1是本专利技术一本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种分布式存储系统的数据传输方法，其特征在于，所述方法包括：将待传输数据分割为多个分割数据，并将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象；获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果。2.如权利要求1所述的方法，其特征在于，将各所述分割数据通过发送队列分别发送至各分割数据对应的目标对象包括：生成所述待传输数据的至少一个冗余数据，将所述冗余数据新增为分割数据；获取分割数据对应的目标对象标识，根据所述分割数据、目标对象标识和发送标识生成待发送消息，得到各分割数据对应的待发送消息；将各所述待发送消息通过发送队列分别发送至各所述分割数据对应的目标对象。3.如权利要求2所述的方法，其特征在于，所述响应消息包括响应标识，所述响应标识与所述发送标识一一对应，获取各所述目标对象的响应消息，并生成所述待传输数据的传输结果包括：获取各所述响应消息中的响应标识；根据预设响应标识
‑
发送标识映射关系确定所述响应标识对应的发送标识，并确定各所述分割数据的传输状态；根据各所述分割数据的传输状态确定所述传输结果。4.如权利要求3所述的方法，其特征在于，根据各所述分割数据的传输状态确定所述传输结果包括：若不存在所述分割数据对应的响应标识，所述分割数据的传输状态为传输失败；获取目标分割数据的失败数量，确定所述传输结果，其中所述目标分割数据包括传输状态为传输失败的分割数据。5.如权利要求1
‑
4任一项所述的方法，其特征在于，生成所述待传输数据的传输结果包括以下至少之一：监听各所述目标对象的响应消息，获取监听时长，若所述监听时长超过预设时长阈值，停止监听，根据当前获取的各所述目标对象的响应消息生成所述待传输数据的传输结果；监听各所述目标对象的响应消息，获取监听时长，将所述监听时长超过预设时长阈值后获取到的响应消息丢弃。6.如权利要求2
‑
4任一项所述的方法，其特征在于，所述待发送消息还包括调用函数标识，所述方法还包括：所述目标对象获取所述待发送消息后，通过所述调用函数标识对应的调用函数处理所述待发送消息，生成反馈消息；获取所述目标对象反馈的所述反馈消息。7.如权利要求6所述的方法，其特征在于，将各所述分割数据通过发送队列分别发送至各所述分割数据对应的目标对象之前，所述方法还包括：对目标对象设置自定义数据段，所述自定义数据段包括多个调用函数和各调用函数的调用函数标识，所述调用函数用于处理所述分割数据。8.如权利要求7所述的方法，其特征在于，所述方法还包括：获取更新消息，所述...
【专利技术属性】
技术研发人员：韩磊，
申请(专利权)人：重庆紫光华山智安科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。