数据传输方法、服务器及存储介质技术

本发明专利技术公开了一种数据传输方法、服务器及存储介质，该方法包括：监控服务器的系统资源及存储节点的当前状态；判断系统资源、存储节点的当前状态是否正常；当系统资源正常、存储节点的当前状态正常时，从预设的选路算法中选择一种选路算法，依据选择的选路算法将将数据包分配给相应的网络传输到相应的存储节点。本发明专利技术通过构建两组网络系统，提高数据传输效率，提升存储系统的传输性能。

Data transmission methods, servers and storage media

The invention discloses a data transmission method, a server and a storage medium. The method includes: monitoring the system resources of the server and the current state of the storage node; judging whether the current state of the system resources and the storage nodes is normal; when the system resources are normal and the current state of the storage node is normal, the default path is from the default path. In the algorithm, a routing algorithm is selected, and the data packet is allocated to the corresponding network to the corresponding storage node according to the selected routing algorithm. The invention improves the data transmission efficiency and improves the transmission performance of the storage system by constructing two sets of network systems.

【技术实现步骤摘要】
数据传输方法、服务器及存储介质
本专利技术涉及数据传输
，尤其涉及一种数据传输方法、服务器及计算机可读存储介质。
技术介绍
目前，现有的分布式存储系统中，存储节点之间只有一组网络用于数据传输，存在单点网络故障的风险。单一的传输网络在传输大量数据的情况下，容易造成数据传输延迟或系统阻塞甚至崩溃宕机。同时，当用于数据传输的单一网络出现系统不稳定或故障时，不仅造成数据丢失，还会造成整个分布式存储系统的性能下降甚至瘫痪。
技术实现思路
鉴于以上内容，本专利技术提供一种数据传输方法、服务器及计算机可读存储介质，其主要目的在于分担数据传输任务，提高网络传输效率，增加冗余备份，提高系统稳定性和可靠性。为实现上述目的，本专利技术提供一种数据传输方法，该方法包括：监控步骤：监控服务器的系统资源及存储节点的当前状态；判断步骤：判断系统资源、存储节点的当前状态是否正常；选择步骤：当系统资源正常、存储节点的当前状态正常时，从预设的选路算法中选择一种选路算法，依据选择的选路算法将将数据包分配给相应的网络传输到相应的存储节点，所述预设的选路算法包括：轮询算法：轮流使用两组网络传输数据包；最优路径算法：统计预设时间内每组网络传输完成的数据包的数量，分别记为N1、N2，计算N1-N2的绝对值，当N1-N2的绝对值小于预设值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1-N2的绝对值大于该预设值时，给预设时间内传输完成的数据包的数量多的网络分配第一优先级、余下的网络分配第二优先级，将第一比例的数据包分配给该第一优先级的网络传输、第二比例的数据包分配给第二优先级的网络传输，其中第一优先级高于第二优先级，第一比例大于第二比例；最短队列算法：统计每组网络传输未完成的数据包数量，分别记为N1、N2，计算N1-N2的绝对值，当N1-N2的绝对值小于预设阈值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1-N2的绝对值大于该预设阈值时，给当前传输未完成的数据包的数量少的网络分配第一优先级、余下的网络分配第二优先级，将第三比例的数据包分配给该第一优先级的网络传输、第四比例的数据包分配给另一条网络传输，其中第一优先级高于第二优先级，第三比例大于第四比例。优选地，所述系统资源包括：本地磁盘的利用率、内存利用率、中央处理器(CentralProcessingUnit,CPU)利用率。优选地，所述预设的判断规则为：根据预先设置的本地磁盘的利用率、内存利用率、CPU利用率的第一预设阈值、第二预设阈值，判断系统资源的当前状态是否正常；当监控到其中一个系统资源的利用率高于相应的第二预设阈值时，判断系统资源紧张，当监控到所有系统资源的利用率分别低于相应的第一预设阈值时，判断系统资源充足，当监控到所有系统资源的利用率都低于第二预设阈值时，判断系统资源当前处于正常状态。优选地，该方法还包括：切换步骤：当监控到服务器的系统资源紧张时，切换至所述最优路径算法将数据包分配给相应的网络传输到相应的存储节点，当监控到服务器的系统资源充足时，切换至所述轮询算法将数据包分配给相应的网络传输到相应的存储节点，当监控到服务器的系统资源处于正常状态时，选择最短队列算法将数据包分配给相应的网络传输到相应的存储节点。优选地，该方法还包括：计算步骤：实时计算每组网络数据传输的平均延迟时间，计算当前传输数据的延迟时间与该网络平均延迟时间的差值；调整步骤：判断该差值是否超过第一预设值，当该差值超过第一预设值时，降低该网络的优先级，根据两组网络的当前优先级重新分配数据传输任务。优选地，该方法还包括：通知步骤：当一组网络当前传输数据的迟延时间超过第二预设值时，通知接收数据的存储节点当前的数据传输无效，并请求另一组网络重新传输该数据给该存储节点。优选地，该方法还包括：指定步骤：当监控到有存储节点发生故障时，指定一组网络用于发生故障的存储节点的数据修复，另外一组网络用于其它存储节点的数据传输。此外，本专利技术还提供一种服务器，该服务器包括：存储器及处理器，所述存储器上存储数据传输程序，所述数据传输程序被所述处理器执行，可实现如下步骤：监控步骤：监控服务器的系统资源及存储节点的当前状态；判断步骤：判断系统资源、存储节点的当前状态是否正常；选择步骤：当系统资源正常、存储节点的当前状态正常时，从预设的选路算法中选择一种选路算法，依据选择的选路算法将将数据包分配给相应的网络传输到相应的存储节点，所述预设的选路算法包括：轮询算法：轮流使用两组网络传输数据包；最优路径算法：统计预设时间内每组网络传输完成的数据包的数量，分别记为N1、N2，计算N1-N2的绝对值，当N1-N2的绝对值小于预设值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1-N2的绝对值大于该预设值时，给预设时间内传输完成的数据包的数量多的网络分配第一优先级、余下的网络分配第二优先级，将第一比例的数据包分配给该第一优先级的网络传输、第二比例的数据包分配给第二优先级的网络传输，其中第一优先级高于第二优先级，第一比例大于第二比例；最短队列算法：统计每组网络传输未完成的数据包数量，分别记为N1、N2，计算N1-N2的绝对值，当N1-N2的绝对值小于预设阈值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1-N2的绝对值大于该预设阈值时，给当前传输未完成的数据包的数量少的网络分配第一优先级、余下的网络分配第二优先级，将第三比例的数据包分配给该第一优先级的网络传输、第四比例的数据包分配给另一条网络传输，其中第一优先级高于第二优先级，第三比例大于第四比例。优选地，所述判断步骤还包括：根据预先设置的本地磁盘的利用率、内存利用率、CPU利用率的第一预设阈值、第二预设阈值，判断系统资源的当前状态是否正常；当监控到其中一个系统资源的利用率高于相应的第二预设阈值时，判断系统资源紧张，当监控到所有系统资源的利用率分别低于相应的第一预设阈值时，判断系统资源充足，当监控到所有系统资源的利用率都低于第二预设阈值时，判断系统资源当前处于正常状态。此外，为实现上述目的，本专利技术还提供一种计算机可读存储介质，所述计算机可读存储介质中包括数据传输程序，所述数据传输程序被处理器执行时，可实现如上所述数据传输方法中的任意步骤。本专利技术提出的数据传输方法、服务器及计算机可读存储介质，通过构建两组网络，根据系统资源的状态，利用预设的选择规则从预设的选路算法中选择最优的选路算法，对两组网络的传输进行分配，提高系统的稳定性和传输效率。附图说明图1为本专利技术数据传输方法的应用环境示意图；图2为本专利技术服务器较佳实施例的示意图；图3为图2中数据传输程序较佳实施例的模块示意图；图4为本专利技术数据传输方法第一实施例的流程图；图5为本专利技术数据传输方法第二实施例的流程图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅用以解释本专利技术，并不用于限定本专利技术。如图1所示，是本专利技术数据传输方法的应用环境示意图。在本实施例中，本专利技术提供一种分布式存储系统，该系统包括服务器1、存储节点2、两组网络——网络A和网络B，以及一个或多个客户端3。客户端3向服务器发出向存储节点2读写本文档来自技高网...

【技术保护点】
1.一种数据传输方法，应用于服务器，服务器通过两组网络与客户端相连接，其特征在于，所述方法包括：监控步骤：监控服务器的系统资源及存储节点的当前状态；判断步骤：判断系统资源、存储节点的当前状态是否正常；选择步骤：当系统资源正常、存储节点的当前状态正常时，从预设的选路算法中选择一种选路算法，依据选择的选路算法将将数据包分配给相应的网络传输到相应的存储节点，所述预设的选路算法包括：轮询算法：轮流使用两组网络传输数据包；最优路径算法：统计预设时间内每组网络传输完成的数据包的数量，分别记为N1、N2，计算N1‑N2的绝对值，当N1‑N2的绝对值小于预设值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1‑N2的绝对值大于该预设值时，给预设时间内传输完成的数据包的数量多的网络分配第一优先级、余下的网络分配第二优先级，将第一比例的数据包分配给该第一优先级的网络传输、第二比例的数据包分配给第二优先级的网络传输，其中第一优先级高于第二优先级，第一比例大于第二比例；最短队列算法：统计每组网络传输未完成的数据包数量，分别记为N1、N2，计算N1‑N2的绝对值，当N1‑N2的绝对值小于预设阈值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1‑N2的绝对值大于该预设阈值时，给当前传输未完成的数据包的数量少的网络分配第一优先级、余下的网络分配第二优先级，将第三比例的数据包分配给该第一优先级的网络传输、第四比例的数据包分配给另一条网络传输，其中第一优先级高于第二优先级，第三比例大于第四比例。...

【技术特征摘要】
1.一种数据传输方法，应用于服务器，服务器通过两组网络与客户端相连接，其特征在于，所述方法包括：监控步骤：监控服务器的系统资源及存储节点的当前状态；判断步骤：判断系统资源、存储节点的当前状态是否正常；选择步骤：当系统资源正常、存储节点的当前状态正常时，从预设的选路算法中选择一种选路算法，依据选择的选路算法将将数据包分配给相应的网络传输到相应的存储节点，所述预设的选路算法包括：轮询算法：轮流使用两组网络传输数据包；最优路径算法：统计预设时间内每组网络传输完成的数据包的数量，分别记为N1、N2，计算N1-N2的绝对值，当N1-N2的绝对值小于预设值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1-N2的绝对值大于该预设值时，给预设时间内传输完成的数据包的数量多的网络分配第一优先级、余下的网络分配第二优先级，将第一比例的数据包分配给该第一优先级的网络传输、第二比例的数据包分配给第二优先级的网络传输，其中第一优先级高于第二优先级，第一比例大于第二比例；最短队列算法：统计每组网络传输未完成的数据包数量，分别记为N1、N2，计算N1-N2的绝对值，当N1-N2的绝对值小于预设阈值时，给两组网络分配相同的优先级、使用轮询算法分配数据包给两组网络，当N1-N2的绝对值大于该预设阈值时，给当前传输未完成的数据包的数量少的网络分配第一优先级、余下的网络分配第二优先级，将第三比例的数据包分配给该第一优先级的网络传输、第四比例的数据包分配给另一条网络传输，其中第一优先级高于第二优先级，第三比例大于第四比例。2.根据权利要求1所述的数据传输方法，其特征在于，所述系统资源包括：本地磁盘的利用率、内存利用率、CPU利用率。3.根据权利要求2所述的数据传输方法，其特征在于，所述判断步骤还包括：根据预先设置的本地磁盘的利用率、内存利用率、CPU利用率的第一预设阈值、第二预设阈值，判断系统资源的当前状态是否正常；当监控到其中一个系统资源的利用率高于相应的第二预设阈值时，判断系统资源紧张，当监控到所有系统资源的利用率分别低于相应的第一预设阈值时，判断系统资源充足，当监控到所有系统资源的利用率都低于第二预设阈值时，判断系统资源当前处于正常状态。4.根据权利要求1或3所述的数据传输方法，其特征在于，该方法还包括：切换步骤：当监控到服务器的系统资源紧张时，切换至所述最优路径算法将数据包分配给相应的网络传输到相应的存储节点，当监控到服务器的系统资源充足时，切换至所述轮询算法将数据包分配给相应的网络传输到相应的存储节点，当监控到服务器的系统资源处于正常状态时，选择最短队列算法将数据包分配给相应的网络传输到相应的存储节点。5.根据权利要求4所述的数据传输方法，其特征在于，该方法还包括：计算步骤：实时计算每组网络数据传输的平均延迟时间，计算当前传输数据的延迟时间与该网络平均延迟时间的差值；调整步骤：判断该差值是否超过第一预设值，当该...

【专利技术属性】
技术研发人员：刘浩月，
申请(专利权)人：平安科技深圳有限公司，
类型：发明
国别省市：广东,44