一种数据传输方法、装置、设备及计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据传输方法，该方法包括以下步骤：当接收到数据传输请求时，获取与目标存储控制器之间各FC卡的带宽占用率；根据各FC卡的带宽占用率，对数据传输请求对应的待传输数据进行划分，得到各FC卡分别对应的目标数据块；利用各FC卡将各目标数据块发送给目标存储控制器。应用本发明专利技术实施例所提供的技术方案，提高了对数据划分的合理性，较大地提高了服务器与存储控制器之间的数据传输速率。本发明专利技术还公开了一种数据传输装置、设备及存储介质，具有相应技术效果。

A Data Transmission Method, Device, Equipment and Computer Readable Storage Media

The invention discloses a data transmission method, which includes the following steps: when receiving a data transmission request, obtaining the bandwidth occupancy ratio of each FC card with the target storage controller; dividing the data to be transmitted corresponding to the data transmission request according to the bandwidth occupancy ratio of each FC card, obtaining the corresponding target data blocks of each FC card; and using each FC card to count each target number. The data block is sent to the target storage controller. The technical scheme provided by the embodiment of the present invention improves the rationality of data partition and greatly improves the data transmission rate between the server and the storage controller. The invention also discloses a data transmission device, a device and a storage medium with corresponding technical effects.

【技术实现步骤摘要】
一种数据传输方法、装置、设备及计算机可读存储介质
本专利技术涉及分布式存储
，特别是涉及一种数据传输方法、装置、设备及计算机可读存储介质。
技术介绍
存储控制器的功能是接收服务器的数据，然后存储到与存储控制器相连接的硬盘上。如图1所示，整个过程如下：服务器下发数据到存储控制器，对存储区域网络SAN，存储控制器通过FC光纤卡(FibreChannel)中的光纤口与服务器连接，接收和发送服务器的数据。存储控制器接收到数据后，对数据做相应的处理，最后把数据落到与存储控制器相连接的硬盘上。通常的FC卡观测是使用的带宽指标，对于一些高端的场景，为了保证服务器的访问速度，通常会在服务器上引出多条链路与存储控制器相连，如图2所示，对于常见的16GFC卡，如果一个口的带宽是16G，那么连接三根FC口，带宽可以乘以三，达到48G。多条链路主要存在两点优势：一是前端带宽高(前端指服务器到存储控制器这一段链路)；第二是由于前端带宽高带来的附加好处，后端可以挂更多的硬盘。所谓高端用户就是这种大容量硬盘，高性能服务器的场景下，服务器与存储控制器的连接方式。在服务器与存储控制器通过多条链路相连的场景下，对于多链路的场景来说通常都会使用多路径管理软件来管理流量的分布。多路径软件解决的是IO(InputandOutput)流量在多条数据链路中如何选择的问题。目前最常用的数据链路选择方式是leastbytes，即在指定路径组中，选择IO字节数最少的路径。但是数据链路中IO字节数的大小仅是影响数据传输效率的一个影响因素，仍存在数据划分不恰当，导致服务器与存储控制器之间的数据传输速率较低的问题。综上所述，如何有效地解决数据划分不恰当，导致服务器与存储控制器之间的数据传输速率较低等问题，是目前本领域技术人员急需解决的问题。
技术实现思路
本专利技术的目的是提供一种数据传输方法，该方法提高了对数据划分的合理性，较大地提高了服务器与存储控制器之间的数据传输速率；本专利技术的另一目的是提供一种数据传输装置、设备及计算机可读存储介质。为解决上述技术问题，本专利技术提供如下技术方案：一种数据传输方法，包括：当接收到数据传输请求时，获取与目标存储控制器之间各FC卡的带宽占用率；根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，得到各所述FC卡分别对应的目标数据块；利用各所述FC卡将各所述目标数据块发送给所述目标存储控制器。在本专利技术的一种具体实施方式中，根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，包括：计算各所述FC卡的带宽占用率之间的占用率比例关系；确定与所述占用率比例关系成反比的数据划分比例；按照所述数据划分比例对所述待传输数据进行划分。在本专利技术的一种具体实施方式中，在获取与目标存储控制器之间各FC卡的带宽占用率之后，根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分之前，还包括：判断是否存在所述带宽占用率大于预设带宽占用率的FC卡；若是，则将所述带宽占用率大于所述预设带宽占用率的所述FC卡设定为不可用FC卡；根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，包括：根据除所述不可用FC卡外的各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分。在本专利技术的一种具体实施方式中，在确定各所述FC卡的所述带宽占用率均大于所述预设带宽占用率时，还包括：将所述待传输数据发送到预设队列中进行缓存。一种数据传输装置，包括：占用率获取模块，用于当接收到数据传输请求时，获取与目标存储控制器之间各FC卡的带宽占用率；数据块获得模块，用于根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，得到各所述FC卡分别对应的目标数据块；数据块发送模块，用于利用各所述FC卡将各所述目标数据块发送给所述目标存储控制器。在本专利技术的一种具体实施方式中，所述数据块获得模块包括数据划分子模块，所述数据划分子模块包括：占用率比例计算单元，用于计算各所述FC卡的带宽占用率之间的占用率比例关系；数据划分比例确定单元，用于确定与所述占用率比例关系成反比的数据划分比例；数据划分单元，用于按照所述数据划分比例对所述待传输数据进行划分。在本专利技术的一种具体实施方式中，还包括：判断模块，用于在获取与目标存储控制器之间各FC卡的带宽占用率之后，根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分之前，判断是否存在所述带宽占用率大于预设带宽占用率的FC卡；FC卡设定模块，用于当确定存在所述带宽占用率大于预设带宽占用率的FC卡时，将所述带宽占用率大于所述预设带宽占用率的所述FC卡设定为不可用FC卡；所述数据划分子模块具体为根据除所述不可用FC卡外的各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分的模块。在本专利技术的一种具体实施方式中，还包括：数据缓存模块，用于在确定各所述FC卡的所述带宽占用率均大于所述预设带宽占用率时，将所述待传输数据发送到预设队列中进行缓存。一种数据传输设备，包括：存储器，用于存储计算机程序；处理器，用于执行所述计算机程序时实现如前所述数据传输方法的步骤。一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如前所述数据传输方法的步骤。应用本专利技术实施例所提供的数据传输方法，通过在接收到数据传输请求时，服务器获取与目标存储控制器之间各FC卡的带宽占用率，根据各FC卡的带宽占用率对数据传输请求对应的待传输数据进行划分，得到各FC卡分别对应的目标数据块，从而利用各FC卡将各目标数据块发送给目标存储控制器。相较于现有技术中仅将IO字节数最少的路径定为最终传输待传输数据的路径，本申请所提供的数据传输方案，充分结合了在各FC卡规格不同的情况下，数据传输能力的区别，将待传输数据按FC卡的带宽占用率划分给各FC卡，提高了对数据划分的合理性，较大地提高了服务器与存储控制器之间的数据传输速率。相应的，本专利技术实施例还提供了与上述数据传输方法相对应的数据传输装置、设备和计算机可读存储介质，具有上述技术效果，在此不再赘述。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为服务器与存储控制器之间单路径数据传输的结构示意图；图2为服务器与存储控制器之间多路径数据传输的结构示意图；图3为本专利技术实施例中数据传输方法的一种实施流程图；图4为本专利技术实施例中数据传输方法的另一种实施流程图；图5为本专利技术实施例中数据传输方法的另一种实施流程图；图6为本专利技术实施例中一种数据传输装置的结构框图；图7为本专利技术实施例中一种数据传输设备的结构框图。具体实施方式为了使本
的人员更好地理解本专利技术方案，下面结合附图和具体实施方式对本专利技术作进一步的详细说明。显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术本文档来自技高网...

【技术保护点】
1.一种数据传输方法，其特征在于，包括：当接收到数据传输请求时，获取与目标存储控制器之间各FC卡的带宽占用率；根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，得到各所述FC卡分别对应的目标数据块；利用各所述FC卡将各所述目标数据块发送给所述目标存储控制器。

【技术特征摘要】
1.一种数据传输方法，其特征在于，包括：当接收到数据传输请求时，获取与目标存储控制器之间各FC卡的带宽占用率；根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，得到各所述FC卡分别对应的目标数据块；利用各所述FC卡将各所述目标数据块发送给所述目标存储控制器。2.根据权利要求1所述的数据传输方法，其特征在于，根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，包括：计算各所述FC卡的带宽占用率之间的占用率比例关系；确定与所述占用率比例关系成反比的数据划分比例；按照所述数据划分比例对所述待传输数据进行划分。3.根据权利要求1所述的数据传输方法，其特征在于，在获取与目标存储控制器之间各FC卡的带宽占用率之后，根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分之前，还包括：判断是否存在所述带宽占用率大于预设带宽占用率的FC卡；若是，则将所述带宽占用率大于所述预设带宽占用率的所述FC卡设定为不可用FC卡；根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，包括：根据除所述不可用FC卡外的各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分。4.根据权利要求3所述的数据传输方法，其特征在于，在确定各所述FC卡的所述带宽占用率均大于所述预设带宽占用率时，还包括：将所述待传输数据发送到预设队列中进行缓存。5.一种数据传输装置，其特征在于，包括：占用率获取模块，用于当接收到数据传输请求时，获取与目标存储控制器之间各FC卡的带宽占用率；数据块获得模块，用于根据各所述FC卡的带宽占用率，对所述数据传输请求对应的待传输数据进行划分，得到各所述...

【专利技术属性】
技术研发人员：孙昊，赵帅，姜洪正，肖占慧，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41