System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种数据处理系统、方法、设备及介质技术方案_技高网

一种数据处理系统、方法、设备及介质技术方案

技术编号:40477684 阅读:5 留言:0更新日期:2024-02-26 19:13
本申请公开了计算机技术领域内的一种数据处理系统、方法、设备及介质。本申请中的磁盘阵列的每一CPU核组绑定有专属的、不被其他CPU核组探查的物理网卡、物理硬盘和物理内存,实现了磁盘阵列中物理网卡资源、物理硬盘资源和物理内存资源的隔离和划分;任意主机通过网络设备与多个CPU核组中的单一CPU核组专属的物理网卡,建立不被其他主机和其他CPU核组探查的专属的通信链路,那么一个CPU核组(即一个die)和一个主机就有一个专用的通信链路通信,使得该主机访问该CPU核组以及与绑定的物理硬盘和物理内存,而不用跨die访问,访问路径得到了缩短,节约了计算机资源,提升了访问性能和访问效率。

【技术实现步骤摘要】

本申请涉及计算机,特别涉及一种数据处理系统、方法、设备及介质


技术介绍

1、当前,numa(non-uniform memory access,非一致性内存访问)架构的处理器(central processing unit,cpu)经常会跨die访问,一个die包括一部分的cpu核。跨die访问时,访问路径较长,所消耗的计算机资源也较多,因此访问性能和访问效率有限。其中,对一个处理器中的不同cpu核进行划分,可使n个cpu核组成一个die。

2、因此,如何解决跨die访问造成的低访问性能和低访问效率,是本领域技术人员需要解决的问题。


技术实现思路

1、有鉴于此,本申请的目的在于提供一种数据处理系统、方法、设备及介质,以解决跨die访问造成的低访问性能和低访问效率。其具体方案如下:

2、第一方面,本申请提供了一种数据处理系统,包括:磁盘阵列、网络设备和至少一个主机;

3、所述磁盘阵列包括:多个cpu核组,每一cpu核组绑定有专属的、不被其他cpu核组探查的物理网卡、物理硬盘和物理内存;

4、所述网络设备用于:使所述磁盘阵列和所述至少一个主机进行通信;

5、任意主机用于:通过所述网络设备探查所述磁盘阵列中的每一cpu核组绑定的物理网卡、物理硬盘和物理内存;与所述多个cpu核组中的单一cpu核组专属的物理网卡,建立不被其他主机和其他cpu核组探查的通信链路,并通过所述通信链路访问当前cpu核组、以及与当前cpu核组绑定的物理硬盘和物理内存。

6、可选地,所述磁盘阵列用于:按照负载均衡策略将自身中的所有cpu核划分至不同cpu核组,得到所述多个cpu核组;

7、相应地,所述磁盘阵列还用于:为每一cpu核组绑定至少一个物理内存的内存实例、至少一个物理网卡的网卡实例和至少一个硬盘的硬盘实例,以使每一cpu核组绑定专属的、不被其他cpu核组探查的物理网卡、物理硬盘和物理内存。

8、可选地,所述网络设备为网络交换机;

9、相应地,所述网络交换机用于:利用以太网协议使所述磁盘阵列和所述至少一个主机进行通信。

10、可选地,任意主机具体用于:与所述多个cpu核组中的单一cpu核组专属的物理网卡的rdma(remotedirect memory access,远程直接数据存取)网口连接,以建立不被其他主机和其他cpu核组探查的rdma通信链路,并通过所述rdma通信链路访问当前cpu核组、以及与当前cpu核组绑定的物理硬盘和物理内存。

11、可选地,任意主机还用于:在自身中为每一通信链路创建访问队列以及内存区。

12、可选地,物理硬盘为nvme(non-volatile memory express,非易失性内存主机控制器接口规范)硬盘和/或sas(serial attached scsi,串行连接scsi接口协议)硬盘;

13、相应地,任意主机具体用于:通过nvme协议和/或sas协议访问当前cpu核组绑定的物理硬盘。

14、可选地,所述磁盘阵列还包括:主控制器;

15、相应地,所述主控制器用于:接收任意主机发送的访问请求,根据所述访问请求的目的端口将所述访问请求转发至相应cpu核组。

16、可选地,任意cpu核组具体用于:若接收的访问请求为读请求,则在当前cpu核组绑定的物理内存中申请内存区,从当前cpu核组绑定的物理硬盘中读取所述读请求要读取的目标数据至所申请的内存区,通过当前cpu核组绑定的物理网卡将内存区中的目标数据发送至所述读请求对应的主机。

17、可选地,任意cpu核组还用于:释放所述读请求占用的内存资源。

18、可选地,任意cpu核组还用于:在从当前cpu核组绑定的物理硬盘中读取所述读请求要读取的目标数据至所申请的内存区的同时,从该物理硬盘中读取与所述目标数据的关联度大于预设阈值的关联数据至所申请的内存区;在通过当前cpu核组绑定的物理网卡将内存区中的目标数据发送至所述读请求对应的主机之后,保留所申请的内存区中的所述目标数据和所述关联数据。

19、可选地,任意cpu核组具体用于:计算当前cpu核组绑定的物理硬盘中的其他数据的数据关键信息与所述目标数据的数据关键信息之间的关联度;数据关键信息包括:数据存储地址、哈希值和/或元数据。

20、可选地,任意cpu核组具体用于:若接收的访问请求为写请求,则在当前cpu核组绑定的物理内存中申请内存区,将所述写请求要写的数据写入所申请的内存区,将所申请内存区中的数据写入当前cpu核组绑定的物理硬盘,通过当前cpu核组绑定的物理网卡返回写请求完成消息至所述写请求对应的主机。

21、第二方面,本申请提供了一种数据处理方法,应用于任意主机,该主机通过网络设备与磁盘阵列通信,所述磁盘阵列包括:多个cpu核组,每一cpu核组绑定有专属的、不被其他cpu核组探查的物理网卡、物理硬盘和物理内存;

22、该方法包括:

23、通过所述网络设备探查所述磁盘阵列中的每一cpu核组绑定的物理网卡、物理硬盘和物理内存;

24、与所述多个cpu核组中的单一cpu核组专属的物理网卡,建立不被其他主机和其他cpu核组探查的通信链路;

25、通过所述通信链路访问当前cpu核组、以及与当前cpu核组绑定的物理硬盘和物理内存。

26、可选地,所述磁盘阵列按照负载均衡策略将自身中的所有cpu核划分至不同cpu核组,得到所述多个cpu核组;为每一cpu核组绑定至少一个物理内存的内存实例、至少一个物理网卡的网卡实例和至少一个硬盘的硬盘实例,以使每一cpu核组绑定专属的、不被其他cpu核组探查的物理网卡、物理硬盘和物理内存。

27、可选地,所述网络设备为网络交换机;所述网络交换机利用以太网协议使所述磁盘阵列和所述至少一个主机进行通信。

28、可选地,任意主机与所述多个cpu核组中的单一cpu核组专属的物理网卡的rdma(remotedirect memory access,远程直接数据存取)网口连接,以建立不被其他主机和其他cpu核组探查的rdma通信链路,并通过所述rdma通信链路访问当前cpu核组、以及与当前cpu核组绑定的物理硬盘和物理内存。

29、可选地,任意主机在自身中为每一通信链路创建访问队列以及内存区。

30、可选地,任意主机通过nvme协议和/或sas协议访问当前cpu核组绑定的物理硬盘。

31、可选地,任意cpu核组若接收的访问请求为读请求,则在当前cpu核组绑定的物理内存中申请内存区,从当前cpu核组绑定的物理硬盘中读取所述读请求要读取的目标数据至所申请的内存区,通过当前cpu核组绑定的物理网卡将内存区中的目标数据发送至所述读请求对应的主机。释放所述读请求占用的内存资源。

32、可选地,任意cpu核组在从当前cpu核组绑定的物本文档来自技高网...

【技术保护点】

1.一种数据处理系统,其特征在于,包括:磁盘阵列、网络设备和至少一个主机;

2.根据权利要求1所述的系统,其特征在于,所述磁盘阵列用于:按照负载均衡策略将自身中的所有CPU核划分至不同CPU核组,得到所述多个CPU核组;

3.根据权利要求1所述的系统,其特征在于,所述网络设备为网络交换机;

4.根据权利要求1所述的系统,其特征在于,任意主机具体用于:与所述多个CPU核组中的单一CPU核组专属的物理网卡的RDMA网口连接,以建立不被其他主机和其他CPU核组探查的RDMA通信链路,并通过所述RDMA通信链路访问当前CPU核组、以及与当前CPU核组绑定的物理硬盘和物理内存。

5.根据权利要求1所述的系统,其特征在于,任意主机还用于:在自身中为每一通信链路创建访问队列以及内存区。

6.根据权利要求1所述的系统,其特征在于,物理硬盘为NVMe硬盘和/或SAS硬盘;

7.根据权利要求1至6任意一项所述的系统,其特征在于,所述磁盘阵列还包括:主控制器;

8.根据权利要求1至6任意一项所述的系统,其特征在于,任意CPU核组具体用于:若接收的访问请求为读请求,则在当前CPU核组绑定的物理内存中申请内存区,从当前CPU核组绑定的物理硬盘中读取所述读请求要读取的目标数据至所申请的内存区,通过当前CPU核组绑定的物理网卡将内存区中的目标数据发送至所述读请求对应的主机。

9.根据权利要求8所述的系统,其特征在于,任意CPU核组还用于:释放所述读请求占用的内存资源。

10.根据权利要求8所述的系统,其特征在于,任意CPU核组还用于:在从当前CPU核组绑定的物理硬盘中读取所述读请求要读取的目标数据至所申请的内存区的同时,从该物理硬盘中读取与所述目标数据的关联度大于预设阈值的关联数据至所申请的内存区;在通过当前CPU核组绑定的物理网卡将内存区中的目标数据发送至所述读请求对应的主机之后,保留所申请的内存区中的所述目标数据和所述关联数据。

11.根据权利要求10所述的系统,其特征在于,任意CPU核组具体用于:计算当前CPU核组绑定的物理硬盘中的其他数据的数据关键信息与所述目标数据的数据关键信息之间的关联度;数据关键信息包括:数据存储地址、哈希值和/或元数据。

12.根据权利要求1至6任意一项所述的系统,其特征在于,任意CPU核组具体用于:若接收的访问请求为写请求,则在当前CPU核组绑定的物理内存中申请内存区,将所述写请求要写的数据写入所申请的内存区,将所申请内存区中的数据写入当前CPU核组绑定的物理硬盘,通过当前CPU核组绑定的物理网卡返回写请求完成消息至所述写请求对应的主机。

13.一种数据处理方法,其特征在于,应用于任意主机,该主机通过网络设备与磁盘阵列通信,所述磁盘阵列包括:多个CPU核组,每一CPU核组绑定有专属的、不被其他CPU核组探查的物理网卡、物理硬盘和物理内存;

14.一种电子设备,其特征在于,包括:

15.一种可读存储介质,其特征在于,用于保存计算机程序,其中,所述计算机程序被处理器执行时实现如权利要求13所述的方法。

...

【技术特征摘要】

1.一种数据处理系统,其特征在于,包括:磁盘阵列、网络设备和至少一个主机;

2.根据权利要求1所述的系统,其特征在于,所述磁盘阵列用于:按照负载均衡策略将自身中的所有cpu核划分至不同cpu核组,得到所述多个cpu核组;

3.根据权利要求1所述的系统,其特征在于,所述网络设备为网络交换机;

4.根据权利要求1所述的系统,其特征在于,任意主机具体用于:与所述多个cpu核组中的单一cpu核组专属的物理网卡的rdma网口连接,以建立不被其他主机和其他cpu核组探查的rdma通信链路,并通过所述rdma通信链路访问当前cpu核组、以及与当前cpu核组绑定的物理硬盘和物理内存。

5.根据权利要求1所述的系统,其特征在于,任意主机还用于:在自身中为每一通信链路创建访问队列以及内存区。

6.根据权利要求1所述的系统,其特征在于,物理硬盘为nvme硬盘和/或sas硬盘;

7.根据权利要求1至6任意一项所述的系统,其特征在于,所述磁盘阵列还包括:主控制器;

8.根据权利要求1至6任意一项所述的系统,其特征在于,任意cpu核组具体用于:若接收的访问请求为读请求,则在当前cpu核组绑定的物理内存中申请内存区,从当前cpu核组绑定的物理硬盘中读取所述读请求要读取的目标数据至所申请的内存区,通过当前cpu核组绑定的物理网卡将内存区中的目标数据发送至所述读请求对应的主机。

9.根据权利要求8所述的系统,其特征在于,任意cpu核组还用于:释放所述读请求占用的内存资源。

【专利技术属性】
技术研发人员:赵帅仇锋利张在理
申请(专利权)人:苏州元脑智能科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1