System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本公开涉及数据处理,尤其涉及一种rdma通信的方法及装置、电子设备和存储介质。
技术介绍
1、算力网络的蓬勃发展要求算力类型不断丰富,网络io不断提高,网络时延不断降低。为了弥补传统cpu算力单一的劣势,提出搭载gpu、fpga、npu等加速硬件的异构算力云平台。rdma能够实现远程直接数据读取,数据交换不经过cpu,减少大批量数据传输时cpu的开销。同时直接在内存和rdma网卡之间进行io数据交换的形式,省略cpu在内核和应用存储器之间的写入、拷贝过程,网络带宽限制因素减少且时延能进一步降低。其中,异构算力云平台系统中各种业务类型复杂,包括但不限于块存储、文件存储、键值存储、大数据场景,其数据格式、数据包大小、访问频率、内容刷新频率各不相同。
2、现有技术方案,云平台主要采用rdma的通用配置进行通信,或者基于rdma在同构云平台实现特定应用的自适应调优,导致rdma通信的应用场景受限。
技术实现思路
1、本公开提供了一种rdma通信的方法及装置、电子设备和存储介质。其主要目的在于解决现有技术中rdma通信的应用场景受限的问题。
2、根据本公开的第一方面,提供了一种rdma通信的方法,其中,包括:
3、对目标系统对应的rdma通信参数模型的目标参数进行优化;
4、采集进行所述目标参数优化后的所述目标系统内各性能参数指标;
5、判断所述各性能参数指标中是否存在至少一个所述性能参数指标满足其对应的预设指标条件;
7、将优化后的所述目标参数下发至目标rdma网卡,以进行rdma通信。
8、可选的,所述在确定所述各性能参数指标中未存在至少一个所述性能参数指标满足其对应的预设指标条件时,则判断本次优化结果是否优于本次优化结果的前一次优化结果;
9、在确定所述本次优化结果优于所述前一次优化结果时,将本次优化结果作为进程择优法的输入对所述进程择优法进行正向反馈式参数优化;
10、使用优化后的所述进程择优法对所述目标系统的目标参数进行优化;
11、将优化后的所述目标参数下发至所述目标rdma网卡,以进行rdma通信。
12、可选的,在确定所述前一次优化结果未优于所述本次优化结果时,将前一次优化结果作为进程择优法的输入对所述进程择优法进行逆向反馈式参数优化;
13、使用优化后的所述进程择优法对所述目标系统的目标参数进行优化;
14、将优化后的所述目标参数下发至所述目标rdma网卡,以进行rdma通信。
15、可选的,在目标系统首次启动自适应rdma通信调节功能时,所述方法包括:
16、基于启动指令启动自适应rdma通信调节功能,判断所述启动指令中是否指定rdma通信参数模型对应的目标参数;
17、在确定所述启动指令未指定所述目标参数时,基于预设硬件参数及预设应用数据参数在通信参数库中获取相应的所述目标参数;
18、将所述目标参数下发至目标rdma网卡,以进行rdma通信。
19、可选的,所述基于启动指令启动自适应rdma通信调节功能包括:
20、响应于所述启动指令,在通信参数库中获取所述启动指令对应的所述预设硬件参数;
21、基于所述预设硬件通信参数获取其对应的目标底层资源,以使用所述目标底层资源运行所述自适应rdma通信调节功能。
22、可选的,在确定所述启动指令指定所述目标参数时,直接将指定的所述目标参数下发至目标rdma网卡,以进行rdma通信。
23、根据本公开的第二方面,提供了一种rdma通信的装置,包括:
24、第一优化单元,用于对目标系统对应的rdma通信参数模型的目标参数进行优化;
25、采集单元,用于采集进行所述目标参数优化后的所述目标系统内各性能参数指标;
26、第一判断单元,用于判断所述各性能参数指标中是否存在至少一个所述性能参数指标满足其对应的预设指标条件;
27、结束单元,用于在确定所述各性能参数指标中存在至少一个所述性能参数指标满足其对应的预设指标条件时,则结束对所述目标参数的优化;
28、第一通信单元,用于将优化后的所述目标参数下发至目标rdma网卡,以进行rdma通信。
29、可选的,所述装置还包括:
30、第二判断单元,用于在确定所述各性能参数指标中未存在至少一个所述性能参数指标满足其对应的预设指标条件时,则判断本次优化结果是否优于本次优化结果的前一次优化结果;
31、第二优化单元,在确定所述本次优化结果优于所述前一次优化结果时,将本次优化结果作为进程择优法的输入对所述进程择优法进行正向反馈式参数优化;
32、第三优化单元,用于使用优化后的所述进程择优法对所述目标系统的目标参数进行优化;
33、第二通信单元,用于将优化后的所述目标参数下发至所述目标rdma网卡,以进行rdma通信。
34、可选的,所述第二优化单元还用于在确定所述前一次优化结果未优于所述本次优化结果时,将前一次优化结果作为进程择优法的输入对所述进程择优法进行逆向反馈式参数优化;
35、所述第三优化单元还用于使用优化后的所述进程择优法对所述目标系统的目标参数进行优化;
36、所述第二通信单元还用于将优化后的所述目标参数下发至所述目标rdma网卡,以进行rdma通信。
37、可选的,在目标系统首次启动自适应rdma通信调节功能时,所述装置还包括:
38、第三判断单元,用于基于启动指令启动自适应rdma通信调节功能,判断所述启动指令中是否指定rdma通信参数模型对应的目标参数;
39、获取单元,用于在确定所述启动指令未指定所述目标参数时,基于预设硬件参数及预设应用数据参数在通信参数库中获取相应的所述目标参数;
40、第三通信单元,用于将所述目标参数下发至目标rdma网卡,以进行rdma通信。
41、可选的,所述第三判断单元包括:
42、第一获取模块,用于响应于所述启动指令,在通信参数库中获取所述启动指令对应的所述预设硬件参数;
43、第二获取模块,用于基于所述预设硬件通信参数获取其对应的目标底层资源,以使用所述目标底层资源运行所述自适应rdma通信调节功能。
44、可选的,所述第三通信单元还用于在确定所述启动指令指定所述目标参数时,直接将指定的所述目标参数下发至目标rdma网卡,以进行rdma通信。
45、根据本公开的第三方面,提供了一种电子设备,包括:
46、至少一个处理器;以及
47、与所述至少一个处理器通信连接的存储器;其中,
48、所述存储器存储本文档来自技高网...
【技术保护点】
1.一种RDMA通信的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在确定所述各性能参数指标中未存在至少一个所述性能参数指标满足其对应的预设指标条件时,则判断本次优化结果是否优于本次优化结果的前一次优化结果;
3.根据权利要求2所述的方法,其特征在于,在确定所述前一次优化结果未优于所述本次优化结果时,将前一次优化结果作为进程择优法的输入对所述进程择优法进行逆向反馈式参数优化;
4.根据权利要求1所述的方法,其特征在于,在目标系统首次启动自适应RDMA通信调节功能时,所述方法包括:
5.根据权利要求4所述的方法,其特征在于,所述基于启动指令启动自适应RDMA通信调节功能包括:
6.根据权利要求4所述的方法,其特征在于,在确定所述启动指令指定所述目标参数时,直接将指定的所述目标参数下发至目标RDMA网卡,以进行RDMA通信。
7.一种RDMA通信的装置,其特征在于,包括:
8.一种电子设备,其特征在于,包括:
9.一种存储有计算机指令的非瞬时计算机可读存储介质,其
10.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。
...【技术特征摘要】
1.一种rdma通信的方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述在确定所述各性能参数指标中未存在至少一个所述性能参数指标满足其对应的预设指标条件时,则判断本次优化结果是否优于本次优化结果的前一次优化结果;
3.根据权利要求2所述的方法,其特征在于,在确定所述前一次优化结果未优于所述本次优化结果时,将前一次优化结果作为进程择优法的输入对所述进程择优法进行逆向反馈式参数优化;
4.根据权利要求1所述的方法,其特征在于,在目标系统首次启动自适应rdma通信调节功能时,所述方法包括:
5.根据权利要求4所述的方法,其特征在于,所述基...
【专利技术属性】
技术研发人员:王悦,郭雷,苏江毅,
申请(专利权)人:中移苏州软件技术有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。