网络性能测试方法、数据处理设备和存储介质技术

本发明专利技术公开了一种网络性能测试方法、数据处理设备和存储介质，所述方法包括：在网络的至少一个客户端建立多条连接，其中每一条连接对应网络的一个通道，每一个通道对应网络的一个远端地址；当所述至少一个客户端产生数据流量时，将产生的数据流量按照预定的分发策略分发至对应通道中；基于通道的数据流量处理过程，分析对应的网络性能。利用本发明专利技术实施例可实现网络性能测试。

Network performance test method, data processing equipment and storage medium

【技术实现步骤摘要】
网络性能测试方法、数据处理设备和存储介质
本专利技术涉及计算机
，尤其是涉及一种网络性能的测试方法及其装置、数据处理设备和计算机可读存储介质。
技术介绍
以往，人们通过网络流量测试仪(例如tesgine、ixia)来模拟网络流量，这种方式存在诸多缺点：1、测试仪是物理硬件设备，购买投入会拉高成本；2、测试仪设备收发包端口固定，无法对接大规模集群环境；3、测试仪设备的流量模型配置复杂；4、测试仪设备只能模拟七层网络的流量，侧重于测试网络设备的转发性能。但是，对于大规模集群环境，网络流量测试仪这样的硬件设备不再适用。首先，测试仪设备无法模拟大规模集群环境中网络流量对物理机的各种压力(CPU、内存、网卡、中断等)，也无法模拟大规模集群环境中物理机上各种线程模型对远程直接数据存取(RemoteDirectMemoryAccess，RDMA)网络性能的影响。
技术实现思路
有鉴于此，本专利技术提出一种网络性能的测试方法及其装置、数据处理设备和计算机可读存储介质，能够实现网络性能测试，能够解决诸如大规模集群环境的网络性能测试困难的问题。第一方面，本专利技术提供一种网络性能测试方法，所述方法包括：在网络的至少一个客户端建立多条连接，其中每一条连接对应网络的一个通道，每一个通道对应网络的一个远端地址；当所述至少一个客户端产生数据流量时，将产生的数据流量按照预定的分发策略分发至对应通道中；基于通道的数据流量处理过程，分析对应的网络性能。根据本专利技术所述的方法，所述基于通道的数据流量处理过程，分析对应的网络性能，包括：各通道基于分得的数据流量，将数据包发送至各自对应的远端地址；收集各通道发送数据包过程中的网络压力参数；待各通道的数据包发送完毕后，对收集到的网络压力参数进行分析，以获得测试结果。根据本专利技术所述的方法，所述在网络的至少一个客户端建立多条连接包括：在所述至少一个客户端建立多个线程，在每个线程中建立至少一条连接。根据本专利技术所述的方法，每个线程通过令牌方式对各自对应的各条连接的数据流量进行分配。根据本专利技术所述的方法，每个客户端按照预设的分发策略对各自对应的各个线程的数据流量进行分配。根据本专利技术所述的方法，所述分发策略包括以下各种策略中的至少一种：轮询队列对(queue-pair，QP)、随机QP、固定QP。根据本专利技术所述的方法，在网络的至少一个客户端建立多条连接之前，所述方法还包括：根据输入信息生成所述至少一个客户端的配置信息。根据本专利技术所述的方法，所述配置信息包括全部客户端的主机名hostname列表和/或网际协议IP地址列表。根据本专利技术所述的方法，所述方法还包括：根据所述至少一个客户端的配置信息，将所述至少一个客户端部署到网络。第二方面，本专利技术还提供一种网络性能测试装置，所述装置包括：连接建立模块，用于在网络的至少一个客户端建立多条连接，其中每一条连接对应网络的一个通道，每一个通道对应网络的一个远端地址；流量分发模块，用于当所述至少一个客户端产生数据流量时，将产生的数据流量按照预定的分发策略分发至对应通道中；网络性能分析模块，用于基于通道的数据流量处理过程，分析对应的网络性能。第三方面，本专利技术还提供一种数据处理设备，其包括：存储器，用于存储程序；处理器，用于运行所述存储器中存储的所述程序，以执行如上所述的方法。第四方面，本专利技术还提供一种计算机可读存储介质，其上存储有计算机程序指令，当所述计算机程序指令被处理器执行时实现如上所述的方法。利用本专利技术可在网络中建立若干通道连接，每当客户端产生流量，都按照分配策略将流量分配到这些通道连接中，在这些通道连接中发送数据包，从而模拟数据包的发送过程，获得相应的网络性能参数，从而实现对网络性能的测试。附图说明图1为本专利技术一个实施例的网络性能测试方法的流程框图。图2为本专利技术一个实施例对集群网络性能测试的方法流程图。图3为本专利技术实施例的压力客户端模块的架构图。图4为本专利技术实施例的数据处理设备的硬件结构示意图。具体实施方式以下结合附图及实施例，对本专利技术进行详细描述。应理解，所描述的具体实施例仅用于解释本专利技术，而并不用于限定本专利技术。文中的诸如第一、第二等用语仅用来对一个实体(或操作)与另一个实体(或操作)进行区分，而不表示这些实体(或操作)之间存在任何关系或顺序；另外，文中的诸如上、下、左、右、前、后等表示方向或方位的用语，仅表示相对的方向或方位，而非绝对的方向或方位。在没有额外限制的情况下，由语句“包括”限定的要素，不排除在包括所述要素的过程、方法、物品或者设备中还存在其他要素。远程直接数据存取(RemoteDirectMemoryAccess，RDMA)可视作远程DMA技术，RDMA是为了解决网络传输中服务器端数据处理的延迟而产生的技术。RDMA允许用户态的应用程序直接读取或写入远程内存，而无内核干预和内存拷贝发生。起初，RDMA技术只应用在高性能计算领域；当前，由于在大规模分布式系统和数据中心的网络瓶颈日益突出，RDMA技术逐渐进入越来越多研发者的视野中。大规模集群环境中的RDMA网络性能观测有很多复杂场景，例如一对一、一对多、多对多等，并且流量模型也较为复杂，例如突发流量、大块网络报文、小块网络报文、大小包混合报文等，此外需要观测的指标也比较多，例如吞吐、延迟、稳定性、整集群转发性能、单机转发性能等。基于上述情况，本专利技术提供一种网络性能测试方法，利用本专利技术能够实现对各类网络的性能测试。具体到大规模集群环境，本专利技术能够在大规模集群环境中方便、快捷地得到网络中的多项数据，用于分析测试结果。以下对本专利技术的各个方面进行详细描述。图1示出了本专利技术实施例的网络性能测试方法的流程框图，其包括：S101，在网络的至少一个客户端建立多条连接，其中每一条连接对应网络的一个通道，每一个通道对应网络的一个远端地址；S102，当所述至少一个客户端产生数据流量时，将产生的数据流量按照预定的分发策略分发至对应通道中；S103，基于通道的数据流量处理过程，分析对应的网络性能。利用上述方案，可在网络中建立若干连接，每当客户端产生流量时，都按照分配策略将流量分配到若干连接中，在这些连接中发送数据包，从而模拟获得发送过程中的网络性能。在本专利技术的一种实施方式中，客户端先建立多个线程，然后在每个线程中建立至少一个连接，从而得到多个连接。客户端将流量先分配到多个线程，再由线程分配到各自的若干连接中。进一步，各连接通道基于分得的数据流量，将数据包发送至各自对应的远端地址；收集各通道发送数据包过程中的网络压力参数；各通道的数据包发送完毕后，对收集到的网络压力参数进行分析，以获得测试结果。可见，本专利技术通过在网络中建立多级分发处理机制和流量模型抽象处理机制，可提供灵活多变的场景模拟能力。在本专利技术的一种应用场景中，对大规模集群环境中的RDMA网络性能进行模拟和测试，可通过以下本文档来自技高网...

【技术保护点】
1.一种网络性能测试方法，其特征在于，所述方法包括：/n在网络的至少一个客户端建立多条连接，其中每一条连接对应网络的一个通道，每一个通道对应网络的一个远端地址；/n当所述至少一个客户端产生数据流量时，将产生的数据流量按照预定的分发策略分发至对应通道中；/n基于通道的数据流量处理过程，分析对应的网络性能。/n

【技术特征摘要】
1.一种网络性能测试方法，其特征在于，所述方法包括：
在网络的至少一个客户端建立多条连接，其中每一条连接对应网络的一个通道，每一个通道对应网络的一个远端地址；
当所述至少一个客户端产生数据流量时，将产生的数据流量按照预定的分发策略分发至对应通道中；
基于通道的数据流量处理过程，分析对应的网络性能。


2.根据权利要求1所述的方法，其特征在于，所述基于通道的数据流量处理过程，分析对应的网络性能，包括：
各通道基于分得的数据流量，将数据包发送至各自对应的远端地址；
收集各通道发送数据包过程中的网络压力参数；
待各通道的数据包发送完毕后，对收集到的网络压力参数进行分析，以获得测试结果。


3.根据权利要求1所述的方法，其特征在于，所述网络的至少一个客户端建立多条连接包括：
在所述至少一个客户端建立多个线程，在每个线程中建立至少一条连接。


4.根据权利要求3所述的方法，其特征在于，每个线程通过令牌方式对各自对应的各条连接的数据流量进行分配。


5.根据权利要求3所述的方法，其特征在于，每个客户端按照预设的分发策略对各自对应的各个线程的数据流量进行分配。


6.根据权利要求1所述的方法，其特征在于，所述分发策略包括以下各种策略中的至少一种：轮询队列对(queue-pair，QP)、随机...

【专利技术属性】
技术研发人员：袁诚，
申请(专利权)人：阿里巴巴集团控股有限公司，
类型：发明
国别省市：开曼群岛;KY