一种服务器数据处理性能测试方法与装置制造方法及图纸

本发明专利技术公开了一种基于深度学习模型的服务器数据处理性能测试方法与装置，包括：根据服务器的硬件配置搭建软件环境；基于软件环境安装深度学习框架；设置测试数据处理性能所使用的测试参数；使用深度学习框架基于测试参数测试服务器的数据处理性能；生成并返回测试结果。本发明专利技术的技术方案能够使用深度学习框架针对不同服务器或不同类型的服务器进行自动化的数据处理性能测试，提高工作效率并解放人工。

A Test Method and Device for Server Data Processing Performance

【技术实现步骤摘要】
一种服务器数据处理性能测试方法与装置
本专利技术涉及测试领域，并且更具体地，特别是涉及一种基于深度学习模型的服务器数据处理性能测试方法与装置。
技术介绍
AI服务器的自动化测试可以检测服务器本身硬件搭配是否正常和数据处理性能是否达标。目前，AI已近逐渐渗透到各行各业，AI算法的实现和落地依赖于大数据、大模型和强大的计算力，而强大的算力支持至关重要。AI计算平台深度学习模型训练和推理的基准性能测试，是衡量AI服务器计算能力的主要参考指标。由于传统的服务器测试方法与目前AI服务器性能测试的关注点不同，AI计算平台的性能测试需要新的测试工具和方法。目前，AI计算平台深度学习模型的基准性能测试的一般做法是根据服务器硬件配置特别是GPU型号的不同，手工配置深度学习基础环境以及深度学习框架。在配置几十台甚至上百台服务器的过程中，存在深度学习基础环境和框架重复安装、容易出错、耗时费力等缺点，消耗人力资源。AI计算平台的TensorFlow等深度学习框架基准性能测试、测试结果的分析整理也需要手工进行，不仅工作量大，而且同样存在费时费力的问题。针对现有技术中数据处理性能测试依赖人工、效率低下的问题，目前尚未有有效的解决方案。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提出一种基于深度学习模型的服务器数据处理性能测试方法与装置，能够使用深度学习框架针对不同服务器或不同类型的服务器进行自动化的数据处理性能测试，提高工作效率并解放人工。基于上述目的，本专利技术实施例的一方面提供了一种基于深度学习模型的服务器数据处理性能测试方法，包括以下步骤：根据服务器的硬件配置搭建软件环境；基于软件环境安装深度学习框架；设置测试数据处理性能所使用的测试参数；使用深度学习框架基于测试参数测试服务器的数据处理性能；生成并返回测试结果。在一些实施方式中，根据服务器的硬件配置搭建软件环境包括：根据服务器的图形处理单元安装对应的图形处理单元驱动；根据服务器的图形处理设备安装对应的计算设备构架；根据服务器的图形处理设备为计算设备构架安装对应的计算设备构架神经网络库；根据计算设备构架神经网络库安装对应的依赖库。在一些实施方式中，搭建软件环境时，图形处理器驱动、计算设备构架、计算设备构架神经网络库、依赖库按照前述顺序而依次被安装；使用自动化脚本搭建软件环境，其中每一个在安装完成时由自动化脚本检测版本匹配情况，在自动化脚本确认版本匹配后依次安装下一个。在一些实施方式中，测试服务器的数据处理性能包括：图形处理单元与硬盘、CPU、内存、主板之间的协作数据处理性能和处理速度，和图形处理单元驱动与深度学习框架、计算设备构架、计算设备构架神经网络库、依赖库之间的协作数据处理性能和处理速度。在一些实施方式中，设置测试数据处理性能所使用的测试参数，包括以下至少之一：训练次数、数据输入地址、训练强度、数据输出地址、训练模型、调用硬件、优化器、梯度规约、参数更新。在一些实施方式中，深度学习框架为Tensorflow；训练模型包括以下至少之一：alexnet模型、googlenet模型、vgg16模型、resnet50模型、resnet152模型。在一些实施方式中，优化器在训练过程中通过执行随机梯度下降算法来优化测试参数。在一些实施方式中，梯度规约通过图形处理单元执行，参数更新通过中央处理单元执行。在一些实施方式中，测试结果包括以下至少之一：训练任务吞吐量、训练任务加速比、推理任务延迟、推理任务加速比。基于上述目的，本专利技术实施例的另一方面提供了一种基于深度学习模型的服务器数据处理性能测试装置，包括：处理器；和存储器，存储有处理器可运行的程序代码，所述程序代码在被运行时执行上述的方法。本专利技术具有以下有益技术效果：本专利技术实施例提供的基于深度学习模型的服务器数据处理性能测试方法与装置，通过根据服务器的硬件配置搭建软件环境，基于软件环境安装深度学习框架，设置测试数据处理性能所使用的测试参数，使用深度学习框架基于测试参数测试服务器的数据处理性能，生成并返回测试结果的技术方案，能够使用深度学习框架针对不同服务器或不同类型的服务器进行自动化的数据处理性能测试，提高工作效率并解放人工。附图说明为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的实施例。图1为本专利技术提供的基于深度学习模型的服务器数据处理性能测试方法的流程示意图；图2为本专利技术提供的基于深度学习模型的服务器数据处理性能测试方法的详细流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术实施例进一步详细说明。需要说明的是，本专利技术实施例中所有使用“第一”和“第二”的表述均是为了区分两个相同名称非相同的实体或者非相同的参量，可见“第一”、“第二”仅为了表述的方便，不应理解为对本专利技术实施例的限定，后续实施例对此不再一一说明。基于上述目的，本专利技术实施例的第一个方面，提出了一种能够使用深度学习框架针对不同服务器或不同类型的服务器进行自动化的数据处理性能测试的方法的实施例。图1示出的是本专利技术提供的基于深度学习模型的服务器数据处理性能测试方法的实施例的流程示意图。所述基于深度学习模型的服务器数据处理性能测试方法，包括以下步骤：步骤S101，根据服务器的硬件配置搭建软件环境；步骤S103，基于软件环境安装深度学习框架；步骤S105，设置测试数据处理性能所使用的测试参数；步骤S107，使用深度学习框架基于测试参数测试服务器的数据处理性能；步骤S109，生成并返回测试结果。在一些实施方式中，根据服务器的硬件配置搭建软件环境包括：根据服务器的图形处理单元安装对应的图形处理单元驱动；根据服务器的图形处理设备安装对应的计算设备构架；根据服务器的图形处理设备为计算设备构架安装对应的计算设备构架神经网络库；根据计算设备构架神经网络库安装对应的依赖库。在一些实施方式中，搭建软件环境时，图形处理器驱动、计算设备构架、计算设备构架神经网络库、依赖库按照前述顺序而依次被安装；使用自动化脚本搭建软件环境，其中每一个在安装完成时由自动化脚本检测版本匹配情况，在自动化脚本确认版本匹配后依次安装下一个。在一些实施方式中，测试服务器的数据处理性能包括：图形处理单元与硬盘、CPU、内存、主板之间的协作数据处理性能和处理速度，和图形处理单元驱动与深度学习框架、计算设备构架、计算设备构架神经网络库、依赖库之间的协作数据处理性能和处理速度。在一些实施方式中，设置测试数据处理性能所使用的测试参数，包括以下至少之一：训练次数、数据输入地址、训练强度、数据输出地址、训练模型、调用硬件、优化器、梯度规约、参数更新。在一些实施方式中，深度学习框架为Tensorflow；训练模型包括以下至少之一：alexnet模型、googlenet模型、vgg16模型、resnet50模型、resnet152模型。在一些实施方式中，优化器在训练过程中通过执行随机梯度下降算法来优化测试参数。在一些实施方式中，梯度规约通过图形处理单元执行，参数更新通过中央处理单元执行本文档来自技高网...

【技术保护点】
1.一种基于深度学习模型的服务器数据处理性能测试方法，其特征在于，包括以下步骤：根据服务器的硬件配置搭建软件环境；基于所述软件环境安装深度学习框架；设置测试数据处理性能所使用的测试参数；使用所述深度学习框架基于所述测试参数测试所述服务器的数据处理性能；生成并返回测试结果。

【技术特征摘要】
1.一种基于深度学习模型的服务器数据处理性能测试方法，其特征在于，包括以下步骤：根据服务器的硬件配置搭建软件环境；基于所述软件环境安装深度学习框架；设置测试数据处理性能所使用的测试参数；使用所述深度学习框架基于所述测试参数测试所述服务器的数据处理性能；生成并返回测试结果。2.根据权利要求1所述的方法，其特征在于，根据所述服务器的所述硬件配置搭建所述软件环境包括：根据所述服务器的图形处理单元安装对应的图形处理单元驱动；根据所述服务器的图形处理设备安装对应的计算设备构架；根据所述服务器的所述图形处理设备为所述计算设备构架安装对应的计算设备构架神经网络库；根据所述计算设备构架神经网络库安装对应的依赖库。3.根据权利要求2所述的方法，其特征在于，搭建所述软件环境时，所述图形处理器驱动、所述计算设备构架、所述计算设备构架神经网络库、所述依赖库按照前述顺序而依次被安装；使用自动化脚本搭建所述软件环境，其中每一个在安装完成时由所述自动化脚本检测版本匹配情况，在所述自动化脚本确认版本匹配后依次安装下一个。4.根据权利要求2所述的方法，其特征在于，测试所述服务器的数据处理性能包括：所述图形处理单元与硬盘、CPU、内存、主板之间的协作数据处理性能和处理速度，和所述图形处理单元...

【专利技术属性】
技术研发人员：林建伟，
申请(专利权)人：苏州浪潮智能科技有限公司，
类型：发明
国别省市：江苏,32