本申请的实施方式提供了一种模型测试方法、装置、电子设备及存储介质。该模型测试方法包括：获取模型文件和测试文件，模型文件包含离线网络模型和模型执行文件；测试文件包含模型测试数据和性能测试程序；运行性能测试程序，使得性能测试程序能够基于离线网络模型、模型执行文件和模型测试数据获取性能评测数据；以及基于性能评测数据形成性能测试报告。本申请的技术方案能够提升离线网络模型的测试效率，实时获得详细的测试指标数据，满足离线网络模型的精准优化需求。线网络模型的精准优化需求。线网络模型的精准优化需求。
【技术实现步骤摘要】
模型测试方法、装置、电子设备及存储介质
[0001]本申请的实施方式一般地涉及计算机领域，更具体地，本申请的实施方式涉及模型测试方法、装置、电子设备及存储介质。
技术介绍
[0002]本部分旨在为权利要求书中陈述的本申请的实施方式提供背景或上下文。此处的描述可包括可以探究的概念，但不一定是之前已经想到或者已经探究的概念。因此，除非在此指出，否则在本部分中描述的内容对于本申请的说明书和权利要求书而言不是现有技术，并且并不因为包括在本部分中就承认是现有技术。
[0003]离线网络模型，例如是离线TTS模型和离线ASR模型，在进行迭代更新后都需要经过性能测试才能应用在终端设备上。现有的测试方式一般采用基于离线SDK进行测试的方式。该测试方式需要进行安装Android Studio以及配置Android SDK等操作，但安装Android Studio以及配置Android SDK所花费的时间较长，操作步骤繁琐，使用门槛较高，而且在调试的过程中经常遇到阻塞问题，例如显示TTS模型未初始化等。不仅如此，在离线网络模型的每一次迭代更新后，都需要重新执行安装Android Studio以及配置Android SDK等操作，导致需要花费大量时间去调试工具，在现今离线网络模型高频率更新迭代和终端设备高频率发布的情况下，造成测试成本居高不下。再者，采用上述测试方法不能实时获取性能数据以进行模型调优，导致发现问题滞后，同时无法获取各细化业务需求对应的测试指标数据，不能够满足模型的优化需求。
[0004]有鉴于此，亟需提出一种创新的模型测试方法，以便提升离线网络模型的测试效率，实时获得详细的测试指标数据，满足离线网络模型的精准优化需求。
技术实现思路
[0005]为克服相关技术中存在的问题，本申请的实施方式期望提供一种模型测试方法、装置、电子设备及存储介质。该模型测试方法能够提升离线网络模型的测试效率，实时获得详细的测试指标数据，满足离线网络模型的精准优化需求。
[0006]在本申请实施方式的第一方面中，提供了一种模型测试方法，包括：获取模型文件和测试文件，模型文件包含离线网络模型和模型执行文件；测试文件包含模型测试数据和性能测试程序；运行性能测试程序，使得性能测试程序能够基于离线网络模型、模型执行文件和模型测试数据获取性能评测数据；以及基于性能评测数据形成性能测试报告。
[0007]在本申请的一个实施例中，性能测试程序包括测试运行程序以及数据获取程序；运行性能测试程序包括：运行测试运行程序；以及响应于测试运行程序中的模型运行命令运行数据获取程序，得到性能评测数据。
[0008]在本申请的一个实施例中，运行测试运行程序包括：指定运行参数，运行参数包含离线网络模型对应的参数、模型测试数据对应的参数、终端设备对应的参数和语言参数；执行模型运行命令，使得离线网络模型启动运行；记录离线网络模型的运行起始时间；当离线
网络模型的运行时长达到预设时长时，关闭离线网络模型的运行进程，并且记录离线网络模型的运行结束时间；以及基于性能评测数据、运行起始时间、运行结束时间和运行参数形成模型运行日志。
[0009]在本申请的一个实施例中，在执行模型运行命令之后，还包括：响应于模型运行命令启用模型执行文件来调用离线网络模型进行运行。
[0010]在本申请的一个实施例中，响应于测试运行程序中的模型运行命令运行数据获取程序包括：响应于模型运行命令，根据终端设备对应的参数确定设备类型；根据设备类型确定指标数据抓取命令；以及根据模型运行命令的进程号和指标数据抓取命令抓取性能评测数据。
[0011]在本申请的一个实施例中，性能评测数据包含性能指标展示数据和性能指标处理数据；基于性能评测数据形成性能测试报告包括：通过日志数据提取指令在模型运行日志中提取得到性能指标处理数据；基于预设处理规则对性能指标处理数据进行处理，得到目标处理数据；基于性能指标展示数据目标处理数据形成性能测试报告。
[0012]在本申请的一个实施例中，在运行性能测试程序之后，还包括：将性能指标展示数据传输至数据库中，使得性能指标展示数据能够通过grafana进行数据展示。
[0013]在本申请的一个实施例中，获取模型文件和测试文件包括：响应于模型测试指令，通过程序调试工具从本地设备中导入模型文件和测试文件。
[0014]在本申请实施方式的第二方面中，提供了一种模型测试装置，用于执行如第一方面中任一项所述的模型测试方法，包括：
[0015]文件获取模块，用于获取模型文件和测试文件，模型文件包含离线网络模型和模型执行文件；测试文件包含模型测试数据和性能测试程序；
[0016]程序运行模块，用于运行性能测试程序，使得性能测试程序能够基于离线网络模型、模型执行文件和模型测试数据获取性能评测数据；以及
[0017]报告生成模块，用于基于性能评测数据形成性能测试报告。
[0018]本申请第三方面提供一种电子设备，包括：处理器；以及存储器，其上存储有可执行代码，当所述可执行代码被所述处理器执行时，使所述处理器执行如上所述的方法。
[0019]本申请第四方面提供一种非暂时性机器可读存储介质，其上存储有可执行代码，当所述可执行代码被电子设备的处理器执行时，使所述处理器执行如上所述的方法。
[0020]本申请实施方式提供的技术方案具有以下有益效果：
[0021]本申请实施方式提供的模型测试方法、装置、电子设备及存储介质，通过获取包含离线网络模型和模型执行文件的模型文件和包含模型测试数据和性能测试程序的测试文件，进而运行性能测试程序，使得性能测试程序能够基于离线网络模型、模型执行文件和模型测试数据获取性能评测数据。从而能够通过性能测试程序将离线网络模型、模型执行文件和模型测试数据一体化整合安装到终端设备中，该性能测试程序调试完成后能够直接应用于后续同系列的离线网络模型和终端设备中，避免重复安装Android Studio和配置Android SDK的繁琐操作，有效降低调试评测工具的成本，降低模型评测周期、模型测试效率和模型测试门槛。
[0022]进一步地，本申请能够基于性能评测数据形成性能测试报告，在性能测试程序的作用下，性能评测数据能够实时获得，从而能够同步形成性能测试报告，以能够实时获得详
细的测试指标数据，避免现有技术中的在基于离线SDK进行测试的一段时间后才通过Excel统计出数据曲线的结果滞后情况，能够及时发现离线网络模型异常的同时，及时满足离线网络模型的精准优化需求。
[0023]总的来说，本申请技术方案能够提升离线网络模型的测试效率，实时获得详细的测试指标数据，满足离线网络模型的精准优化需求。
附图说明
[0024]通过参考附图阅读下文的详细描述，本申请示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本申请的若干实施方式，其中：
[0025]图1示意性地示出了适于实现本申请实施方式的本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种模型测试方法，其特征在于，包括：获取模型文件和测试文件，所述模型文件包含离线网络模型和模型执行文件；所述测试文件包含模型测试数据和性能测试程序；运行所述性能测试程序，使得所述性能测试程序能够基于所述离线网络模型、所述模型执行文件和所述模型测试数据获取性能评测数据；以及基于所述性能评测数据形成性能测试报告。2.根据权利要求1所述的模型测试方法，其特征在于，所述性能测试程序包括测试运行程序以及数据获取程序；所述运行所述性能测试程序包括：运行所述测试运行程序；以及响应于所述测试运行程序中的模型运行命令运行所述数据获取程序，得到所述性能评测数据。3.根据权利要求2所述的模型测试方法，其特征在于，所述运行所述测试运行程序包括：指定运行参数，所述运行参数包含所述离线网络模型对应的参数、所述模型测试数据对应的参数、终端设备对应的参数和语言参数；执行所述模型运行命令，使得所述离线网络模型启动运行；记录所述离线网络模型的运行起始时间；当所述离线网络模型的运行时长达到预设时长时，关闭所述离线网络模型的运行进程，并且记录所述离线网络模型的运行结束时间；以及基于所述性能评测数据、所述运行起始时间、所述运行结束时间和所述运行参数形成模型运行日志。4.根据权利要求3所述的模型测试方法，其特征在于，在所述执行所述模型运行命令之后，还包括：响应于所述模型运行命令启用所述模型执行文件来调用所述离线网络模型进行运行。5.根据权利要求3所述的模型测试方法，其特征在于，所述响应于所述测试运行程序中的模型运行命令运行所述数据获取程序包括：响应于所述模型运行命令，根据所述终端设备对应的参数确定设备类型；根据所述设备类型确定指标数据抓取命令；以及根据所述模型运行命令的进程号...
【专利技术属性】
技术研发人员：朱悦，龚思思，
申请(专利权)人：网易有道信息技术北京有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。