人工智能模型性能容量的自动测试方法及装置制造方法及图纸

本发明专利技术提供了一种人工智能模型性能容量的自动测试方法及装置。所述方法包括：根据人工智能模型的类型，从对应的数据源平台获取测试数据；根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；根据所述测试数据及所述发压脚本创建测试案例；根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。本发明专利技术实现了快速、自动、可追溯、可分析的模型性能测试，极大提高了测试的效率，可以准确、高效地对模型性能容量进行快速评估，以确定存在性能风险的模型，有助于模型性能持续提升。

Automatic test method and device for performance capacity of artificial intelligence model

The invention provides an automatic test method and device for the performance capacity of an artificial intelligence model. The method includes: according to the type of artificial intelligence model, obtaining test data from the corresponding data source platform; according to the script template corresponding to different types of artificial intelligence model, generating the pressure generating script with the acquired request data; creating test case according to the test data and the pressure generating script; executing the pressure generating process according to the test case, dynamically adjusting the pressure generating process Until the throughput of the artificial intelligence model no longer increases with the increase of the concurrent number, the test result is obtained. The invention realizes the fast, automatic, traceable and analyzable model performance test, greatly improves the test efficiency, can accurately and efficiently evaluate the model performance capacity, to determine the model with performance risk, and is conducive to the continuous improvement of model performance.

【技术实现步骤摘要】
人工智能模型性能容量的自动测试方法及装置
本专利技术涉及人工智能模型性能容量测试
，尤指一种人工智能模型性能容量的自动测试方法及装置。
技术介绍
随着“机器代人”的普及，人工智能模型在市场营销、风险监控、运营管理方面的使用场景越来越多，AI新增模型和迭代模型大量涌现，需要对增量模型的性能进行快速评估，确保模型上线后能够平稳运行。大量人工智能场景的落地引入了AI模型，通过自学习等方式可实现模型的快速迭代，对于模型预测服务这类访问密集型业务，如何确保其性能容量成为了目前刻不容缓的课题。传统的测试方法需要针对不同的模型准备大量的压测数据，编写发压脚本，创建发压场景并执行，最终反馈测试结果，其中，发压表示发起压力，即为“压力测试”，简称“压测”。上述测试方法，依赖于测试人员的测试经验，需对AI模型有一定了解以便造数，手工编写发压脚本，有一定的技术门槛，同时模型数量较多且测试周期较长，难以快速对模型性能容量进行评估。
技术实现思路
为了解决上述问题，本专利技术实施例提供一种人工智能模型性能容量的自动测试方法，所述方法包括本文档来自技高网...

【技术保护点】
1.一种人工智能模型性能容量的自动测试方法，其特征在于，所述方法包括：/n根据人工智能模型的类型，从对应的数据源平台获取测试数据；/n根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；/n根据所述测试数据及所述发压脚本创建测试案例；/n根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。/n

【技术特征摘要】
1.一种人工智能模型性能容量的自动测试方法，其特征在于，所述方法包括：
根据人工智能模型的类型，从对应的数据源平台获取测试数据；
根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；
根据所述测试数据及所述发压脚本创建测试案例；
根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。


2.根据权利要求1所述的方法，其特征在于，所述人工智能模型的类型包括：智能决策模型、图像识别模型及自然语言处理模型。


3.根据权利要求2所述的方法，其特征在于，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：
当所述人工智能模型的类型为智能决策模型时，从第一数据源平台获取结构化请求数据；
解析所述结构化请求数据后，根据对应的脚本模板生成发压脚本。


4.根据权利要求3所述的方法，其特征在于，所述第一数据源平台为分布式文件存储平台。


5.根据权利要求2所述的方法，其特征在于，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：
当所述人工智能模型的类型为图像识别模型时，从第二数据源平台获取图像请求数据；
解析所述图像请求数据后，根据对应的脚本模板生成发压脚本。


6.根据权利要求5所述的方法，其特征在于，所述第二数据源平台为对象存储平台。


7.根据权利要求2所述的方法，其特征在于，所述根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本包括：
当所述人工智能模型的类型为自然语言处理模型时，从第三数据源平台获取话术请求数据；
解析所述话术请求数据后，根据对应的脚本模板生成发压脚本。


8.根据权利要求7所述的方法，其特征在于，所述第三数据源平台为Mysql数据库。


9.根据权利要求1所述的方法，其特征在于，所述根据所述测试案例执行发压过程，动态调整发压过程的并发数包括：
根据预设的基准并发数及所述测试案例执行发压过程；
在发压过程中，逐渐增加并发数，并记录对应的吞吐量。


10.根据权利要求9所述的方法，其特征在于，所述直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果包括：
当所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，将当前吞吐量作为极限吞吐量；
将所述极限吞吐量与预设阈值相比较，若所述极限吞吐量高于所述预设阈值，则测试结果为验证通过，若所述极限吞吐量低于所述预设阈值，则测试结果为存在风险。


11.根据权利要求10所述的方法，其特征在于，所述方法还包括：根据所述测试结果生成测试报告，将所述测试报告发送至指定邮箱。


12.一种人工智能模型性能容量的自动测试装置，其特征在于，所述装置包括：
数据抽取模块，用于根据人工智能模型的类型，从对应的数据源平台获取测试数据；
脚本生成模块，用于根据不同类型的人工智能模型对应的脚本模板，利用获取的请求数据生成发压脚本；
案例创建模块，用于根据所述测试数据及所述发压脚本创建测试案例；
发压平台模块，用于根据所述测试案例执行发压过程，动态调整发压过程的并发数，直至所述人工智能模型的吞吐量不再随所述并发数的增加而增加时，得到测试结果。

...

【专利技术属性】
技术研发人员：卫欣音，宋虎，夏雯君，
申请(专利权)人：中国工商银行股份有限公司，
类型：发明
国别省市：北京;11