【技术实现步骤摘要】
本申请涉及计算机，尤其涉及一种测试处理方法、装置、设备及存储介质。
技术介绍
1、在人工智能领域，ai模型是指运用数学、统计、计算机科学和机器学习等领域的方法，对具有一定规律性和可预测性的数据进行分析、处理、预测和优化的数学模型。简单来说，ai模型就是将“数据”转化为“智能”的一种数学模型。与传统的数学模型相比，ai模型具有更加强大、高效、灵活的特点。因此，在现代数学和计算机技术的支持下，ai模型被广泛应用于各种领域，包括金融、医疗、交通、农业、能源等多个领域。其中，ai模型主要通过监督学习以及无监督学习等方式训练生成，在ai模型训练完成后，若直接提供给用户进行使用，会因为不了解ai模型的各预测功能的准确性，得到错误的ai预测结果。因此，在ai模型训练完成、提供给用户进行使用之前，需要对其相关的功能进行测试，以获得ai模型相关功能的使用效果。
2、现有技术中，采用python调用模型的方式对ai模型进行测试，具体地，先基于进程中的多个线程对ai模型的各子模型文件进行保存处理，并在保存处理过程中，随机为各线程分配显卡gpu，以使得显卡gpu配合线程完成ai模型的加载以及测试，其中，在接收用户的访问请求，进一步访问进程中的线程时，会通过全局解释器锁保证同一进程内任何时刻仅有一个线程在执行。
3、然而，全局解释器锁以及通过随机分配的方式分配显卡gpu，会极大的限制模型测试设备性能的发挥，降低了模型测试的效率。
技术实现思路
1、本申请提供一种测试处理方法、装置、设
2、第一方面，本申请提供一种测试处理方法，包括：
3、响应测试指令，确定预配置的至少一个服务器多进程管理器进程；
4、确定每个服务器多进程管理器进程对应的模型多进程管理器进程池，每个模型多进程管理器进程池包括多个模型多进程管理器进程，每个模型多进程管理器进程保存有待测试模型的多个子模型中的一个子模型的全局变量；
5、对于每个模型多进程管理器进程池，根据所述全局变量确定加载有每一个待测试模型的子模型的图形处理器，一个图形处理器对应运行一个或多个模型多进程管理器进程的子模型；
6、根据所述测试指令和所述图形处理器对所述待测试模型进行测试。
7、在一种可能的设计中，所述方法还包括：获取测试启动指令；根据所述测试启动指令、所述模型测试设备的中央处理器核数，启动n个服务器多进程管理器进程，n的大小与所述中央处理器核数一致；分别加载每个服务器多进程管理器进程对应的模型多进程管理器进程池；为所述待测试模型包括的每个子模型分配对应的图形处理器，以将每个子模型加载至对应的图形处理器中，并生成所述子模型的全局变量；将每个子模型的全局变量保存至对应的模型多进程管理器进程池的模型多进程管理器进程中。
8、在一种可能的设计中，所述为所述待测试模型包括的每个子模型分配对应的图形处理器，包括：确定所述待测试模型中子模型的数量，以及每个子模型的性能参数；根据所述模型测试设备中图形处理器数量、图形处理器性能参数、所述子模型的数量和每个子模型的性能参数，为每个子模型分配对应的显卡图形处理器。
9、在一种可能的设计中，在所述待测试模型包括分类模型和命名实体识别模型，且所述待测试设备中包括两个图形处理器时，为所述待测试模型包括的每个子模型分配对应的图形处理器，包括：将所述分类模型和所述命名实体识别模型分配给不同的图形处理器。
10、在一种可能的设计中，在加载后的模型多进程管理器进程池的模型多进程管理器进程中，保存有对应的子模型的模型文件。
11、在一种可能的设计中，所述根据所述测试启动指令、所述模型测试设备的中央处理器核数，启动n个服务器多进程管理器进程之后，还包括：接收所述服务器多进程管理器进程返回的服务器多进程管理器进程地址，所述服务器多进程管理器进程地址用于指示所述服务器多进程管理器进程的启动情况。
12、在一种可能的设计中，所述全局变量包括图形处理器的编号。
13、第二方面，本申请提供一种测试处理装置，包括：
14、确定模块，用于响应测试指令，确定预配置的至少一个服务器多进程管理器进程；
15、所述确定模块，还用于确定每个服务器多进程管理器进程对应的模型多进程管理器进程池，每个模型多进程管理器进程池包括多个模型多进程管理器进程，每个模型多进程管理器进程保存有待测试模型的多个子模型中的一个子模型的全局变量；
16、所述确定模块，还用于对于每个模型多进程管理器进程池，根据所述全局变量确定加载有每一个待测试模型的子模型的图形处理器，一个图形处理器对应运行一个或多个模型多进程管理器进程的子模型；
17、测试模块，用于根据所述测试指令和所述图形处理器对所述待测试模型进行测试。
18、第三方面，本申请提供一种测试处理设备，包括：
19、处理器，存储器，通信接口；
20、所述存储器用于存储所述处理器的可执行指令；
21、其中，所述处理器配置为经由执行所述可执行指令来执行如上第一方面所述的测试处理方法。
22、第四方面，本申请提供一种可读存储介质，包括：其上存储有计算机程序，所述计算机程序被处理器执行时实现执行如上第一方面所述的测试处理方法。
23、本申请提供的测试处理方法、装置、设备及存储介质，通过响应测试指令，确定预配置的至少一个服务器多进程管理器进程，确定每个服务器多进程管理器进程对应的模型多进程管理器进程池，每个模型多进程管理器进程池包括多个模型多进程管理器进程，每个模型多进程管理器进程保存有待测试模型的多个子模型中的一个子模型的全局变量，对于每个模型多进程管理器进程池，根据全局变量确定加载有每一个待测试模型的子模型的图形处理器，一个图形处理器对应运行一个或多个模型多进程管理器进程的子模型，根据测试指令和图形处理器对待测试模型进行测试，其中，通过预设置服务器多进程管理器gunicorn进程以及对应的模型多进程管理器pytorch进程池的方式使得待测试模型的测试处理不受全局解释器锁的限制，提高了测试处理的效率，其中，根据全局变量确定加载有每一个待测试模型的子模型的图形处理器，避免了随机分配图形处理器导致的资源冲突，也提高了测试处理的效率。
本文档来自技高网...【技术保护点】
1.一种测试处理方法，其特征在于，应用于模型测试设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述为所述待测试模型包括的每个子模型分配对应的图形处理器，包括：
4.根据权利要求2所述的方法，其特征在于，在所述待测试模型包括分类模型和命名实体识别模型，且所述待测试设备中包括两个图形处理器时，为所述待测试模型包括的每个子模型分配对应的图形处理器，包括：
5.根据权利要求2所述的方法，其特征在于，在加载后的模型多进程管理器进程池的模型多进程管理器进程中，保存有对应的子模型的模型文件。
6.根据权利要求2-5任一项所述的方法，其特征在于，所述根据所述测试启动指令、所述模型测试设备的中央处理器核数，启动N个服务器多进程管理器进程之后，还包括：
7.根据权利要求6所述的方法，其特征在于，所述全局变量包括图形处理器的编号。
8.一种测试处理装置，其特征在于，包括：
9.一种测试处理设备，其特征在于，包括：
10
...【技术特征摘要】
1.一种测试处理方法，其特征在于，应用于模型测试设备，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述为所述待测试模型包括的每个子模型分配对应的图形处理器，包括：
4.根据权利要求2所述的方法，其特征在于，在所述待测试模型包括分类模型和命名实体识别模型，且所述待测试设备中包括两个图形处理器时，为所述待测试模型包括的每个子模型分配对应的图形处理器，包括：
5.根据权利要求2所述的方法，其特征在于，在加载后的模型多进程管理器进程池的模型多进...
【专利技术属性】
技术研发人员：杨辉，
申请(专利权)人：阿维塔科技重庆有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。