一种GPU资源调度方法及系统技术方案

本发明专利技术公开了一种GPU资源调度方法及系统。包括步骤：生成配置文件，所述配置文件包括参数配置及模型权重系数；根据所述配置文件进行初始化；采集图片及其现场设定的光学面信息；对所述图片及所述光学面信息进行推理。采用本发明专利技术的GPU资源调度方法及系统，采用文件合并的方式，利用模型对应的权重载入函数，将模型的权重系数加入到配置文件所包含的字典中，和其他配置信息一起形成一个字典的数据形式，并以pickle的文件格式进行保存，以此形式，基于本方案，在训练结束时，只需输出一个文件，而现场的工程师也只需要一个文件即可完成部署，避免了文件管理带来的效率问题。避免了文件管理带来的效率问题。避免了文件管理带来的效率问题。

【技术实现步骤摘要】
一种GPU资源调度方法及系统


[0001]本专利技术涉及工业质检领域及计算机领域，尤其涉及一种GPU资源调度方法及系统。

技术介绍

[0002]目前，工厂中部署的缺陷检测模型在进行推理时，由于机器发送的图片来自不同的光学面，图像的尺寸不固定，使得为其提供推理服务的深度学习模型系统必须能接受动态的图片尺寸，目前常规的深度学习批处理无法应对这种情况；同时，不同光学面的图片需要被不同的模型组合进行处理，而GPU对于模型的加载和资源释放都需要时间成本，而推理服务对于推理速度的要求是必要且苛刻的，如果推理服务启动时有大量的资源未被利用，在生产中会大大降低生产速度。
[0003]在现有技术实际的推理场景下，同一个显卡的计算资源允许多个模型的线程同时访问，但需要根据显卡的显存来设置每个模型在该显卡上推理时所允许的最大线程数。如果线程数过大，同时推理时模型所占用的显存资源超过显卡的实际显存，则无法推理。计算资源配置相同的机器可以使用同一个配置文件进行推理，因此以字典形式存储模型和显卡的最优配置非常适合工厂中批量质检的场景，只要在一台机器上实验出效率最高的模型、显卡、最大线程数，就可以将同样的参数批量配置在拥有同样硬件配置的机器上。
[0004]且在现有技术的生产方式中，现场的工程师在部署时需要配置多个文件，因为过去的配置文件仅仅包含了模型文件的权重路径，但一个方案常常有多个模型，每个模型都有一个权重。在这样的方式下，从模型训练到现场部署，中间需要交互的除了一个配置文件，还需要若干模型文件，造成了文件管理问题，也时常因模型版本问题引发训练和部署不一致的现象。
[0005]现有技术专利号CN202210061674.7公开了一种基于GPU设备的模型推理加速方法及系统，该专利技术方案中，虽然有通过将模型转为onnx的推理加速服务方法，但实际应用中，深度学习模型的不少算子会在转为onnx模型的过程中发生错误，导致推理结果和原模型不一致的情况，为生产的稳定性带来了一些隐患；同时由于固定的推理逻辑，onnx模型在现有的生产环境下调度GPU资源也缺乏灵活性。
[0006]针对现有技术中所存在的问题，提供一种GPU资源调度方法及系统具有重要意义。

技术实现思路

[0007]为解决上述问题，本专利技术提供一种GPU资源调度方法及系统。
[0008]为实现上述目的，本专利技术的GPU资源调度方法，具体包括以下步骤：生成配置文件，所述配置文件包括参数配置及模型权重系数；根据所述配置文件进行初始化；采集图片及其现场设定的光学面信息；对所述图片及所述光学面信息进行推理；
[0009]进一步地，对所述图片及所述光学面信息进行推理具体包括以下子步骤：根据所述光学面信息，调取所述配置文件中相对应的所述参数配置及所述模型权重系数，并根据所述参数配置及所述模型权重系数进行实例化；调用检测模型对所述图片进行推理，得到
图片中缺陷的检测框信息，并于检测框位置以固定尺寸裁剪，生成缺陷图像；调用分类模型对所述缺陷图像进行判断是否属于某类缺陷，并返回推理结果；
[0010]进一步地，所述调用检测模型对所述图片进行推理具体为：根据检测模型自身属性的模型名，调取模型对应的线程队列；若所述队列中有元素，则获取队首的元素，并根据所述元素中提供的索引信息调取所述模型权重系数进行推理，并在推理结束后释放资源，将所述元素放回所述队列的队尾；若队列中没有元素，则阻塞所述推理线程，直至所述推理线程队列不为空；
[0011]进一步地，根据所述配置文件进行初始化具体包括以下子步骤：对所述配置文件中的信息进行初始化得到模型池对象；根据所述配置文件中的信息得到所述参数配置对应的字典；用所述模型池对象及所述字典初始化Inference类型对象；
[0012]进一步地，采集图片及其现场设定的光学面信息具体为：采集图片及其现场设定的光学面信息，并通过GRPC协议，以多线程的方式发送。
[0013]本专利技术还包括一种GPU资源调度系统，包括服务器端，客户端，GPU，数据采集模块及线程模块；所述GPU及线程模块设置在所述服务器端中，所述数据采集模块设置在所述客户端中；所述客户端能够通过所述数据采集模块采集图片及其现场设定的光学面信息，并发送至所述服务器端；所述服务器端能够生成配置文件，并根据所述配置文件进行初始化；并通过所述GPU及所述线程模块对所述图片及所述光学面信息进行推理；
[0014]进一步地，还包括检测模型模块及分类模型模块，所述检测模型模块及分类模型模块分别设置在所述GPU中，所述服务器端能够根据所述光学面信息，调取所述配置文件中相对应的所述参数配置及所述模型权重系数，并根据所述参数配置及所述模型权重系数进行实例化；所述服务器端还能够通过所述线程模块调用所述检测模型模块对所述图片进行推理，得到图片中缺陷的检测框信息，并于检测框位置以固定尺寸裁剪，生成缺陷图像；通过所述线程模块调用所述分类模型模块对所述缺陷图像进行判断是否属于某类缺陷，并输出推理结果；
[0015]进一步地，所述客户端具体能够在采集图片及其现场设定的光学面信息后，通过GRPC协议，以多线程的方式将所述图片及所述光学面信息发送至所述服务端；
[0016]进一步地，所述服务器端具体能够对所述配置文件中的信息进行初始化得到模型池对象，并根据所述配置文件中的信息得到所述参数配置对应的字典，用所述模型池对象及所述字典初始化Inference类型对象。
[0017]本专利技术的GPU资源调度方法及系统，采用文件合并的方式，利用模型对应的权重载入函数，将模型的权重系数加入到配置文件所包含的字典中，和其他配置信息一起形成一个字典的数据形式，并以pickle的文件格式进行保存，以此形式，基于本方案，在训练结束时，只需输出一个文件，而现场的工程师也只需要一个文件即可完成部署，避免了文件管理带来的效率问题。同时，本专利技术的技术方案为了避免模型的重复加载和冗余加载，整个推理服务共享一个模型池，推理时，其他进行推理服务的线程将实时向模型池申请模型，模型池为推理线程提供所需的模型，并分配GPU资源，大大提高了GPU资源调度的运行效率。
附图说明
[0018]图1为本专利技术所述GPU资源调度方法的第一流程示意图；
[0019]图2为本专利技术所述GPU资源调度方法的第二流程示意图；
[0020]图3为本专利技术所述GPU资源调度方法的结构示意图。
具体实施方式
[0021]下面，结合附图，对本专利技术的结构以及工作原理等作进一步的说明。
[0022]如图1所示，图1为本专利技术所述GPU资源调度方法的第一流程示意图，所述方法具体包括以下步骤：
[0023]S1生成配置文件，所述配置文件包括参数配置及模型权重系数；在本专利技术优选的实施例中，所述参数配置具体为效率最高的模型、显卡、最大线程数并以字典形式存储，并采用文件合并的方式，利用模型对应的权重载入函数attempt_load()、torch.load()等，将模型的权重系数加入到所述配置文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种GPU资源调度方法，其特征在于，所述方法具体包括以下步骤：生成配置文件，所述配置文件包括参数配置及模型权重系数；根据所述配置文件进行初始化；采集图片及其现场设定的光学面信息；对所述图片及所述光学面信息进行推理。2.如权利要求1所述的GPU资源调度方法，其特征在于，对所述图片及所述光学面信息进行推理具体包括以下子步骤：根据所述光学面信息，调取所述配置文件中相对应的所述参数配置及所述模型权重系数，并根据所述参数配置及所述模型权重系数进行实例化；调用检测模型对所述图片进行推理，得到图片中缺陷的检测框信息，并于检测框位置以固定尺寸裁剪，生成缺陷图像；调用分类模型对所述缺陷图像进行判断是否属于某类缺陷，并返回推理结果。3.如权利要求2所述的GPU资源调度方法，其特征在于，所述调用检测模型对所述图片进行推理具体为：根据检测模型自身属性的模型名，调取模型对应的线程队列；若所述队列中有元素，则获取队首的元素，并根据所述元素中提供的索引信息调取所述模型权重系数进行推理，并在推理结束后释放资源，将所述元素放回所述队列的队尾；若队列中没有元素，则阻塞所述推理线程，直至所述推理线程队列不为空。4.如权利要求1所述的GPU资源调度方法，其特征在于，根据所述配置文件进行初始化具体包括以下子步骤：对所述配置文件中的信息进行初始化得到模型池对象；根据所述配置文件中的信息得到所述参数配置对应的字典；用所述模型池对象及所述字典初始化Inference类型对象。5.如权利要求1所述的GPU资源调度方法，其特征在于，采集图片及其现场设定的光学面信息具体为：采集图片及其现场设定的光学面信息，并通过GR...

【专利技术属性】
技术研发人员：戴猛，马元巍，潘正颐，侯大为，童竹勍，
申请(专利权)人：常州微亿智造科技有限公司，
类型：发明
国别省市：