【技术实现步骤摘要】
本申请涉及深度学习，尤其涉及一种基于深度学习模型的数据处理方法和装置、设备及介质。
技术介绍
1、在计算机视觉领域，深度学习模型被广泛应用于执行推理任务。推理任务可以为图像分类、物体检测、实例分割和文字识别等任务。
2、在部署深度学习模型时，由于对速度、吞吐量等性能指标有较高要求，通常将深度学习模型部署在专门的推理框架上，以提供推理服务。推理框架通常是指一种用于进行推理和逻辑推断的计算机程序或系统，它可以用于推理、推断和决策过程。在硬件平台上，某些推理框架通常不支持nvidia gpu以外的其它芯片，例如tensorrt和triton只支持nvidiagpu，openvino仅支持intel的gpu产品。而这些推理框架仅支持少数模型格式，如torchserve仅支持pytorch格式，tensorflowserving仅支持tensorflow格式，onnxruntime仅支持onnx格式。
3、现有技术的缺点在于，单一推理框架所支持的少数模型格式只能运行在特定拥有特定芯片的设备上，深度学习模型的应用范围受到限制。
技术实现思路
1、本申请实施例的主要目的在于提出一种基于深度学习模型的数据处理方法和装置、设备及介质，旨在实现在异构环境上对多种模型进行调度，以提高推理框架对多种模型格式和多种类型设备的兼容性的技术目标。
2、为实现上述目的，本申请实施例的第一方面提出了一种基于深度学习模型的数据处理方法，所述方法应用于结点网络的多个结点中的主结点，所
3、获取模型包，所述模型包包括模型配置文件和模型文件，所述模型配置文件包括芯片信息和模型格式；
4、基于所述芯片信息和所述结点拥有的芯片对所述结点进行筛选，得到目标结点；
5、根据所述模型格式和所述模型文件向所述目标结点发送启动服务命令；
6、通过所述启动服务命令，控制所述目标结点根据所述模型格式从预设的候选镜像选取出目标镜像，并根据所述模型文件启动所述目标镜像的推理服务代码，用于执行推理任务；其中，在每个所述结点运行多个所述候选镜像，在每个所述候选镜像上运行一种模型格式。
7、在一些实施例，所述基于所述芯片信息与所述结点拥有的芯片对所述结点进行筛选，得到目标结点，包括：
8、向所述结点发送状态检测指令，由所述结点发送反馈信息；
9、根据所述反馈信息中的发送结点标识，得到候选结点；
10、获取所述候选结点拥有的芯片，得到候选芯片；
11、基于所述芯片信息对所述候选芯片进行选取，得到目标芯片，将所述目标芯片所属的候选结点作为所述目标结点。
12、在一些实施例，所述方法还包括：
13、接收目标对象发送的操作指令；其中，所述操作指令包括停止服务命令或者退出服务命令；
14、将所述停止服务命令发送给所述目标结点，通过所述停止服务命令控制所述目标结点停止运行所述目标镜像；或者将所述退出服务命令发送给各个所述结点，通过所述退出服务命令控制各个所述结点停止运行所述候选镜像。
15、在一些实施例，所述目标镜像为普通型镜像，所述方法还包括构建所述普通型镜像：
16、根据所述芯片确定镜像，得到基础镜像；
17、根据所述模型格式获取第一目标工具软件和第一目标软件包，将所述第一目标工具软件和第一目标软件包安装至所述基础镜像，得到第一初步镜像；
18、根据所述模型格式获取第一目标推理服务代码，将所述第一目标推理服务代码拷贝至所述第一初步镜像，得到所述普通型镜像；
19、获取所述普通型镜像的名称，得到普通镜像名称；
20、将所述普通镜像名称和所述模型格式广播至所述结点网络中的所述结点。
21、在一些实施例，所述根据所述模型文件启动所述目标镜像的推理服务代码，包括：
22、将所述模型文件挂载至所述目标镜像的预定位置，启动目标模型；
23、启动调用接口，通过所述调用接口接收由所述主结点发送对推理任务的第一推理请求，通过所述目标模型执行所述推理请求，得到第一任务推理数据；
24、通过所述调用接口向所述主结点发送所述第一任务推理数据。
25、在一些实施例，所述目标镜像为预设型镜像，所述方法还包括构建所述预设型镜像：
26、根据所述芯片获取镜像，得到基础镜像；
27、根据预设代码获取目标运行环境和代码依赖库，根据所述模型格式获取第二目标工具软件和第二目标软件包，将所述目标运行环境、所述代码依赖库、所述第二目标工具软件和第二目标软件包安装至所述基础镜像，得到第二初步镜像；
28、根据所述模型格式获取目标推理服务代码，将所述目标推理服务代码拷贝至所述第二初步镜像，得到所述预设型镜像。
29、在一些实施例，所述模型包还包括预先设置的目标代码文件；所述启动所述目标镜像的推理服务代码，包括：
30、所述启动所述目标镜像的推理服务代码，包括：
31、执行所述目标代码文件中的预设代码，根据所述预设代码的初始化部分，将所述模型文件挂载至所述目标镜像的预定位置，启动目标模型；
32、启动调用接口，通过所述调用接口接收由所述主结点发送对推理任务的第二推理请求，通过所述目标模型执行所述第二推理请求，得到第二任务推理数据；
33、通过所述调用接口发送所述第二任务推理数据。
34、为实现上述目的，本申请实施例的第二方面提出了一种基于深度学习模型的数据处理装置，所述装置应用于结点网络的多个结点中的主结点，所述装置包括：
35、获取模块，用于获取模型包，所述模型包包括模型配置文件和模型文件，所述模型配置文件包括芯片信息和模型格式；
36、筛选模块，用于基于所述芯片信息和所述结点拥有的芯片，对所述结点进行筛选，得到目标结点；
37、发送模块，用于根据所述模型格式和所述模型文件向所述目标结点发送启动服务命令；
38、启动模块，用于通过所述启动服务命令，控制所述目标结点根据所述模型格式从预设的候选镜像选取出目标镜像，并根据所述模型文件启动所述目标镜像的推理服务代码，用于执行推理任务；其中，在每个所述结点运行多个所述候选镜像，在每个所述候选镜像上运行一种模型格式。
39、为实现上述目的，本申请实施例的第三方面提出了一种电子设备，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述第一方面所述的方法。
40、为实现上述目的，本申请实施例的第四方面提出了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述第一方面所述的方法。
41、本申请提出了基于深度学习模型的数据处理方法和装置、设备及介质。在本申请中，模型包中的模型配置文件包括芯片信息和模型格本文档来自技高网...
【技术保护点】
1.一种基于深度学习模型的数据处理方法，其特征在于，所述数据处理方法应用于结点网络的多个结点中的主结点，所述方法包括：
2.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述基于所述芯片信息与所述结点拥有的芯片对所述结点进行筛选，得到目标结点，包括：
3.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述数据处理方法还包括：
4.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述目标镜像为普通型镜像，所述数据处理方法还包括构建所述普通型镜像：
5.根据权利要求4所述的基于深度学习模型的数据处理方法，其特征在于，所述根据所述模型文件启动所述目标镜像的推理服务代码，包括：
6.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述目标镜像为预设型镜像，所述方法还包括构建所述预设型镜像：
7.根据权利要求6所述的基于深度学习模型的数据处理方法，其特征在于，所述模型包还包括预先设置的目标代码文件；
8.一种基于深度学习模型的数据处理装置，
9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现权利要求1至7任一项所述的基于深度学习模型的数据处理方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的基于深度学习模型的数据处理方法。
...【技术特征摘要】
1.一种基于深度学习模型的数据处理方法，其特征在于，所述数据处理方法应用于结点网络的多个结点中的主结点，所述方法包括：
2.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述基于所述芯片信息与所述结点拥有的芯片对所述结点进行筛选，得到目标结点，包括：
3.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述数据处理方法还包括：
4.根据权利要求1所述的基于深度学习模型的数据处理方法，其特征在于，所述目标镜像为普通型镜像，所述数据处理方法还包括构建所述普通型镜像：
5.根据权利要求4所述的基于深度学习模型的数据处理方法，其特征在于，所述根据所述模型文件启动所述目标镜像的推理服务代码，包括：
6.根据权利要求1所述的基于深度学习模型的...
【专利技术属性】
技术研发人员：郭玮，苏力强，王忠强，许佳，陈鹏，
申请(专利权)人：博瀚智能深圳有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。