面向ARM处理器的深度学习模型部署方法及设备技术

本发明专利技术提供了一种面向ARM处理器的深度学习模型部署方法及设备。所述方法包括：步骤1，在本地电子设备上安装Docker Desktop；步骤2，交叉编译面向ARM处理器的深度学习推理引擎；步骤3，训练面向指定任务的深度学习模型并将训练好的深度学习模型导出；步骤4，构建面向指定任务的深度学习模型镜像；步骤5，在嵌入式设备上安装Docker；步骤6，在公共镜像仓库Docker Hub中拉取之前训练好的深度学习模型，并在嵌入式设备上对训练好的深度学习模型进行部署和推理加速。本发明专利技术降低了模型部署和运维的难度，大幅提升了边缘计算环境下模型部署和成果应用的速度，为深度学习技术的快速转化和落地应用提供了重要的技术支撑。应用提供了重要的技术支撑。应用提供了重要的技术支撑。

【技术实现步骤摘要】
面向ARM处理器的深度学习模型部署方法及设备


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种面向ARM处理器的深度学习模型部署方法及设备。

技术介绍

[0002]与传统机器学习模型相比，深度学习模型凭借其强大的表征能力，已经在机器视觉视觉、自然语言处理等众多领域取得了令人满意的性能。深度学习模型的训练和部署需要搭建一整套复杂繁琐的基础环境，容器技术的隔离沙箱机制可以确保模型部署在一个独立的运行环境，不依赖于特定的编程语言、框架或系统。不同容器可以提供不同的微服务，相互之间调用和通讯比较方便，大大提升了模型部署的灵活性。但是，采用本地部署的方式无法实现线上快速自动化的部署。随着边缘计算技术的兴起和海量嵌入式设备的普及，有些研究基于容器技术构建了深度学习模型基础运行环境镜像，但是这些镜像仍然无法应用于基于ARM架构的嵌入式设备。因此，开发一种面向ARM处理器的深度学习模型部署方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

技术实现思路

[0003]针对现有技术存在的上述问题，本专利技术实施例提供了一种面向ARM处理器的深度学习模型部署方法及设备。
[0004]第一方面，本专利技术的实施例提供了一种面向ARM处理器的深度学习模型部署方法，包括：步骤1，在本地电子设备上安装Docker Desktop；步骤2，交叉编译面向ARM处理器的深度学习推理引擎；步骤3，训练面向指定任务的深度学习模型并将训练好的深度学习模型导出；步骤4，构建面向指定任务的深度学习模型镜像；步骤5，在嵌入式设备上安装Docker；步骤6，在公共镜像仓库Docker Hub中拉取之前训练好的深度学习模型，并在嵌入式设备上对训练好的深度学习模型进行部署和推理加速。
[0005]在上述方法实施例内容的基础上，本专利技术实施例中提供的面向ARM处理器的深度学习模型部署方法，步骤1具体包括：在本地Windows计算机安装Docker Desktop，并开启Windows系统中的WSL，通过虚拟化技术在Windows虚拟机中运行Linux内核，在Docker Desktop的虚拟环境中启用交叉编译，以实现在AMD处理器上编译面向ARM处理器的可执行镜像文件。
[0006]在上述方法实施例内容的基础上，本专利技术实施例中提供的面向ARM处理器的深度学习模型部署方法，步骤2具体包括：在步骤1开启的交叉编译环境下，根据开源的OpenVINO源码及其Dockerfile文件以交叉编译的方式，构建面向ARM处理器的深度学习推理引擎镜像；在所述引擎镜像中搭建面向多种主流深度学习框架和经典深度学习模型的基础运行环境，提供对Ubuntu操作系统、Python编程语言、OpenCV计算机视觉框架、Pytorch和Tensorflow深度学习框架等环境依赖的支持，将所述引擎镜像推送到公共镜像仓库Docker Hub，在深度学习模型部署时实现对该镜像的快速获取。
[0007]在上述方法实施例内容的基础上，本专利技术实施例中提供的面向ARM处理器的深度学习模型部署方法，步骤3具体包括：准备用于深度学习模型训练的数据，并基于主流深度学习框架在本地Windows计算机的GPU上训练深度学习模型，读取训练好的模型文件并将其重新导出为OpenVINO支持的模型格式，包括ONNX模型或OpenVINO的IR模型，IR模型由两个名字相同的文件共同构成，一个是包含网络拓扑信息的.bin格式文件，另一个是包含权重和偏差二进制数据的.xml格式文件。
[0008]在上述方法实施例内容的基础上，本专利技术实施例中提供的面向ARM处理器的深度学习模型部署方法，步骤4具体包括：基于本地的Docker Desktop软件，从公共镜像仓库Docker Hub中拉取步骤2构建的面向ARM处理器的深度学习推理引擎镜像，并进入其容器内部环境，在该容器的基础运行环境中运行步骤3中导出的面向指定任务的深度学习模型，并基于Docker buildx命令将运行有深度学习模型的容器以交叉编译的方式构建为一个新镜像，该镜像便是面向指定任务的深度学习模型镜像，运行在具有ARM处理器的嵌入式设备系统环境中。
[0009]在上述方法实施例内容的基础上，本专利技术实施例中提供的面向ARM处理器的深度学习模型部署方法，步骤5具体包括：准备一具有ARM处理器的嵌入式设备，并为该设备配置合适的操作系统，安装Docker所需的基础组件并为其添加GPG密钥，根据操作系统的具体情况，安装当前系统支持的Docker版本。
[0010]在上述方法实施例内容的基础上，本专利技术实施例中提供的面向ARM处理器的深度学习模型部署方法，步骤6具体包括：在用于模型部署的嵌入式设备上，从公共镜像仓库Docker Hub中拉取步骤4中构建的面向指定任务的深度学习模型镜像，通过在所述镜像上执行Docker启动命令，进入到用于模型推理的容器环境，在嵌入式设备的USB端口插入神经计算棒用于加速模型推理，将指定数据输入到模型中进行推理预测，完成面向ARM处理器的深度学习模型部署。
[0011]第二方面，本专利技术的实施例提供了一种面向ARM处理器的深度学习模型部署装置，包括：第一主模块，用于实现步骤1，在本地电子设备上安装Docker Desktop；步骤2，交叉编译面向ARM处理器的深度学习推理引擎；第二主模块，用于实现步骤3，训练面向指定任务的深度学习模型并将训练好的深度学习模型导出；第三主模块，用于实现步骤4，构建面向指定任务的深度学习模型镜像；步骤5，在嵌入式设备上安装Docker；第四主模块，用于实现步骤6，在公共镜像仓库Docker Hub中拉取之前训练好的深度学习模型，并在嵌入式设备上对训练好的深度学习模型进行部署和推理加速。
[0012]第三方面，本专利技术的实施例提供了一种电子设备，包括：
[0013]至少一个处理器；以及
[0014]与处理器通信连接的至少一个存储器，其中：
[0015]存储器存储有可被处理器执行的程序指令，处理器调用程序指令能够执行第一方面的各种实现方式中任一种实现方式所提供的面向ARM处理器的深度学习模型部署方法。
[0016]第四方面，本专利技术的实施例提供了一种非暂态计算机可读存储介质，非暂态计算机可读存储介质存储计算机指令，计算机指令使计算机执行第一方面的各种实现方式中任一种实现方式所提供的面向ARM处理器的深度学习模型部署方法。
[0017]本专利技术实施例提供的面向ARM处理器的深度学习模型部署方法及设备，确保了嵌
入式设备对多种深度学习模型的兼容性，降低了模型部署和运维的难度，大幅提升了边缘计算环境下模型部署和成果应用的速度，为深度学习技术的快速转化和落地应用提供了重要的技术支撑。
附图说明
[0018]为了更清楚地说明本专利技术实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图做一简单的介绍，显而易见地，下面描述中的附图是本专利技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向ARM处理器的深度学习模型部署方法，其特征在于，包括：步骤1，在本地电子设备上安装Docker Desktop；步骤2，交叉编译面向ARM处理器的深度学习推理引擎；步骤3，训练面向指定任务的深度学习模型并将训练好的深度学习模型导出；步骤4，构建面向指定任务的深度学习模型镜像；步骤5，在嵌入式设备上安装Docker；步骤6，在公共镜像仓库Docker Hub中拉取之前训练好的深度学习模型，并在嵌入式设备上对训练好的深度学习模型进行部署和推理加速。2.根据权利要求1所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤1具体包括：在本地Windows计算机安装Docker Desktop，并开启Windows系统中的WSL，通过虚拟化技术在Windows虚拟机中运行Linux内核，在Docker Desktop的虚拟环境中启用交叉编译，以实现在AMD处理器上编译面向ARM处理器的可执行镜像文件。3.根据权利要求2所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤2具体包括：在步骤1开启的交叉编译环境下，根据开源的OpenVINO源码及其Dockerfile文件以交叉编译的方式，构建面向ARM处理器的深度学习推理引擎镜像；在所述引擎镜像中搭建面向多种主流深度学习框架和经典深度学习模型的基础运行环境，提供对Ubuntu操作系统、Python编程语言、OpenCV计算机视觉框架、Pytorch和Tensorflow深度学习框架等环境依赖的支持，将所述引擎镜像推送到公共镜像仓库Docker Hub，在深度学习模型部署时实现对该镜像的快速获取。4.根据权利要求3所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤3具体包括：准备用于深度学习模型训练的数据，并基于主流深度学习框架在本地Windows计算机的GPU上训练深度学习模型，读取训练好的模型文件并将其重新导出为OpenVINO支持的模型格式，包括ONNX模型或OpenVINO的IR模型，IR模型由两个名字相同的文件共同构成，一个是包含网络拓扑信息的.bin格式文件，另一个是包含权重和偏差二进制数据的.xml格式文件。5.根据权利要求4所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤4具体包括：基于本地的Docker Desktop软件，从公共镜像仓库Docker Hu...

【专利技术属性】
技术研发人员：乐鹏，王明，梁哲恒，魏汝兰，
申请(专利权)人：武汉大学，
类型：发明
国别省市：