面向ARM处理器的深度学习模型部署方法及设备技术

本发明专利技术提供了一种面向ARM处理器的深度学习模型部署方法及设备。所述方法包括：步骤1，在本地电子设备上安装Docker Desktop；步骤2，交叉编译面向ARM处理器的深度学习推理引擎；步骤3，训练面向指定任务的深度学习模型并将训练好的深度学习模型导出；步骤4，构建面向指定任务的深度学习模型镜像；步骤5，在嵌入式设备上安装Docker；步骤6，在公共镜像仓库Docker Hub中拉取之前训练好的深度学习模型，并在嵌入式设备上对训练好的深度学习模型进行部署和推理加速。本发明专利技术降低了模型部署和运维的难度，大幅提升了边缘计算环境下模型部署和成果应用的速度，为深度学习技术的快速转化和落地应用提供了重要的技术支撑。应用提供了重要的技术支撑。应用提供了重要的技术支撑。

【技术实现步骤摘要】
面向ARM处理器的深度学习模型部署方法及设备


[0001]本专利技术实施例涉及人工智能
，尤其涉及一种面向ARM处理器的深度学习模型部署方法及设备。

技术介绍

[0002]与传统机器学习模型相比，深度学习模型凭借其强大的表征能力，已经在机器视觉视觉、自然语言处理等众多领域取得了令人满意的性能。深度学习模型的训练和部署需要搭建一整套复杂繁琐的基础环境，容器技术的隔离沙箱机制可以确保模型部署在一个独立的运行环境，不依赖于特定的编程语言、框架或系统。不同容器可以提供不同的微服务，相互之间调用和通讯比较方便，大大提升了模型部署的灵活性。但是，采用本地部署的方式无法实现线上快速自动化的部署。随着边缘计算技术的兴起和海量嵌入式设备的普及，有些研究基于容器技术构建了深度学习模型基础运行环境镜像，但是这些镜像仍然无法应用于基于ARM架构的嵌入式设备。因此，开发一种面向ARM处理器的深度学习模型部署方法及设备，可以有效克服上述相关技术中的缺陷，就成为业界亟待解决的技术问题。

技术实现思路

[0003]针对现有技术存在的上述问题，本专利技术实本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种面向ARM处理器的深度学习模型部署方法，其特征在于，包括：步骤1，在本地电子设备上安装Docker Desktop；步骤2，交叉编译面向ARM处理器的深度学习推理引擎；步骤3，训练面向指定任务的深度学习模型并将训练好的深度学习模型导出；步骤4，构建面向指定任务的深度学习模型镜像；步骤5，在嵌入式设备上安装Docker；步骤6，在公共镜像仓库Docker Hub中拉取之前训练好的深度学习模型，并在嵌入式设备上对训练好的深度学习模型进行部署和推理加速。2.根据权利要求1所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤1具体包括：在本地Windows计算机安装Docker Desktop，并开启Windows系统中的WSL，通过虚拟化技术在Windows虚拟机中运行Linux内核，在Docker Desktop的虚拟环境中启用交叉编译，以实现在AMD处理器上编译面向ARM处理器的可执行镜像文件。3.根据权利要求2所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤2具体包括：在步骤1开启的交叉编译环境下，根据开源的OpenVINO源码及其Dockerfile文件以交叉编译的方式，构建面向ARM处理器的深度学习推理引擎镜像；在所述引擎镜像中搭建面向多种主流深度学习框架和经典深度学习模型的基础运行环境，提供对Ubuntu操作系统、Python编程语言、OpenCV计算机视觉框架、Pytorch和Tensorflow深度学习框架等环境依赖的支持，将所述引擎镜像推送到公共镜像仓库Docker Hub，在深度学习模型部署时实现对该镜像的快速获取。4.根据权利要求3所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤3具体包括：准备用于深度学习模型训练的数据，并基于主流深度学习框架在本地Windows计算机的GPU上训练深度学习模型，读取训练好的模型文件并将其重新导出为OpenVINO支持的模型格式，包括ONNX模型或OpenVINO的IR模型，IR模型由两个名字相同的文件共同构成，一个是包含网络拓扑信息的.bin格式文件，另一个是包含权重和偏差二进制数据的.xml格式文件。5.根据权利要求4所述的面向ARM处理器的深度学习模型部署方法，其特征在于，步骤4具体包括：基于本地的Docker Desktop软件，从公共镜像仓库Docker Hu...

【专利技术属性】
技术研发人员：乐鹏，王明，梁哲恒，魏汝兰，
申请(专利权)人：武汉大学，
类型：发明
国别省市：