一种基于模型压缩的边缘端目标检测方法及系统技术方案

本发明专利技术公开了一种基于模型压缩的边缘端目标检测方法及系统，属于深度学习领域，本发明专利技术要解决的技术问题为如何在损失较小精度的情况下，减少模型体积并加快模型运行速度，确保模型能够顺利部署在边缘端设备，采用的技术方案为：该方法是以SSD网络为框架建立模型，使用MobileNet作为骨干网络提取图像特征，再使用Depth‑wiseClassification Layer作为分类层对图像类别进行分类，最后将压缩后的模型部署在边缘端设备上；具体如下：建立模型：从目标检测图像数据中获取图像信息并建立模型；训练模型并对模型中的图像进行分类：使用SSD网络训练模型，并使用Depth‑wise Classification Layer作为分类层对图像类别进行分类；压缩模型：将训练好的模型进行压缩；部署边缘端设备：将压缩后的模型部署到边缘端设备。

【技术实现步骤摘要】
一种基于模型压缩的边缘端目标检测方法及系统
本专利技术涉及深度学习
，具体地说是一种基于模型压缩的边缘端目标检测方法及系统。
技术介绍
目标检测(ObjectDetection)任务是找出图像中所有感兴趣的目标(物体)，确定它们的类别和位置，是计算机视觉和数字图像处理方向的热门问题之一。由于各类物体有不同的外观、形状、姿态，再加上成像时光照、遮挡等因素的干扰，目标检测一直是计算机视觉领域最具有挑战性的问题。近年来，随着深度学习的发展，卷积神经网络(CNN)在图像目标检测方面已经取得了巨大进展。卷积神经网络可以更加精确的提取图像特征信息，从而更加准确确定目标类别以及位置。随着物联网时代的到来以及无线网络的普及，网络边缘的设备数量和其产生的数据量都急剧增长，边缘设备作为更快更好的提供智能服务的一种设备，已经逐渐渗入各行各业。传统深度学习方法训练出的目标检测模型通常包含大量参数，模型体积大，计算复杂并且大多需要GPU支持，模型难以在边缘端设备上进行部署。综上所述，如何在损失较小精度的情况下，减少模型体积并加快模型运行速度，确保模型能够顺利部署在边缘端设备是目前亟待解决的技术问题。专利号为CN110148148A专利文献公开了一种基于目标检测的下边缘检测模型的训练方法、模型和存储介质，获取样本图像，将所述样本图像输入预先建立的初始神经网络模型；利用所述样本图像训练所述初始神经网络模型，先将样本图像输入基础神经网络模型得到目标检测的实例分割结果，再将目标检测的实例分割结果输入高度图神经网络模型，再由高度图转换得到目标下边缘检测结果；将执行过程中目标下边缘检测模型输出的结果与各个所述目标下边缘检测标注线比较；获得比较结果；根据所述比较结果调整所述目标下边缘检测模型中的损失函数，使得所述目标下边缘检测模型的损失函数最小。但是该技术方案无法减少模型体积并加快模型运行速度，造成模型难以顺利部署在边缘端设备。
技术实现思路
本专利技术的技术任务是提供一种基于模型压缩的边缘端目标检测方法及系统，来解决如何在损失较小精度的情况下，减少模型体积并加快模型运行速度，确保模型能够顺利部署在边缘端设备的问题。本专利技术的技术任务是按以下方式实现的，一种基于模型压缩的边缘端目标检测方法，该方法是以SSD网络为框架建立模型，使用MobileNet作为骨干网络提取图像特征，再使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类，最后将压缩后的模型部署在边缘端设备上；具体如下：建立模型：从目标检测图像数据中获取图像信息并建立模型；训练模型并对模型中的图像进行分类：使用SSD网络训练模型，并使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类；压缩模型：将训练好的模型进行压缩；部署边缘端设备：将压缩后的模型部署到边缘端设备。作为优选，所述建立模型具体如下：准备目标检测图像数据；对图像数据中目标物体位置以及目标物体类别进行人工标注；对人工标注后图像数据进行增广处理；将增广后图像数据转为PascalVOC数据集格式作为增广数据集；使用MobileNet作为骨干网络提取图像特征图。更优地，所述人工标注是使用labelImg工具对图像数据进行标注，标注的内容包括目标物体类别(obj1，obj2,…)以及标注目标位置坐标P＝(x1,y1,x2,y2)；其中，(x1,y1)、(x2,y2)分别代表目标物体左上角与右下角坐标。更优地，所述增广处理是利用python中opencv包；增广处理的内容包括水平与垂直翻转、模糊处理及亮度变换；扩充图像训练数据，同时注意增广目标物体坐标转换。更优地，所述增广数据集拆分为训练集和验证集；其中增广数据集中80％数据作为训练集，增广数据集中剩下20％数据作为验证集。作为优选，所述压缩模型具体如下：将训练好模型转换为ONNX格式；通过x2paddle工具将ONNX模型转换为paddle模型；通过opt工具将量化后的paddle模型转换为PaddleLite模型。作为优选，所述部署边缘端设备的模型为PaddleLite模型。一种基于模型压缩的边缘端目标检测系统该系统包括，模型建立单元，用于从目标检测图像数据中获取图像信息并建立模型；模型训练及分类单元，用于使用SSD网络训练模型，并使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类；模型压缩单元，用于将训练好的模型进行压缩；部署单元，用于将压缩后的PaddleLite模型部署到边缘端设备。作为优选，所述模型建立单元包括，获取模块，用于准备目标检测图像数据；标注模块，用于对图像数据中目标物体位置以及目标物体类别进行人工标注；人工标注是使用labelImg工具对图像数据进行标注，标注的内容包括目标物体类别(obj1，obj2,…)以及标注目标位置坐标P＝(x1,y1,x2,y2)；其中，(x1,y1)、(x2,y2)分别代表目标物体左上角与右下角坐标；增广处理模块，用于利用python中opencv包对人工标注后图像数据进行增广处理；增广处理的内容包括水平与垂直翻转、模糊处理及亮度变换；扩充图像训练数据，同时注意增广目标物体坐标转换；增广数据集建立模块，用于将增广后图像数据转为PascalVOC数据集格式作为增广数据集；增广数据集拆分为训练集和验证集；其中增广数据集中80％数据作为训练集，增广数据集中剩下20％数据作为验证集；提取模块，用于使用MobileNet作为骨干网络提取图像特征图。更优地，所述模型压缩单元包括，格式转换模块，用于将训练好模型转换为ONNX格式；模型转换模块一，用于通过x2paddle工具将ONNX模型转换为paddle模型；模型转换模块二，用于通过opt工具将量化后的paddle模型转换为PaddleLite模型。本专利技术的基于模型压缩的边缘端目标检测方法及系统具有以下优点：(一)本专利技术与现有目标检测方法相比，在损失较小模型精度的情况下，大大减小了分类层的参数量，减小模型体积，加快模型运算速度，可以在边缘端设备上进行部署；(二)本专利技术利用python语言实现模型轻量化、模型体积小且运算快，方便在边缘端设备上部署；(三)本专利技术使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类，将总参数量节省百万倍；以ImageNet为例，图像共分为1000类，具体对比如下：其中，MobileNet会产生1024×7×7大小的特征数据，通过传统分类层，如附图3所示，特征数据会通过池化操作后变为1024×1×1大小的特征数据，再通过一个全连接操作分为1000类；总参数量为1024×1000≈1百万；而通过Depth-本文档来自技高网...

【技术保护点】
1.一种基于模型压缩的边缘端目标检测方法，其特征在于，该方法是以SSD网络为框架建立模型，使用MobileNet作为骨干网络提取图像特征，再使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类，最后将压缩后的模型部署在边缘端设备上；具体如下：/n建立模型：从目标检测图像数据中获取图像信息并建立模型；/n训练模型并对模型中的图像进行分类：使用SSD网络训练模型，并使用Depth-wiseClassification Layer作为分类层对图像类别进行分类；/n压缩模型：将训练好的模型进行压缩；/n部署边缘端设备：将压缩后的模型部署到边缘端设备。/n

【技术特征摘要】
1.一种基于模型压缩的边缘端目标检测方法，其特征在于，该方法是以SSD网络为框架建立模型，使用MobileNet作为骨干网络提取图像特征，再使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类，最后将压缩后的模型部署在边缘端设备上；具体如下：
建立模型：从目标检测图像数据中获取图像信息并建立模型；
训练模型并对模型中的图像进行分类：使用SSD网络训练模型，并使用Depth-wiseClassificationLayer作为分类层对图像类别进行分类；
压缩模型：将训练好的模型进行压缩；
部署边缘端设备：将压缩后的模型部署到边缘端设备。


2.根据权利要求1所述的基于模型压缩的边缘端目标检测方法，其特征在于，所述建立模型具体如下：
准备目标检测图像数据；
对图像数据中目标物体位置以及目标物体类别进行人工标注；
对人工标注后图像数据进行增广处理；
将增广后图像数据转为PascalVOC数据集格式作为增广数据集；
使用MobileNet作为骨干网络提取图像特征图。


3.根据权利要求2所述的基于模型压缩的边缘端目标检测方法，其特征在于，所述人工标注是使用labelImg工具对图像数据进行标注，标注的内容包括目标物体类别(obj1，obj2,…)以及标注目标位置坐标P＝(x1,y1,x2,y2)；其中，(x1,y1)、(x2,y2)分别代表目标物体左上角与右下角坐标。


4.根据权利要求2所述的基于模型压缩的边缘端目标检测方法，其特征在于，所述增广处理是利用python中opencv包；增广处理的内容包括水平与垂直翻转、模糊处理及亮度变换。


5.根据权利要求2或3或4所述的基于模型压缩的边缘端目标检测方法，其特征在于，所述增广数据集拆分为训练集和验证集；其中增广数据集中80％数据作为训练集，增广数据集中剩下20％数据作为验证集。


6.根据权利要求1所述的基于模型压缩的边缘端目标检测方法，其特征在于，所述压缩模型具体如下：
将训练好模型转换为ONNX格式；
通过x2paddle工具将ONNX模型转换为pa...

【专利技术属性】
技术研发人员：汝佩哲，李锐，金长新，
申请(专利权)人：济南浪潮高新科技投资发展有限公司，
类型：发明
国别省市：山东;37