一种基于RK3568芯片的模型优化口罩检测方法技术

本申请提供了一种基于RK3568芯片的模型优化口罩检测方法，其解决了现有口罩检测方法的部署难度、检测效果、轻量化程度存在参差的技术问题；其包括：模型构建：获取YoloV5、ResNet50模型网络结构，修改YoloV5网络，改为三个输出通道，并与ResNet50网络的输入通道连接，得到EuphOptNet优化检测模型；模型训练：采集公开数据集，对EuphOptNet优化检测模型进行训练；模型部署：将训练后的EuphOptNet优化检测模型部署到RK3568芯片上；口罩检测：获取预处理图像，输出类型预测和目标框信息。本申请广泛应用于口罩检测技术领域。广泛应用于口罩检测技术领域。广泛应用于口罩检测技术领域。

【技术实现步骤摘要】
一种基于RK3568芯片的模型优化口罩检测方法


[0001]本申请涉及一种口罩检测方法，更具体地说，是涉及一种基于RK3568芯片的模型优化口罩检测方法。

技术介绍

[0002][0003]目标检测是计算机视觉领域的重要分支，旨在从图像或视频中检测出目标的位置和类别，口罩检测则属于目标检测的一种。经过数年发展，口罩检测领域相关技术也趋于稳定。
[0004]目前国内边缘计算领域使用的主流AI芯片多为外国厂商生产，主要包括：
[0005]NVIDIA Jetson系列：集成了高性能GPU和AI加速器，支持深度学习和计算机视觉应用。
[0006]ARM Cortex
‑
A系列：拥有广泛的生态系统和软件支持，适用于各种边缘计算应用场景。
[0007]Intel Movidius系列：专注于低功耗AI加速，搭载VPU，适用于图像和视频处理等应用场景。
[0008]高通骁龙(Qualcomm Snapdragon)系列：具有强大的图形处理能力和高速的移动网络连接，适用于移动设备和边缘计算应用。
[0009]以上具有成熟生态的AI芯片虽然具有诸多优点，但面对多样的实际需求仍存在一些问题：如NVIDIA Jetson系列、Intel Movidius系列等，成本较高，不适用于所有的边缘计算应用场景；功耗较高，需要大容量的电池或者外接电源；不适用于一些轻量级的边缘计算项目等等。
[0010]RK3568芯片是中国芯片制造商瑞芯微电子(Rockchip)推出的一款高性能应用处理器，适用于边缘计算、智能家居、智能安防、医疗影像等应用领域。RK3568采用了四个Cortex
‑
A55内核架构CPU，主频最高达2.0GHz，还搭载了一种专门针对深度学习任务设计的硬件加速器——拥有可达1T算力的NPU(neuron network process unit)。相比上述其他AI芯片系列，RK3568在性能并不逊色的同时更加轻量级，适合中小规模边缘计算任务的部署。
[0011]目前使用国产AI芯片作为边缘计算目标检测任务的实现载体的案例寥寥无几，存在的少量案例所使用的目标检测模型和分类模型的种类也很多，但是检测效果、部署难度、轻量化程度等都存在参差，仍存在改进空间。

技术实现思路

[0012]为解决现有口罩检测方法的部署难度、检测效果、轻量化程度存在参差的问题，本申请采用的技术方案是：提供一种基于RK3568芯片的模型优化口罩检测方法，包括：
[0013]模型构建：获取YoloV5、ResNet50模型网络结构，修改YoloV5网络，改为三个输出通道，并与ResNet50网络的输入通道连接，得到EuphOptNet优化检测模型；
[0014]模型训练：采集公开数据集，对EuphOptNet优化检测模型进行训练；
[0015]模型部署：将训练后的EuphOptNet优化检测模型部署到RK3568芯片上；
[0016]口罩检测：获取预处理图像，输出类型预测和目标框信息。
[0017]优选地，模型构建中，修改YoloV5网络，改为三个输出通道，指：
[0018]选择只使用YoloV5的卷积层、池化层和检测头，将检测头的输出通道进行裁剪和调整，保留人脸边界框的位置、目标类别和置信度三个输出通道。
[0019]优选地，输出类型预测和目标框信息，具体步骤包括：
[0020]YoloV5预测人脸边界框的位置、目标类别和置信度；
[0021]ResNet50、全连接层进行图像分类，输出类型预测和目标框信息。
[0022]优选地，YoloV5预测人脸边界框的位置、目标类别和置信度，具体步骤包括：
[0023]Yolov5的卷积层和池化层进行特征提取，提取人脸区域的局部特征；
[0024]Yolov5的检测头预测人脸边界框的位置、目标类别和置信度。
[0025]优选地，ResNet50、全连接层进行图像分类，输出类型预测和目标框信息，具体步骤包括：
[0026]ResNet50的卷积层和池化层对满足一定置信度的像素块进行特征提取；
[0027]全连接层通过3层神经元和LeakyReLU激活函数，对像素块进行分类。
[0028]优选地，在模型部署前，先进行模型转换；
[0029]模型转换指将训练完成的原始PT格式的EuphOptNet优化检测模型先转换为ONNX格式，再转化为RKNN格式，同时完成RK3568板端RKNN运行环境的配置。
[0030]优选地，口罩检测中，获取预处理图像，包括：
[0031]通过RK3568芯片外接的摄像头获取视频流，并定时截取反映口罩佩戴情况的图像作为原始图像，对原始图像进行尺寸调整、归一化的预处理。
[0032]优选地，口罩检测中，输出类型预测和目标框信息，指：
[0033]根据分类结果，判断人脸是否佩戴口罩；如果判断为佩戴口罩，则输出口罩佩戴正确的标签和人脸位置信息；如果判断为未佩戴口罩，则输出口罩佩戴错误的标签和人脸位置信息。
[0034]优选地，口罩检测中，目标框绘制和结果展示，指：
[0035]将目标框和相应的口罩佩戴情况标签绘制在原始图像上，可视化展示检测结果。
[0036]本专利技术的有益效果，创新性地提出了一套基于国产AI芯片——瑞芯微RK3568的口罩检测轻量级方案，检测模型采用以YOLOv5、ResNet50为基础的重组优化模型，构建EuphOptNet优化检测模型，适配RK3568芯片，在保证实时性、准确性等优势的基础上又具备了部署成本相对低、轻量可模块化的特点。本专利技术能快速检出实时视频流中的人脸位置(包括戴口罩和不戴口罩)，并将其从原始图像上裁切出来，将裁切出的局部图像进行特征提取，提取完毕后放入分类器给出图像是否佩戴口罩的结果。完成各个局部图像的处理后将分类结果和检测框汇总至原始图像并输出。
附图说明
[0037]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些
Exchange)格式的模型，再由Rockchip官方API将已转换为ONNX格式的模型再转化为瑞芯微RK3568芯片推理专用的RKNN格式，同时完成RK3568板端RKNN运行环境的配置。
[0051]在其中一实施例中，关于口罩检测的展开说明如下：
[0052]具体地，获取预处理图像的实现方式，是将瑞芯微RK3568芯片外接摄像头，并定时截取反映口罩佩戴情况的图像作为原始图像，对原始图像进行尺寸调整、归一化的预处理；例如，将多个摄像头获取的三通道输入图像尺寸统一调整至1024*1024*3，其中宽度高度单位为像素；
[0053]具体地，YoloV5预测人脸边界框的位置、目标类别和置信度，实现方式如下：
[0054]一、Yolov5的本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于RK3568芯片的模型优化口罩检测方法，其特征在于：包括：模型构建：获取YoloV5、ResNet50模型网络结构，修改YoloV5网络，改为三个输出通道，并与ResNet50网络的输入通道连接，得到EuphOptNet优化检测模型；模型训练：采集公开数据集，对EuphOptNet优化检测模型进行训练；模型部署：将训练后的EuphOptNet优化检测模型部署到RK3568芯片上；口罩检测：获取预处理图像，输出类型预测和目标框信息。2.如权利要求1所述的基于RK3568芯片的模型优化口罩检测方法，其特征在于：模型构建中，修改YoloV5网络，改为三个输出通道，指：选择只使用YoloV5的卷积层、池化层和检测头，将检测头的输出通道进行裁剪和调整，保留人脸边界框的位置、目标类别和置信度三个输出通道。3.如权利要求1或2所述的基于RK3568芯片的模型优化口罩检测方法，其特征在于：输出类型预测和目标框信息，具体步骤包括：YoloV5预测人脸边界框的位置、目标类别和置信度；ResNet50、全连接层进行图像分类，输出类型预测和目标框信息。4.如权利要求3所述的基于RK3568芯片的模型优化口罩检测方法，其特征在于：YoloV5预测人脸边界框的位置、目标类别和置信度，具体步骤包括：Yolov5的卷积层和池化层进行特征提取，提取人脸区域的局部特征；Yolov5的检测头预测人脸边界框的位置、目标类别和置信度。5.如权利要求3所述的基于RK3568芯片...

【专利技术属性】
技术研发人员：尚金雷，高羽翯，邹粮徽，赵越涛，
申请(专利权)人：山东新海智能科技有限公司，
类型：发明
国别省市：