一种基于改进Faster-RCNN的常见生活垃圾图像检测方法技术

一种基于改进Faster

【技术实现步骤摘要】
一种基于改进Faster
‑
RCNN的常见生活垃圾图像检测方法
[0001]本专利技术涉及深度学习垃圾图像识别领域，具体涉及一种通过改进Faster
‑
RCNN算法来更准确的提取常见生活垃圾特征的图像分类识别方法。

技术介绍

[0002]随着人们生活产生的垃圾种类和数量的不断增多，仅靠人工分拣识别，效率较低。近年来，在科学技术的飞速发展的过程中，利用基于深度学习的目标检测算法对垃圾进行特征提取和识别分类，该算法提高了垃圾分类识别的效率和准确率，是进行垃圾处理的重要途径。
[0003]目前以深度学习为基础的目标检测算法主要分为两种，以YOLO系列为代表的单阶段检测算法和以Faster
‑
RCNN为代表的两阶段检测算法，单阶段算法检测速度较快，两阶段算法检测精度较高。针对实际检测目标对准确度的要求，采用Faster
‑
RCNN算法对垃圾进行识别分类更加普遍。在Faster
‑
RCNN算法中，常采用残差网络ResNet对图像进行特征提取，以解决因深度学习网络层数加深造成的过拟合问题，但是ResNet存在结构较为复杂且检测精度较低的问题；采用FPN对特征图进行多尺度融合，可以有效提升获取图像特征，但由于浅层的特征传递时层数过多，故存在浅层信息丢失较为严重的问题。因此，本专利技术将以ResNeXt替代ResNet，并与改进后的PAFPN相结合作为骨干网络，对图像进行特征提取，进一步的加强底层信息和顶层语义的融合，提高图像检测的准确度，尤其是实现对小尺度目标的精确检测。同时，针对RoIPooling量化预选框位置数据时因浮点数产生的偏差和检测目标通过NMS进行筛选时因遮挡产生的漏检问题，本专利技术用RoIAlign和Soft
‑
NMS替代原有算法，进一步提高检测精度，优化检测结果，提高后续的垃圾处理效率。

技术实现思路

[0004]为了提高包含常见8种生活垃圾图像(一次性快餐盒、易拉罐、塑料、玻璃、纸袋、过期药物、金属、陶瓷)的识别准确率，本专利技术提供一种改进的Faster
‑
RCNN算法，首先采用ResNeXt50与改进后的PAFPN相结合作为骨干网络(backbone)，使浅层信息与深层语义特征得到充分融合，以便更好的获取小尺度目标特征；然后用Soft
‑
NMS算法对锚框进行筛选，减少了NMS算法因滤除交并比大于阈值的框而出现的漏检；最后在对感兴趣区域(RoI)进行特征提取阶段采用RoIAlign算法，通过双线性插值操作，避免了两次量化对目标检测准确度的影响。
[0005]该方法可由以下步骤实现：
[0006]步骤一、在开源的华为云垃圾分类数据集的基础上，通过补充和筛选有关图像数据，将数据集利用Label
‑
Img进行标注，生成标签文件用于训练，然后按照VOC数据集格式进行调整，共获得4691张图像。
[0007]步骤二、将待检测图像输入到以ResNeXt50和改进PAFPN结合的骨干网络中进行特征提取和多尺度的特征融合，输出特征图。
[0008]步骤三、利用RPN网络对特征图进行边框回归(bbox regression)与分类(class)，
其中，在边框回归时根据Soft
‑
NMS筛选边框(bounding box)，得到提取不同尺度的最终特征图中的感兴趣区域。
[0009]步骤四、将感兴趣区域通过RoI Align层映射到不同尺度的最终特征图上，并转化成固定尺寸7*7大小的特征图。将获取的特征图输入全连接层(FC layer)进行分类(class)与边框回归(bbox regression)输出图像分类的预测结果。
[0010]步骤五、使用改进后的网络训练数据集，得到最佳网络模型、平均精度值(Average Precision，AP)和平均精度均值(mean Average Precision，mAP)。
[0011]步骤六、使用测试集再次对网络模型进行测试，完成垃圾识别的目标检测。
[0012]本专利技术的优点及有益效果如下：
[0013]1、本专利技术提供了一种新的基于改进Faster
‑
RCNN的多目标垃圾分类识别算法，该算法有效提升了包含常见生活垃圾图像的准确率，尤其是小尺度垃圾的精度。
[0014]2、本专利技术解决了FPN浅层信息丢失严重的问题。使网络模型既能专注于图像的浅层信息，又能使图像的底层信息和顶层语义的进行充分融合，更充分地提取图像特征，尤其是小尺度图像的特征信息，提高检测的准确度。
附图说明
[0015]图1为本专利技术提出算法的使用流程。
[0016]图2为本专利技术提出算法的结构图。
[0017]图3为本专利技术模型训练后的各种类垃圾图像AP值。
[0018]图4为实际测试结果图。
[0019]图5为本专利技术模型损失曲线值，包括总损失值(total loss)和测试损失值(valid loss)。
具体实施方式
[0020]本专利技术具体使用过程由以下步骤实现：
[0021]步骤一、本专利技术在华为云垃圾分类开源数据集的基础上，通过补充和筛选有关图像数据，最终形成的包含一次性快餐盒(DISPOSABLE FAST FOOD BOX)、易拉罐(POP CAN)、塑料(PLASTIC)、玻璃(GLASS)、纸袋(PAPER BAG)、过期药物(EXPIRED DRUG)、金属(METAL)、陶瓷(CERAMIC)的原始数据集，进行图像增强后，得到数据集共计4691张。将数据集利用Label
‑
Img进行标注，生成标签文件用于训练，然后按照VOC数据集格式进行调整，以7：3的比例划分训练集和测试集。
[0022]步骤二、将待检测图像输入到以ResNeXt50和改进PAFPN结合的骨干网络中进行特征提取和多尺度的特征融合，输出特征图。为了优化残差网络ResNet的卷积结构，在不改变参数量的同时提高检测精度。本专利技术将采用ResNeXt50替代原有的特征提取网络，ResNeXt模型是ResNet和Inception的结合体。它提出一种分组卷积结合深度残差网络的特征提取模型，通过控制分组基数控制两种策略的平衡，使得卷积的深度和宽度共同作用于目标。分组卷积的思想借鉴于Inception设计原理，但不同之处是ResNeXt其每个分支的拓扑结构是相同的。
[0023]针对Faster
‑
RCNN进行特征提取时浅层信息严重丢失的问题，本文将ResNeXt50与
改进后的PAFPN相结合作为骨干网络。如图2所示，conv1、conv2、conv3、conv4和conv5是通过ResNeXt50进行特征提取的特征图，当网络层数加深时，这些特征图包含较少的浅层特征P2、P3、P4和P5通过自上而下的连接形成的、包含多尺度的丰富语义信息的特征图；N2、N3、N4和N5是自下而上的路径本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于改进Faster
‑
RCNN的常见生活垃圾图像检测方法，其特征是：该方法由以下步骤实现：步骤一、在华为云垃圾分类开源数据集的基础上，通过补充和筛选有关图像数据，将数据集利用Label
‑
Img进行标注，生成标签文件用于训练，然后按照VOC数据集格式进行调整。共获得4691张图像。步骤二、将待检测图像输入到以ResNeXt50和改进PAFPN结合的骨干网络中进行特征提取和多尺度的特征融合，输出特征图。步骤三、利用RPN网络对特征图进行边框回归(bbox regression)与分类(class)，其中，在边框回归时根据Soft
‑
NMS筛选边框(boundingbox)，得到提取不同尺度的最终特征图中的感兴趣区域。步骤四、将感兴趣区域通过RoIAlign层映射到不同尺度的最终特征图上，并转化成固定尺寸7*7大小的特征图。将获取的特征图输入全连接层(FC layer)进行分类(class)与边框回归(bbox regression)输出图像分类的预测结果。步骤五、使用改进后的网络训练数据集，得到最佳网络模型、平均精度值(Average Precision，AP)和平均精度均值(meanAverage Precision，mAP)。步骤六、使用测试集再次对网络模型进行测试，完成垃圾图像的目标检测。2.根据权利要求1所述的一种基于改进Faster
‑
RCNN的常见生活垃圾图像检测方法，其特征在于：步骤二中，采用ResNeXt50替代原有的特征提取网络并与改进后的PAFPN结合作为骨干网络。骨干网络的结构如下：conv1、conv2、conv3、conv4和conv5通过ResNeXt50进行特征提取的特征图，当网络层数加深时，这些特征图包含较少的浅层特征P2、P3、P4和P5通过自上而下的连接形成的、包含多尺度的丰富语义信息的特征图；N2、N3、N4和N5是自下而上的路径聚合结构。PAFPN的改进方法如下：采用逐像素相加的特征融合方法...

【专利技术属性】
技术研发人员：白雪梅，潘悦，胡汉平，史新瑞，侯聪聪，王澳，
申请(专利权)人：长春理工大学，
类型：发明
国别省市：