一种基于动态非极大值抑制的厨余垃圾检测方法及系统技术方案

本发明专利技术公开了一种基于动态非极大值抑制的厨余垃圾检测方法及系统，将厨余垃圾训练集按单张图像输入至预先训练好的目标检测网络并结合不同的NMS交并比阈值进行测试，得到单张图像的DNMS值；获取厨余垃圾训练集中单张图像的目标数目N

【技术实现步骤摘要】
一种基于动态非极大值抑制的厨余垃圾检测方法及系统


[0001]本专利技术属于数字图像处理
，具体涉及一种基于动态非极大值抑制的厨余垃圾检测方法及系统。

技术介绍

[0002]近年来，人均垃圾年产量已高达440kg，其中厨余垃圾占到40％，占比最重、也最受关注。实行厨余垃圾无害化也面临着两大挑战，首先，由于厨余垃圾成分复杂，包含塑料、金属、玻璃等杂质的特点，若不对其进行分拣除杂，将会极大地影响后续厨余垃圾消纳处置；其次，现有的厨余垃圾分拣方式还是以人工分拣为主，存在着环境脏乱差、分拣费时费力等窘迫境地。因此，研究高效的厨余垃圾智能检测算法是实行厨余垃圾自动化分拣迫切所需的。
[0003]非极大值抑制作为目标检测算法的必要后处理步骤，通过按置信度分数对所有候选框进行排序，并迭代删除超过所设候选框与真实边界框的交并比阈值的候选框，从而剔除冗余候选框。传统的NMS(Non Maximum Supression，非极大值抑制)方法对整个检测过程仅凭个人经验设置固定的筛选阈值，忽视了不同时刻检测场景的独特性，由于不同时刻传送带上检测场景复杂度不同，当检测场景复杂时，若所设阈值过低，将导致漏检；当检测场景单一时，若所设阈值过高，将引起重复检测，这些错误都将造成分拣错误，进而影响后续厨余垃圾消纳处置。

技术实现思路

[0004]为了缓解厨余垃圾检测中的漏检或重复检测问题，本专利技术提出了一种基于动态非极大值抑制的厨余垃圾检测方法及系统。
[0005]一种基于动态非极大值抑制的厨余垃圾检测方法，包括以下步骤：
[0006]S1、预设厨余垃圾训练集、目标检测网络和NMS交并比阈值集，采用预设的厨余垃圾训练集对目标检测网络进行训练，得到训练后的目标检测网络，从预设的厨余垃圾训练集中每次选取一张图像输入至训练后的目标检测网络并结合NMS交并比阈值集进行测试，得到厨余垃圾训练集中每张图像的DNMS值；
[0007]S2、获取厨余垃圾训练集中的每张图像的目标数目N
i
、同类别目标平均中心点间距离D
i
，构建每张图像的DNMS值与对应的目标数目N
i
、同类别目标平均中心点间距离D
i
之间的映射关系，得到映射关系式；
[0008]S3、构建NMS回归网络，将NMS回归网络和训练后的目标检测网络组成厨余垃圾检测网络，将厨余垃圾训练集中的每张图像的目标数目N
i
、同类别目标平均中心点间距离D
i
作为标签，通过标签和厨余垃圾训练集对厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型；
[0009]S4、获取真实场景下的厨余垃圾待检测图像，将厨余垃圾待检测图像输入厨余垃圾检测模型，并结合映射关系式进行处理，输出厨余垃圾待检测图像预测的NMS交并比阈值
和候选框，根据预测的NMS交并比阈值对候选框进行过滤，得到厨余垃圾待检测图像的预测框。
[0010]优选地，S1中从预设的厨余垃圾训练集中每次选取一张图像输入至训练后的目标检测网络并结合NMS交并比阈值集进行测试，得到厨余垃圾训练集中每张图像的DNMS值，具体包括：
[0011]S11、从预设的厨余垃圾训练集中任意选取一张图像输入至训练后的目标检测网络，测试选取的图像在NMS交并比阈值集中的每一个NMS交并比阈值处对应的类别平均精度，由此得到选取的图像在NMS交并比阈值集上对应的多个类别平均精度；
[0012]S12、从多个类别平均精度中选取最高类别平均精度对应的NMS交并比阈值，并从最高类别平均精度对应的NMS交并比阈值中选取最小的NMS交并比阈值，作为选取图像的DNMS值；
[0013]S13、从预设的厨余垃圾训练集中再次选取另外一张图像输入至训练后的目标检测网络，直到厨余垃圾训练集中的每张图像都被选取，经过步骤S11至S12处理，得到厨余垃圾训练集中的每张图像的DNMS值。
[0014]优选地，S11中得到选取的图像在NMS交并比阈值集上对应的多个类别平均精度，类别平均精度的计算公式具体为：
[0015][0016]其中，β＝0.05:0.05:0.95
[0017]式中，为厨余垃圾训练集中第i张图像在NMS交并比阈值β处的类别平均精度，C
i
为厨余垃圾训练集中第i张图像的目标类别数目，c为厨余垃圾训练集中第i张图像中的第c个目标类别，c＝1,2，...,C
i
，为厨余垃圾训练集中第i张图像中第c个目标类别的预测框数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，预测框数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，为厨余垃圾训练集中第i张图像在第k个预测框处的召回率，p
i
为厨余垃圾训练集中第i张图像的精确率，β为NMS交并比阈值，β＝0.05:0.05:0.95表示NMS交并比阈值范围为0.05～0.95，取值间隔为0.05。
[0018]优选地，S12中从最高类别平均精度对应的NMS交并比阈值中选取最小的NMS交并比阈值，作为选取的图像的DNMS值，DNMS值的具体公式为：
[0019][0020]式中，DNMS
i
为厨余垃圾训练集中第i张图像在最高类别平均精度下的最小的NMS交并比阈值，为厨余垃圾训练集中第i张图像在NMS交并比阈值β处的类别平均精度，β为NMS交并比阈值，β＝0.05:0.05:0.95表示NMS交并比阈值范围为0.05～0.95，取值间隔为0.05。
[0021]优选地，S2具体包括：
[0022]S21、读取厨余垃圾训练集中每张图像对应的标签信息，标签信息包括每张图像中目标的类别和坐标位置；
[0023]S22、统计每张图像对应的目标数目N
i
，根据目标的类别和坐标位置获取同类别目
标的中心点坐标，并由欧氏距离计算出同类别目标平均中心点间距离D
i
；
[0024]S23、采用最小二乘法得到每张图像的DNMS值与对应的目标数目N
i
、同类别目标平均中心点间距离D
i
之间的映射关系式。
[0025]优选地，S3中的NMS回归网络包括依次连接的特征提取模块、特征融合模块和NMS回归模块，NMS回归模块包括依次连接的第一block模块，第二block模块和全连接层，第一block模块包括依次连接的第一卷积层、第一归一化层、第一激活函数层，第二block模块包括依次连接的第二卷积层、第二归一化层、第二激活函数层和平均池化层。
[0026]优选地，S1中的目标检测网络包括特征提取模块和特征融合模块，S3中的NMS回归网络和目标检测网络共用特征提取模块和特征融合模块，S3中将厨余垃圾训练集中的每张图像的目标数目N
i
、同类别目标平均中心点间距离D
i
作为标签，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述方法包括：S1、预设厨余垃圾训练集、目标检测网络和NMS交并比阈值集，采用预设的厨余垃圾训练集对所述目标检测网络进行训练，得到训练后的目标检测网络，从预设的厨余垃圾训练集中每次选取一张图像输入至所述训练后的目标检测网络并结合所述NMS交并比阈值集进行测试，得到所述厨余垃圾训练集中每张图像的DNMS值；S2、获取所述厨余垃圾训练集中的每张图像的目标数目N
i
、同类别目标平均中心点间距离D
i
，构建每张图像的DNMS值与对应的目标数目N
i
、同类别目标平均中心点间距离D
i
之间的映射关系，得到映射关系式；S3、构建NMS回归网络，将所述NMS回归网络和所述训练后的目标检测网络组成厨余垃圾检测网络，将所述厨余垃圾训练集中的每张图像的目标数目N
i
、同类别目标平均中心点间距离D
i
作为标签，通过所述标签和所述厨余垃圾训练集对所述厨余垃圾检测网络采用两阶段训练策略进行训练，并使用损失函数监督训练过程，得到厨余垃圾检测模型；S4、获取真实场景下的厨余垃圾待检测图像，将所述厨余垃圾待检测图像输入所述厨余垃圾检测模型，并结合所述映射关系式进行处理，输出所述厨余垃圾待检测图像预测的NMS交并比阈值和候选框，根据所述预测的NMS交并比阈值对所述候选框进行过滤，得到所述厨余垃圾待检测图像的预测框。2.如权利要求1所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述S1中从预设的厨余垃圾训练集中每次选取一张图像输入至所述训练后的目标检测网络并结合所述NMS交并比阈值集进行测试，得到所述厨余垃圾训练集中每张图像的DNMS值，具体包括：S11、从预设的厨余垃圾训练集中任意选取一张图像输入至所述训练后的目标检测网络，测试选取的图像在所述NMS交并比阈值集中的每一个NMS交并比阈值处对应的类别平均精度，由此得到选取的图像在所述NMS交并比阈值集上对应的多个类别平均精度；S12、从多个所述类别平均精度中选取最高类别平均精度对应的NMS交并比阈值，并从所述最高类别平均精度对应的NMS交并比阈值中选取最小的NMS交并比阈值，作为选取图像的DNMS值；S13、从预设的厨余垃圾训练集中再次选取另外一张图像输入至所述训练后的目标检测网络，直到所述厨余垃圾训练集中的每张图像都被选取，经过步骤S11至S12处理，得到所述厨余垃圾训练集中的每张图像的DNMS值。3.如权利要求2所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述S11中得到选取的图像在所述NMS交并比阈值集上对应的多个类别平均精度，所述类别平均精度的计算公式具体为：其中，β＝0.05:0.05:0.95式中，为厨余垃圾训练集中第i张图像在NMS交并比阈值β处的类别平均精度，C
i
为厨余垃圾训练集中第i张图像的目标类别数目，c为厨余垃圾训练集中第i张图像中的第c个目标类别，c＝1,2，...,C
i
，为厨余垃圾训练集中第i张图像中第c个目标类别的预测框
数目，k为厨余垃圾训练集中第i张图像在第c个目标类别上的第k个预测框，为厨余垃圾训练集中第i张图像在第k个预测框处的召回率，p
i
为厨余垃圾训练集中第i张图像的精确率，β为NMS交并比阈值，β＝0.05:0.05:0.95表示NMS交并比阈值范围为0.05～0.95，取值间隔为0.05。4.如权利要求3所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述S12中从所述最高类别平均精度对应的NMS交并比阈值中选取最小的NMS交并比阈值，作为选取的图像的DNMS值，所述DNMS值的具体公式为：式中，DNMS
i
为厨余垃圾训练集中第i张图像在最高类别平均精度下的最小的NMS交并比阈值，为厨余垃圾训练集中第i张图像在NMS交并比阈值β处的类别平均精度，β为NMS交并比阈值，β＝0.05:0.05:0.95表示NMS交并比阈值范围为0.05～0.95，取值间隔为0.05。5.如权利要求4所述的基于动态非极大值抑制的厨余垃圾检测方法，其特征在于，所述S2具体包括：S21、读取厨余垃圾训练集中每张图像对应的标签信息，所述标签信息包括每张图像中目标的类别和坐标位置；S22、统计每张图像对应的目标数目N
i
，根据所述目标的类别和坐标位置获取同类别目标的中心点坐标，并由欧氏距离计算出同类别目标平均中心点间距离D
i
；S23、采用最小二乘法得到每张图像的DNMS值与对应的目标数目N
i...

【专利技术属性】
技术研发人员：方乐缘，丁帅予，冯浩，汤琳，
申请(专利权)人：湖南大学，
类型：发明
国别省市：