本发明专利技术公开了一种垃圾识别分类方法、计算机可读存储介质和机器人，所述方法包括：根据预设的去模糊网络，对原始帧图像进行去模糊处理得到目标图像；将目标图像输入预设的深度卷积神经网络模型进行目标物体检测，得到目标物体的第一特征向量图；根据第一特征向量图对目标物体进行跟踪，并根据目标物体的类别和位置分拣目标物体。本发明专利技术的识别方法，能够有效降低对地面垃圾识别的误检率和漏检率，提高了检测速度和通用性，并且受环境影响比较小。并且受环境影响比较小。并且受环境影响比较小。
【技术实现步骤摘要】
垃圾识别分类方法、计算机可读存储介质和机器人
[0001]本专利技术涉及机器人
，尤其涉及一种垃圾识别分类方法、一种计算机可读存储介质和一种机器人。
技术介绍
[0002]传统机器人在垃圾巡检的过程中除了要对落叶、纸屑等杂物进行清扫外，还需要特别的对可回收垃圾进行检测分类和收集，从而实现可回收垃圾的循环使用。传统算法在检测可回收垃圾时大都是分割出图像中的路面，对路面使用连通域检测、灰度直方图、特征匹配等算法判断出路面上物体的类别和位置信息，进而对特定的可回收垃圾，例如塑料瓶、易拉罐等进行回收。但由于路面上的垃圾大都受过挤压，形状不一，特征匹配效果大都较差。另外，在机器人移动过程中由于视角位置的改变，同一物体拍摄的形状、大小等会发生变化，容易出现在连续几帧中出现多帧漏检的情况，此时机器人将会更新路径，朝下一个垃圾行进，导致作业效率低下。
技术实现思路
[0003]本专利技术旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本专利技术的第一个目的在于提出一种垃圾识别分类方法，能够有效降低对地面垃圾识别的误检率和漏检率，提高了检测速度和通用性，并且受环境影响比较小。
[0004]本专利技术的第二个目的在于提出一种计算机可读存储介质。
[0005]本专利技术的第三个目的在于提出一种机器人。
[0006]为达到上述目的，本专利技术第一方面实施例提出了一种垃圾识别分类方法，包括：根据预设的去模糊网络，对原始帧图像进行去模糊处理得到目标图像；
[0007]将目标图像输入预设的深度卷积神经网络模型进行目标物体检测，得到目标物体的第一特征向量图；根据第一特征向量图对目标物体进行跟踪，并根据目标物体的类别和位置分拣目标物体。
[0008]根据本专利技术实施例的垃圾识别分类方法，首先根据预设的去模糊网络，对原始帧图像进行去模糊处理得到目标图像，然后将目标图像输入预设的深度卷积神经网络模型进行目标物体检测，得到目标物体的第一特征向量图，最后根据第一特征向量图对目标物体进行跟踪，并根据目标物体的类别和位置分拣目标物体。由此，该方法能够根据去模糊网络，可以降低机器人移动对图像带来的影响，使得图像更加清晰，通过检测算法后追加跟踪算法，可以剔除偶尔几帧的勿识别，有效降低对地面垃圾识别的误检率和漏检率，提高了检测速度和通用性，并且受环境影响比较小，检测和跟踪算法的健壮性强。
[0009]另外，根据本专利技术上述实施例的垃圾识别分类方法还可以具有如下的附加技术特征：
[0010]根据本专利技术的一个实施例，上述垃圾识别分类方法还包括：获取第一样本集，第一样本集中的每个训练样本包括第一原始模糊视频帧和与第一原始模糊视频帧相邻的第二
原始模糊视频帧；将第一原始模糊视频帧和第二原始模糊视频帧分别输入去模糊网络进行去模糊处理，得到第一预测清晰图像和第二预测清晰图像；对第一预测清晰图像进行光流预测、模糊处理以及扭曲处理得到第一模糊图像和第二扭曲图像，并对第二预测清晰图像进行光流预测、模糊处理和扭曲处理得到第二模糊图像和第一扭曲图像；基于第一原始模糊视频帧与第一模糊图像之间的损失最小化、第二原始模糊视频帧与第二模糊图像之间的损失最小化、第一预测清晰图像与第一扭曲图像之间的损失最小化、以及第二预测清晰图像与第二扭曲图像之间的损失最小化，对去模糊网络进行训练。
[0011]根据本专利技术的一个实施例，深度卷积神经网络模型包括backbone网络、neck网络和head网络，方法还包括：获取训练样本集；将训练样本集中的图像进行标准化预处理，并将预处理后的图像输入backbone网络进行特征提取，得到不同尺度的特征图；将不同尺度的特征图输入neck网络，进行上采样和特征融合后得到不同尺度的张量数据；将不同尺度的张量数据输入head网络，基于损失函数和反向传播进行梯度更新，以训练深度卷积神经网络模型。
[0012]根据本专利技术的一个实施例，获取训练样本集包括：获取第二样本集，第二样本集包括不同形状的目标物体在不同背景、同一背景不同视觉下的实际拍摄图像和人工合成图像；从第二样本集中选取部分样本集作为训练样本集；从训练样本集中随机选取预设组训练样本，并对每组训练样本进行随机裁剪、缩放和拼接生成新训练样本，以及将新训练样本加入训练样本集。
[0013]根据本专利技术的一个实施例，neck网络采用双线性插值法进行上采样，neck网络包括特征金字塔，特征金字塔包括FPN(Feature Pyramid Network，特征金字塔网络)结构和PAN(Pixel Aggregation Network，像素聚合网络)结构，FPN结构和PAN结构均包括P/4、P/8和P/16三层结构。
[0014]根据本专利技术的一个实施例，上述垃圾识别分类方法还包括：基于Deep Streamer对视频流中的图像进行解析和编解码处理得到原始帧图像；基于TensorRT对深度卷积神经网络模型进行优化。
[0015]根据本专利技术的一个实施例，根据第一特征向量图对目标物体进行跟踪，包括：采用卡尔曼滤波模型预测得到目标物体的第二特征向量图；对第一特征向量图和第二特征向量图进行GIOU匹配；当匹配上时，更新卡尔曼滤波模型的参数，并保存目标物体的位置作为目标物体的历史轨迹；当未匹配上时，保存目标物体的位置作为目标物体的历史轨迹，并对目标物体继续跟踪，若连续多帧中目标物体的第一特征向量图和第二特征向量图能匹配上，则对目标物体继续跟踪。
[0016]根据本专利技术的一个实施例，根据第一特征向量图对目标物体进行跟踪，还包括：若连续多帧中目标物体的第一特征向量图和第二特征向量图未匹配上，则停止对目标物体跟踪并删除目标物体的历史轨迹；或者，若连续多帧中目标物体的第一特征向量图和第二特征向量图未匹配上，则逐步调整GIOU匹配阈值，并根据调整后的GIOU匹配阈值对目标物体的第一特征向量图和第二特征向量图进行GIOU匹配，以及在确定连续多帧中目标物体的第一特征向量图和第二特征向量图均未匹配上时，停止对目标物体跟踪并删除目标物体的历史轨迹。
[0017]为达到上述目的，本专利技术第二方面实施例提出一种计算机可读存储介质，其上存
储有垃圾识别分类程序，该垃圾识别分类程序被处理器执行时实现上述的垃圾识别分类方法。
[0018]本专利技术实施例的计算机可读存储介质，通过执行时实现上述的垃圾识别分类方法，能够有效降低对地面垃圾识别的误检率和漏检率，提高了检测速度和通用性，并且受环境影响比较小。
[0019]为达到上述目的，本专利技术第三方面实施例提出的一种机器人，包括存储器、处理器及存储在存储器上并可在处理器上运行的垃圾识别分类程序，处理器执行垃圾识别分类程序时，实现上述的垃圾识别分类方法。
[0020]本专利技术实施例的机器人，通过执行上述的垃圾识别分类方法，能够有效降低对地面垃圾识别的误检率和漏检率，提高了检测速度和通用性，并且受环境影响比较小。
[0021]本专利技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本专利技术的实践本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种垃圾识别分类方法，其特征在于，所述方法包括：根据预设的去模糊网络，对原始帧图像进行去模糊处理得到目标图像；将所述目标图像输入预设的深度卷积神经网络模型进行目标物体检测，得到所述目标物体的第一特征向量图；根据所述第一特征向量图对所述目标物体进行跟踪，并根据目标物体的类别和位置分拣所述目标物体。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第一样本集，所述第一样本集中的每个训练样本包括第一原始模糊视频帧和与所述第一原始模糊视频帧相邻的第二原始模糊视频帧；将所述第一原始模糊视频帧和所述第二原始模糊视频帧分别输入所述去模糊网络进行去模糊处理，得到第一预测清晰图像和第二预测清晰图像；对所述第一预测清晰图像进行光流预测、模糊处理以及扭曲处理得到第一模糊图像和第二扭曲图像，并对所述第二预测清晰图像进行光流预测、模糊处理和扭曲处理得到第二模糊图像和第一扭曲图像；基于所述第一原始模糊视频帧与所述第一模糊图像之间的损失最小化、所述第二原始模糊视频帧与所述第二模糊图像之间的损失最小化、所述第一预测清晰图像与所述第一扭曲图像之间的损失最小化、以及所述第二预测清晰图像与所述第二扭曲图像之间的损失最小化，对所述去模糊网络进行训练。3.根据权利要求1所述的方法，其特征在于，所述深度卷积神经网络模型包括backbone网络、neck网络和head网络，所述方法还包括：获取训练样本集；将所述训练样本集中的图像进行标准化预处理，并将预处理后的图像输入所述backbone网络进行特征提取，得到不同尺度的特征图；将所述不同尺度的特征图输入所述neck网络，进行上采样和特征融合后得到不同尺度的张量数据；将所述不同尺度的张量数据输入所述head网络，基于损失函数和反向传播进行梯度更新，以训练所述深度卷积神经网络模型。4.根据权利要求3所述的方法，其特征在于，所述获取训练样本集包括：获取第二样本集，所述第二样本集包括不同形状的目标物体在不同背景、同一背景不同视觉下的实际拍摄图像和人工合成图像；从所述第二样本集中选取部分样本集作为所述训练样本集；从所述训练样本集中随机选取预设组训练样本，并对每组训练样本进行随机裁剪、缩放和拼接生成新训练样本，以及将所述新训练样本加入所述训练样本集。5.根据权...
【专利技术属性】
技术研发人员：陈凯，邓文轩，张岁寒，邵将，张斌，李伟超，彭红霞，简杰，温礼刚，
申请(专利权)人：长沙中联重科环境产业有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。