【技术实现步骤摘要】
本专利技术涉及垃圾识别，更具体的说是涉及一种地面垃圾识别方法及系统。
技术介绍
1、目前，随着社会的进步，人们的生活水平和质量逐渐提高，能够消费的东西也日益增多，因此产生的垃圾也越来越多，垃圾主要采用填埋和焚烧等办法进行处理。为了有效地减少垃圾的处理量，减缓对地球资源的消耗，可以对垃圾中可回收的垃圾进行分类回收再利用。分类的目的是提高垃圾的资源价值和经济价值，力争物尽其用。
2、但是，现在环卫作业人员开展生活垃圾收集运输工作操作复杂、需要投入的人力较多、作业效率低下、存在明显的资源浪费。现有方法虽然可以对垃圾影像进行采集，还需要精确地分类以及多样性的采集方式，在获取的影像数量较多或影像范围较大时，通过人工识别方式会产生巨大的工作量，简单的智能识别也无法完成所有任务，同时识别效率也相对较低。
3、因此，如何对垃圾进行准确快速的识别是本领域技术人员亟需解决的问题。
技术实现思路
1、有鉴于此，本专利技术提供了一种地面垃圾识别方法及系统，与现有技术相比，减少了人工识别所产生的巨大工作量，同时能够将重叠的垃圾从环境中分割出来，进一步确认重叠垃圾中每个垃圾的种类，完成垃圾的识别。
2、为了实现上述目的，本专利技术采用如下技术方案：
3、一种地面垃圾识别方法，包括：
4、步骤1：获取训练视频图像与待识别视频图像，在进行环境标注后进行图像预处理，用卷积神经网络构建的编码器结构进行多层次图像特征的提取；并通过与所述编码器对应的解码器提取所
5、步骤2：建立改进的神经网络模型并利用训练视频图像中标注的垃圾图像对所述改进的神经网络模型进行训练以获得垃圾分离模型，通过垃圾分离模型对所述待识别视频图像中标注的垃圾图像的重叠垃圾进行识别分离；
6、步骤3：将所述重叠垃圾分离后的单个垃圾进行图像分割，分割为若干子图像，并预先设置垃圾特征标签，对每一个所述子图像标注垃圾特征标签，收集所述单个垃圾的垃圾特征标签，构建特征集合；
7、步骤4：预设垃圾图像数据库，对标本垃圾设置垃圾特征标签与种类；筛选出所述垃圾图像数据库中包含特征集合中垃圾特征标签的全部标本垃圾；将所述待识别视频图像的特征与包含特征集合中特征的全部标本垃圾进行比对，获取比对结果，根据比对结果中标本垃圾种类确定所述单个垃圾的种类。
8、优选的，所述步骤1具体包括：
9、步骤1.1：获取训练视频图像与待识别视频图像，在进行环境标注后进行图像预处理；
10、步骤1.2：用卷积神经网络构建的编码器进行多层次图像特征的提取；
11、步骤1.3：将编码器最后一层输出的特征图输入transformer层捕获全局语义信息，进一步提取深层的图像特征；
12、步骤1.4：对经transformer层提取后的特征图进行解码器的上采样，上采样时在具有相同大小特征图的编码器输出和解码器输出之间建立跳跃连接，解码器上采样输出的特征图和对应跳跃连接中输出的特征图在通道上拼接，多层拼接和解码器结构的连续上采样操作实现多级特征融合，恢复细节信息；
13、步骤1.5：利用边界细化分支网络对分割结果进一步细化，修正边界部分预测错误问题；计算混合损失函数进行模型监督训练，基于最后得到的场景分割模型获得所述训练视频图像与待识别视频图像的场景分割结果。
14、优选的，所述跳跃连接中，每个跳跃连接中间添加一个可变形的空间模块dsm，每个dsm由两个3×3的卷积、一个可变形卷积和残差连接组成；其中两个3×3的卷积用于调整编码器输出特征图的通道数，残差连接被部署到可变形卷积的两端，可变形卷积用于沿空间维度捕捉形状感知的局部信息。
15、优选的，所述边界细化分支网络堆叠了3个卷积层从原始图像中提取低层次的空间信息，然后采用了一个边界头和一个方向头从特征图中提取边界信息；边界头包含1个1×1卷积、1个batchnorm层和1个relu激活函数，然后是一个1×1卷积用于线性分类，将分类结果上采样得到大小为h×w×1的边界图；方向头包含1个1×1卷积、1个batchnorm层和1个relu激活函数，同样一个1×1卷积将结果分为m类，上采样后产生h×w×m的方向图。细化过程是将方向图转换为大小为h×w×2的偏移图(表示每个像素x、y方向的偏移量，只有边界的像素有偏移量，其他的像素偏移量为0)，预测结果中位于边界部分的像素值根据在偏移图中对应位置的偏移量进行位移，即用内部的像素来代替边界不可靠的预测，以生成细化的预测图。
16、优选的，所述混合损失函数具体包括：
17、loss＝λ1lce+λ2lbound+λ1ldir；
18、其中，lce、ldir分别是预测图和方向图的交叉熵损失函数，lbound为边界图的二值交叉熵损失函数，设置λ1＝1、λ2＝3、λ3＝0.5。
19、优选的，所述改进的神经网络模型包括注意力模块和改进的损失函数，所述注意力模块增强所述垃圾分离模型对所述训练视频图像中标注的垃圾图像的特征提取能力；所述改进的损失函数如下：
20、l＝lattr+α*lrepgt+β*lrebox+δ*iouγleiou；
21、其中，lattr代表预测框与所述预测框相对应的真实框之间的损失，lrepgt代表预测框与其他真实框之间的损失，lrebox代表预测框与其他目标的预测框之间的损失，α、β和δ是平衡后三部分损失的权重，iou＝|a∩b|/|a∪b|，γ为控制异常值抑制程度的参数，leiou代表附加惩罚项。
22、优选的，所述图像预处理中将所述训练图像或所述待识别视频图像进行预处理包括：对尺度调整后的所述训练图像中的任意两种图像按比例进行插值混合，并且对插值混合后的分类结果按比例分配，其中，将第一目标的图像和第二目标的图像通过按照比例进行插值混合，并且对插值混合后的图像中目标的分类结果按以上的比例分配为第一目标和第二目标。
23、一种地面垃圾识别系统，包括：
24、场景分割模块：获取训练视频图像与待识别视频图像，在进行环境标注后进行图像预处理，用卷积神经网络构建的编码器结构进行多层次图像特征的提取；并通过与所述编码器对应的解码器提取所述训练视频图像中的垃圾图像与所述待识别视频图像中的垃圾图像，对所述垃圾图像中待识别目标的类别和位置坐标进行标注，所述待识别目标包括相互遮挡物体的整体目标和单个目标；
25、垃圾分离模块：建立改进的神经网络模型并利用训练视频图像中标注的垃圾图像对所述改进的神经网络模型进行训练以获得垃圾分离模型，通过垃圾分离模型对所述待识别视频图像中标注的垃圾图像的重叠垃圾进行识别分离；
26、特征标注模块：将所述重叠垃圾分离后的单个垃圾进行图像分割，分割本文档来自技高网...
【技术保护点】
1.一种地面垃圾识别方法，其特征在于，包括：
2.根据权利要求1所述的一种地面垃圾识别方法，其特征在于，所述步骤1具体包括：
3.根据权利要求2所述的一种地面垃圾识别方法，其特征在于，所述跳跃连接中，每个跳跃连接中间添加一个可变形的空间模块DSM，每个DSM由两个3×3的卷积、一个可变形卷积和残差连接组成；其中两个3×3的卷积用于调整编码器输出特征图的通道数，残差连接被部署到可变形卷积的两端，可变形卷积用于沿空间维度捕捉形状感知的局部信息。
4.根据权利要求2所述的一种地面垃圾识别方法，其特征在于，所述边界细化分支网络堆叠了3个卷积层从原始图像中提取低层次的空间信息，然后采用了一个边界头和一个方向头从特征图中提取边界信息；边界头包含1个1×1卷积、1个BatchNorm层和1个ReLU激活函数，然后是一个1×1卷积用于线性分类，将分类结果上采样得到大小为H×W×1的边界图；方向头包含1个1×1卷积、1个BatchNorm层和1个ReLU激活函数，同样一个1×1卷积将结果分为m类，上采样后产生H×W×m的方向图。
5.根据权利要求2所
6.根据权利要求1所述的一种地面垃圾识别方法，其特征在于，所述改进的神经网络模型包括注意力模块和改进的损失函数，所述注意力模块增强所述垃圾分离模型对所述训练视频图像中标注的垃圾图像的特征提取能力；所述改进的损失函数如下：
7.根据权利要求1所述的一种地面垃圾识别方法，其特征在于，所述图像预处理中将所述训练图像或所述待识别视频图像进行预处理包括：对尺度调整后的所述训练图像中的任意两种图像按比例进行插值混合，并且对插值混合后的分类结果按比例分配，其中，将第一目标的图像和第二目标的图像通过按照比例进行插值混合，并且对插值混合后的图像中目标的分类结果按以上的比例分配为第一目标和第二目标。
8.一种地面垃圾识别系统，其特征在于，包括：
...【技术特征摘要】
1.一种地面垃圾识别方法，其特征在于，包括：
2.根据权利要求1所述的一种地面垃圾识别方法，其特征在于，所述步骤1具体包括：
3.根据权利要求2所述的一种地面垃圾识别方法，其特征在于，所述跳跃连接中，每个跳跃连接中间添加一个可变形的空间模块dsm，每个dsm由两个3×3的卷积、一个可变形卷积和残差连接组成；其中两个3×3的卷积用于调整编码器输出特征图的通道数，残差连接被部署到可变形卷积的两端，可变形卷积用于沿空间维度捕捉形状感知的局部信息。
4.根据权利要求2所述的一种地面垃圾识别方法，其特征在于，所述边界细化分支网络堆叠了3个卷积层从原始图像中提取低层次的空间信息，然后采用了一个边界头和一个方向头从特征图中提取边界信息；边界头包含1个1×1卷积、1个batchnorm层和1个relu激活函数，然后是一个1×1卷积用于线性分类，将分类结果上采样得到大小为h×w×1的边界图；方向头包含1个1×1卷积、1个batchno...
【专利技术属性】
技术研发人员：吕凡，范晨，曹文勇，刘素雅，周琦，李冠萱，李云龙，
申请(专利权)人：浙江净禾智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。