一种基于边缘计算和深度学习的垃圾箱垃圾识别方法技术

本发明专利技术公开了一种基于边缘计算和深度学习的垃圾箱垃圾识别方法，包括如下步骤：通过安装在垃圾箱上固定角度的高分辨率摄像机对投放者所投的垃圾进行扫描和拍摄完成数据收集；利用搭载垃圾识别模型的分布式边缘服务器识别所投垃圾，在显示屏上显示识别垃圾检测结果及语音播报，同时存储垃圾图片数据，完成未标记垃圾数据上传云服务器；云服务器运用SSD算法训练垃圾检测模型，通过边缘服务器上传的新数据定期更新垃圾检测模型，使得识别结果准确和实时。

A garbage bin recognition method based on edge calculation and deep learning

【技术实现步骤摘要】
一种基于边缘计算和深度学习的垃圾箱垃圾识别方法
本专利技术涉及一种用于街道垃圾箱的垃圾识别方法，尤其涉及基于移动边缘计算和深度学习的未知垃圾检测方法，属于信息处理

技术介绍
垃圾分类收集可以减少垃圾处理量和处理设备，降低处理成本，减少土地资源的消耗，具有社会、经济、生态三方面的效益。但是，由于垃圾种类众多，人们在进行垃圾分类时会耗费大量的时间成本，特别是在人流量较大的街道，人们往往很难准确判断所扔垃圾的种类且将他们放入街道边的垃圾桶中，为此研究者们对以往传统的街道垃圾箱进行了改造，在垃圾箱上添加了高分辨率摄像头以用来识别代投放垃圾的种类、收集垃圾图像。随着物联网的快速发展和5G网络的到来，线性增长的集中式云计算能力已经无法与爆炸式增长的海量边缘数据相匹配。因此，边缘计算正在成为物联网发展的支撑平台。边缘计算指的是在网络的边缘处理数据，以此减少请求响应时间、提升电池续航能力、减少网络带宽同时保证数据的安全性和私密性，未来移动边缘计算会在物联网、电力供需、教育、电子商务中有着广泛的应用。
技术实现思路
专利技术目的：针对于现有方法存在的问题，本专利技术提供一种基于边缘计算和深度学习的垃圾箱垃圾识别方法。主要通过安装在垃圾箱上的高分辨率摄像机对投放者所示的垃圾进行扫描和图像收集；利用边缘服务器完成识别并临时存储；在显示屏上显示垃圾种类检测结果；定期把这些数据传输到云服务器，同时利用图像识别SSD算法识别垃圾类别，并用这些结果更新垃圾训练模型，使得识别结果更加准确高效。一种基于边缘计算和深度学习的垃圾箱垃圾识别方法，包括如下步骤：步骤1：云服务器根据垃圾分类标准运用SSD算法训练垃圾检测模型；SSD算法的全称为SingleShotMultiBoxDetector；步骤2：投放者将待投放的垃圾放在高分辨率摄像机前进行扫描；高分辨率摄像机设置在垃圾箱上；步骤3：分布式边缘服务器根据已训练好的垃圾检测模型识别待投放垃圾，同时存储垃圾图片数据，完成未标记垃圾数据上传云服务器；步骤4：显示屏上显示垃圾检测结果及语音播报；步骤5：云服务器定期更新垃圾训练模型。所述步骤1云服务器根据垃圾分类标准运用SSD算法训练垃圾检测模型包括：步骤11：在云服务器进行垃圾检测模型训练时使用SSD框架结构，在VGG16网络中将最后两个全连接层改成卷积层，并增加了4个卷积层来构造网络结构，在这6层上依次提取featuremap，最终得到8732个缺省检测框。步骤12：priorbox为被使用的缺省检测框的包围盒，将priorbox和实际目标框按照IOU值的大小进行匹配。匹配时先从实际目标框的角度出发，找到与目标相匹配的IOU值最大的缺省检测框进入候选正样本集。其中IOU值指的是目标的真实边框和检测算法得到的预测框之间的重叠率，其具体计算公式如下：步骤13：由于由步骤12所确定的正样本数量太少，所以接着从缺省检测框的角度出发，在缺省检测框与实际目标框满足IOU＞0.5的样本集中，选择最大的缺省检测框，也放入正样本集。步骤14：最后，将每个物体所对应的缺省检测框的置信度进行排序，从低到高选出一定数量的缺省检测框，存入负样本集，使得priorbox中的正负样本比为1:3，由此可得良好的训练样本。步骤15：求损失函数，损失函数为位置误差和置信度误差的加权和，公式为：其中：Lconf和Lloc分别代表的是类别置信度的损失函数和搜索框位置的损失函数；N代表匹配到真实框的priorbox的数量；c为置信度，l为垃圾预测框，g为垃圾真实框；α参数用于调整confidenceloss和locationloss之间的比例，默认α＝1；搜索框位置的损失函数为：其中，为第i个垃圾预测框与第j个垃圾真实框关于类别k是否匹配，为0代表不匹配，为1代表匹配；cx,cy,w,h分别表示垃圾边界框的中心横坐标、垃圾边界框的中心纵坐标、边界框的宽度、边界框的高度；m没有具体的含义，参数m∈cx,cy,w,h，即分别取cx,cy,w,h这四个值；smoothL1(x)损失函数的定义为lm表示预测的目标框相对于defaultbox的偏移量，gm表示真实的目标框相对于defaultbox的偏移量；求gm的公式为：其中d表示垃圾真实框的参数，g表示垃圾预测框的参数；类别置信度的损失函数为：其中，表示垃圾预测框i与垃圾真实框j关于类别p匹配，p的概率预测越高，损失越小；表示垃圾预测框没有物体，预测为背景的概率越高损失越小；置信度c通过SoftMax产生。步骤16：预训练。对于每个预测框，首先根据类别置信度确定其类别与置信度值，并过滤掉属于背景的预测框。然后根据IOU(＝0.5)过滤掉阈值较低的预测框。对于留下的预测框进行解码，根据先验框得到其真实的位置参数。解码之后，需要根据置信度进行降序排列，然后仅保留Top-k(＝400)个预测框。最后进行非极大抑制算法，过滤掉重叠度较大的预测框。最后剩余的预测框即是检测结果。所述步骤2包括：在垃圾箱上安装高分辨率摄像机，拍摄分辨率为300×300；摄像机将扫描所得的图像通过socket上传至边缘服务器，边缘服务器运用SSD算法检测图片是否在已有的垃圾模型中被标记，未被标记，就以二进制的形式存入边缘服务器的非易失存储器中，并上传至云服务器，云服务器运用SSD框架训练垃圾检测模型，更新模型。摄像机扫描图像后的具体做法包括：步骤320：分布式边缘服务器将扫描到的图像进行剪裁处理，图片尺寸为300×300；步骤330：分布式边缘服务器根据已有模型识别待投放垃圾，存储垃圾图片数据，完成未标记垃圾上传云服务器。步骤331：将300×300高分辨率的垃圾图像作为输入；步骤332：基于SSD基准神经网络VGG16进行特征提取，获得特征图层；步骤333：在不同的特征层下，预测垃圾的归属类别得分；同时在featuremap上使用小的(3*3)卷积核预测缺省检测框；步骤334：为了提高检测结果的精度，在不同层次的featuremap上预测垃圾种类时，同时得到不同纵横比的预测值；步骤335：将上述的预测结果输入到loss层，通过非极大值抑制，得到最终预测结果。步骤336：将匹配不到种类的垃圾图像数据上传至云服务器。所述步骤3边缘服务器的部署包括：步骤31：首先根据垃圾箱存储需求以及网络延迟的问题确定移动边缘服务器的数量t；步骤32：计算指定区域内垃圾桶集合R中两两垃圾桶之间的距离，找到距离最近的两个垃圾桶，形成集合Ti,i＝1，2，3......t，从集合R中删除Ti；步骤33：计算集合R中每一个剩下的垃圾桶与Ti中心位置的距离，找到集合R中与Ti中心位置最近的垃圾桶，将其在R中删除，存储到Ti中；步骤34：重复步骤33，直到Ti中的垃圾桶数量达到一定的阈值；步本文档来自技高网...

【技术保护点】
1.一种基于边缘计算和深度学习的垃圾箱垃圾识别方法，其特征在于，包括如下步骤：/n步骤1：投放者将待投放的垃圾放在高分辨率摄像机前进行扫描，高分辨率摄像机设置在垃圾箱上；/n步骤2：边缘服务器根据已训练好的垃圾检测模型识别待投放垃圾，同时存储垃圾图片数据，将未标记的垃圾数据上传至云服务器；/n步骤3：显示屏上显示垃圾类别检测结果及语音播报。/n

【技术特征摘要】
1.一种基于边缘计算和深度学习的垃圾箱垃圾识别方法，其特征在于，包括如下步骤：
步骤1：投放者将待投放的垃圾放在高分辨率摄像机前进行扫描，高分辨率摄像机设置在垃圾箱上；
步骤2：边缘服务器根据已训练好的垃圾检测模型识别待投放垃圾，同时存储垃圾图片数据，将未标记的垃圾数据上传至云服务器；
步骤3：显示屏上显示垃圾类别检测结果及语音播报。


2.如权利要求1所述的基于边缘计算和深度学习的垃圾箱垃圾识别方法，其特征在于，云服务器根据垃圾分类标准运用SSD算法训练垃圾检测模型，具体为：
步骤11：使用SSD框架结构，在VGG16网络中将最后两个全连接层改成卷积层，并增加4个卷积层来构造网络结构，在这6层上依次提取featuremap，最终得到8732个缺省检测框；
步骤12：priorbox为被使用的缺省检测框的包围盒，将priorbox和实际目标框按照IOU值的大小进行匹配；匹配时先从实际目标框的角度出发，找到与目标相匹配的IOU值最大的缺省检测框进入候选正样本集；其中IOU值指的是目标的真实边框和检测算法得到的预测框之间的重叠率，其具体计算公式如下：



步骤13：由于由步骤12所确定的正样本数量太少，所以接着从缺省检测框的角度出发，在缺省检测框与实际目标框满足IOU＞0.5的样本集中，选择最大的缺省检测框，也放入正样本集；
步骤14：最后，将每个物体所对应的缺省检测框的置信度进行排序，从低到高选出一定数量的缺省检测框，存入负样本集，使得priorbox中的正负样本比为1:3，由此可得良好的训练样本；
步骤15：求损失函数，损失函数为位置误差和置信度误差的加权和，公式为：



其中：Lconf和Lloc分别代表的是类别置信度的损失函数和搜索框位置的损失函数；N代表匹配到真实框的priorbox的数量；c为置信度，l为垃圾预测框，g为垃圾真实框；α参数用于调整confidenceloss和locationloss之间的比例，默认α＝1；
搜索框位置的损失函数为：



其中，为第i个垃圾预测框与第j个垃圾真实框关于类别k是否匹配，为0代表不匹配，为1代表匹配；cx,cy,w,h分别表示垃圾边界框的中心横坐标、垃圾边界框的中心纵坐标、边界框的宽度、边界框的高度；m没有具体的含义，参数m∈cx,cy,w,h，即分别取cx,cy,w,h这四个值；
smoothL1(x)损失函数的定义为
lm表示预测的目标框相对于defaultbox的偏移量，gm表示真实的目标框相对于defaultbox的偏移量；求gm的公式为：



其中d表示垃圾真实框的参数，g表示垃圾预测框的参数；
类别置信度的损失函数为：



其中，表示垃圾预测框i与垃圾真实框j关于类别p匹配，p的概率预测越高，损失越小；表示垃圾预测框没有物体，预测为背景的概率越高损失越小；置信度c通过SoftMax产生；
步骤16：预训练；对于每个预测框，首先根据类别置信度确定其类别与置信度值，并过滤掉属于背景的预测框；然后根据IOU(＝0.5)过滤掉阈值较...

【专利技术属性】
技术研发人员：李清秋，张鹏程，赵齐，
申请(专利权)人：河海大学，
类型：发明
国别省市：江苏;32