一种用于道路智能清扫的路面垃圾感知方法技术

本发明专利技术公开了一种用于道路智能清扫的路面垃圾感知方法，包括建立了并标注垃圾图像数据库；采用数据增强方法包括图像的几何变换，颜色变换；图像的随机缩放裁剪和排布；利用生成对抗网络扩充数据域；采用目标检测与密度估计联合感知，路面上存在的大垃圾和小垃圾进行定位和识别；通过目标检测得到垃圾的矩形框和标签后，将矩形框转为密度图的形式，并根据不同的标签赋值不同的密度权重；将以上转换得到的密度图与密度估计算法生成的密度图向结合得到最终的路面垃圾密度图像；计算出候选清扫点，输入路径规划模块。本发明专利技术基于上述得到的垃圾分布信息，输入路径规划模块，调整行驶路径，实现清扫车智能清扫，具有很高的实用价值。

【技术实现步骤摘要】
一种用于道路智能清扫的路面垃圾感知方法
本专利技术涉及人工智能领域，尤其涉及一种用于道路智能清扫的路面垃圾感知方法。
技术介绍
A:张鹏程.一种融合移动边缘计算和深度学习的城市街道垃圾检测和清洁度评估方法。采用FasterR-CNN目标检测网络实现对路面垃圾的检测。可检测的垃圾类别包括：废纸，塑料袋，塑料瓶，易拉罐等。但是对于树叶，树枝，烟头等密集小垃圾无法有效检测。且训练样本较少，仅采用321张垃圾图像作为训练数据集，无法使网络模型得到充分的学习。B:MohammadSaeedRad.AComputerVisionSystemtoLocalizeandClassifyWastesontheStreets。采用基于深度卷积的目标检测网络实现对路面小垃圾的检测和识别，包括树叶，烟头和树叶堆等。对稀疏的小目标有较好的效果，但是当目标高度重叠时无法有效感知。且算法对图像分辨率要求较高，当图像分辨率较低时无法有效的检测，而高分辨率图像会很大影响算法的实时性。同时为了消除相机的透视变换带来的目标尺度变化，摄像头安装时成像平面要求与地面平行，这也为本文档来自技高网...

【技术保护点】
1.一种用于道路智能清扫的路面垃圾感知方法，其特征在于包括：/n建立了并标注垃圾图像数据库；/n采用数据增强方法包括图像的几何变换，颜色变换；图像的随机缩放裁剪和排布；利用生成对抗网络扩充数据域；/n采用目标检测与密度估计联合感知，路面上存在的大垃圾和小垃圾进行定位和识别；/n通过目标检测得到垃圾的矩形框和标签后，将矩形框转为密度图的形式，并根据不同的标签赋值不同的密度权重；将以上转换得到的密度图与密度估计算法生成的密度图向结合得到最终的路面垃圾密度图像；/n计算出候选清扫点，输入路径规划模块。/n

【技术特征摘要】
1.一种用于道路智能清扫的路面垃圾感知方法，其特征在于包括：
建立了并标注垃圾图像数据库；
采用数据增强方法包括图像的几何变换，颜色变换；图像的随机缩放裁剪和排布；利用生成对抗网络扩充数据域；
采用目标检测与密度估计联合感知，路面上存在的大垃圾和小垃圾进行定位和识别；
通过目标检测得到垃圾的矩形框和标签后，将矩形框转为密度图的形式，并根据不同的标签赋值不同的密度权重；将以上转换得到的密度图与密度估计算法生成的密度图向结合得到最终的路面垃圾密度图像；
计算出候选清扫点，输入路径规划模块。


2.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于：对每张图像中的目标都做标注，有两种标注格式，一种是用于垃圾目标检测的矩形框标注格式；另一种是用于垃圾密度估计的点标注格式。


3.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于：数据增强算法，
(1)几何变换上的增强方法，包括图像翻转，图像旋转，图像缩放等；
(2)颜色变换上的增强方法，包括添加噪声，颜色扰动，图像模糊；
(3)采用Mosaic数据增强方法，随机选取图片，进行随机缩放，裁剪和排布，最终拼接为1张图像；
(4)采用了基于GAN生成对抗网络的数据增强方法；包括一个生成器和一个判别器；生成器负责生成伪图像，而判别器负责鉴别图像真假；通过两者之间的博弈，使得双方的生成和鉴别能力不断提高。


4.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于，建立路面分割神经网络的框架结构，采用的是yolact框架结构。


5.根据权利要求1所述的用于道路智能清扫的路面垃圾感知方法，其特征在于：大垃...

【专利技术属性】
技术研发人员：赵健成，顾昕程，林亚兰，徐江，高传宝，
申请(专利权)人：上海富洁科技有限公司，
类型：发明
国别省市：上海;31