本发明专利技术提供了一种基于语义分割的路面清洁度判定和自动清扫方法，具体包括以下步骤：步骤1、收集和标注路面垃圾识别和分割的数据集；步骤2、进行路面垃圾语义分割网络训练；步骤3、将网络移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据；步骤4、根据路面垃圾预测结果，使用度量算法，对路面清洁度进行分级；步骤5、根据路面清洁度评估结果调整清扫车上装机构的清扫力度，实现智能化清扫；步骤6、在垃圾语义实例分割的结果基础上，根据垃圾类别，反馈给路面清洁人员，实现可利用垃圾回收。本发明专利技术可以使用到路面清洁车上，对识别的垃圾分类回收，实现路面清洁度判定和智能化路面清扫。智能化路面清扫。智能化路面清扫。
【技术实现步骤摘要】
一种路面清洁度判定和自动清扫方法及自动清扫环卫装置
[0001]本专利技术涉图像分割、神经网络、目标识别领域，尤其涉及一种路面清洁度判定和自动清扫方法及自动清扫环卫装置。
技术介绍
[0002]路面垃圾清扫是环卫车辆一项繁琐、耗时、耗能的道路清洁任务，当前环卫车辆里面清扫主要依靠人工驾驶员观察路面，判断路面的垃圾种类和面积，控制清扫的力度和清扫的区域，这种方式的导致环卫车辆路面清扫效率低下，驾驶员容易疲劳驾驶，路面清洁度判定不准确，打扫的不干净，环卫车辆工作能耗高。自动化的路面清洁度判定和清扫力度控制是智能环卫装置急需解决的问题。现行的方案主要有以下六种：
[0003]第一种方案如中国专利技术专利201310115947.2。该方案是公布了一种高智能机器人道路清理系统，该系统包括：声波测距单元用来检测前方障碍物与道路的垃圾距离，控制处理距离数据和采集的方位数据，双目摄像头用于采集器前方图像。超声波测距单元数据判断感兴趣区域，使用双目摄像头的深度信息检测感兴趣区域的垃圾位置。决策模块、垃圾清理模块、自动驾驶模块共同完成垃圾的清扫、路径规划等动作。但是该方案存在以下问题：第一，超声波只能确定存在立体障碍物的感兴趣区域，对于路面平铺的泥土、沙子无法检测到，这样确定的感兴趣区域后漏掉路面泥沙的地方。第二，双目立体视觉使用深度信息也只能检测到立体的垃圾，并且不能对垃圾种类进行分类。第三，无法判断路面清洁度，只能检测出立体障碍物，并不能判断障碍物的种类和面积。使用立体视觉检测障碍物容易将路边其他的马路牙子、绿化树木误检测为垃圾。
[0004]第二种方案如中国专利专利技术200910111960.4。该方案是一种大型垃圾清理车。这种道路垃圾清理车包括清扫机构、垃圾输送系统、垃圾箱和底盘。其特点是安装在底盘底部的清扫机构由多个滚扫及其外罩构成，包括主滚扫、主滚扫外罩、副滚扫和副滚扫外罩，利用两个滚扫滚动收集垃圾；其垃圾输送系统由链条、带垃圾斗的输送带、输送带电动机、驱动链轮、传动链轮和调节链轮组成，可在凹凸不平的环境下完成清扫并将垃圾通过传送带倒入垃圾箱。该方案的优点是：道路清理效率高，清理速度较快，可以储存大量清理上来的垃圾，是现行方案中最常见的一种。但该方案存在的缺点是：所使用的装置需要人工操作，自动化程度低：不能主动进行路面清洁度判定，也不能识别路面垃圾种类和面积。
[0005]第三种方案如中国技术专利201120517848。该方案是一种微型道路清扫车，这种方案可以看做是普通道路清扫车的小型化版本。其由前车架、驾驶舱和后车架组成。前车架与后车架以铰接相连，缩小车体转弯半径。前车架上有前垃圾箱、清扫装置和吸尘装置，可将垃圾通过清扫装置扫入前垃圾箱内，并通过吸尘装置吸收扫起的尘土。后车架上有后垃圾箱、水箱和出水装置，可以对路面洒水，并储存前垃圾箱收集的垃圾。该方案的优点是：有一定垃圾存储量，清理效率较高，所用装置体积相比第二种方案有所缩小，转弯半径小，使用场合有所扩展，可以作为第二种方案的补充使用，在特大型城市中有所使用。但该方案存在的缺点是：没有主动的路面清洁度判定和垃圾识别的方法，无法自适应的调节清
扫机构的上装机构。
[0006]第四种方案如中国专利技术201120320493。该方案是一种利用风力收集路面垃圾的装置，该技术在公路中央及两侧连续交替设置双层隔离板，隔离板下与地面留有一定距离，道路下方设有垃圾收集槽。当有风吹过隔离板夹层部分时，隔离板夹层会形成风的通道，造成隔离板内外两侧产生压强差，将垃圾吸入垃圾沟槽内。该方案虽说在清扫过程中无需人工干预，也不需要能源供给，对交通影响小，成本较低，但却需要对道路本身进行整体修改，难以适应各种不同的道路情况，并具有一定规模的工程量，对受到改动的道路周边环境存在难以预知的影响。特别是该方案并没有真正将垃圾清理干净，而是暂存在垃圾收集槽内，需要定期对垃圾收集槽进行清理，这一清理过程存在一定的难度与危险；其收集过程需要借助气候因素，无法因需要而主动清理，其清理频率依天气而定，稳定性不足。
[0007]第五种方案如中国专利技术专利201811550033.8.本专利技术公开了一种路面垃圾物智能识别与感知实现装置，包括摄像头、车载级工控机、车载直流电源、控制器，摄像头用于实时获取路面垃圾物图像，车载级工控机识别摄像头传递的图像，通过CAN接口将识别信息传递给控制器，控制器包括底盘集成控制器以及上装集成控制器，用于接收工控机的指令并向对应的执行器输出数字I/0信号，控制执行器动作。本专利技术同时公开了一种路面垃圾物智能识别与感知方法，能够实现对道路特征信息的检测识别判断、路面垃圾覆盖率检测识别以及路面垃圾属性学习分类，形成了作业特征学习识别大数据。该方法存在的问题是：使用分类网络Fast-RCNN来进行垃圾检测，只能获得每一类垃圾的矩形包围位置区域，这个矩形区域内存在背景，因此需要进一步的处理，增加了计算量，同时在检测框中区分背景和前景时会存在将垃圾和背景分割错误的情况，导致对路面垃圾的数量评估不准确。
[0008]第五种方案如中国专利技术专利201910989410.6，本专利技术公开了一种轨道垃圾识别方法、清洁方法、系统、资源配置方法，所述轨道垃圾识别方法，包括步骤：获取轨道视频流；逐帧分解视频流，并对每帧图像进行预处理以过滤图像噪声，所述预处理包括Cohen-Sutherland裁剪，将预处理后的图像输入已训练的垃圾识别模型，图像样本特征提取、多尺度预测、边界框预测以识别垃圾；通过多标签分类将识别的垃圾分类；通过非极大值抑制去掉多次检测到的同一垃圾的边界框。本专利技术通过Cohen-Sutherland裁剪对图像进行简化，移除环境影响，提高图像检测性能。改方案的问题是：第四种方案类似，都是使用分类网络检测垃圾，Yolov3这种分类网络只能返回矩形检测区域，这个矩形检测区域是垃圾的外包矩形，包含了背景和垃圾，对检测网络的优化只能提高垃圾的检测准确率，但是却没有解决垃圾像素级别的定位为题，包含背景的检测矩形框不是垃圾真实的占据区域。
[0009]第六种方案如中过专利技术专利20191166070.3.该专利公开了路面元素的识别方法、装置、无人驾驶设备和存储介质。所述方法包括：获取当前图像；判断所述当前图像是否满足替换条件；若所述当前图像满足替换条件，则根据所述当前图像以及当前位置信息，从路面元素图像库中查找出与所述当前图像匹配的替换图像；所述路面元素图像库中保存有路面元素图像及其对应的位置信息；根据路面元素图像识别模型，从所述替换图像中识别出用于参考的路面元素；根据当前位置信息、所述替换图像对应的位置信息以及用于参考的路面元素，确定所述当前图像中与当前位置信息对应的路面元素。其有益效果在于，当前图像不满足识别需求时，能够通过替换图像获得准确的路面元素，适用于无人驾驶等场景。但是该专利存在以下不足：路面元素图像库识是预先设定的，在复杂多变的城市工况下，图像
库的覆盖范围有限，不能匹配所有的采集图像，会导致图像库的更新速度大，存储量较多，匹配时检索效率低，不适用当前的实时道路工况本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种基于语义分割的路面清洁度判定和自动清扫方法，具体包括以下步骤：步骤1、通过车辆的前置摄像头采集车辆前方路面信息，收集和标注路面垃圾识别和分割的数据集；步骤2、进行路面垃圾语义分割网络训练；步骤3、将网络移植到嵌入式车载平台，实现在线预测车载摄像头输入的实时路面数据；步骤4、根据路面垃圾预测结果，使用度量算法，对路面清洁度进行分级；该步骤中，度量算法包括两部分：步骤4.1、对路面的垃圾分类进行统计和度量，泥土、石头、树叶、水瓶依次赋予不同的权重，进而计算类别度量值；步骤4.2、对路面的垃圾面积进行度量，进而计算面积度量值；步骤4.3、计算路面清洁度值，面积度量值为类别度量值与面积度量值之和；步骤5、将路面清洁度分级结果和路面垃圾预测结果显示在车内显示屏上，根据路面清洁度评估结果调整清扫车上装机构的清扫力度，实现智能化清扫；步骤6、在垃圾语义实例分割的结果基础上，根据垃圾类别，反馈给路面清洁人员，实现可利用垃圾非回收。2.根据权利要求1所述的基于语义分割的路面清洁度判定和自动清扫方法，其特征在于：步骤1中，收集和标注路面垃圾分类识别数据集，在城区马路、工业园水泥路面、郊区水泥路面场景下采集路面垃圾的图像，并对其中的...
【专利技术属性】
技术研发人员：曹立波，廖家才，陈凯，王韬，赵青才，
申请(专利权)人：长沙立中汽车设计开发股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。