一种垃圾目标的机器视觉智能识别系统及方法技术方案

本发明专利技术公开了一种垃圾目标的机器视觉智能识别系统，包括有里程计模块、目标识别模块、建图模块，本发明专利技术的系统建立一个垃圾目标分布的动态地图，降低了管理人员的监控压力，提高了保洁人员的工作效率，本发明专利技术还公开了一种垃圾目标的机器视觉智能识别方法，包括有以下步骤：计算位姿数据、识别垃圾目标、建立点云地图、建立训练集和测试集、构建改进的yolov3模型、训练网络、网络测试，本发明专利技术的方法使用深度可分离卷积替代darknet‑53中的一部分传统卷积，极大的降低了模型的计算量，基于改进yolov3目标识别算法，能够更准确的识别垃圾目标，且模型的参数较少，减少了训练和优化时的时间，提高了模型的识别速度，降低了对硬件的要求。

【技术实现步骤摘要】
一种垃圾目标的机器视觉智能识别系统及方法[
]本专利技术专利涉及机器视觉和机器学习领域，具体而言，涉及一种垃圾目标的机器视觉智能识别系统及方法。[
技术介绍
]随着居民消费水平的提高，社区内人们产生的生活垃圾的数量也随之不断增加。废弃的生活垃圾不仅严重影响社区的环境卫生，而且还容易滋生蚊虫和传播疾病进而危害人们的身体健康。目前社区的生活垃圾多由保洁工人定时清理，这种方式对处理居民楼下垃圾桶内的生活垃圾具有很好的效果，但对于社区内其他区域中近乎随机产生的生活垃圾，则显得效果较差和浪费人力。因此，需要开发出一种能够监控社区内生活垃圾变化情况的视觉系统。当前的垃圾识别系统多基于固定摄像头，当要监控整个社区的垃圾变化情况时，则势必需要布设较多的摄像头；同时，这种识别系统未能把来源于各路监控视频的识别结果整合到一个地图中，因而给后台的监控管理人员也带来了巨大的挑战。此外，当前的垃圾机器视觉识别方法多采用了基于深度学习目标识别算法中的两步法(R-CNN和faster-RCNN),但这种方法存在着训练过程较繁琐、优化结果较困难、计算量大、处理一帧图像的时间较长和对于硬件平台的要求较高等问题。。本专利技术就是基于以上问题产生的。[
技术实现思路
]本专利技术的目的是针对现有技术的不足，提出一种垃圾目标的机器视觉智能识别系统及方法，本专利技术利用机器人在自主行走的过程中的实时位姿信息，把图像中识别的垃圾目标的位置通过进行一系列的坐标变换，映射到一个不断更新的二维地图中，从而实现了监控整个社区生活垃圾变化情况。为解决上述技术问题，本专利技术所采用的技术方案是：一种垃圾目标的机器视觉智能识别系统，包括有里程计模块，用于计算机器人的位姿数据；目标识别模块，利用目标识别算法查找垃圾目标在图像中的位置并计算垃圾目标的位置数据和深度数据；建图模块，接收处理里程计模块的位姿数据、目标识别模块的垃圾目标位置数据和深度数据，得到垃圾目标在世界坐标系下的坐标，拼接构建得到垃圾目标的点云地图。如上所述的一种垃圾目标的机器视觉智能识别系统，所述里程计模块包括有轮式里程计和激光里程计。如上所述的一种垃圾目标的机器视觉智能识别系统，所述目标识别模块包括有一个高清摄像头。一种垃圾目标的机器视觉智能识别方法，包括有以下步骤：步骤A，计算位姿数据：A1，轮式里程计的标定：收集若干段数据，每段数据包含两个车轮子的角速度WL和WR、该段数据持续的时间以及激光雷达的匹配值，基于模型的方法计算出两的轮间距b和两个轮子的半径；A2，激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，根据位姿数据对激光雷达数据进行变换得到去除运动畸变后的激光雷达数据；A3，对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值。A4，基于图优化技术对位姿图进行优化；步骤B，识别垃圾目标：目标识别模块利用目标识别算法找到垃圾目标在图像中的位置，然后发布垃圾目标的位置数据和深度数据；步骤C，建立点云地图：建图模块对来源于里程计模块和目标识别模块的数据进行处理，根据下面的公式进行坐标变换：z＝d再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图。如上所述的一种垃圾目标的机器视觉智能识别方法，还包括有以下步骤：步骤D，建立训练集和测试集：D1，细化垃圾目标的定义：选取若干种废品作为垃圾目标的定义；D2，搜集废品的照片：采用现场采集和爬取两种方式获取相应的样本图像；D3，图像的预处理：对收集到的图像数据进行裁切以及变换到416×416规格的样本数据；D4，样本数据的扩增：采取以下方式扩充样本数据：D4-1.样本图像的宽和高放大1.5倍；D4-2.样本图像的宽缩小1/3，高缩小1/2，且保证图像是32的倍数；D4-3.样本图像的亮度增强；D4-4.样本图像的亮度减弱；D4-5.样本图像翻转90度或者180度；D4-6.样本图像添加噪声；D5，人工标注：根据步骤D1中的定义，使用图像标注工具对样本集中的图像数据进行标注，得到标签数据(x，y，w，h，c)；D6，样本集的划分：按照98:2的比例划分样本集为训练集和测试集；步骤E，构建改进的yolov3模型：分别创建卷积层、深度可分离卷积层、上采样层、残差层、拼接层和预测层，上采样层使用双线性插值算法对特征图进行扩展，残差层将低层的输出与高层的输出相加，拼接层将含有丰富语义的高层输出与分辨率较高的底层输出叠加，预测层包含3个特征图，每个特征图的每个网格上还包含3个长宽比不同的anchorbox，每个anchorbox是一个1×20的向量并包含以下的预测信息：tx,ty,tw,th，边界框包含物体的置信度以及物体属于垃圾目标的概率；步骤F，训练网络：使用随机初始化策略初始化模型的权重，然后将训练数据丢入模型中，经前向传播后则预测层特征图的每个网格可以得到一个3×(4+1+15)的预测结果，最后按照如下的代价函数公式计算预测结果与真实结果的误差：通过上述代价函数计算预测值与真实值之间的误差,然后将误差反向传播,再通过动量梯度下降策略更新网络的权重和偏差，当代价函数的损失值较小且稳定也就是收敛时，则停止训练；步骤G，网络测试：将测试集数据丢入模型中，并得到预测结果，设置边界框的置信度阀值为Thscores＝0.6，剔除置信度较低的预测结果，再设置一个非极大值抑制的阀值0.5，执行非极大值抑制，防止同一个目标被多重识别，最后输出修正后的预测结果。与现有技术相比，本专利技术的有益效果是：1、本专利技术基于里程计模块的位姿建立一个垃圾目标分布的动态地图，降低了管理人员的监控压力，提高了保洁人员的工作效率。2、本专利技术使用深度可分离卷积替代darknet-53中的一部分传统卷积，极大的降低了模型的计算量，基于改进yolov3目标识别算法，能够更准确的识别垃圾目标，且模型的参数较少，减少了训练和优化时的时间，提高了模型的识别速度，降低了对硬件的要求。[附图说明]图1是本专利技术的结构示意图；图2是里程计模块的计算流程图；图3是本专利技术进行目标识别的流程图；图4是本专利技术建立点云地图的流程图；图5是本专利技术改进yolov3模型的结构示意图。[具体实施方式]本部分将详细描述本专利技术的具体实施例，本专利技术之较佳实施例在附图中示出，附图的作用在于用图形补充说明书文字部分的描述，使人能够直观地、形象本文档来自技高网...

【技术保护点】
1.一种垃圾目标的机器视觉智能识别系统，其特征在于：包括有/n里程计模块(1)，用于计算机器人的位姿数据；/n目标识别模块(2)，利用目标识别算法查找垃圾目标在图像中的位置并计算垃圾目标的位置数据和深度数据；/n建图模块(3)，接收处理里程计模块(1)的位姿数据、目标识别模块(2)的垃圾目标位置数据和深度数据，得到垃圾目标在世界坐标系下的坐标，拼接构建得到垃圾目标的点云地图。/n

【技术特征摘要】
1.一种垃圾目标的机器视觉智能识别系统，其特征在于：包括有
里程计模块(1)，用于计算机器人的位姿数据；
目标识别模块(2)，利用目标识别算法查找垃圾目标在图像中的位置并计算垃圾目标的位置数据和深度数据；
建图模块(3)，接收处理里程计模块(1)的位姿数据、目标识别模块(2)的垃圾目标位置数据和深度数据，得到垃圾目标在世界坐标系下的坐标，拼接构建得到垃圾目标的点云地图。


2.根据权利要求1所述的一种垃圾目标的机器视觉智能识别系统，其特征在于：所述里程计模块(1)包括有轮式里程计(11)和激光里程计(12)。


3.根据权利要求1所述的一种垃圾目标的机器视觉智能识别系统，其特征在于：所述目标识别模块(2)包括有一个高清摄像头。


4.一种垃圾目标的机器视觉智能识别方法，其特征在于，包括有以下步骤：
步骤A，计算位姿数据：
A1，轮式里程计(11)的标定：收集若干段数据，每段数据包含两个车轮子的角速度WL和WR、该段数据持续的时间以及激光雷达的匹配值，基于模型的方法计算出两的轮间距b和两个轮子的半径；
A2，激光雷达数据运动畸变的去除：工控机读取激光数据，STM32上传里程计积分数据，检查里程计队列中的位姿数据与激光雷达数据时间上是否同步，如果同步则不进行处理，否则对位姿数据进行二次插值，根据位姿数据对激光雷达数据进行变换得到去除运动畸变后的激光雷达数据；
A3，对采集到的激光雷达数据使用前端配准算法：首先寻找点云中的匹配点，然后根据匹配计算旋转矩阵R和平移矩阵T，对点云进行位姿变化并计算误差，不断迭代，直至误差小于容忍值。
A4，基于图优化技术对位姿图进行优化；
步骤B，识别垃圾目标：
目标识别模块(2)利用目标识别算法找到垃圾目标在图像中的位置，然后发布垃圾目标的位置数据和深度数据；
步骤C，建立点云地图：
建图模块(3)对来源于里程计模块(1)和目标识别模块(2)的数据进行处理，根据下面的公式进行坐标变换：
z＝d



再利用优化后的位姿对目标在相机坐标系下的坐标进行变换，得到其在世界坐标系下的坐标，最后拼接和构建点云地图。


5.根据权利要求4所述的一种垃圾目标的机器视觉智能识别方法，其特征...

【专利技术属性】
技术研发人员：黄纯根，冼海仪，
申请(专利权)人：广东鲲鹏智能机器设备有限公司，
类型：发明
国别省市：广东;44