一种生活垃圾分类智能分拣系统及方法技术方案

本发明专利技术公开了一种生活垃圾分类智能分拣系统及方法，所述系统包括：垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

【技术实现步骤摘要】
一种生活垃圾分类智能分拣系统及方法
本专利技术涉及计算机视觉
，特别是涉及一种基于环保的生活垃圾分类智能分拣系统及方法。
技术介绍
在环保领域中，针对生活垃圾的有效处理和相关高价值废品的回收再利用，已逐步成为社会发展日益关注的焦点，其中针对垃圾的分类过程是生活垃圾处理的关键，垃圾分拣是实现城市生活垃圾资源回收处理的前提，而垃圾的自动分拣技术是垃圾分拣的必然发展趋势。目前，生活垃圾分拣线仍主要采用人工分拣的方式，以传送带将生活垃圾持续平铺传送，其两侧站立多名工人以手抓取的方式对垃圾进行分拣，这种分拣方式容易漏检，且分拣效率低下。
技术实现思路
为克服上述现有技术存在的不足，本专利技术之目的在于提供一种生活垃圾分类智能分拣系统及方法，以提高生活垃圾分拣的效率。为达上述目的，本专利技术提出一种生活垃圾分类智能分拣系统，包括：垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。优选地，垃圾目标识别单元包括：图像采集模块，用于采集传送带上的移动目标对象及其不规则背景的光学图像；形态学识别模块，用于实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在所述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；人工辅助处理模块，用于对接收的每帧处理后的图像进行连续显示，获取人为根据拍摄的视觉图像的具体情况的纠错结果，确定人工纠错确定的目标物，将人工纠错确定的目标物的坐标信息、角度及时间信息发送到中间结果综合处理单元；中间结果综合处理单元，用于对所述人工辅助处理模块及形态学识别模块结果进行综合处理，得到识别目标的坐标、角度和时间信息传送至至垃圾分拣控制单元。优选地，所述形态学识别模块进一步包括：阈值设定模块，用于设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；原始图像获取模块，用于获取所述图像采集模块采集的原始图像；颜色聚类处理模块，用于对采集到的每帧图像进行基于颜色的聚类处理；目标检测模块，用于基于深度学习技术对聚类后的图像进行目标检测，找出图像中所有感兴趣的目标，确定目标的位置和大小；最小轮廓识别模块，用于对聚类后的图像进行最小轮廓识别；最小轮廓宽长比判断处理模块，用于对最小轮廓图像进行逐个分析，确定最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比，判断最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比是否在预设的最大最小值范围内，若在相应的范围内，则以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息；重复识别目标剔除模块，用于判断当前目标信息是否与上一帧识别出的目标信息为同一目标，若不是同一目标则将处理后的图像以及图像上检测的目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至所述人工辅助处理模块，否则不发送。优选地，所述重复识别目标剔除模块具体用于：(a)获取当前目标物的坐标信息、角度信息和时间信息；(b)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；(c)判断当前目标物和对比目标的Y坐标的差值，若差值小于预设阈值，则进入步骤(d)；否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；(d)判断当前目标物与对比目标的角度差值是否小于预设阈值，若小于，则进入(e)，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；(e)根据拍摄时目标物的运动速度及两帧时间差，计算当前目标物的X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于预设阈值，若小于则认为该目标物与对比目标为同一目标，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成。优选地，所述人工辅助处理模块以人工点击的图像坐标为几何中心，以若干倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0°,180°]内若干角度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度，以人工点击的时刻为人工辅助识别的时间信息，最后将人工辅助识别出的坐标信息、角度信息、时间信息发送到所述中间结果综合处理单元。优选地，所述中间结果综合处理单元将所述人工辅助处理模块发送的坐标信息转换到图像坐标系下，得到错误目标的坐标或者新加目标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下识别目标的坐标、角度和时间信息，同时在接收的着重显示的视觉反馈图像上将错误目标的着重显示去掉，完成视觉识别。优选地，所述垃圾分拣控制单元进一步包括：目标抓取物位姿接收模块，用于获取目标物的坐标、角度信息帧及时间；多机械手调度控制模块，用于提取接收缓冲区中的目标坐标和角度信息帧，计算目标坐标和角度信息帧中目标抓取物在t2+T时刻在传送带平面坐标系下的预测坐标，所述t2为当前时刻，T为机械手收到指令到抓取到目标抓取物所需要的时间，判断该预测坐标是否进入任意一个机械手的工作空间，如果进入某个机械手的工作空间，则判断该机械手的工作状态是否空闲，若判断结果为空闲，则将该目标抓取物的图像坐标系下的坐标和姿态角信息分配给空闲的机械手对应的机械手轨迹控制模块；机械手轨迹控制模块，初始化时控制机械手位于预设的准备位置，在接收目标抓取物的图像坐标系下的坐标信息之后，将工作状态置为忙，将该目标抓取物的坐标信息和姿态角进行坐标转换，得到该目标抓取物在本机械手坐标系下的坐标，控制机械手移动至目标抓取物位置，旋转机械手的角度与姿态角一致，抓取目标抓取物，将抓取物送到传送带以外指定的物料存储区，之后控制机械手回到预设的准备位置，将工作状态置为空闲。优选地，所述多机械手调度控制模块具体用于：(a)判断当前时刻接收缓冲区是否有新的目标坐标和角度信息帧，若有，将新的目标坐标和角度信息帧存入当前抓取队列中，进入步骤(b)本文档来自技高网...

【技术保护点】
1.一种生活垃圾分类智能分拣系统，包括：/n垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；/n垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。/n

【技术特征摘要】
1.一种生活垃圾分类智能分拣系统，包括：
垃圾目标识别单元，用于采集传送带上的移动目标对象及其不规则背景的光学图像，根据系统预分拣的目标垃圾的特点，对光学图像进行处理，采用形态学识别和深度学习的方式结合人工交互对所述光学图像中的目标物进行识别，得到目标的坐标和角度信息帧并输入至垃圾分拣控制单元；
垃圾分拣控制单元，用于根据输入的目标坐标和角度信息帧，根据机械手与传送带的相对位置，判断目标物是否进入空闲机械手的工作区间，将进入机械手工作区间的目标物的坐标和角度信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。


2.如权利要求1所述的一种生活垃圾分类智能分拣系统，其特征在于，垃圾目标识别单元包括：
图像采集模块，用于采集传送带上的移动目标对象及其不规则背景的光学图像；
形态学识别模块，用于实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在所述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；
人工辅助处理模块，用于对接收的每帧处理后的图像进行连续显示，获取人为根据拍摄的视觉图像的具体情况的纠错结果，确定人工纠错确定的目标物，将人工纠错确定的目标物的坐标信息、角度及时间信息发送到中间结果综合处理单元；
中间结果综合处理单元，用于对所述人工辅助处理模块及形态学识别模块结果进行综合处理，得到识别目标的坐标、角度和时间信息传送至至垃圾分拣控制单元。


3.如权利要求2所述的一种生活垃圾分类智能分拣系统，其特征在于，所述形态学识别模块进一步包括：
阈值设定模块，用于设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；
原始图像获取模块，用于获取所述图像采集模块采集的原始图像；
颜色聚类处理模块，用于对采集到的每帧图像进行基于颜色的聚类处理；
目标检测模块，用于基于深度学习技术对聚类后的图像进行目标检测，找出图像中所有感兴趣的目标，确定目标的位置和大小；
最小轮廓识别模块，用于对聚类后的图像进行最小轮廓识别；
最小轮廓宽长比判断处理模块，用于对最小轮廓图像进行逐个分析，确定最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比，判断最小轮廓长度、最小轮廓宽度，获取最小轮廓宽长比是否在预设的最大最小值范围内，若在相应的范围内，则以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息；
重复识别目标剔除模块，用于判断当前目标信息是否与上一帧识别出的目标信息为同一目标，若不是同一目标则将处理后的图像以及图像上检测的目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至所述人工辅助处理模块，否则不发送。


4.如权利要求3所述的一种生活垃圾分类智能分拣系统，其特征在于，所述重复识别目标剔除模块具体用于：
(a)获取当前目标物的坐标信息、角度信息和时间信息；
(b)从上一帧图像上获取已识别的目标作为对比目标，获取对比目标的坐标信息、角度信息和时间信息；
(c)判断当前目标物和对比目标的Y坐标的差值，若差值小于预设阈值，则进入步骤(d)；否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；
(d)判断当前目标物与对比目标的角度差值是否小于预设阈值，若小于，则进入(e)，否则从上一帧图像上重新获取对比目标，重新进入(c)，直至与上一帧图像上所有目标比对完成；
(e)根据拍摄时目标物的运动速度及两帧时间差，计算当前目标物的X坐标信息在上一帧对比目标识别时刻的X坐标信息，将计算的X坐标信息与对比目标的X信息做差，判断差值是否小于预设阈值，若小于则认为该目标物与对比目标为同...

【专利技术属性】
技术研发人员：程允丽，孟海涅，陈孝如，袁丽娜，
申请(专利权)人：广州大学华软软件学院，
类型：发明
国别省市：广东;44