一种生活垃圾自动分拣系统技术方案

一种生活垃圾自动分拣系统，包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

【技术实现步骤摘要】

本专利技术属于环保机械领域，解决生活垃圾中的目标对象快速自动分拣问题。
技术介绍
生活垃圾回收生产线一般以传送带为载体，对传送带上平铺的垃圾进行分类分拣。现有的垃圾分拣实现一般以人工抓取的分拣方式。采用在垃圾分拣线上采用多机械手对目标物进行抓取分拣的方法具有工作效率高及降低工人劳动强度的优点。 但是由于生活垃圾总类繁多且环境复杂恶劣，从生活垃圾中需要识别的目标类别、特征种类非常多，例如各种形状、颜色的瓶子、罐子等，由于特征提取的计算量很大，提取多种特征的方法在实时性上不能满足要求；并且特征提取的方法的准确率一直不高，在工业自动化生产线上，很难满足使用要求。 并且现有的机械手控制大部分都是对单台机械手的运动控制，即使是多台机械手的控制也是针对不同种类的分拣目标在不同工序上的分拣任务。针对多目标在移动生产线上的垃圾分拣的实际应用情况，这种分拣方法容易漏检，效率低。
技术实现思路
本专利技术的技术解决问题是：克服现有技术的不足，提供了一种生活垃圾自动分拣系统。 本专利技术的技术解决方案是：一种生活垃圾自动分拣系统，包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机； 采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元； 垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元； 垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。 所述的垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对目标物进行识别，得到目标的位姿信息。 所述的垃圾目标识别单元包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块； 形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人工辅助处理模块，否则不发送；所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元； 中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得 到人工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。 所述的形态学综合处理具体步骤如下：(1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比； (2)对采集到的每帧图像做基于颜色的聚类处理； (3)对聚类后的图像进行最小轮廓识别； (4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。 所述的中间结果综合处理单元具体实现步骤如下：(1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标； (2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息； (3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。 所述的人工辅助处理模块的角度识别步骤为：以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0度,180 度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度。 所述的垃圾目标识别单元包括深度学习网络、中间结果综合处理单元和人机纠错接口； 深度学习网络实时接收拍摄的光学图像，对接收的每帧图像进行深度学习处理，即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元；将处理后的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元； 中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。 所述的分类处理为将多层卷积、池化操作后的最后一层即l层的每个结果分别进行如下处理：(1)将l层的第k个结果Mlk池化为3个不同尺寸的目标矩阵Mkf1，Mkf2，Mkf3；其中Mkf1的尺寸为4×4，池化时滑动窗的尺寸步长为Mkf2的尺寸为2×2，池化时滑动窗的尺寸步长为Mkf3的 尺寸为1×1，池化时滑动窗的尺寸m，n，步长为m，n；m×n为Mlk的尺寸；(2)将Mlk、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量Vk；将Vk分别输入到三个全连接神经网络，第一个网络为类别网络，神经元个数为2即背景和目标物两类，得到结果为F1k，尺寸为2×1；第二个网络为包围盒回归网络，神经元个数为8即分别为背景和目标物的包围盒坐标信息，得到结果为F2k，尺寸为8×1；第三个网络为角度回归网络，神经元个数为1，得到结果为F3k，尺寸为1×1；(3)根据P＝h(F1k)得到目标物的概率，其中θ为分类参数；取P≥b的本文档来自技高网...

【技术保护点】
一种生活垃圾自动分拣系统，其特征在于：包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。

【技术特征摘要】
1.一种生活垃圾自动分拣系统，其特征在于：包括垃圾目标识别单元、垃圾分拣控制单元、机械手和在传输生活垃圾的传送带上固定位置安装的采样相机；采样相机实时拍摄传送带上的生活垃圾，将得到的光学图像传输至垃圾目标识别单元；垃圾目标识别单元实时接收上述光学图像并显示，根据预分拣的目标垃圾的特点，对光学图像进行处理，对图像中的目标物进行识别，得到目标位姿信息帧，并输入至垃圾分拣控制单元；垃圾分拣控制单元根据输入的目标位姿信息帧，根据机械手与传送带的相对位置，判断目标物是否进行空闲机械手的工作区间，将进入机械手工作区间的目标物的位姿信息转换到机械手坐标系下，并发送至对应的机械手，控制对应的机械手抓取对应的目标物。2.根据权利要求1所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾目标识别单元采用深度学习或者形态学识别的方式结合人工交互对目标物进行识别，得到目标的位姿信息。3.根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾目标识别单元包括形态学识别模块、中间结果综合处理单元和人工辅助处理模块；形态学识别模块实时接收采样相机拍摄的光学图像，对接收的每帧图像进行形态学综合处理，即根据图像目标物形态提取、剔除、颜色聚类后得到图像上检测目标在图像坐标系下的二维坐标、角度和时间，并在上述光学图像上对检测目标物进行着重跟踪显示，判断该目标信息是否与上一帧识别出的目标信息为同一目标，如果不是同一目标则将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元，将处理后的图像发送至人
\t工辅助处理模块，否则不发送；所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；人工辅助处理模块对接收每帧处理后的图像进行连续显示，由人工根据拍摄的光学图像的具体情况，人工在显示的图像上点击屏幕上形态学识别模块没有识别的目标物，人工辅助处理模块自动获得点击屏幕时刻的本地坐标系下的平面坐标和时间信息，并以上述平面坐标为中心点于预期被识别物平均面积的区域内进行角度识别，并对识别出的目标物进行着重显示，同时将本地坐标系的坐标、角度信息以及时间发送至中间结果综合处理单元；中间结果综合处理单元将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标，判断该补充目标物坐标信息是否与形态学识别模块识别的坐标信息有重复，对重复的信息进行剔除，输出目标物的坐标、角度信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。4.根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于：所述的形态学综合处理具体步骤如下：(1)设定待识别物体的最大长度、最小长度、最大宽度、最小宽度、最大长宽比、最小长宽比；(2)对采集到的每帧图像做基于颜色的聚类处理；(3)对聚类后的图像进行最小轮廓识别；(4)对最小轮廓图像进行逐个分析，判断最小轮廓长度、最小轮廓宽度、最小轮廓长宽比是否在步骤(1)设定的相应最大最小范围之内，如果最小轮廓满足步骤(1)中的范围则判断是目标物，并以最小轮廓的几何中心为目标物的平面坐标，其长边为参考计算目标物角度信息。5.根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于：所述的中间结果综合处理单元具体实现步骤如下：(1)将本地坐标系下坐标信息转换到图像坐标系下，得到人工辅助补充的目标物的坐标；(2)将本地坐标系下坐标信息与当前帧形态学识别目标物信息进行逐一比对，如果两目标物坐标信息的位置偏差小于预设的阈值，则认为是重复目标，剔除人工辅助补充的目标物信息；(3)以人工辅助点击当前帧图像上的一个目标为基准，依次获取上一个人工辅助点击帧图像上与基准目标纵坐标相同的目标，根据拍摄时目标物的运动速度v及两帧时间差，计算上一个人工辅助点击帧图像上与基准目标对应的目标的理论位置，计算理论位置与上一个人工辅助点击帧图像上所有目标的欧氏距离，欧氏距离最小对应的目标为与基准目标相同的目标，并将重复点击的目标进行剔除。6.根据权利要求3所述的一种生活垃圾自动分拣系统，其特征在于：所述的人工辅助处理模块的角度识别步骤为：以两倍于预期被识别物平均面积的区域内进行霍夫直线识别，在[0度,180度]内10度一个区间统计直线的斜率角度，计算出直线斜率角度出现频率最大的区间，以区间的平均角度作为人工辅助识别出的角度。7.根据权利要求2所述的一种生活垃圾自动分拣系统，其特征在于：所述的垃圾目标识别单元包括深度学习网络、中间结果综合处理单元和人机纠错接口；深度学习网络实时接收拍摄的光学图像，对接收的每帧图像进行深度学习处理，即多层卷积、池化操作、分类处理后得到图像上检测目标在图像坐标系下的坐标、角度和时间，并在拍摄的视觉反馈图像上将图像上检测目标的坐标、角度进行着重显示，将处理后的图像以及图像上检测目标的坐标、角度和时间信息发送至中间结果综合处理单元；将处理后的图像发送至人机纠错接口，所述的时间为图像拍摄时间，所述的角度为目标所在轴线与图像坐标系X轴之间的夹角；人机纠错接口对接收每帧处理后的图像进行连续显示，由人工根据拍摄的视觉反馈图像的具体情况，在显示的图像上将明显错误目标的着重显示去掉，
\t将着重显示去掉的目标在人机纠错接口坐标系下的坐标信息以及时间发送至中间结果综合处理单元；中间结果综合处理单元将人机纠错接口发送的坐标信息转换到图像坐标系下，得到错误目标的坐标，从接收到的每帧图像的检测目标在图像坐标系下的坐标、角度和时间信息中剔除错误目标的信息，得到图像坐标系下，识别目标的坐标、角度和时间信息，将目标物的坐标、角度和拍摄时间信息组成目标的位姿信息帧。8.根据权利要求7所述的一种生活垃圾自动分拣系统，其特征在于：所述的分类处理为将多层卷积、池化操作后的最后一层即l层的每个结果分别进行如下处理：(1)将l层的第k个结果Mlk池化为3个不同尺寸的目标矩阵Mkf1，Mkf2，Mkf3；其中Mkf1的尺寸为4×4，池化时滑动窗的尺寸步长为Mkf2的尺寸为2×2，池化时滑动窗的尺寸步长为Mkf3的尺寸为1×1，池化时滑动窗的尺寸m，n，步长为m，n；m×n为Mlk的尺寸；(2)将Mlk、Mkf2、Mkf3的元素依次复制到一个向量，作为尺寸规则化向量Vk；将Vk分别输入到三个全连接神经网络，第一个网络为类别网络，神经元个数为2即背景和目标物两类，得到结果为F1k，尺寸为2×1；第二个网络为包围盒回归网络，神经元个数为8即分别为背景和目标物的包围盒坐标信息，得到结果为F2k，尺寸为8×1；第三个网络为角度回归网络，神经元个数为1，得到结果为F3k，尺寸为1×1；(3)根据P＝h(F1k)得到目标物的概率，其中θ为分类参数；取P≥b的概率作为目标物，其中b为预设的阈值参数； X = x + w 2 ]]>则，目...

【专利技术属性】
技术研发人员：朱成林，韩志富，张科，陈志鸿，杨涛，王燕波，李常，梁斌焱，邹河彬，许剑，
申请(专利权)人：北京新长征天高智机科技有限公司，
类型：发明
国别省市：北京;11