一种可回收垃圾视觉分类方法、系统、设备技术方案

本发明专利技术公开了一种可回收垃圾视觉分类方法、系统以及设备。该方法包括获取传送带上物体的RGB图像和深度信息；根据获取的物体的RGB图像，对RGB图像进行分割和分类；将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。采用本发明专利技术，通过视觉方法检测、分类以及定位传送带上的可回收垃圾，极大程度提高了可回收垃圾分类的效率和准确性。

【技术实现步骤摘要】
一种可回收垃圾视觉分类方法、系统、设备
本专利技术涉及垃圾分类
，尤其涉及一种可回收垃圾视觉分类方法、系统、设备。
技术介绍
随着现代人们生活水平的提高和各项消费的增加，城市垃圾产生量日益增多，环境状况也逐渐恶化。面对此种局面，垃圾分类是解决日益增多垃圾的最有效方式，也是对垃圾进行有效处置的一种科学管理方法。如何通过垃圾分类管理，最大限度地实现垃圾资源利用，减少垃圾处置的数量，改善生存环境状态，是当前中国乃至世界各国共同关注的迫切问题。垃圾分类在源头将垃圾分类投放，目前垃圾主要分为可回收垃圾、有害垃圾、干垃圾、湿垃圾等。其中，可回收垃圾又主要包括废纸、塑料、玻璃、金属等几大类。可回收垃圾是可以再生循环的垃圾。因此对可回收垃圾进行分类回收再利用十分的有必要。目前，可回收垃圾的分类回收方法主要包括人工拣选、风选等，其人工成本高，处理效率低，准确度也不高。
技术实现思路
有鉴于此，本专利技术的目的在于提供一种可回收垃圾视觉分类方法、系统、设备，以解决现有技术可回收垃圾分类回收效率低准确度不高的问题。本专利技术解决上述技术问题所采用的技术方案如下：根据本专利技术的第一个方面，提供一种可回收垃圾视觉分类方法，所述方法包括以下步骤：获取传送带上物体的RGB图像和深度信息；根据获取的物体的RGB图像，对RGB图像进行分割和分类；将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。根据本专利技术的第二个方面，提供一种可回收垃圾视觉分类系统，所述系统包括：传送带，用于传送物体，所述物体为可回收垃圾；RGB相机，用于获取传送带上物体的RGB图像和深度信息；服务器，用于接收RGB相机发送的RGB图像和深度信息，对RGB图像进行分割和分类，将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云，根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。根据本专利技术的第三个方面，提供一种可回收垃圾视觉分类设备，所述设备包括：存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现可回收垃圾视觉分类步骤。本专利技术实施例的可回收垃圾视觉分类方法、系统以及设备，通过视觉方法检测、分类以及定位传送带上的可回收垃圾，可以高效而精准的对混合的可回收垃圾进行分类，极大程度提高了可回收垃圾分类的效率和准确性。附图说明图1为本专利技术实施例一提供的一种可回收垃圾视觉分类系统的示意图；图2为本专利技术实施例二提供的一种可回收垃圾视觉分类方法的流程图；图3A为本专利技术实施例二中计算初步抓取位姿示意图的正视图；图3B为本专利技术实施例二中计算初步抓取位姿示意图的俯视图。本专利技术目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。具体实施方式应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。在后续的描述中，如果使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本专利技术的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。本专利技术实施例一提供了一种可回收垃圾视觉分类系统。如图1所示，可回收垃圾视觉分类系统包括传送带10、RGB相机30、服务器50。所述传送带10，用于传送物体，传送带10上的物体为可回收垃圾。最常见的可回收垃圾有：纸质包装盒、塑料瓶、金属制易拉罐、玻璃瓶等。将需要分类的可回收垃圾从传送带10一端进行放置，随着传送带10的向前移动。所述RGB相机30，用于获取传送带10上物体的RGB图像和深度信息，所述RGB相机30放置于传送带10附近，并对传送带10上的物体进行拍摄，获取物体的RGB图像和深度信息。所述RGB相机30还将获取的RGB图像和深度信息发送给服务器50。所述服务器50，用于接收RGB相机30发送的RGB图像和深度信息，对RGB图像进行分割和分类，将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云，根据所述各物体在世界坐标的点云、传送带10的运动速度，计算各物体的抓取位姿。服务器50通过基于深度卷积神经网络模型的实例分割算法，对RGB图像进行分割，得到各个物体在RGB图像中的区域、各个物体所属的垃圾种类。所述基于深度卷积神经网络模型进行了预先训练，具体方式为：根据垃圾回收种类的定义，采集各种物体图像并进行标注，使用标注后的图像数据对所述基于深度卷积神经网络模型进行预先训练。由于进行了预先训练，因此可以对RGB图像进行分割和分类。所述服务器50计算所得到的抓取位姿，可以提供给抓取设备，抓取设备根据抓取位姿，对各物体分别进行精准抓取，这里不再赘述。通过本实施例提供的可回收垃圾视觉分类系统，通过视觉方法检测、分类以及定位传送带上的可回收垃圾，可以高效而精准的对混合的可回收垃圾进行分类，极大程度提高了可回收垃圾分类的效率和准确性。为了进一步理解本专利技术的实现过程，请继续参阅图2，图2为本专利技术实施例二提供的可回收垃圾视觉分类方法的流程图。所述可回收垃圾视觉分类方法包括：步骤S201、获取传送带上物体的RGB图像和深度信息；通过RGB相机拍摄传送带上的物体，获取传送带上物体的原始图像RGB图像和深度信息。步骤S202、根据获取的物体的RGB图像，对RGB图像进行分割和分类；优选地，根据获取的物体的RGB图像，对RGB图像进行分割和分类，具体可采用如下方式：通过基于深度卷积神经网络模型的实例分割算法，对RGB图像进行分割和检测，得到各个物体在RGB图像中的区域、各个物体所属的垃圾种类。神经网络模型预先进行过训练。可以根据垃圾回收种类的定义，采集各种物体图像并进行标注，使用标注后的图像数据对所述基于深度卷积神经网络模型进行预先训练。对神经网络模型预先进行训练，可以采用下面的方法：神经网络获得多个物体的训练图像；根据当前垃圾回收任务的定义，获得训练图像中完整度达到70％的物体的标注；根据所述训练图像和对应的标注对神经网络进行训练。其中，训练图像可以是成千上万个不同种类的可回收垃圾物体的图像，通过越多的训练图像能够训练出越精确的分类模型。训练图像中的物体包括处于不同形态、不同角度、不同距离和不同光线下的物体。再通过人工进行标注，即在训练图像中标注所要分类的物体的像素点。这里，完整度是指，在训练图像中，物体仅部分暴露在外，通过判断暴露在外的区域是否达到物体本身的70％，若是，则表示完整度达到70％。经过预先训练的神经网络能够根据RGB图像信息进行分割和分类。步骤S203、将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；优选地，获取各物体在世界坐标的点云具体方式为本文档来自技高网...

【技术保护点】
1.一种可回收垃圾视觉分类方法，其特征在于，所述方法包括以下步骤：/n获取传送带上物体的RGB图像和深度信息；/n根据获取的物体的RGB图像，对RGB图像进行分割和分类；/n将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；/n根据各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。/n

【技术特征摘要】
1.一种可回收垃圾视觉分类方法，其特征在于，所述方法包括以下步骤：
获取传送带上物体的RGB图像和深度信息；
根据获取的物体的RGB图像，对RGB图像进行分割和分类；
将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云；
根据各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿。


2.如权利要求1所述的可回收垃圾视觉分类方法，其特征在于，根据获取的物体的RGB图像，对RGB图像进行分割和分类，具体方式为：通过基于深度卷积神经网络模型的实例分割算法，对RGB图像进行分割，得到各个物体在RGB图像中的区域、各个物体所属的垃圾种类。


3.如权利要求2所述的可回收垃圾视觉分类方法，其特征在于，还包括：
根据垃圾回收种类的定义，采集各种物体图像并进行标注，使用标注后的图像数据对所述基于深度卷积神经网络模型进行预先训练。


4.如权利要求2所述的可回收垃圾视觉分类方法，其特征在于，将分割后的RGB图像与对应的深度信息匹配，获取各物体在世界坐标的点云，具体方式为：
根据检测得到的各个物体的位置区域，从深度信息中获取各个物体在RGB相机坐标系的点云，所述点云由Nⅹ4矩阵Pc表示，其中N为矩阵行数，即物体点云的三维点数量，每行的四个数分别表示一个三维点的齐次(x,y,z,l)坐标；
根据物体在RGB相机坐标系的点云，计算物体在世界坐标系下的点云：设从各个物体的相机坐标系到世界坐标系的转换矩阵为M，M为4ⅹ4矩阵，设物体在世界坐标系下的点云为Nⅹ4矩阵Pw,则计算公式为：Pw＝(M·(Pc)T)T，其中T表示矩阵的转置运算。


5.如权利要求4所述的可回收垃圾视觉分类方法，其特征在于，根据所述各物体在世界坐标的点云、传送带的运动速度，计算各物体的抓取位姿，具体包括：
根据所述各物体在世界坐标的点云，计算各物体的初步抓取位姿；
根据各物体的初步抓取位姿、传送带的运动速度，计算各物体的实时抓取位姿。


6...

【专利技术属性】
技术研发人员：陈超，萨尔曼·艾利坎·巴纳，
申请(专利权)人：深圳蓝胖子机器人有限公司，
类型：发明
国别省市：广东;44