一种基于视觉的垃圾分类识别方法和装置制造方法及图纸

本发明专利技术涉及垃圾分类技术领域，尤其是指一种基于视觉的垃圾分类识别方法和装置，通过识别机构采集垃圾的图像信息，然后传输至总控单元，利用总控单元来识别出图像信息内的垃圾并进行分类，最后控制拾取机构拾取垃圾并放入对应类别的位置，从而在减少了人工干预的前提下，实现了自动化识别和分类垃圾的效果，有利于提升垃圾分类的效率。

A method and device of garbage classification and recognition based on vision

The invention relates to the technical field of garbage classification, in particular to a garbage classification and recognition method and device based on vision. The garbage image information is collected by the recognition mechanism, and then transmitted to the general control unit. The garbage in the image information is recognized and classified by the general control unit, and finally the garbage is picked up by the pickup mechanism and put into the corresponding category position, so as to reduce the Under the premise of human intervention, the automatic recognition and classification of garbage are realized, which is conducive to improving the efficiency of garbage classification.

【技术实现步骤摘要】
一种基于视觉的垃圾分类识别方法和装置
本专利技术涉及垃圾分类
，尤其是指一种基于视觉的垃圾分类识别方法和装置。
技术介绍
日常生活中产生的垃圾至少分为可回收垃圾和不可回收垃圾，为了提升资源的利用率，目前很多地区已经开始实施垃圾分类，通过垃圾分类来把垃圾按类别进行分放，从而便于回收或者处理。传统的垃圾分类是通过人工的方式来实现的，这种方式具有效率低、工作环境差以及对人体产生不良影响等等后果，因此随着科技的发展，目前已经出现了采用机械实现垃圾分类的方法，如专利号为“201910287785.8”的专利技术申请专利，其公开了一种通过人工进行识别，然后通过机械手抓取和分类垃圾的技术方案，即通过相机拍摄垃圾的图片后发给工作人员识别，然后工作人员把垃圾进行类别选定以后，由机械手进行垃圾的抓取和分类。但是，这个方案依然存在一下技术问题：需要人工参与，因而对于垃圾分类的效率还没有达到最高。
技术实现思路
本专利技术针对现有技术的问题提供一种基于视觉的垃圾分类识别方法和装置，能够进一步减少人工的干预，从而提升垃圾分类的效率。为了解决上述技术问题，本专利技术采用如下技术方案：本专利技术提供的一种基于视觉的垃圾分类识别方法，包括以下步骤：a.通过识别机构对待分类垃圾进行拍照获得图像；b.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；c.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。进一步的，所述识别机构包括高光谱相机，在步骤b中，具体为：b1.通过高光谱相机采集待分类垃圾的光谱图像集；b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；b3.从图像特征子集合中选取主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；b4.对轮廓内的主成分图像进行光谱特征识别，判断待分类垃圾的材质类型。更进一步的，所述识别机构包括2D相机，在步骤b中，包括：b’.2D相机拍摄待分类垃圾并生成RGB图片；b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；b”’.根据待分类的垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置。优选的，在步骤b和步骤c之间，还包括：结合光谱分析和RGB图片分析的结果，对待分类垃圾的轮廓和材质类型进行综合判断。优选的，在步骤b和步骤c之间，还包括：c1.通过3D相机采集待分类垃圾的点云数据；c2.通过识别机构获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；c3.分析轮廓范围内的点云并判断最优空间抓取点；c4.把最优空间抓取点传输至拾取机构。优选的，在步骤b和步骤c之间，还包括：bc1.通过3D相机获取待分类垃圾的点云数据；bc2.结合RGB图片与点云数据，获得待分类垃圾的RGBD信息；bc3.根据新的RGBD信息来识别待分类垃圾的材质类型和轮廓，并根据判断结果来控制拾取机构进行拾取。本专利技术还提供了一种垃圾分类装置，包括总控单元，所述总控单元设置有深度神经网络模型；传输机构，用于传输待分类垃圾；沿着所述传输机构的传输方向，依次设置有识别机构，用于获取待分类垃圾的图像信息，并把图像信息传输至所述总控单元；拾取机构，用于根据总控单元的判断结果，拾取待分类垃圾并进行分类。进一步的，还包括位于所述识别机构和所述拾取机构之间的3D相机，所述3D用于获取待分类垃圾的点云数据，并传输至所述总控单元。进一步的，所述拾取机构包括沿着所述传输机构的传输方向依次设置的至少一个用于拾取所述传输机构所承载的垃圾的拾取机器人，拾取机器人的两侧分别设置有至少一个料框，料框用于承载分选出来的垃圾。更进一步的，拾取机器人包括安装架、拾取组件、用于驱动所述拾取组件升降的升降机构、用于驱动所述升降机构沿着X方向移动的第一平移机构以及用于驱动所述升降机构沿着Y方向移动的第二平移机构，所述安装架位于所述传输机构的上方，所述第一平移机构和所述第二平移机构均装设于所述安装架，所述拾取组件装设于所述升降机构。本专利技术的有益效果：本专利技术通过引入深度神经网络模型来对机构所拍摄的图片中的待分类垃圾进行识别，然后驱动拾取机构抓取该待分类垃圾进行分类，从而在减少了人工干预的前提下实现了自动识别并分类垃圾的效果，提升了垃圾分类的效率。附图说明图1为实施例1的工作流程图。图2为实施例1的高光谱相机的工作流程图。图3为实施例1的2D相机的工作流程图。图4为实施例1的高光谱相机和2D相机配合的工作流程图。图5为实施例2的示意图。图6为实施例2中拾取机构的俯视图。附图标记：1—传输机构，2—识别机构，3—拾取机构，4—3D相机，31—拾取机器人，32—料框，33—安装架，34—拾取组件，35—升降机构，36—第一平移机构，37—第二平移机构。具体实施方式为了便于本领域技术人员的理解，下面结合实施例与附图对本专利技术作进一步的说明，实施方式提及的内容并非对本专利技术的限定。以下结合附图对本专利技术进行详细的描述。实施例1如图1至图4所示，本实施例提供了一种基于视觉的垃圾分类识别方法，包括以下步骤：a.通过识别机构2对待分类垃圾进行拍照获得图像；b.分析图像信息，并获得图像信息中的待分类垃圾的轮廓，然后确定待分类垃圾的所属类别；c.根据所确定的待分类垃圾的所属类别，驱动拾取机构3抓取待分类垃圾并进行分类。本专利技术通过一个总控单元对识别机构2所拍摄的图像信息中的待分类垃圾进行识别，然后驱动拾取机构3抓取该待分类垃圾进行分类，从而在减少了人工干预的前提下实现了自动识别并分类垃圾的效果，提升了垃圾分类的效率。同时，若本专利技术遇上无法准确识别图像信息上的垃圾的情况时，总控单元会把该图像信息上传时云端，并把垃圾归入“未识别”的一类中；工作人员定期自云端下载图像信息并进行分类，然后对该图像信息和分类结果进行数据上的更新，从而不断地让增加云端数据库中垃圾的图像信息以及所属类别，使得本专利技术对于垃圾的识别率越来越高。在本实施例中，所述识别机构2可为高光谱相机，因此步骤b具体为：b1.通过高光谱相机采集待分类垃圾的光谱图像集；b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；b3.从图像特征子集合中选取合适的主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；同时对轮廓内的主成分图像进行光谱特征识别，判断材质类型。具体的，对于成分图像的算法，包括但不仅限于神经网络、随机森林、极限学习机以及K均值聚类等。即本专利技术通过高光谱相机来拍摄待分类垃圾来获得该待分类垃圾的高光谱图集，然后由总控单元对该高光谱图集进行自动分析和判断垃本文档来自技高网...

【技术保护点】
1.一种基于视觉的垃圾分类识别方法，其特征在于：包括以下步骤：/na.通过识别机构对待分类垃圾进行拍照获得图像；/nb.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；/nc.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。/n

【技术特征摘要】
1.一种基于视觉的垃圾分类识别方法，其特征在于：包括以下步骤：
a.通过识别机构对待分类垃圾进行拍照获得图像；
b.分析图像信息，并获得图像中的待分类垃圾的轮廓，确定待分类垃圾的所属类别以及抓取位置；
c.根据所确定的待分类垃圾的类别和抓取位置，驱动拾取机构抓取待分类垃圾并进行分类。


2.根据权利要求1所述的基于视觉的垃圾分类识别方法，其特征在于：所述识别机构包括高光谱相机，在步骤b中，具体为：
b1.通过高光谱相机采集待分类垃圾的光谱图像集；
b2.用PCA主成分分析法对光谱图像集进行降维处理，获取图像特征子集合；
b3.从图像特征子集合中选取主成分图像，对主成分图像内的目标物进行分割，提取垃圾目标物轮廓并计算轮廓中心；
b4.对轮廓内的主成分图像进行光谱特征识别，判断待分类垃圾的材质类型。


3.根据权利要求1或2所述的基于视觉的垃圾分类识别方法，其特征在于：所述识别机构包括2D相机，在步骤b中，包括：
b’.2D相机拍摄待分类垃圾并生成RGB图片；
b”.深度神经网络模型检测RGB图片并确立待分类垃圾的材质类型和轮廓；
b”’.根据待分类垃圾的轮廓，判断待分类垃圾的轮廓中心和抓取位置。


4.根据权利要求3所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：结合光谱分析和RGB图片分析的结果，对待分类垃圾的轮廓和材质类型进行综合判断。


5.根据权利要求1任意一项所述的基于视觉的垃圾分类识别方法，其特征在于：在步骤b和步骤c之间，还包括：
c1.通过3D相机采集待分类垃圾的点云数据；
c2.通过识别机构获取待分类垃圾的轮廓后，于点云数据中提取轮廓范围内的点云；
c3.分析轮...

【专利技术属性】
技术研发人员：莫卓亚，刘涛，刘元路，
申请(专利权)人：东莞弓叶互联科技有限公司，
类型：发明
国别省市：广东;44