一种基于图像识别垃圾种类的装置及方法制造方法及图纸

本申请涉及垃圾分拣回收技术领域，尤其涉及一种基于图像识别垃圾种类的装置及方法。一定程度上可以解决垃圾分类操作复杂、准确率低、分类不清晰、设备智能化低的问题。基于图像识别垃圾种类的装置，包括：显示屏，被配置为用于显示界面；图像采集装置，被配置为用于获取垃圾图像；处理器，所述处理器被配置为：基于所述垃圾图像，使用垃圾分类模型计算得到垃圾种类结果信息；以及将所述垃圾种类结果信息输出至所述显示屏。

【技术实现步骤摘要】
一种基于图像识别垃圾种类的装置及方法
本申请涉及垃圾分拣回收
，尤其涉及一种基于图像识别垃圾种类的装置及方法。
技术介绍
随着环境污染问题日益严重，垃圾的回收利用也成为了可持续发展战略的重要组成部分。由于垃圾中往往混合有多种类别的物件，在对垃圾进行回收利用之前，首先需要对垃圾进行分类，以根据不同类别的垃圾进行分别回收和处理。随着在大部分地区启动生活垃圾分类工作，通常将垃圾分为四大类别，即可回收物、厨余垃圾(湿垃圾)、有害垃圾、其他垃圾(干垃圾)，如图1A所示。在一些垃圾分类的实现中，基于用户的生活经验对垃圾进行分类，但是当用户没有垃圾分类的经验时，容易导致垃圾分类错误；在另一些垃圾分类的实现中，用户通过在网站、APP手动输入垃圾名称进行分不是类查询，但是当用户输入对应垃圾的非精确名称、或别名时，将导致查询垃圾分类错误。
技术实现思路
本申请提供了一种基于图像识别垃圾种类的装置及方法，通过图像采集装置获取垃圾图像、构建垃圾分类模型、计算垃圾的小类及大类预测概率、构建垃圾图像标识框，一定程度上可以解决垃圾分类操作复杂、准确率低、分类不清晰、设备智能化低的问题。本申请的实施例是这样实现的：本申请的第一实施例中提供一种基于图像识别垃圾种类的装置，包括：显示屏，被配置为用于显示界面；图像采集装置，被配置为用于获取垃圾图像；处理器，所述处理器被配置为：基于所述垃圾图像，使用垃圾分类模型计算得到垃圾种类结果信息；以及将所述垃圾种类结果信息输出至所述显示屏。本申请的第二实施例中提供一种基于图像识别垃圾种类的装置，其中，所述垃圾种类结果信息包括：垃圾大类、垃圾小类、标识框。本申请的第三实施例中提供一种基于图像识别垃圾种类的装置，其中，所述使用垃圾分类模型计算得到垃圾种类结果信息，具体执行如下：基于所述垃圾图像，使用垃圾分类模型，得到所述垃圾图像的多任务信息，所述多任务信息包括：小类预测概率、大类预测概率；对所述多任务信息进行融合计算处理，得到垃圾种类结果信息。本申请的第四实施例中提供一种基于图像识别垃圾种类的装置，其中，所述多任务信息还包括：所述垃圾图像标识框的坐标。本申请的第五实施例中提供一种基于图像识别垃圾种类的装置，其中，所述融合计算处理，具体执行如下：基于所述多任务信息，将垃圾的小类预测概率分别乘以其对应的大类预测概率得到乘；选择计算值最大的小类、大类构成垃圾种类结果信息。本申请的第六实施例中提供一种基于图像识别垃圾种类的装置，其中，所述垃圾分类模型是基于卷积神经网络模型、多层神经元的自编码神经网络模型、深度置信网络模型中的至少一种构建的。本申请的第七实施例中提供一种基于图像识别垃圾种类的方法，所述方法包括：获取垃圾图像；基于所述垃圾图像，使用垃圾分类模型计算得到垃圾种类结果信息；以及将所述垃圾种类结果信息输出显示。本申请的第八实施例中提供一种基于图像识别垃圾种类的方法，其中，所述使用垃圾分类模型计算得到垃圾种类结果信息，具体执行如下：使用垃圾分类模型，基于所述垃圾图像，计算得到所述垃圾图像的多任务信息，所述多任务信息包括：小类预测概率、大类预测概率、垃圾图像标识框的坐标；对所述多任务信息进行融合计算处理，得到垃圾种类结果信息。本申请的第九实施例中提供一种基于图像识别垃圾种类的方法，其中，在获取垃圾图像后，还包括步骤：对所述垃圾图像进行预处理，得到适合于所述垃圾分类模型计算的无形变垃圾图像。本申请的第十实施例中提供一种基于图像识别垃圾种类的方法，其中，所述垃圾图像由图像采集装置获取，所述图像采集设备包括摄像装置、或摄影装置。本申请提供的技术方案包括以下有益效果：通过图像采集装置获取垃圾图像，可以实现垃圾图像的智能采集；进一步通过构建垃圾分类模型、可以实现垃圾种类的智能识别；进一步通过构建垃圾的小类及大类预测概率，可以提高模型中多任务的相互关联；进一步通过对多任务信息的融合计算处理，可以提高模型计算垃圾分类的准确率；进一步通过构建垃圾图像标识框，可以实现分类结果与垃圾准确对应，实现垃圾种类的智能识别。附图说明为了更清楚地说明本申请的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。图1A示出了本申请实施例垃圾分类中大类别分类示意图；图1B-图1C示出了本申请实施例一种基于图像识别垃圾种类装置的操作界面示意图；图2示出了本申请实施例基于多任务垃圾分类模型的训练流程示意图；图3A-图3B示出了本申请一实施例中垃圾分类模型的训练数据；图4A-图4B示出了本申请另一实施例中垃圾分类模型的训练集数据；图5示出了本申请实施例垃圾通过基础网络模型的示意图；图6示出了本申请实施例垃圾分类模型中卷积层示意图；图7示出了本申请实施例垃圾分类模型中激励层示意图；图8示出了本申请实施例垃圾分类模型输出饮料瓶的深层次特征图；图9示出了本申请实施例垃圾分类模型子任务输出的深层次特征图；图10示出了本申请实施例基于图像识别垃圾种类的执行流程示意图；图11A-图11B示出了本申请实施例垃圾图像进行预处理的对比图；图12示出了本申请实施例基于resnext101垃圾分类模型的前向传播示意图；图13示出了本申请实施例垃圾分类模型输出的多任务信息输出概率示意图；图14示出了本申请实施例垃圾种类结果信息输出示意图；图15示出了本申请实施例计算机环境示例非限制性示意图；图16示出了本申请实施例计算机实现的示意框图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整的描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。本说明书通篇提及的″多个实施例″、″一些实施例″、″一个实施例″或″实施例″等，意味着结合该实施例描述的具体特征、结构或特性包括在至少一个实施例中。因此，本说明书通篇出现的短语″在多个实施例中″、″在一些实施例中″、″在至少另一个实施例中″或″在实施例中″等并不一定都指相同的实施例。此外，在一个或多个实施例中，具体特征、结构或特性可以任何合适的方式进行组合。因此，在无限制的情形下，结合一个实施例示出或描述的具体特征、结构或特性可全部或部分地与一个或多个其他实施例的特征、结构或特性进行组合。这种修改和变型旨在包括在本申请的范围之内。本申请提供了一种基于图像识别垃圾种类的装置，下文将以某用户使用所述装置对丢弃垃圾的种类进行识别的场景为示例，阐述本申请所述基于图像识别垃圾种类的装置的操作界面。图1B-图1C示出了本申请实本文档来自技高网...

【技术保护点】
1.一种基于图像识别垃圾种类的装置，其特征在于，包括：/n显示屏，被配置为用于显示界面；/n图像采集装置，被配置为用于获取垃圾图像；/n处理器，所述处理器被配置为：/n基于所述垃圾图像，使用垃圾分类模型计算得到垃圾种类结果信息；以及/n将所述垃圾种类结果信息输出至所述显示屏。/n

【技术特征摘要】
1.一种基于图像识别垃圾种类的装置，其特征在于，包括：
显示屏，被配置为用于显示界面；
图像采集装置，被配置为用于获取垃圾图像；
处理器，所述处理器被配置为：
基于所述垃圾图像，使用垃圾分类模型计算得到垃圾种类结果信息；以及
将所述垃圾种类结果信息输出至所述显示屏。


2.根据权利要求1所述基于图像识别垃圾种类的装置，其特征在于，所述垃圾种类结果信息包括：垃圾大类、垃圾小类、标识框。


3.根据权利要求1所述基于图像识别垃圾种类的装置，其特征在于，所述使用垃圾分类模型计算得到垃圾种类结果信息，具体执行如下：
基于所述垃圾图像，使用垃圾分类模型，得到所述垃圾图像的多任务信息，所述多任务信息包括：小类预测概率、大类预测概率；
对所述多任务信息进行融合计算处理，得到垃圾种类结果信息。


4.根据权利要求3所述基于图像识别垃圾种类的装置，其特征在于，所述多任务信息还包括：所述垃圾图像标识框的坐标。


5.根据权利要求3所述基于图像识别垃圾种类的装置，其特征在于，所述融合计算处理，具体执行如下：
基于所述多任务信息，将垃圾的小类预测概率分别乘以其对应的大类预测概率得到乘；
选择计算值最大的小类、大类构成垃圾...

【专利技术属性】
技术研发人员：高伟杰，赵英芹，冯谨强，
申请(专利权)人：海信集团有限公司，
类型：发明
国别省市：山东;37