一种垃圾分类方法、装置、智能终端及存储介质制造方法及图纸

本发明专利技术公开了一种垃圾分类方法、装置、智能终端以及存储介质。所述方法包括：获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。本发明专利技术不但实现了对垃圾的有效分类，还可以在可视化时实物与文字识别结果叠加在真实场景中的物体周围。

A garbage classification method, device, intelligent terminal and storage medium

【技术实现步骤摘要】
一种垃圾分类方法、装置、智能终端及存储介质
本专利技术涉图像识别
，尤其涉及一种垃圾分类方法、装置、智能终端及存储介质。
技术介绍
面对日益增长的垃圾产量和环境状况恶化的局面，如何对垃圾进行科学有效的处置，最大限度地实现垃圾资源利用，改善生存环境质量，成为当前社会亟需解决的问题。现阶段，垃圾主要依靠专业人工指导进行分类和识别，消耗了大量的人力和财力，且容易出现辨别错误。另外，现有的垃圾分类识别系统，需要用户手动输入垃圾名称或拍照上传相应的图片到服务端，最后返回文字形式的鉴定结果，且仅能够返回图中一个目标的分类结果，其效率和实用性不高。并由于缺乏人工交互的手段，且在可视化时实物与文字识别结果分离。当图像中出现多个物体时，无法有效的选择和确定目标。因此，现有技术还有待于改进和发展。
技术实现思路
鉴于上述现有技术的不足，本专利技术的目的在于提供一种垃圾分类方法、装置、智能终端及存储介质，旨在解决现有技术中垃圾分类方法效率低下，且在可视化时实物与文字识别结果分离的问题。本专利技术为解决上述技术问题所采用的技术方案如下：第一方面，本专利技术实施例提供一种垃圾分类方法，所述方法包括：获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。优选地，所述图像分类模型的构建步骤包括：基于垃圾的图片数据和标注信息进行深度学习训练，得到自动识别垃圾分类的权重信息，其中，所述垃圾的图片数据训练使用boundingbox的坐标预测方式进行预测，其具体公式如下所示：bx＝σ(tx)+cxby＝σ(ty)+cybw＝pwetwbh＝pheth，其中，tx、ty、tw、th为模型的预测输出，cx和cy表示图像网格单元的坐标，pw和ph表示预测前boundingbox的尺寸，bx、by，bw和bh是预测得到的boundingbox的中心的坐标和尺寸，坐标的损失采用的是平方误差损失。优选地，通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述显示的垃圾信息对待分类垃圾进行分类的步骤包括：当所述待分类垃圾图像中含有一种类型的垃圾时，则在所述待分类垃圾图像中的任意位置显示垃圾信息；当所述待分类垃圾图像中含有至少两种类型的垃圾时，则在所述待分类垃圾图像中以框选的方式标记不同垃圾类型，不同颜色的框表示不同类型的垃圾。优选地，所述垃圾类型包括干垃圾、湿垃圾、可回收垃圾、有害垃圾。优选地，所述框选方式为矩形框选方式，红色矩形框表示有害垃圾，蓝色矩形框表示可回收垃圾，棕色矩形框表示湿垃圾，黑色矩形框表示干垃圾。优选地，所述通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息的步骤之后，还包括：当用于显示待分类垃圾图像的屏幕检测到触摸操作时，则获取所述触摸操作在屏幕中的坐标；根据所述坐标从所述待分类垃圾图像中查找与所述坐标对应的目标垃圾，并显示所述目标垃圾的垃圾处理信息。优选地，所述垃圾信息还包括垃圾名称。一种垃圾分类装置，所述装置包括：垃圾图像训练单元，用于获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；垃圾分类单元，用于通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。第三方面，本专利技术实施例还提供一种智能终端，包括有存储器，以及一个或者一个以上的程序，其中一个或者一个以上程序存储于存储器中，且经配置以由一个或者一个以上处理器执行所述一个或者一个以上程序包含用于执行如上述所述的方法。第四方面，本专利技术实施例还提供一种非临时性计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如上述所述的方法。本专利技术的有益效果：本专利技术通过获取大量的垃圾的图片数据，并对所获得的垃圾的图片标注出名称及垃圾类型，构建用于训练的数据集，通过对所获得的数据集做基于深度学习的训练，得到垃圾分类模型。不但提高了垃圾的分类效率，而且详细分类信息和处理方法将通过增强现实的方式呈现在物体旁边。提升了垃圾分类的准确性。附图说明图1是本专利技术提供的垃圾分类方法的较佳实施例的流程图。图2是本专利技术提供的垃圾分类方法技术流程图。图3是本专利技术提供的垃圾分类装置的功能原理图。图4是本专利技术提供的垃圾分类工作流程图。图5是本专利技术提供的垃圾分类用户时序图。图6是本专利技术提供的智能终端的功能原理图。具体实施方式为使本专利技术的目的、技术方案及优点更加清楚、明确，以下参照附图并举实施例对本专利技术进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本专利技术，并不用于限定本专利技术。本专利技术提供的一种垃圾分类方法，该方法可应用在智能终端。智能终端可以但不限于是笔记本电脑、手机、平板电脑和便携式可穿戴设备。本专利技术的智能终端采用多核处理器。其中，终端的处理器可以为中央处理器(CentralProcessingUnit，CPU)，图形处理器(GraphicsProcessingUnit，GPU)、视频处理单元(VideoProcessingUnit，VPU)等中的至少一种。由于现有技术中的垃圾分类识别系统，需要用户手动输入垃圾名称或拍照上传相应的图片到服务端，最后由服务端返回文字形式的鉴定结果，且每次仅能够返回图中一个目标的分类结果，其效率和实用性不高。为了解决上述技术问题，在本专利技术实施例中，当用户需要对垃圾进行分类时，可以先获取待分类垃圾的图像(例如利用智能终端上的摄像头对垃圾进行摄像或拍照)，将获得的垃圾图像输入到经过训练的图像分类模型中进行分类(鉴定)，并将分类后的结果直接显示在智能终端屏幕上。由于所使用的图像分类模型是基于垃圾的图像数据训练后的，因此，其可以快速准确的对垃圾进行鉴别分类，从而提升了垃圾分类的效率和准确性。举例说明，若用户需要对包括塑料空瓶、用过的餐巾纸、骨头以及食物包装袋的垃圾进行分类，此时，用户可以利用智能终端的摄像头对准上述垃圾，获取垃圾的图像，并将所获取到的垃圾的图像输入到训练好的图像分类模型中，由图像分类模型给出准确的分类结果。下面结合附图，详细说明本专利技术的各种非限制性实施方式。示例性方法参见图1，本实施例提供一种垃圾分类方法，包括如下步骤：步骤100、获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；具体来说，请参阅图2，以手机为例在图像获取与处理时，调用手机相机接口得到待分类垃圾的YUV格式图像实现对图像的获取。其中，YUV是被本文档来自技高网...

【技术保护点】
1.一种垃圾分类方法，其特征在于，所述方法包括步骤：/n获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；/n通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。/n

【技术特征摘要】
1.一种垃圾分类方法，其特征在于，所述方法包括步骤：
获取待分类垃圾图像，并将所述待分类垃圾图像输入至已训练的图像分类模型中；
通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述待分类垃圾图像中显示的垃圾信息对待分类垃圾进行分类。


2.根据权利要求1所述的垃圾分类方法，其特征在于，所述图像分类模型的构建步骤包括：
基于垃圾的图片数据和标注信息进行深度学习训练，得到自动识别垃圾分类的权重信息，其中，所述垃圾的图片数据训练使用boundingbox的坐标预测方式进行预测，其具体公式如下所示：
bx＝σ(tx)+cx
by＝σ(ty)+cy
bw＝pwetw
bh＝pheth，其中，tx、ty、tw、th为模型的预测输出，cx和cy表示图像网格单元的坐标，pw和ph表示预测前boundingbox的尺寸，bx、by，bw和bh是预测得到的boundingbox的中心的坐标和尺寸，坐标的损失采用的是平方误差损失。


3.根据权利要求1所述的垃圾分类方法，其特征在于，通过所述图像分类模型分析，在所述待分类垃圾图像中对应垃圾位置显示垃圾信息，所述垃圾信息包括垃圾类型，根据所述显示的垃圾信息对待分类垃圾进行分类的步骤包括：
当所述待分类垃圾图像中含有一种类型的垃圾时，则在所述待分类垃圾图像中的任意位置显示垃圾信息；
当所述待分类垃圾图像中含有至少两种类型的垃圾时，则在所述待分类垃圾图像中以框选的方式标记不同垃圾类型，不同颜色的框表示不同类型的垃圾。


4.根据权利要求1-3任一所示的垃圾分类方法，其特征在于，所述垃圾...

【专利技术属性】
技术研发人员：马威，李清泉，叶岑，袁恒，郭文浩，
申请(专利权)人：深圳大学，
类型：发明
国别省市：广东;44