一种基于智能视频分析的垃圾分类识别方法及装置制造方法及图纸

本发明专利技术公开了一种基于智能视频分析的垃圾分类识别方法及装置，该方法包括获取垃圾投放区的监控视频，得到监控视频的多帧视频图像，对监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量，将每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及放置行为对应的行为结果，将每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及垃圾投放行为对应的行为结果。通过使用已训练好的第一智能视频分析模型和第二智能视频分析模型对监控视频进行智能视频分析，得到垃圾桶放置行为和垃圾投放行为，相比于传统的人工监管的方式，提高了垃圾分类监管的效率。

A method and device of garbage classification and recognition based on intelligent video analysis

【技术实现步骤摘要】
一种基于智能视频分析的垃圾分类识别方法及装置
本专利技术实施例涉及数据处理
，尤其涉及一种基于智能视频分析的垃圾分类识别方法及装置。
技术介绍
随着城市垃圾总量的逐年增加，垃圾处理已经成为影响城市发展的重要因素之一。为了提高垃圾处理能力，需要在生活垃圾投放时就做好分类工作。尽管我国垃圾分类已经普及并提倡了多年，但由于监管力度不够，生活垃圾分类工作并不尽如人意。随着生活垃圾强制分类政策的提出，在进行垃圾分类监管时，传统的人工监管的方式耗费人力较大，且效率低下。我国对垃圾分类技术研究起步较晚，现阶段垃圾分类识别系统的智能化普遍较低，很大程度上还依赖人工，并不能实现真正意义的智能垃圾分类与识别。其中，目前的智能垃圾回收系统虽然能够对生活垃圾分类进行识别，但该系统仅支持对部分常见可回收垃圾的识别与回收，并不能对厨余垃圾、有害垃圾、其他垃圾的识别，因此该系统无法从根本上解决垃圾分类识别的问题。垃圾分类回收处理问题日益严峻，目前急需一种可进行智能垃圾分类识别的装置，更好地进行垃圾分类普及和监管。
技术实现思路
本专利技术实施例提供一种基于智能视频分析的垃圾分类识别方法及装置，用以实现对垃圾分类行为和垃圾桶放置行为的监督和管理。第一方面，本专利技术实施例提供一种基于智能视频分析的垃圾分类识别方法，包括：获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。上述技术方案中，通过使用已训练好的第一智能视频分析模型和第二智能视频分析模型对监控视频进行智能视频分析，得到垃圾桶放置行为和垃圾投放行为，相比于传统的人工监管的方式，提高了垃圾分类监管的效率，从而加强对垃圾分类行为和垃圾桶放置行为的监督和管理，进一步帮助人们养成正确分类投放垃圾的习惯、约束保洁人员正确放置垃圾桶。可选的，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。可选的，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；所述垃圾投放行为包括：将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。可选的，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。可选的，所述在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，还包括：将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。第二方面，本专利技术实施例提供一种基于智能视频分析的垃圾分类识别装置，包括：获取单元，用于获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；识别单元，用于对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；以及将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。可选的，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。可选的，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；所述垃圾投放行为包括：将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。可选的，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。可选的，还包括存储单元；所述存储单元具体用于在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。第三方面，本专利技术实施例还提供一种计算设备，包括：存储器，用于存储程序指令；处理器，用于调用所述存储器中存储的程序指令，按照获得的程序执行上述基于智能视频分析的垃圾分类识别方法。第四方面，本专利技术实施例还提供一种计算机可读非易失性存储介质，包括计算机可读指令，当计算机读取并执行所述计算机可读指令时，使得计算机执行上述基于智能视频分析的垃圾分类识别方法。附图说明为了更清楚地说明本专利技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简要介绍，显而易见地，下面描述中的附图仅仅是本专利技术的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。图1为本专利技术实施例提供的一种系统架构的示意图；图2为本专利技术实施例提供的一种基于智能视频分析的垃圾分类识别方法的流程示意图；图3为本专利技术实施例提供的一种摄像头杆件的示意图；图4为本专利技术实施例提供的一种摄像头安装位置的示意图；图5为本专利技术实施例提供的一种基于智能视频分析的垃圾分类识别装置的结构示意图。具体实施方式为了使本专利技术的目的、技术方案和优点更加清楚，下面将结合附图对本专利技术作进一步地详细描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的本文档来自技高网...

【技术保护点】
1.一种基于智能视频分析的垃圾分类识别方法，其特征在于，包括：/n获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；/n对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；/n将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；/n将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果。/n

【技术特征摘要】
1.一种基于智能视频分析的垃圾分类识别方法，其特征在于，包括：
获取垃圾投放区的监控视频，得到所述监控视频的多帧视频图像；
对所述监控视频的多帧视频图像提取特征，得到每帧视频图像对应的特征向量；
将所述每帧视频图像对应的特征向量输入至第一智能视频分析模型，确定出垃圾桶的放置行为以及所述放置行为对应的行为结果；
将所述每帧视频图像对应的特征向量输入至第二智能视频分析模型，确定出垃圾投放行为以及所述垃圾投放行为对应的行为结果。


2.如权利要求1所述的方法，其特征在于，所述垃圾投放区设有多个不同颜色的区域；每个垃圾桶具有不同的颜色；所述垃圾桶的颜色数量与所述区域的颜色数量相同；
所述垃圾桶的放置行为包括：将第一颜色的垃圾桶放置在第一颜色的区域、将第一颜色的垃圾桶放置在第二颜色的区域或将垃圾桶放置在区域外；
其中，所述第二颜色是多个不同颜色中除所述第一颜色之外的任一颜色。


3.如权利要求1所述的方法，其特征在于，垃圾桶具有不同的颜色，垃圾袋具有不同的颜色；所述垃圾桶的颜色数量与所述垃圾袋的颜色数量相同；
所述垃圾投放行为包括：
将第一颜色的垃圾袋扔进第一颜色的垃圾桶、将第一颜色的垃圾袋扔进第二颜色的垃圾桶、将第二颜色的垃圾袋扔进第一颜色的垃圾桶或未将垃圾袋扔进垃圾桶。


4.如权利要求1所述的方法，其特征在于，所述第一智能视频分析模型是对已标记出垃圾桶放置行为的视频图像的训练集进行训练学习得到的；
所述第二智能视频分析模型是对已标记出垃圾投放行为的视频图像的训练集进行训练学习得到的。


5.如权利要求1至4任一项所述的方法，其特征在于，所述在确定出所述垃圾桶的放置行为或所述垃圾投放行为之后，还包括：
将所述垃圾桶的放置行为及其对应的行为结果和所述垃圾投放行为及其对应的行为结果进行记录并存储。


6.一种基于智能视频分析的垃圾分类识别装置，其特征在于，包括：
获取单元，用于获取垃圾投放...

【专利技术属性】
技术研发人员：付雪青，李增志，刘洋洋，张雪庆，
申请(专利权)人：青岛海信网络科技股份有限公司，
类型：发明
国别省市：山东;37