一种翻桶数据采集方法、装置、电子设备和垃圾车制造方法及图纸

本发明专利技术公开了一种翻桶数据采集方法、装置、电子设备及垃圾车，所述翻桶数据采集方法包括步骤：获取帧图像并针对垃圾桶进行目标检测；计算所述帧图像中的目标像素面积，并求得其中的最大目标像素面积；若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中；检测当前处于新一次的翻桶过程中的垃圾桶的参数规格，所述参数规格包括颜色、数量、容积规格和位置；将所述参数规格发送至服务器进行记录和统计。本发明专利技术无需大规模的对垃圾桶加装RFID标签，利用计算机视觉和深度学习的目标检测垃圾桶的翻桶状态和参数规格，替代传统的基于RFID的数据采集方法，有效降低了翻桶数据采集的成本、部署难度和维护难度。

A data collection method, device, electronic equipment and garbage truck for turning the bucket

【技术实现步骤摘要】
一种翻桶数据采集方法、装置、电子设备和垃圾车
本专利技术涉及计算机视觉领域，特别地，涉及一种基于计算机视觉的翻桶数据采集方法、装置、电子设备和垃圾车。
技术介绍
随着环境污染和垃圾处理问题的日渐显现，社会对垃圾分类回收的重视程度越来越高。对于收集垃圾桶的翻桶式垃圾车而言，如何监督车辆操作人员的操作规范以及统计他们的工作量是一项重要议题。对垃圾车的翻桶数据进行采集和统计是一个很好的思路。通过收集和统计翻桶过程中垃圾桶颜色、规格、数量、容量以及翻桶次数可以用来判断该垃圾车所收的垃圾桶是否符合其规定收集的垃圾分类标准，也可以对环卫工作人员的工作量进行统计。现有的垃圾车翻桶信息统计技术通过给垃圾桶加装RFID标签实现。每个垃圾桶具上装有不同的RFID标签，用来记录该垃圾桶的颜色、规格等属性信息。垃圾车尾部装有RFID感应装置，在翻桶时，垃圾车上的RFID感应装置会读取垃圾筒上的RFID标签以获取所收集垃圾桶的属性，然后将获取到的信息发送给车载终端设备，车载终端设备再将这些信息发送给云端服务器进行统计和管理。但是，给垃圾桶加装RFID标签实现垃圾车翻桶信息统计存在如下缺点：(1)基于RFID的垃圾车翻桶数据采集方法的成本高。该方法需要为每个垃圾桶安装RFID标签，由于垃圾桶的数量庞大，所以这种方案的成本是难以接受的。(2)基于RFID的垃圾车翻桶数据采集方法的部署和维护难度大。现阶段已经有数量庞大的没有携带RFID的垃圾桶进入城市的各个角落进行使用，如果要使用该方法，回收每一个已经投入使用的垃圾桶为其加装RFID标签是不现实的，并且对处在不同位置的垃圾桶RFID标签的维护也需要投入大量人力。
技术实现思路
本专利技术提供了一种翻桶数据采集方法、装置、电子设备和垃圾车，以解决传统的基于RFID的翻桶数据采集方法成本高、部署和维护难的问题。本专利技术采用的技术方案如下：一种翻桶数据采集方法，包括步骤：获取帧图像并针对垃圾桶进行目标检测；计算所述帧图像中的目标像素面积，并求得其中的最大目标像素面积；若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中；检测当前处于新一次的翻桶过程中的垃圾桶的参数规格，所述参数规格包括颜色、数量、容积规格和位置；将所述参数规格发送至服务器进行记录和统计。在一实施例中，若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中具体包括步骤：获取所述帧图像的总面积，计算所述最大目标像素面积与所述帧图像的总面积的比值，当所述比值大于第一设定阈值时，确定垃圾车处于正在翻桶的过程；或者，当所述最大目标像素面积大于第二设定阈值时，确定垃圾车处于正在翻桶的过程；或者，获取所述帧图像的总面积，计算所述最大目标像素面积与所述帧图像的总面积的比值，当所述最大目标像素面积和所述比值分别大于第一设定阈值和第二设定阈值时，确定垃圾车处于正在翻桶的过程。在一实施例中，在获取帧图像并针对垃圾桶进行目标检测之前，还包括步骤：采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型采用yolov3或Faster-RCNN。在一实施例中，当所述垃圾桶具有不同容积规格时，所述容积规格的确认过程包括步骤：若所述垃圾桶的数量为1，且其目标像素面积达到第三设定阈值时，根据目标框选区域的高宽比H/W与比例阈值的大小关系确定垃圾桶容积规格；若所述垃圾桶的数量为2，且其中的最大垃圾桶的目标像素面积达到所述第三设定阈值时，首先根据最大垃圾桶的目标框选区域的高宽比H/W与比例阈值的大小关系确定其中的最大垃圾桶容积规格，然后根据另一垃圾桶的目标像素面积与像素面积阈值的大小关系确定另一垃圾桶的容积规格。在一实施例中，所述比例阈值由如下步骤确定：分别对不同容积规格的垃圾桶进行翻桶及目标检测，当所得的各目标像素面积达到第三设定阈值时，分别计算各容积规格垃圾桶的目标框选区域的高宽比H/W作为对应的比例阈值；所述像素面积阈值由如下步骤确定：同时对各种容积规格的垃圾桶进行翻桶及目标检测，当其中较大垃圾桶的目标像素面积达到第三设定阈值时，分别计算其余各垃圾桶的目标像素面积作为对应的像素面积阈值。在一实施例中，若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中时还包括步骤；计算前一次的翻桶作业结束时间与当前翻桶作业起始时间之间的时间间隔；当所述时间间隔大于设定的时间阈值时，则确定垃圾车当前处于新一次的翻桶过程中；反之，则确定垃圾车当前仍处于前一次的翻桶过程中，继续获取下一帧图像并针对垃圾桶进行目标检测。在一实施例中，所述翻桶作业起始时间具体为：当所述最大目标像素面积开始满足设定条件时，表示垃圾车翻桶作业开始，记录当前时间作为所述翻桶作业起始时间；所述翻桶作业结束时间具体为：当出现所述最大目标像素面积不再满足设定条件，且目前已处于翻桶作业过程时，则记录当前时间作为翻桶作业结束时间。根据本专利技术的另一方面，还提供一种翻桶数据采集装置，包括：目标检测模块，用于获取帧图像并针对垃圾桶进行目标检测；像素面积计算模块，用于计算所述帧图像中的目标像素面积，并求得其中的最大目标像素面积；翻桶状态确定模块，用于若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中；参数规格检测模块，用于检测当前处于新一次的翻桶过程中的垃圾桶的参数规格，所述参数规格包括颜色、数量、容积规格和位置；数据发送模块，用于将所述参数规格发送至服务器进行记录和统计。根据本专利技术的另一方面，还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现所述翻桶数据采集方法。根据本专利技术的另一方面，还提供一种垃圾车，包括有对垃圾桶进行翻转的翻桶装置，还包括：摄像头，安装在所述垃圾车上，用于采集垃圾桶翻桶过程中的帧图像；所述电子设备，与所述摄像头信号连接。本专利技术具有以下有益效果：本专利技术结合计算机视觉和基于深度学习的目标检测模型，自动识别垃圾桶的翻桶状态和参数规格，并能将翻桶过程中的垃圾桶的参数规格发送至服务器进行后续的记录和统计，起到监督车辆操作人员的操作规范以及统计工作量、以及判断该垃圾车所收的垃圾桶是否符合其规定收集的垃圾分类标准，可替代传统的基于RFID的数据采集方法，无需大规模的对垃圾桶进行回收加装RFID标签，有效降低了数据采集的成本、部署难度和维护难度。除了上面所描述的目的、特征和优点之外，本专利技术还有其它的目的、特征和优点。下面将参照附图，对本专利技术作进一步详细的说明。附图说明构成本申请的一部分的附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构本文档来自技高网...

【技术保护点】
1.一种翻桶数据采集方法，其特征在于，包括步骤：/n获取帧图像并针对垃圾桶进行目标检测；/n计算所述帧图像中的目标像素面积，并求得其中的最大目标像素面积；/n若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中；/n检测当前处于新一次的翻桶过程中的垃圾桶的参数规格，所述参数规格包括颜色、数量、容积规格和位置；/n将所述参数规格发送至服务器进行记录和统计。/n

【技术特征摘要】
1.一种翻桶数据采集方法，其特征在于，包括步骤：
获取帧图像并针对垃圾桶进行目标检测；
计算所述帧图像中的目标像素面积，并求得其中的最大目标像素面积；
若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中；
检测当前处于新一次的翻桶过程中的垃圾桶的参数规格，所述参数规格包括颜色、数量、容积规格和位置；
将所述参数规格发送至服务器进行记录和统计。


2.根据权利要求1所述的翻桶数据采集方法，其特征在于，若所述最大目标像素面积满足设定条件时，确定垃圾车当前处于新一次的翻桶过程中具体包括步骤：
获取所述帧图像的总面积，计算所述最大目标像素面积与所述帧图像的总面积的比值，当所述比值大于第一设定阈值时，确定垃圾车处于正在翻桶的过程；
或者，
当所述最大目标像素面积大于第二设定阈值时，确定垃圾车处于正在翻桶的过程；
或者，
获取所述帧图像的总面积，计算所述最大目标像素面积与所述帧图像的总面积的比值，当所述最大目标像素面积和所述比值分别大于第一设定阈值和第二设定阈值时，确定垃圾车处于正在翻桶的过程。


3.根据权利要求1所述的翻桶数据采集方法，其特征在于，
在获取帧图像并针对垃圾桶进行目标检测之前，还包括步骤：
采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型采用yolov3或Faster-RCNN。


4.根据权利要求1所述的翻桶数据采集方法，其特征在于，当所述垃圾桶具有不同容积规格时，所述容积规格的确认过程包括步骤：
若所述垃圾桶的数量为1，且其目标像素面积达到第三设定阈值时，根据目标框选区域的高宽比H/W与比例阈值的大小关系确定垃圾桶容积规格；
若所述垃圾桶的数量为2，且其中的最大垃圾桶的目标像素面积达到所述第三设定阈值时，首先根据最大垃圾桶的目标框选区域的高宽比H/W与比例阈值的大小关系确定其中的最大垃圾桶容积规格，然后根据另一垃圾桶的目标像素面积与像素面积阈值的大小关系确定另一垃圾桶的容积规格。


5.根据权利要求4所述的翻桶数据采集方法，其特征在于，
所述比例阈值由如下步骤确定：
分别对不同容积规格的垃圾桶进行翻桶及目标检测，当所得的各...

【专利技术属性】
技术研发人员：张轩瑜，艾宇，罗辉辉，尹峥辉，
申请(专利权)人：长沙中联重科环境产业有限公司，
类型：发明
国别省市：湖南;43