一种垃圾车翻桶动作识别方法、装置及垃圾车制造方法及图纸

本发明专利技术公开了一种垃圾车翻桶动作识别方法、装置及垃圾车，所述方法包括步骤：提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。本发明专利技术在车载边缘计算单元的计算能力受限时，通过对整个翻桶过程中的每一帧图像的目标检测结果的统计分析，对垃圾箱的颜色、容量和数量信息做出判断，大幅度提升对翻桶过程及相应垃圾桶的信息识别准确率。

【技术实现步骤摘要】
一种垃圾车翻桶动作识别方法、装置及垃圾车
本专利技术涉及计算机视觉领域，特别地，涉及一种垃圾车翻桶动作识别方法、装置及垃圾车。
技术介绍
随着环境污染和垃圾处理问题的日渐显现，社会对垃圾分类回收的重视程度越来越高。对于收集垃圾箱的翻桶式垃圾车而言，如何监督车辆操作人员的操作规范以及统计他们的工作量是一项重要议题。对垃圾车的翻桶数据进行采集和统计是一个很好的思路。通过收集和统计翻桶过程中垃圾箱颜色、规格、数量、容量可以用来判断该垃圾车所收的垃圾箱是否符合其规定收集的垃圾分类标准，也可以对环卫工作人员的工作量进行统计，作为垃圾车路线调度和工人绩效计算的重要基础。近几年来，基于深度学习的目标检测算法取得了很大的突破。然而，考虑到成本和能耗，可以在垃圾车的这项工作中使用的边缘计算单元的计算能力远远小于一般动作识别所需要的计算能力，计算能力的局限性使得一些复杂的目标检测算法无法部署。此外，效果良好的动作识别算法大多是基于视频样本实现的，清楚地标明了动作的开始和结束。由于在车载边缘计算单元的计算能力有限，因此不能使用视频数据集，同时，正是因为车载边缘计算单元的计算能力有限，其搭载的对象检测模型(例如YOLOv3-tiny)的准确性通常也较低，物体检测的边界框尺寸在连续帧中不稳定，因此也不能直接由像素区域尺寸来确定。另外，因不同规格的垃圾箱外观相同，只是大小不同，无法通过2D图像的目标检测直接区分它们。以上问题，最终都会导致基于深度学习进行采集和统计翻桶数据难以达到所需的精度，识别结果错误会导致数据统计不准，从而降低了垃圾车翻桶数据的准确性和可靠性。
技术实现思路
本专利技术一方面提供了一种垃圾车翻桶动作识别方法，以解决现有的垃圾车因车载边缘计算单元的计算能力有限导致的垃圾车翻桶数据的准确性和可靠性较低的问题。本专利技术采用的技术方案如下：一种垃圾车翻桶动作识别方法，包括步骤：提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。进一步地，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。进一步地，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；若MaxAeraSize>＝ImageShape×Ts，判断设定指示参数是否为真，若为真则将当前帧图像的状态记为起始帧，若为假则将当前帧图像的状态记为正在翻桶；若MaxAeraSize<ImageShape×Ts，判断设定指示参数是否为假，若为假，则将当前帧图像的状态记为结束帧，若为真，则将当前帧图像的状态记为未在翻桶。进一步地，所述将当前帧图像的状态记为起始帧，具体包括步骤：计算当前帧图像与上一次垃圾箱翻桶过程结束帧的时间差TimeGap1；若TimeGap1>Tt1，则将当前帧图像的状态记为起始帧，Tt1为设定阈值；所述将当前帧图像的状态记为结束帧，具体包括步骤：计算从MaxAeraSize>＝ImageShape×Ts到MaxAeraSize<ImageShape×Ts的时间差TimeGap2；若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，Tt2为设定阈值。进一步地，若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，具体包括步骤：若TimeGap2>Tt2，统计在TimeGap2期间识别的帧数S；若S>Tn时，将当前帧图像的状态记为结束帧，Tn为设定阈值。进一步地，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像之前，还包括步骤：采集各种作业环境下的垃圾车翻桶图像数据，对垃圾车翻桶图像数据进行标注后作为训练样本训练并得到目标检测模型，所述目标检测模型包括YOLOv3-tiny、Faster-RCNN。进一步地，在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，包括步骤：依次对每一帧图像中垃圾箱进行目标检测，获得每一帧图像中垃圾箱所在的仓位、颜色、垃圾箱数量、目标框与图像设定位置的垂直距离；将每一帧图像中所获得的颜色编码后，采用累加的方式存入相应四元数组Tshi的指定元素中；将每一帧图像中所获得的垃圾箱数量编码后，采用累加的方式存入相应二元数组Quai的指定元素中。进一步地，将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，包括步骤：根据翻桶过程中每一帧图像对应的四元数组Tshi的值求得垃圾箱的颜色：其中，C代表垃圾箱的颜色，Index()代表获取数组下标的函数，Max()代表获取数组最大值的函数，n代表垃圾箱翻桶期间的总帧数，表示对垃圾箱翻桶期间的四元数组Tshi累加求和；根据翻桶过程中每一帧图像对应的二元数组Quai的值求得垃圾箱的数量：其中，N表示垃圾箱数量，表示对垃圾箱翻桶期间二元数组Quai累加求和；计算翻桶过程中所有帧图像中目标框与图像左上角的垂直距离的平均值根据所述平均值V确定相应垃圾箱的容量规格。本专利技术的另一方面还提供了一种垃圾车翻桶动作识别装置，包括：帧图像提取模块，用于提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；目标检测模块，用于在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；汇总统计模块，用于将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格。本专利技术的另一方面还提供了一种垃圾车，包括有对垃圾箱进行翻转的翻桶装置，还包括：摄像头，安装在所述垃圾车上，用于根据设定的帧速率采集垃圾箱翻桶过程中的帧图像；车载边缘计算单元，与所述摄像头信号连接，用于实现所述垃圾车翻桶动作识别方法。本专利技术具有以下有益效果：本专利技术的垃圾车翻桶动作识别方法在提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像的基础本文档来自技高网...

【技术保护点】
1.一种垃圾车翻桶动作识别方法，其特征在于，包括步骤：/n提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；/n在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；/n将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。/n

【技术特征摘要】
1.一种垃圾车翻桶动作识别方法，其特征在于，包括步骤：
提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像；
在每一帧图像中针对垃圾箱进行目标检测，得到每一帧图像中的垃圾箱初步检测结果，所述初步检测结果包括颜色、数量和目标框在图像中的位置信息；
将所检测到的每一帧图像中的垃圾箱初步检测结果进行汇总统计，得到当前翻桶过程中垃圾箱的目标参数规格，所述目标参数规格包括颜色、数量和容量。


2.根据权利要求1所述的垃圾车翻桶动作识别方法，其特征在于，提取一次完整翻桶过程中，根据设定的帧速率所采集的每一帧图像，包括步骤：
根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，所述状态包括起始帧、结束帧、正在翻桶和未在翻桶；
提取翻桶过程中状态为起始帧、结束帧、正在翻桶的每一帧图像。


3.根据权利要求2所述的垃圾车翻桶动作识别方法，其特征在于，所述根据每一帧图像中最大目标像素区域大小MaxAeraSize与图像的总像素区域大小ImageShape中的占比，确定每一帧图像在翻桶过程中的状态，包括步骤：
获取每一帧图像中的最大目标像素区域大小MaxAeraSize和图像的总像素区域大小ImageShape；
若MaxAeraSize>＝ImageShape×Ts，判断设定指示参数是否为真，若为真则将当前帧图像的状态记为起始帧，若为假则将当前帧图像的状态记为正在翻桶；
若MaxAeraSize<ImageShape×Ts，判断设定指示参数是否为假，若为假，则将当前帧图像的状态记为结束帧，若为真，则将当前帧图像的状态记为未在翻桶。


4.根据权利要求3所述的垃圾车翻桶动作识别方法，其特征在于，
所述将当前帧图像的状态记为起始帧，具体包括步骤：
计算当前帧图像与上一次垃圾箱翻桶过程结束帧的时间差TimeGap1；
若TimeGap1>Tt1，则将当前帧图像的状态记为起始帧，Tt1为设定阈值；
所述将当前帧图像的状态记为结束帧，具体包括步骤：
计算从MaxAeraSize>＝ImageShape×Ts到MaxAeraSize<ImageShape×Ts的时间差TimeGap2；
若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，Tt2为设定阈值。


5.根据权利要求4所述的垃圾车翻桶动作识别方法，其特征在于，
若TimeGap2>Tt2，将当前帧图像的状态记为结束帧，具体包括步骤：
若TimeGap2>Tt2，统计在TimeGap2期间识别的帧数S；
若S>Tn时，将当前...

【专利技术属性】
技术研发人员：张轩瑜，罗辉辉，尹峥晖，艾宇，
申请(专利权)人：长沙中联重科环境产业有限公司，
类型：发明
国别省市：湖南;43