快件分拣异常动作的识别方法、装置、设备及存储介质制造方法及图纸

本发明专利技术涉及物流装卸监控领域，公开了一种快件分拣异常动作的识别方法、装置、设备及存储介质，用于提高对快递员暴力分拣动作的识别准确度。快件分拣异常动作的识别方法包括：将获得的快件装卸车图像进行特征提取获得快件装卸图像特征；当快件装卸图像特征与预置特征的第一相似度大于第一预设阈值时，通过货物区域识别模型Mask R‑CNN对快件装卸车图像进行目标检测处理和实例分割处理获得货物区域信息，并通过人体姿态识别算法Openpose对快件装卸车图像进行脚部行为姿态检测获得脚部行为姿态信息；将货物区域信息和脚部行为姿态信息进行组合得到目标快件装卸车图像；检测目标快件装卸车图像中脚部行为姿态是否为踩踏行为姿态，获得快件分拣异常动作图像。

Identification method, device, equipment and storage medium for abnormal operation of express sorting

【技术实现步骤摘要】
快件分拣异常动作的识别方法、装置、设备及存储介质
本专利技术涉及物流装卸监控领域，尤其涉及一种快件分拣异常动作的识别方法、装置、设备及存储介质。
技术介绍
随着互联网技术的发展，物流行业随之飞速发展，物流所带来的便捷生活，使得物流操作成为日常操作。在对物流的货品装卸中，当快件量激增时，为了追求效率，一些快递网点存在暴力分拣现象。虽然有自动化设备辅助，但是仍有快递员为了追求速度而对快件进行暴力分拣，甚至存在快递员踩在快件货品上进行快件分拣的现象，为了防止这种现状，越来越多的视频监控系统被投入使用，通过视频监控系统对快递员的分拣动作进行识别和监控。在现有技术中，由于大多数传统的监控系统都需要专门的人员对监控视频中快递员的暴力分拣进行人工判断，需要耗费大量的人力，并且人工判断会存在错漏判断和误操作，因而，导致对快递员暴力分拣动作的识别准确度低。
技术实现思路
本专利技术的主要目的在于解决对快递员暴力分拣动作的识别准确度低的问题。本专利技术第一方面提供了一种快件分拣异常动作的识别方法，包括：>获取快件装卸车视频本文档来自技高网...

【技术保护点】
1.一种快件分拣异常动作的识别方法，其特征在于，所述快件分拣异常动作的识别方法包括：/n获取快件装卸车视频，将所述快件装卸车视频转换为图像获得快件装卸车图像，对所述快件装卸车图像进行特征提取获得快件装卸图像特征；/n计算所述快件装卸图像特征与预置特征的第一相似度，判断所述第一相似度是否大于第一预设阈值；/n当所述第一相似度大于第一预设阈值时，通过预置的货物区域识别模型Mask R-CNN对所述快件装卸车图像进行目标检测处理和实例分割处理，获得货物区域信息，并通过预置的人体姿态识别算法Openpose对所述快件装卸车图像进行脚部行为姿态检测，获得脚部行为姿态信息；/n将所述货物区域信息和所述脚部...

【技术特征摘要】
1.一种快件分拣异常动作的识别方法，其特征在于，所述快件分拣异常动作的识别方法包括：
获取快件装卸车视频，将所述快件装卸车视频转换为图像获得快件装卸车图像，对所述快件装卸车图像进行特征提取获得快件装卸图像特征；
计算所述快件装卸图像特征与预置特征的第一相似度，判断所述第一相似度是否大于第一预设阈值；
当所述第一相似度大于第一预设阈值时，通过预置的货物区域识别模型MaskR-CNN对所述快件装卸车图像进行目标检测处理和实例分割处理，获得货物区域信息，并通过预置的人体姿态识别算法Openpose对所述快件装卸车图像进行脚部行为姿态检测，获得脚部行为姿态信息；
将所述货物区域信息和所述脚部行为姿态信息进行组合，得到目标快件装卸车图像；
检测所述目标快件装卸车图像中的脚部行为姿态是否为踩踏行为姿态，当所述脚部行为姿态为踩踏行为姿态时，将所述目标快件装卸车图像判定为快件分拣异常动作图像。


2.根据权利要求1所述的快件分拣异常动作的识别方法，其特征在于，所述通过预置的人体姿态识别算法Openpose对所述快件装卸车图像进行脚部行为姿态检测，获得脚部行为姿态信息，包括：
通过预置的人体姿态识别算法Openpose将所述快件装卸车图像的尺寸大小与第一预设尺寸大小进行对比分析，获得所述尺寸大小大于所述第一预设尺寸大小的第一图像，并按照预设长宽比放大所述第一图像，获得第二图像；
对所述第二图像增加预设内边距获得第三图像，将所述第三图像的尺寸大小转换为第二预设尺寸大小，获得第四图像；
通过所述人体姿态识别算法中的预置神经网络模型对所述第四图像进行关节预测处理，获得关节热度图；
对所述关节热度图进行人体姿态估计获得人体姿态信息，从所述人体姿态信息中提取脚部姿态信息，并创建所述人体姿态信息与所述脚部姿态信息的对应关系，得到脚部行为姿态信息。


3.根据权利要求1所述的快件分拣异常动作的识别方法，其特征在于，所述通过预置的货物区域识别模型MaskR-CNN对所述快件装卸车图像进行目标检测处理和实例分割处理，获得货物区域信息，包括：
通过预置的货物区域识别模型MaskR-CNN分别对所述目标快件装卸图像进行候选区域选择和区域预测，获得区域边框和预测边框，计算所述区域边框和所述预测边框之间的交并比值，将所述交并比值大于第二预设阈值的区域边框对应的区域作为目标区域；
对所述目标区域进行货物的卷积神经网络特征提取、分类与边界回归处理以及掩膜处理，获得候选货物区域信息；
获取所述候选货物区域信息中的货物形态，计算所述货物形态与预置货物形态的第二相似度，将所述第二相似度大于第三预设阈值的候选货物区域信息作为货物区域信息。


4.根据权利要求1所述的快件分拣异常动作的识别方法，其特征在于，所述将所述货物区域信息和所述脚部行为姿态信息进行组合，得到目标快件装卸车图像，包括：
按照预设时间序列分别对所述货物区域信息和所述脚部行为姿态信息进行采样，获得货物区域序列信息和脚部行为姿态序列信息；
将所述货物区域序列信息和所述脚部行为姿态序列信息，按照相同的时刻进行拼接处理，获得目标快件装卸车图像。


5.根据权利要求1-4任一项所述的快件分拣异常动作的识别方法，其特征在于，所述检测所述目标快件装卸车图像中的脚部行为姿态是否为踩踏行为姿态，当所述脚部...

【专利技术属性】
技术研发人员：杨周龙，李斯，徐梦佳，
申请(专利权)人：上海东普信息科技有限公司，
类型：发明
国别省市：上海;31