一种暴力分拣的识别方法及装置制造方法及图纸

本申请提供了一种暴力分拣的识别方法及装置，其中，该方法包括：基于预先标定的两台摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息，并输入至预先训练的包裹识别模型中，确定所述包裹在各帧所述第一视频图像和各帧所述第二视频图像中的二维坐标信息以及所述包裹在多个时间戳下的三维坐标信息、所述包裹的运动速度，以及在空中的滞留时长；基于所述运动速度以及所述滞留时长，确定对所述包裹的暴力分拣结果。在该过程中，利用了在包裹分拣过程中的第一视频信息与第二视频信息，获取包裹的坐标信息及时间戳，并确定所述包裹的运动速度，以及在空中的滞留时长，最终确定暴力分拣行为，极大地提高了识别暴力分拣行为的准确性。

Identification method and device of violent sorting

【技术实现步骤摘要】
一种暴力分拣的识别方法及装置
本申请涉及图像处理
，具体而言，涉及一种暴力分拣的识别方法及装置。
技术介绍
网上购物为人们的生活带来了诸多的便利，同时也带动了快递行业的发展。同时，网购量的增多也为快递行业带来了巨大的压力，由此引发了很多快递暴力分拣事件，造成了一定程度上的不良影响。为了防止快递暴力分拣行为的发生，许多快递公司会在快递分拣过程中，对暴力分拣行为进行监测。目前，对于快递暴力分拣行动的判断大多依靠人工，其成本较高，且判定的准确度无法保证。因此，如何准确地识别暴力分拣行为就成为一个亟待解决的问题。
技术实现思路
有鉴于此，本申请的目的在于提供一种暴力分拣的识别方法及装置，提高识别暴力分拣行为的准确率，减少暴力分拣行为的发生。第一方面，本申请实施例提供了一种暴力分拣的识别方法，包括：基于预先标定的两台摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息；其中，两个所述摄像机的拍摄角度不同；所述第一视频信息中包括多帧第一视频图像；所述第二视频信息中包括与各帧所述第一视频图像的时间戳一一对应的多帧第二视频图像；将所述第一视频图像和所述第二视频图像输入至预先训练的包裹识别模型中，确定所述包裹在各帧所述第一视频图像和各帧所述第二视频图像中的二维坐标信息；基于所述二维坐标信息、对所述摄像机进行标定的标定信息、以及所述摄像机的三维坐标信息，确定所述包裹在多个时间戳下的三维坐标信息；其中，多个时间戳为多帧所述第一视频图像的时间戳；基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹的运动速度，以及在空中的滞留时长；基于所述运动速度以及所述滞留时长，确定对所述包裹的暴力分拣结果。一种可选实施方式中，基于预先标定的两个摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息，包括：采用所述预先标定的两台摄像机，获取包裹在分拣过程中的第一原始视频信息和第二原始视频信息；所述第一原始视频信息包括多帧第一原始视频图像；所述第二原始视频信息中包括多帧第二原始视频图像；对所述第一原始视频信息中的多帧第一原始视频图像进行采样处理，获取所述第一视频信息；以及对所述第二原始视频信息中的多帧第二原始视频图像进行采样处理，获取所述第二视频信息。一种可选实施方式中，采用下述方式训练得到所述包裹识别模型：获取多张样本图像，以及与每张样本图像对应的标注信息；所述标注信息用于指示样本图像中包裹的位置；执行下述迭代训练过程，直至满足训练截止条件：将所述多张样本图像依次输入至上一轮迭代过程中训练得到的基础识别模型中，得到各张所述样本图像分别在本轮迭代训练过程中对应的包裹位置识别结果；基于各张所述样本图像在本轮迭代训练过程中分别对应的包裹位置识别结果，以及所述标注信息，确定模型损失；基于所述模型损失，对上一轮迭代过程中训练得到的基础识别模型进行本轮训练。一种可选实施方式中，所述训练截止条件包括下述任一种：迭代次数达到预设次数；交叉熵小于预设的交叉熵阈值。一种可选实施方式中，所述基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹的运动速度，包括：基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹在两个相邻的时间戳之间的运动距离；基于所述包裹在每两个相邻的时间戳之间的运动距离，以及每两个相邻的时间戳之间的时间差，确定所述包裹在每两个相邻时间戳之间的运动速度；将所述包裹在每两个相邻时间戳之间的运动速度，确定所述包裹的运动速度。一种可选实施方式中，基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹在空中的滞留时长，包括：将所述第一视频图像依次输入至预先训练的第二识别模型中，获取各帧所述第一视频图像分别对应的包裹和人手识别结果；基于各帧所述第一视频图像分别对应的包裹和人手识别结果，从各帧所述第一视频图像中，确定人手与所述包裹分离时的第一目标视频图像，以及所述包裹落地时的第二目标视频图像；基于所述第一目标视频图像和所述第二目标视频图像的时间戳，确定所述滞留时间；和/或，将所述第二视频图像依次输入至预先训练的第二识别模型中，获取各帧所述第二视频图像分别对应的包裹和人手识别结果；基于各帧所述第二视频图像分别对应的包裹和人手识别结果，从各帧所述第二视频图像中，确定人手与所述包裹分离时的第三目标视频图像，以及所述包裹落地时的第四目标视频图像；基于所述第三目标视频图像和所述第四目标视频图像的时间戳，确定所述滞留时间。一种可选实施方式中，基于所述运动速度以及所述滞留时长，确定对所述包裹的暴力分拣结果，包括：将所述运动速度与预设的运动速度阈值进行比对；以及将所述滞留时长与预设的滞留时长阈值进行比对；在所述运动速度大于所述运动速度阈值，且所述滞留时长大于所述滞留时长阈值的情况下，确定的对所述包裹的暴力分拣结果为暴力分拣。第二方面，本申请实施例还提供一种暴力分拣的识别装置，该暴力分拣的识别装置包括：获取模块、输入模块、第一确定模块、第二确定模块以及第三确定模块，其中：所述获取模块，用于基于预先标定的两台摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息；其中，两个所述摄像机的拍摄角度不同；所述第一视频信息中包括多帧第一视频图像；所述第二视频信息中包括与各帧所述第一视频图像的时间戳一一对应的多帧第二视频图像；所述输入模块，用于将所述第一视频图像和所述第二视频图像输入至预先训练的包裹识别模型中，确定所述包裹在各帧所述第一视频图像和各帧所述第二视频图像中的二维坐标信息；所述第一确定模块，用于基于所述二维坐标信息、对所述摄像机进行标定的标定信息、以及所述摄像机的三维坐标信息，确定所述包裹在多个时间戳下的三维坐标信息；其中，多个时间戳为多帧所述第一视频图像的时间戳；所述第二确定模块，用于基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹的运动速度，以及在空中的滞留时长；所述第三确定模块，用于基于所述运动速度以及所述滞留时长，确定对所述包裹的暴力分拣结果。一种可选实施方式中，所述获取模块，用于基于预先标定的两个摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息时，具体用于：采用所述预先标定的两台摄像机，获取包裹在分拣过程中的第一原始视频信息和第二原始视频信息；所述第一原始视频信息包括多帧第一原始视频图像；所述第二原始视频信息中包括多帧第二原始视频图像；对所述第一原始视频信息中的多帧第一原始视频图像进行采样处理，获取所述第一视频信息；以及对所述第二原始视频信息中的多帧第二原始视频图像进行采样处理，获取所述第二视频信息。一种可选实施方式中，采用下述方式训练得到所述包裹识别模型：获取多张样本图像，以及与每张样本图像对应的标注信息；所述标注信息用于指示样本图像中包裹的位置；执行下述迭本文档来自技高网...

【技术保护点】
1.一种暴力分拣的识别方法，其特征在于，包括：/n基于预先标定的两台摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息；其中，两个所述摄像机的拍摄角度不同；所述第一视频信息中包括多帧第一视频图像；所述第二视频信息中包括与各帧所述第一视频图像的时间戳一一对应的多帧第二视频图像；/n将所述第一视频图像和所述第二视频图像输入至预先训练的包裹识别模型中，确定所述包裹在各帧所述第一视频图像和各帧所述第二视频图像中的二维坐标信息；/n基于所述二维坐标信息、对所述摄像机进行标定的标定信息、以及所述摄像机的三维坐标信息，确定所述包裹在多个时间戳下的三维坐标信息；其中，多个时间戳为多帧所述第一视频图像的时间戳；/n基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹的运动速度，以及在空中的滞留时长；/n基于所述运动速度以及所述滞留时长，确定对所述包裹的暴力分拣结果。/n

【技术特征摘要】
1.一种暴力分拣的识别方法，其特征在于，包括：
基于预先标定的两台摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息；其中，两个所述摄像机的拍摄角度不同；所述第一视频信息中包括多帧第一视频图像；所述第二视频信息中包括与各帧所述第一视频图像的时间戳一一对应的多帧第二视频图像；
将所述第一视频图像和所述第二视频图像输入至预先训练的包裹识别模型中，确定所述包裹在各帧所述第一视频图像和各帧所述第二视频图像中的二维坐标信息；
基于所述二维坐标信息、对所述摄像机进行标定的标定信息、以及所述摄像机的三维坐标信息，确定所述包裹在多个时间戳下的三维坐标信息；其中，多个时间戳为多帧所述第一视频图像的时间戳；
基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹的运动速度，以及在空中的滞留时长；
基于所述运动速度以及所述滞留时长，确定对所述包裹的暴力分拣结果。


2.根据权利要求1所述的识别方法，其特征在于，基于预先标定的两个摄像机，获取包裹在分拣过程中的第一视频信息以及第二视频信息，包括：
采用所述预先标定的两台摄像机，获取包裹在分拣过程中的第一原始视频信息和第二原始视频信息；所述第一原始视频信息包括多帧第一原始视频图像；所述第二原始视频信息中包括多帧第二原始视频图像；
对所述第一原始视频信息中的多帧第一原始视频图像进行采样处理，获取所述第一视频信息；以及
对所述第二原始视频信息中的多帧第二原始视频图像进行采样处理，获取所述第二视频信息。


3.根据权利要求1所述的识别方法，其特征在于，采用下述方式训练得到所述包裹识别模型：
获取多张样本图像，以及与每张样本图像对应的标注信息；所述标注信息用于指示样本图像中包裹的位置；
执行下述迭代训练过程，直至满足训练截止条件：
将所述多张样本图像依次输入至上一轮迭代过程中训练得到的基础识别模型中，得到各张所述样本图像分别在本轮迭代训练过程中对应的包裹位置识别结果；
基于各张所述样本图像在本轮迭代训练过程中分别对应的包裹位置识别结果，以及所述标注信息，确定模型损失；
基于所述模型损失，对上一轮迭代过程中训练得到的基础识别模型进行本轮训练。


4.根据权利要求3所述的识别方法，其特征在于，所述训练截止条件包括下述任一种：
迭代次数达到预设次数；
交叉熵小于预设的交叉熵阈值。


5.根据权利要求1所述的识别方法，其特征在于，所述基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹的运动速度，包括：
基于所述包裹在多个时间戳下的三维坐标信息，确定所述包裹在两个相邻的时间戳之间的运动距离；
基于所述包裹在每两个相邻的时间戳之间的运动距离，以及每两个相邻的时间戳之间的时间差，确定所述包裹在每两个相邻时间戳之间的运动速度；
将所述包裹在每两个相邻时间戳之间的运动速度，确定所述包裹的运动速度。


6.根据权利要求...

【专利技术属性】
技术研发人员：刘永霞，李芳媛，沈翀，陶兴源，汪建新，
申请(专利权)人：秒针信息技术有限公司，
类型：发明
国别省市：北京;11