一种商品漏扫码行为识别方法、装置及系统制造方法及图纸

本发明专利技术实施例提供了一种商品漏扫码行为识别方法、装置及系统，该方法包括：接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，商品明细信息包括商品数量；识别视频中目标操作人员的扫码动作，并根据扫码动作的识别结果，统计商品扫码数量；判断商品扫码数量是否大于商品数量；若大于，则确定存在商品漏扫码行为。通过上述方法，可以直接确定是否存在目标操作人员漏扫码商品的行为，不需要大量的工作人员通过查看大量的监控录像去识别目标操作人员漏扫码商品的行为，减少了识别目标操作人员漏扫码商品行为的人力投入成本，以及，节约了目标操作人员漏扫码商品的识别时间，从而提高了识别目标操作人员漏扫码商品行为的工作效率。

【技术实现步骤摘要】
一种商品漏扫码行为识别方法、装置及系统
本专利技术涉及视频监控
，特别是涉及一种商品漏扫码行为识别方法、装置及系统。
技术介绍
在企业管理中，对商品进行扫码可以很好地确定商品信息。例如，在快递管理中，可以通过扫描快递来追踪快递信息；在商超管理中，可以通过扫描商品来确定商品状态；在工厂管理中，可以通过扫描商品来统计商品数量。但是，目标操作人员无意或故意人为漏扫描商品的事件却时有发生。由于目标操作人员没有真正扫描到商品，所以就会遗漏一些商品的相关信息，进而造成一定的损失。因此，需要对目标操作人员漏扫码商品的行为进行识别和监督。目前很多企业在商品扫码处安装了摄像机对目标操作人员的扫码行为进行监督，将摄像机采集到的视频存储在硬盘录像机上，再通过人工查看存储在硬盘录像机上的录像来分析是否存在目标操作人员漏扫码商品的行为。但是，由于硬盘录像机上存储的录像信息量十分庞大，利用工作人员查看监控录像进而识别目标操作人员漏扫码商品的行为是一件耗时耗力的事情。
技术实现思路
本专利技术实施例的目的在于提供一种商品漏扫码行为识别方法、装置及系统，以实现快速识别目标操作人员漏扫码商品的行为。具体技术方案如下：第一方面，本专利技术实施例提供了一种商品漏扫码行为识别方法，所述方法包括：接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；判断所述商品扫码数量是否大于所述商品数量；若大于，则确定存在商品漏扫码行为。可选的，所述识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量，包括：依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，其中，所述手部状态信息表征所述目标操作人员的手部是否持有商品；根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，所述预设分界线为所述视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线；若所述目标操作人员的手部在持有商品时有跨越所述预设分界线的动作，则将商品扫码数量加1。可选的，所述视频中包括两条预设分界线；所述根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，包括：根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作。可选的，所述依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，包括：依次将所述视频中的各目标帧图像输入预先训练得到的神经网络模型，得到所述各目标帧图像中目标操作人员的关键点位置信息及关键点特征；根据所述各目标帧图像中目标操作人员的关键点位置信息，筛选出所述各目标帧图像中所述目标操作人员的手部位置信息；根据所述各目标帧图像中目标操作人员的关键点特征，识别出所述各目标帧图像中所述目标操作人员的手部状态信息；所述根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，包括：根据所述各目标帧图像中目标操作人员的手部位置信息，确定所述目标操作人员的手部运动轨迹；根据所述目标操作人员的手部运动轨迹及所述各目标帧图像中目标操作人员的手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。可选的，在所述确定存在商品漏扫码行为之后，所述方法还包括：输出报警信息，以提示存在商品漏扫码行为。第二方面，本专利技术实施例提供了一种商品漏扫码行为识别装置，所述装置包括：接收模块，用于接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；检测模块，用于识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；判断模块，用于判断所述商品扫码数量是否大于所述商品数量，若大于，则确定存在商品漏扫码行为。可选的，所述检测模块包括：识别子模块，用于依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，其中，所述手部状态信息表征所述目标操作人员的手部是否持有商品；判断子模块，用于根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，所述预设分界线为所述视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线；计数子模块，用于若所述目标操作人员的手部在持有商品时有跨越所述预设分界线的动作，则将商品扫码数量加1。可选的，所述视频中包括两条预设分界线，所述判断子模块，具体用于根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作。可选的，所述识别子模块，包括：获取单元，用于依次将所述视频中的各目标帧图像输入预先训练得到的神经网络模型，得到所述各目标帧图像中目标操作人员的关键点位置信息及关键点特征；筛选单元，用于根据所述各目标帧图像中目标操作人员的关键点位置信息，筛选出所述各目标帧图像中所述目标操作人员的手部位置信息；识别单元，用于根据所述各目标帧图像中目标操作人员的关键点特征，识别出所述各目标帧图像中所述目标操作人员的手部状态信息；所述判断子模块，包括：确定单元，用于根据所述各目标帧图像中目标操作人员的手部位置信息，确定所述目标操作人员的手部运动轨迹；判断单元，用于根据所述目标操作人员的手部运动轨迹及所述各目标帧图像中目标操作人员的手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。可选的，所述装置还包括：输出模块，用于输出报警信息，以提示存在商品漏扫码行为。第三方面，本专利技术实施例提供了一种商品漏扫码行为识别系统，所述系统包括：扫码设备，视频采集设备，检测设备；所述扫码设备，用于扫描商品，将所述商品的商品明细信息发送至所述检测设备，其中，所述商品明细信息包括商品数量；所述视频采集设备，用于采集视频，将采集的所述视频发送至所述检测设备；所述检测设备，用于接收所述扫码设备发送的商品明细信息及所述视频采集设备发送的视频，识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量，判断所述商品扫码数量是否大于所述商品数量，若大于，则确定存在本文档来自技高网...

【技术保护点】
1.一种商品漏扫码行为识别方法，其特征在于，所述方法包括：/n接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；/n识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；/n判断所述商品扫码数量是否大于所述商品数量；/n若大于，则确定存在商品漏扫码行为。/n

【技术特征摘要】
1.一种商品漏扫码行为识别方法，其特征在于，所述方法包括：
接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；
识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；
判断所述商品扫码数量是否大于所述商品数量；
若大于，则确定存在商品漏扫码行为。


2.根据权利要求1所述的方法，其特征在于，所述识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量，包括：
依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，其中，所述手部状态信息表征所述目标操作人员的手部是否持有商品；
根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，所述预设分界线为所述视频中预先设定的将商品摆放区域划分为等待扫码区域和完成扫码区域的分界线；
若所述目标操作人员的手部在持有商品时有跨越所述预设分界线的动作，则将商品扫码数量加1。


3.根据权利要求2所述的方法，其特征在于，所述视频中包括两条预设分界线；
所述根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，包括：
根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越两条预设分界线的连续动作。


4.根据权利要求2所述的方法，其特征在于，所述依次对所述视频中的各目标帧图像进行目标操作人员手部识别，识别所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，包括：
依次将所述视频中的各目标帧图像输入预先训练得到的神经网络模型，得到所述各目标帧图像中目标操作人员的关键点位置信息及关键点特征；
根据所述各目标帧图像中目标操作人员的关键点位置信息，筛选出所述各目标帧图像中所述目标操作人员的手部位置信息；
根据所述各目标帧图像中目标操作人员的关键点特征，识别出所述各目标帧图像中所述目标操作人员的手部状态信息；
所述根据所述各目标帧图像中目标操作人员的手部位置信息及手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作，包括：
根据所述各目标帧图像中目标操作人员的手部位置信息，确定所述目标操作人员的手部运动轨迹；
根据所述目标操作人员的手部运动轨迹及所述各目标帧图像中目标操作人员的手部状态信息，判断所述目标操作人员的手部在持有商品时是否有跨越预设分界线的动作。


5.根据权利要求1所述的方法，其特征在于，在所述确定存在商品漏扫码行为之后，所述方法还包括：
输出报警信息，以提示存在商品漏扫码行为。


6.一种商品漏扫码行为识别装置，其特征在于，所述装置包括：
接收模块，用于接收扫码设备发送的商品明细信息及视频采集设备发送的视频，其中，所述商品明细信息包括商品数量；
检测模块，用于识别所述视频中目标操作人员的扫码动作，并根据所述扫码动作的识别结果，统计商品扫码数量；
判断模块，用于判断所述商品扫码数量是否大于所述商品数量，若大于，则确定存...

【专利技术属性】
技术研发人员：蔡博振，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33