一种商品取放识别方法、装置、系统及设备制造方法及图纸

本申请提供一种商品取放识别方法、装置、系统及设备，包括：接收到重力检测设备上报的货格信息，并基于货格信息确定目标货格取或放商品及其数量；依据所述重量变化的目标时间，从至少一个目标监控设备所采集的视频流中获取目标视频流；从所述目标视频流中识别出与所述目标货格关联的目标手部对象、以及所述目标手部对象取或放的商品及其数量；若所述目标手部对象取或放的商品及其数量与目标货格被取或放的商品及其数量匹配，将目标手部对象对应的目标用户标识与目标货格被取或放的商品及其数量关联。使用本申请提供的方法可以提高商品取放识别的准确性。

【技术实现步骤摘要】
一种商品取放识别方法、装置、系统及设备
本申请涉及图像处理领域，尤其涉及一种商品取放识别方法、装置、系统及设备。
技术介绍
随着电子支付技术、身份感知技术及云计算技术的发展，无人超市项目在技术上具备很高的可行性。在无人超市项目中，电子设备需要准确识别用户从货格上取或放的商品及其数量，以自动更新用户的虚拟购物车的商品信息，并基于虚拟购物车实现为客户的自动结算。因此，如何准确识别用户取或放的商品及其数量就成为亟待解决的问题。
技术实现思路
有鉴于此，本申请提供一种商品取放识别方法、装置、系统及电子设备，用于提高商品取放识别的准确性。具体地，本申请是通过如下技术方案实现的：根据本申请的第一方面，提供一种商品取放的识别方法，所述方法应用于电子设备，包括：接收到重力检测设备上报的货格信息：所述货格信息包括：配备有所述重力检测设备的目标货格的目标货格标识、目标货格发生重量变化的目标时间、重量变化后的目标货格重量；所述货格信息是所述重力检测设备在检测到所述目标货格的重力发生变化后上报的；基于本文档来自技高网...

【技术保护点】
1.一种商品取放的识别方法，其特征在于，所述方法应用于电子设备，包括：/n接收到重力检测设备上报的货格信息：所述货格信息包括：配备有所述重力检测设备的目标货格的目标货格标识、目标货格发生重量变化的目标时间、重量变化后的目标货格重量；所述货格信息是所述重力检测设备在检测到所述目标货格的重力发生变化后上报的；/n基于所述目标货格标识、所述重量变化后的目标货格重量，确定目标货格被取或放的商品及其数量；/n依据所述目标时间，从至少一个目标监控设备所采集的视频流中获取目标视频流；所述目标视频流包括：采集时间在目标时间之后的至少一组第一预设数量图像帧和/或采集时间在目标时间之前的至少一组第二预设数量图像帧...

【技术特征摘要】
1.一种商品取放的识别方法，其特征在于，所述方法应用于电子设备，包括：
接收到重力检测设备上报的货格信息：所述货格信息包括：配备有所述重力检测设备的目标货格的目标货格标识、目标货格发生重量变化的目标时间、重量变化后的目标货格重量；所述货格信息是所述重力检测设备在检测到所述目标货格的重力发生变化后上报的；
基于所述目标货格标识、所述重量变化后的目标货格重量，确定目标货格被取或放的商品及其数量；
依据所述目标时间，从至少一个目标监控设备所采集的视频流中获取目标视频流；所述目标视频流包括：采集时间在目标时间之后的至少一组第一预设数量图像帧和/或采集时间在目标时间之前的至少一组第二预设数量图像帧；目标监控设备至少用于采集所述目标货格所处区域的视频流；
从所述目标视频流中识别出与所述目标货格关联的目标手部对象、以及所述目标手部对象取或放的商品及其数量；
若所述目标手部对象取或放的商品及其数量与目标货格被取或放的商品及其数量匹配，将目标手部对象对应的目标用户标识与目标货格被取或放的商品及其数量关联。


2.根据权利要求1所述的方法，其特征在于，所述基于所述目标货格标识、所述重量变化后的目标货格重量，确定目标货格被取或放的商品及其数量，包括：
在预设的货格标识、商品标识、单件商品重量、货格原有重量的对应关系中，查找所述目标货格标识对应的商品标识、单件商品重量和货格原有重量；
基于查找到的货格原有重量和所述重量变化后的目标货格重量，确定所述目标货格的重量变化量；
基于所述货格的重量变化量和查找到的单件商品重量，确定商品数量；
将查找到的商品标识和确定出的商品数量作为该目标货格被取或放的商品及其数量。


3.根据权利要求1所述的方法，其特征在于，从所述目标视频流中识别出与所述目标货格关联的目标手部对象，包括：
在预设的货格标识与货格顶点三维坐标信息的对应关系中，查找与所述目标货格标识对应的目标货格顶点三维坐标信息，基于所述目标货格顶点三维坐标信息，确定所述目标货格对应的目标三维区域；
获得从所述目标视频流的每一帧视频图像中识别出的手部对象的手部对象三维坐标信息，将手部对象三维坐标信息处于所述目标三维区域中的手部对象确定为所述目标手部对象。


4.根据权利要求1所述的方法，其特征在于，从所述目标视频流中识别出所述目标手部对象取或放的商品及其数量，包括：
在所述目标视频流的各视频图像中确定所述目标手部对象对应的目标手部区域；
依据所述目标视频流的各视频图像中目标手部区域的商品，确定目标手部对象取或放的商品及其数量。


5.根据权利要求4所述的方法，其特征在于，所述依据所述目标视频流的各视频图像中目标手部区域的商品，确定目标手部对象取或放的商品及其数量，包括：
依据各第一预设数量图像帧中各视频图像中目标手部区域的商品标识和数量，确定在所述目标时间之后所述目标手部对象在各帧标识下关联的候选商品标识和候选商品的候选数量；和/或，依据各第二预设数量图像帧中各视频图像中目标手部区域的商品标识和数量，确定在所述目标时间之前所述目标手部对象在各帧标识下关联的候选商品标识和候选商品的候选数量；
依据在所述目标时间之后和/或在所述目标时间之前所述目标手部对象在各帧标识下关联的候选商品标识和候选数量，确定目标手部对象取或放的目标商品及其目标数量。


6.根据权利要求5所述的方法，其特征在于，依据各第一预设数量图像帧中各视频图像中目标手部区域的商品标识和数量，确定在所述目标时间之后所述目标手部对象在各帧标识下关联的候选商品标识；和/或，依据各第二预设数量图像帧中各视频图像中目标手部区域的商品标识和数量，确定在所述目标时间之前所述目标手部对象在各帧标识下关联的候选商品标识，包括：
从所有第一预设数量图像帧的所有视频图像中目标手部区域的商品标识中，选择第一目标商品标识，并将所述第一目标商品标识作为在所述目标时间之后所述目标手部对象在各帧标识下关联的候选商品标识；其中，所有第一预设数量图像帧中包含所述第一目标商品标识的视频图像的个数最多，或者所述第一目标商品标识为所述目标货格被取或放的商品标识；
和/或，
从所有第二预设数量图像帧的所有帧视频图像中目标手部区域的商品标识中，选择第二目标商品标识，作为在所述目标时间之前所述目标手部对象在各帧标识下关联的候选商品标识；其中，所有第二预设数量图像帧中包含所述第二目标商品标识的视频图像的个数最多，或者所述第二目标商品标识为所述目标货格被取或放的商品标识。


7.根据权利要求5所述的方法，其特征在于，在所述监控设备的数量为一个的情况下，依据各不同的第一预设数量图像帧中各视频图像中目标手部区域的商品标识和数量，确定在所述目标时间之后所述目标手部对象在该帧标识下关联的候选商品的候选数量；和/或，依据各不同的第二预设数量图像帧中各视频图像中目标手部区域的商品标识和数量，确定在所述目标时间之前所述目标手部对象在该帧标识下关联的候选商品的候选数量，包括：
在来自于所述监控设备的第一预设数量图像帧中各视频图像中目标手部区域的商品标识和数量中，选择候选商品标识对应的数量作为所述目标时间之后所述目标手部对象在各帧标识下关联的候选商品的候选商品数量；和/或，在来自于该所述监控设备的第二预设数量图像帧中各视频图像中目标手部区域的商品标识和数量中，选择候选商品标识对应的数量作为所述目标时间之前所述目标手部对象在各帧标识下关联的候选商品的候选商品数量。


8.根据权利要求5所述的方法，其特征在于，在所述监控设备的数量为多个的情况下，依据各不同的第一预设数量...

【专利技术属性】
技术研发人员：邹明杰，张天琦，程浩，吴昌建，陈鹏，戴华东，龚晖，张玉全，张迪，朱皓，
申请(专利权)人：杭州海康威视数字技术股份有限公司，
类型：发明
国别省市：浙江;33