物品监控方法、数据处理设备及物品监控系统技术方案

本发明专利技术的实施例公开了一种物品监控方法、数据处理设备及物品监控系统，该方法包括如下步骤：获取实时影像步骤，识别物品信息步骤，设定关联空间步骤，识别手部的实时位置步骤，记录停留时间步骤，以及判断步骤，判断所述停留时间是否在在一预设时间阈值范围内时，若是，判定该物品被该目标人员浏览，然后输出该物品的推荐信息至一显示设备。本发明专利技术通过计算机视觉技术，可以将物品展示装置上的物品识别为四种状态，分别是闲置状态、被浏览状态、被关注状态及被拾取状态。计算机根据每一物品的状态发出相应的指令给显示设备，以显示该物品在该状态下的物品相关信息。态下的物品相关信息。态下的物品相关信息。

【技术实现步骤摘要】
物品监控方法、数据处理设备及物品监控系统


[0001]本申请涉及零售设备或者展会设备领域，具体涉及一种物品监控方法、数据处理设备及物品监控系统。

技术介绍

[0002]现有技术的智能展台大多是采用射频识别（Radio Frequency Identification，RFID）技术实现的，在展台的特定位置设置RFID读写器，在商品底部或商品包装的底部设置RFID标签，当商品被顾客拾取时，计算机系统获取RFID读写器发出的电信号，作为一个触发信号，从而控制显示屏上显示产品信息。
[0003]这一方案的不足之处在于：一方面，每个展台需要设置多个RFID读写器，每个产品都需要被设置一个RFID标签，展台的用户操作麻烦，且硬件成本较高，一旦某个标签丢失，就会导致计算机系统判断错误。
[0004]另一方面，每个商品被拾取后都要被放回展台的原位置或指定位置，如果放错位置就会影响下一次的拾取判断，这样对顾客的行为有明显限制。但顾客行为是不可控的，错放现象是难以避免的，往往需要有工作人员负责商品摆放，浪费人力，不能应用于无店员的无人超市。

技术实现思路

[0005]本专利技术的实施例提供一种物品监控方法、数据处理设备及物品监控系统，有效解决现有技术中存在的硬件成本和人力成本过高、对顾客行为限制过多、物品识别判断易出错等技术问题。
[0006]为了解决上述技术问题，本专利技术的实施例公开了如下技术方案：一方面，本专利技术提供了一种物品监控方法，包括如下步骤：获取物品展示装置的展示面的实时影像，所述展示面用以陈列至少一个物品；根据所述实时影像识别所述至少一个物品的物品信息，所述物品信息包括所述物品的类别与所述物品在所述展示面的位置；根据每个物品在所述展示面的位置，将所述物品周围一定范围内的空间设定为所述物品的关联空间；当所述实时影像中包含目标人员的手部时，根据所述实时影像识别所述目标人员的手部的实时位置；当一目标人员的手部的至少一部分位于一物品的关联空间内时，记录该目标人员的手部在该物品的关联空间内的停留时间；当所述停留时间在一预设时间阈值范围内时，判定该物品被该目标人员浏览；当一物品被浏览时，输出第一显示内容至一显示设备，所述第一显示内容包括被浏览的物品的第一推荐信息。
[0007]进一步地，在所述物品监控方法中，所述物品展示装置所处空间内建立有一三维坐标系，其X轴、Y轴位于所述物品展示装置的展示面上；所述物品在所述展示面的实时位置是指所述物品的三维坐标集；所述实时影像识别所述目标人员的手部的实时位置是指所述手部在所述展示面的三维坐标集。
[0008]进一步地，所述物品监控方法还包括如下步骤：当一目标人员的手部的至少一部分位于一物品的关联空间内时，记录该目标人员的手部在该物品的关联空间内的停留时间的步骤，具体包括如下步骤：将一手部与一物品的关联空间由无交集状态变为有交集状态的时刻记录为第一时刻；将所述手部与所述物品的关联空间由有交集状态变为无交集状态的时刻记录为第二时刻；将所述第二时刻与所述第一时刻作差，计算出所述手部在所述物品的关联空间内的停留时间。
[0009]进一步地，所述物品监控方法还包括如下步骤：判断所述物品在第二时刻时是否位于所述展示面上；若否，判定所述物品被一目标人员拾取；若是，执行下一步骤；判断所述物品在第二时刻时的实时位置与其在第一时刻时的实时位置是否相同，若是，判定所述物品被一目标人员浏览；若否，判定所述物品被一目标人员关注。
[0010]进一步地，在所述物品监控方法中，当所述物品被关注时，输出第二显示内容至一显示设备，所述第二显示内容包括被关注的物品的第二推荐信息；当所述物品被拾取时，输出第三显示内容至一显示设备，所述第三显示内容包括被拾取的物品的第三推荐信息。
[0011]进一步地，在所述物品监控方法中，在获取物品展示装置的展示面的实时影像的步骤之前，还包括建立数据库步骤，存储至少一种物品的第一推荐信息、第二推荐信息及第三推荐信息；所述第一推荐信息包括物品的基本信息；所述第二推荐信息包括物品的基本信息及详细信息；所述第三推荐信息包括物品的基本信息、详细信息及广告信息。
[0012]进一步地，在所述物品监控方法中，所述根据所述实时影像识别所述至少一个物品的物品信息的步骤，包括如下步骤：将所述实时影像分解为至少两帧连续的实时图像；将每一帧实时图像进行区域分割处理，分割成多个区域图片，每个区域图片中包括且仅包括一个物品；将区域图片录入至一物品种类识别模型，获取该区域图片显示的物品的种类。
[0013]进一步地，所述根据所述实时影像识别所述至少一个物品的物品信息的步骤，包括如下步骤：将所述实时影像分解为至少两帧连续的实时图像；从至少一帧实时图像中识别出所述展示面的边界线的位置；根据至少一帧实时图像计算每一物品中心点与所述展示面的边界线的相对距离；判断每一物品在所述展示面的位置。
[0014]本专利技术还提供了一种数据处理设备，包括存储器和处理器。所述存储器用于存储可执行程序代码；所述处理器连接至所述存储器，所述处理器读取所述可执行程序代码，以运行与所述可执行程序代码对应的计算机程序，以执行上述的物品监控方法中的至少一步骤。
[0015]本专利技术还提供了一种物品监控系统，包括：物品展示装置，影像采集装置，所述数据处理设备和显示设备。所述物品展示装置包括展示面，用以陈列至少一个物品；所述影像采集装置包括至少一个摄像头，所述摄像头朝向所述展示面，所述展示面全部位于所述摄像头的视野范围内；所述数据处理设备连接至所述影像采集装置；所述显示设备连接至所述数据处理设备；当所述物品被浏览时，所述显示设备从所述数据处理设备获取并显示所述物品的物品信息。
[0016]进一步地，所述物品监控系统还包括人工客服系统和/或智能客服系统，所述人工客服系统连接至所述数据处理设备，当所述物品被浏览、被关注或被拾取时，所述数据处理设备通过所述人工客服系统与所述物品对应的客服人员建立通信；所述智能客服系统连接至所述数据处理设备，当所述物品被浏览、被关注或被拾取时，所述智能客服系统播放与所
述物品相关的音视频信息。
[0017]进一步地，所述物品展示装置包括至少一个展示板，被安装至货架或展台；所述展示板的顶面形成所述展示面，所述展示面与水平面的夹角小于预设角度；或者，所述物品展示装置包括至少一个悬挂支架，被安装至货架或展台；所述物品被悬挂在所述悬挂支架上；所述悬挂支架的悬挂方向所在的平面形成所述展示面。
[0018]另一方面，本专利技术还提供了另一种物品监控方法，还包括如下步骤：另一方面，本专利技术还提供了另一种物品监控方法，还包括如下步骤：连续采集所述实时影像中目标人员在一预设时段内的手部的实时位置，生成所述目标人员的手部的运动轨迹；判断被浏览的物品的位置是否位于一目标人员的手部的运动轨迹上，若是，当该目标人员的手部收回之后，判断所述物品是否还位于展示面上；若否，判定该物品被该目标人员拾取；若是，执行下一步骤；判断所述物品是否被移动，若是，判定所述物品被该目标人员关注。本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种物品监控方法，其特征在于，包括如下步骤：获取物品展示装置的展示面的实时影像，所述展示面用以陈列至少一个物品；根据所述实时影像识别所述至少一个物品的物品信息，所述物品信息包括所述物品的类别与所述物品在所述展示面的位置；根据每个物品在所述展示面的位置，将所述物品周围一定范围内的空间设定为所述物品的关联空间；当所述实时影像中包含目标人员的手部时，根据所述实时影像识别所述目标人员的手部的实时位置；当一目标人员的手部的至少一部分位于一物品的关联空间内时，记录该目标人员的手部在该物品的关联空间内的停留时间；当所述停留时间在一预设时间阈值范围内时，判定该物品被该目标人员浏览；当一物品被浏览时，输出被浏览的物品的第一推荐信息至一显示设备。2.根据权利要求1所述的物品监控方法，其特征在于，当一目标人员的手部的至少一部分位于一物品的关联空间内时，记录该目标人员的手部在该物品的关联空间内的停留时间的步骤，具体包括如下步骤：将一手部与一物品的关联空间由无交集状态变为有交集状态的时刻记录为第一时刻；将所述手部与所述物品的关联空间由有交集状态变为无交集状态的时刻记录为第二时刻；以及将所述第二时刻与所述第一时刻作差，计算出所述手部在所述物品的关联空间内的停留时间。3.根据权利要求2所述的物品监控方法，其特征在于，还包括如下步骤：判断所述物品在第二时刻时是否位于所述展示面上；若否，判定所述物品被一目标人员拾取；若是，执行下一步骤；判断所述物品在第二时刻时的实时位置与其在第一时刻时的实时位置是否相同，若是，判定所述物品被一目标人员浏览；若否，判定所述物品被一目标人员关注。4.根据权利要求1所述的物品监控方法，其特征在于，还包括如下步骤：连续采集所述实时影像中目标人员在一预设时段内的手部的实时位置，生成所述目标人员的手部的运动轨迹；判断被浏览的物品的位置是否位于一目标人员的手部的运动轨迹上，若是，当该目标人员的手部收回之后，判断所述物品是否还位于展示面上；若否，判定该物品被该目标人员拾取；若是，执行下一步骤；以及判断所述物品是否被移动，若是，判定所述物品被该目标人员关注。5.根据权利要求3...

【专利技术属性】
技术研发人员：李庭涛，张一玫，
申请(专利权)人：上海追月科技有限公司，
类型：发明
国别省市：