一种人货交互行为识别方法、系统及相关装置制造方法及图纸

本说明书一个或多个实施例公开了一种人货交互行为识别方法、系统及相关装置，该方法包括：根据图像信息先判断是否对目标货架有触摸行为发生，并根据发生触摸行为的目标顾客的数目，确定不同的识别方案：如果仅一个目标顾客发生触摸行为，则可以使用目标货架的称重信息识别目标顾客与目标货架的交互行为；如果有多个目标顾客发生触摸行为，则可以使用持货检测模型对每个目标顾客触摸前后的图像进行预测，并根据预测结果识别每个目标顾客与目标货架的交互行为。这样，可以根据图像信息确定的触摸行为，结合称重信息或是持货检测模型对目标顾客与目标货架的交互行为进行精确识别，提升识别精准度以及识别效率。升识别精准度以及识别效率。升识别精准度以及识别效率。

【技术实现步骤摘要】
一种人货交互行为识别方法、系统及相关装置


[0001]本文件涉及计算机
，尤其涉及一种人货交互行为识别方法、系统及相关装置。

技术介绍

[0002]互联网应用、实体门店的物联网技术、人工智能以及自动化技术相融合的数字化门店应运而生。在目前的商场以及超市等购物场所中，普遍存在偷盗行为。现有的解决方案是通过监控手段进行监督防范，但是，由于顾客和商品较多，且视觉方案存在固有的限制，如人体的遮挡、商品自身的复杂性和背景的复杂性，致使无法准确识别顾客与货架之间的交互行为，例如是否拿了商品又放回的情况，进而增大嫌疑人排查任务。

技术实现思路

[0003]本说明书一个或多个实施例的目的是提供一种人货交互行为识别方法、系统及相关装置，以准确识别目标顾客与目标货架之间的交互行为。
[0004]为解决上述技术问题，本说明书一个或多个实施例是这样实现的：第一方面，提出了一种人货交互行为识别方法，包括：接收基于目标货架所在拍摄场所采集的图像信息；基于所述图像信息检测是否有目标顾客触碰所述目标货架的触摸行为；如果检测到一个目标顾客的触摸行为，则查询所述触摸行为发生的起始时间至结束时间之内所述目标货架的称重信息，并基于所述称重信息识别该目标顾客与所述目标货架的交互行为；如果检测到多个目标顾客的触摸行为，则根据持货检测模型对所述多个目标顾客在触摸行为发生的起始时间的手持状态以及在触摸行为发生的结束时间的手持状态进行预测，并基于预测结果识别每个目标顾客与所述目标货架的交互行为；其中，所述持货检测模型是基于历史顾客分别与多个货架进行交互之前以及交互之后的历史手部图像训练得到。
[0005]第二方面，提出了一种人货交互行为识别装置，包括：接收模块，用于接收基于目标货架所在拍摄场所采集的图像信息；检测模块，用于基于所述图像信息检测是否有目标顾客触碰所述目标货架的触摸行为；识别模块，如果所述检测模块在检测到一个目标顾客的触摸行为，则用于查询所述触摸行为发生的起始时间至结束时间之内所述目标货架的称重信息，并基于所述称重信息识别该目标顾客与所述目标货架的交互行为；所述识别模块，如果所述检测模块检测到多个目标顾客的触摸行为，则用于根据持货检测模型对所述多个目标顾客在触摸行为发生的起始时间的手持状态以及在触摸行为发生的结束时间的手持状态进行预测，并基于预测结果识别每个目标顾客与所述目标货
架的交互行为；其中，所述持货检测模型是基于历史顾客分别与多个货架进行交互之前以及交互之后的历史手部图像训练得到。
[0006]第三方面，提出了一种人货交互行为识别系统，包括：至少一个货架，每个货架均安装有用于称重该货架的称重装置；至少一个上位机，用于接收至少一个称重装置发送的称重信息；至少一个摄像机，用于从俯视角度或侧视角度采集货架的图像信息；以及分别与所述至少一个上位机和所述至少一个摄像机连接的中控服务器，所述中控服务器用于接收至少一个上位机上传的称重信息以及至少一个摄像机采集的图像信息，并执行第一方面所述的人货交互行为识别方法。
[0007]第四方面，提出了一种电子设备，包括：处理器；以及被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行第一方面所述的人货交互行为识别方法。
[0008]第五方面，提出了一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行第一方面所述的人货交互行为识别方法。
[0009]由以上说明书一个或多个实施例提供的技术方案可见，利用低成本的货架，以及称重装置、上位机和摄像机、中控服务器构成人货交互行为识别系统，并基于称重装置采集的目标货架的称重信息，以及摄像机采集的包含目标顾客的图像信息，通过上位机传输给中控服务器进行处理，具体根据图像信息先判断是否对目标货架有触摸行为发生，并根据发生触摸行为的目标顾客的数目，确定不同的识别方案：如果仅一个目标顾客发生触摸行为，则可以使用目标货架的称重信息识别目标顾客与目标货架的交互行为；如果有多个目标顾客发生触摸行为，则可以使用持货检测模型对每个目标顾客触摸前后的图像进行预测，并根据预测结果识别每个目标顾客与目标货架的交互行为。这样，可以根据图像信息确定的触摸行为，结合称重信息或是持货检测模型对目标顾客与目标货架的交互行为进行精确识别，提升识别精准度以及识别效率。
附图说明
[0010]为了更清楚地说明本说明书一个或多个实施例或现有技术中的技术方案，下面将对一个或多个实施例或现有技术描述中所需要使用的附图做简单介绍，显而易见地，以下描述中的附图仅仅是本说明书中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0011]图1是本说明书实施例提供的人货交互行为识别系统的结构示意图。
[0012]图2a
‑
图2b分别是本说明书实施例提供的摄像机与货架的安装位置示意图。
[0013]图3是本说明书实施例提供的一种人货交互行为识别方法的步骤示意图。
[0014]图4a是本说明书的一个实施例提供的基于手轨迹对关键点轨迹进行矫正的示意图。
[0015]图4b是本说明书的一个实施例提供的基于关键点轨迹对手轨迹进行矫正的示意图。
[0016]图5a
‑
图5f分别是本说明书的一个实施例提供的为目标货架在触摸行为发生的起始时间至结束时间之内的重量值变化曲线示意图。
[0017]图6是本说明书实施例提供的一种人货交互行为识别方法流程示意图。
[0018]图7是本说明书实施例提供的一种人货交互行为识别装置的结构示意图。
[0019]图8是本说明书的一个实施例提供的电子设备的结构示意图。
具体实施方式
[0020]为了使本
的人员更好地理解本说明书中的技术方案，下面将结合本说明书一个或多个实施例中的附图，对本说明书一个或多个实施例中的技术方案进行清楚、完整地描述，显然，所描述的一个或多个实施例只是本说明书一部分实施例，而不是全部的实施例。基于本说明书中的一个或多个实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本文件的保护范围。
[0021]鉴于通过视觉算法对顾客是否拿取货品的识别并不准确，而无人超市设置的智能货架需要对每个货品都布置用于称重的压力传感器，这种智能货架的成本和运营成本都较高，无法在更多交互场景中使用，尤其是大型商超等场所。
[0022]为此，本说明书实施例利用低成本的货架，以及称重装置、上位机和摄像机、中控服务器构成人货交互行为识别系统，并基于称重装置采集的目标货架的称重信息，以及摄像机采集的包含目标顾客的图像信息，通过上位机传输给中控服务器进行处理，具体根据图像信息先判断是否对目标货架有触摸行为发生，并根据发生触摸行为的目标顾客的数目，确定不同的识别方案：如果仅一个目标顾客发生触摸行为，则可以使用目标货架的称重本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种人货交互行为识别方法，包括：接收基于目标货架所在拍摄场所采集的图像信息；基于所述图像信息检测是否有目标顾客触碰所述目标货架的触摸行为；如果检测到一个目标顾客的触摸行为，则查询所述触摸行为发生的起始时间至结束时间之内所述目标货架的称重信息，并基于所述称重信息识别该目标顾客与所述目标货架的交互行为；如果检测到多个目标顾客的触摸行为，则根据持货检测模型对所述多个目标顾客在触摸行为发生的起始时间的手持状态以及在触摸行为发生的结束时间的手持状态进行预测，并基于预测结果识别每个目标顾客与所述目标货架的交互行为；其中，所述持货检测模型是基于历史顾客分别与多个货架进行交互之前以及交互之后的历史手部图像训练得到。2.如权利要求1所述的人货交互行为识别方法，基于所述图像信息检测是否有目标顾客触碰所述目标货架的触摸行为，包括：基于手检测算法和手追踪算法以及关键点检测算法和关键点追踪算法对所述图像信息中包含的目标顾客的关键部位进行追踪定位；如果有目标顾客的关键部位与所述目标货架之间的距离小于第一阈值，则确定该目标顾客触碰所述目标货架。3.如权利要求2所述的人货交互行为识别方法，基于手检测算法和手追踪算法以及关键点检测算法和关键点追踪算法对所述图像信息中包含的目标顾客的关键部位进行追踪定位，包括：将所述图像信息的每个图像帧输入关键点检测模型，得到每个目标顾客的关键部位集合，所述关键部位集合关联有目标顾客的标识信息和手部；将所述图像信息中每个图像帧得到的属于同一个目标顾客的关键部位集合汇集成轨迹，得到每个目标顾客的关键点轨迹；将所述图像信息的每个图像帧输入手检测模型，得到每个手部的定位框；基于对所述图像信息中每个图像帧得到的定位框进行追踪定位，得到每个手部的手轨迹；基于所述关键点轨迹和所述手轨迹对目标顾客的手部进行追踪定位。4.如权利要求3所述的人货交互行为识别方法，基于所述关键点轨迹和所述手轨迹对目标顾客的手部进行追踪定位，包括：在检测到连续N个图像帧中，目标顾客的关键点轨迹中手部对应的关键点与手轨迹中定位框的中心之间的距离不大于第二阈值，则确定该目标顾客的关键点轨迹与该目标顾客的手轨迹绑定，以在目标顾客的关键点轨迹中除手部以外的关键点丢失后，将丢失前的关键点轨迹与丢失后的手轨迹拼接以对目标顾客的手部进行追踪定位；其中，所述N为大于等于2的正整数，所述第二阈值为所述手轨迹中定位框的长边取平均后均值的一半。5.如权利要求4所述的人货交互行为识别方法，在将丢失前的关键点轨迹与丢失后的手轨迹拼接以对目标顾客的手部进行追踪定位之后，所述方法还包括：在检测到连续M个图像帧中，目标顾客的关键点轨迹中手部对应的关键点与手轨迹中定位框的中心之间的距离大于第二阈值，则恢复追踪所述目标顾客的关键点轨迹，或是，确定所述目标顾客的关键点轨迹与其它手轨迹绑定，其中，所述M为大于等于2的正整数，所述
M大于N。6.如权利要求3所述的人货交互行为识别方法，基于所述关键点轨迹和所述手轨迹对目标顾客的手部进行追踪定位，包括：在检测到手轨迹断裂时，基于与该手轨迹对应的手部关联的目标顾客的关键点轨迹，估计手部对应的关键点的位置；基于估计结果将断裂的手轨迹拼接以对目标顾客的手进行追踪定位。7.如权利要求1
‑
6任一项所述的人货交互行为识别方法，基于所述称重信息识别该目标顾客与所述目标货架的交互行为，包括：确定所述称重信息中目标货架在触摸行为发生的起始时间至结束时间之内的重量值；如果起始时间的第一重量值大于结束时间的第二重量值，且在该时间段之内重量值下降，则确定该目标顾客从所述目标货架取货；如果起始时间的第一重量值等于结束时间的第二重量值，且在该时间段之内重量值不变，则确定该目标顾客仅触摸所述目标货架；如果起始时间的第一重量值小于结束时间的第二重量值，且在该时间段之内重量值上升，则确定该目标顾客在所述目标货架放货；如果起始时间的第一重量值大于结束时间的第二重量值，且在该时间段之内重量值先上升后下降，则确定该目标顾客从所述目标货架更换了...

【专利技术属性】
技术研发人员：冯昊，冯雪涛，
申请(专利权)人：浙江莲荷科技有限公司，
类型：发明
国别省市：