一种商品抓取动作的识别方法技术

本发明专利技术实施例公开了一种商品抓取动作的识别方法

【技术实现步骤摘要】
一种商品抓取动作的识别方法、装置、设备及存储介质


[0001]本专利技术涉及图像处理
，特别是涉及一种商品抓取动作的识别方法
、
装置
、
设备及存储介质
。

技术介绍

[0002]无人智能货柜近几年发展迅速，通过无人值守，非接触式的方式完成商品的交易，极大程度为买卖双方提供了便利
。
目前主流的无人货柜方案
。
通过对消费者抓取商品的抓取轨迹来生成商品结算信息
。
[0003]但是当用户手持商品在货柜前停留
、
徘徊等往复折返的运动时，则会导致抓取轨迹对应的商品放入或拿出的状态难以识别，难以区分消费者的具体动作行为，从而降低了商品结算信息的精确度
。

技术实现思路

[0004]鉴于上述问题，提出了本专利技术以便提供一种克服上述问题或者至少部分地解决上述问题的商品抓取动作的识别方法
、
装置
、
设备及存储介质
。
[0005]依据本专利技术的第一方面，提供了一种商品抓取动作的识别方法，所述方法包括：
[0006]获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线；
[0007]分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果；
[0008]按时序将各图像对应的商品检测结果，分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标；
[0009]依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作
。
[0010]依据本专利技术的第二方面，提供了一种商品抓取动作的识别装置，所述装置包括：
[0011]图像获取模块，用于获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线；
[0012]商品检测模块，用于分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果；
[0013]轨迹确定模块，用于按时序将各图像对应的商品检测结果，分别输入到商品追踪
模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标；
[0014]抓取动作确定模块，用于依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作
。
[0015]依据本专利技术的第三方面，提供了一种电子设备，包括：
[0016]一个或多个处理器；
[0017]存储器；
[0018]一个或多个程序，其中所述一个或多个程序被存储在所述存储器中并被配置为由所述一个或多个处理器执行，所述一个或多个程序配置用于执行上述中任一所述的方法
。
[0019]依据本专利技术的第四方面，提供了一种计算机可读存储介质，存储与电子设备结合使用的计算机程序，所述计算机程序可被处理器执行以完成上述中任一所述的方法
。
[0020]本专利技术方案中，首先通过获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线
。
然后分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果
。
接着按时序将各图像对应的商品检测结果，分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标
。
最后依据轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作
。
因而通过对商品对象当前的轨迹头坐标与轨迹绊线之间的位置关系的动态监测，确定出商品对象当前的商品抓取动作，能够大大提升商品结算的精确度
。
[0021]上述说明仅是本专利技术技术方案的概述，为了能够更清楚了解本专利技术的技术手段，而可依照说明书的内容予以实施，并且为了让本专利技术的上述和其它目的
、
特征和优点能够更明显易懂，以下特举本专利技术的具体实施方式
。
附图说明
[0022]通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了
。
附图仅用于示出优选实施方式的目的，而并不认为是对本专利技术的限制
。
而且在整个附图中，用相同的参考符号表示相同的部件
。
[0023]在附图中：
[0024]图1是本专利技术实施例提供的一种商品抓取动作的识别方法的步骤流程图；
[0025]图2是本专利技术实施例提供的一种摄像设备在货柜上的部署示意图；
[0026]图3是本专利技术实施例提供的一种轨迹绊线的标定示意图；
[0027]图4是本专利技术实施例提供的另一种商品抓取动作的识别方法的步骤流程图；
[0028]图5是本专利技术实施例提供的一种商品抓取轨迹的轨迹示意图；
[0029]图6是本专利技术实施例提供的一种商品框与商品抓取轨迹的匹配示意图；
[0030]图7是本专利技术实施例提供的一种轨迹头与轨迹绊线的位置关系示意图；
[0031]图8是本专利技术实施例提供的一种商品抓取动作的识别装置的框图
。
具体实施方式
[0032]下面将参照附图更详细地描述本专利技术的示例性实施例
。
虽然附图中显示了本专利技术的示例性实施例，然而应当理解，可以以各种形式实现本专利技术而不应被这里阐述的实施例所限制
。
相反，提供这些实施例是为了能够更透彻地理解本专利技术，并且能够将本专利技术的范围完整的传达给本领域的技术人员
。
[0033]下述专利技术实施例应用于智能货柜系统中，其可以用于商品对象的自助选购场景中
。
所述智能货柜系统还包括用于感知柜门的传感装置，通过所述传感装置可以确定当前货柜的柜门是否处于开启状态或关闭状态
。
开启状态表征商品对象的交易进行中，关闭状态表征商品对象的交易已经完成
。
由此，在检测到所述柜门从关闭状本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.
一种商品抓取动作的识别方法，其特征在于，所述方法包括：获取满足动作捕捉条件的多张图像，所述图像包括多张第一视角图像和多张第二视角图像，且所述图像中标定有轨迹绊线，所述轨迹绊线用于区分货柜的内部方向和外部方向，所述轨迹绊线包括：第一视角图像对应的第一轨迹绊线和第二视角对象对应的第二轨迹绊线；分别将各图像输入到商品检测模型中进行商品检测，确定出所述图像对应的商品检测结果，所述商品检测结果包括：第一视角对象对应的第一商品检测结果和第二视角图像对应的第二商品检测结果；按时序将各图像对应的商品检测结果，分别输入到商品追踪模型中进行商品追踪，确定出多条商品抓取轨迹，其中，所述商品抓取轨迹包括轨迹头坐标；依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作
。2.
根据权利要求1所述的商品抓取动作的识别方法，其特征在于，所述依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定当前的商品抓取动作，包括：依据所述轨迹绊线的位置信息与各商品抓取轨迹对应的轨迹头坐标，确定对应商品抓取轨迹是否与所述轨迹绊线相交；在确定所述商品抓取轨迹与所述轨迹绊线相交的情况下，确定所述商品抓取轨迹的当前穿越状态，所述当前穿越状态依据所述轨迹头到所述轨迹绊线的距离确定；依据所述当前穿越状态，确定当前的商品抓取动作
。3.
根据权利要求2所述的商品抓取动作的识别方法，其特征在于，所述确定所述商品抓取轨迹的当前穿越状态，包括：确定当前的轨迹头坐标与轨迹绊线之间的距离；若所述距离小于或等于预设距离阈值，则确定对应商品抓取轨迹的当前穿越状态为预备穿越状态；若所述距离大于预设距离阈值，且所述轨迹头位于所述货柜的内部方向，则确定对应商品抓取轨迹的当前穿越状态为未穿越状态；若所述距离大于预设距离阈值，且所述轨迹头位于所述货柜的外部方向，则确定对应商品抓取轨迹的当前穿越状态为事实穿越状态
。4.
根据权利要求3所述的商品抓取动作的识别方法，其特征在于，所述依据所述当前穿越状态，确定当前的商品抓取动作，包括：若所述当前穿越状态为未穿越状态，则确定当前的商品抓取动作为放回动作；若所述当前穿越状态为事实穿越状态，则确定当前的商品抓取动作为拿出动作
。5.
根据权利要求4所述的商品抓取动作的识别方法，其特征在于，所述依据所述当前穿越状态，确定当前的商品抓取动作，包括：若所述当前穿越状态为预备穿越状态，则更新轨迹头坐标与轨迹绊线之间的距离；在更新后的距离大于所述预设距离阈值的情况下，确定当前的商品抓取动作
。6.
根据权利要求所述的商品抓取动作的...

【专利技术属性】
技术研发人员：田光亚，朱勇，
申请(专利权)人：中科创达软件股份有限公司，
类型：发明
国别省市：