交互行为检测方法、装置、系统、设备和存储介质制造方法及图纸

本发明专利技术公开了一种交互行为检测方法、装置、系统、设备和存储介质，其中，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品，根据本发明专利技术的交互行为检测方法、装置、系统、设备和存储介质，其能够对消费者与货架上商品的交互行为进行自动检测，不仅可靠性高，而且能够区分同一层货层摆放的不同商品。

Interactive behavior detection methods, devices, systems, devices and storage media

【技术实现步骤摘要】
交互行为检测方法、装置、系统、设备和存储介质
本专利技术涉及检测
，具体涉及一种交互行为检测方法、装置、系统、设备和存储介质。
技术介绍
在商品种类爆发式增长、各种商品目不暇接的今天，为了促进商品的销售、提升竞争优势，商品生产者或销售者往往需要进行消费者(购物者)行为分析，即通过获取消费者对商品的关注度及购买行为，分析其消费习惯、喜好的过程。消费者行为分析能够帮助商品生产者发现商品的优劣势，进行针对性的改进；能够帮助商品销售者识别更受欢迎的商品，改进销售策略；还能为消费者提供个性化的促销、推荐，提高购买效率。可见，消费者行为分析对于改进商品生产与零售商的服务质量、改善消费者购物体验、提高购买效率有着非常重要的意义。针对线上购物的消费者行为分析已经趋于完善，借助于大数据分析，对促进交易起到非常强大的作用。然而，线上交易往往只占人们日常购物行为的一小部分，商场、超市、门店等线下购物其实占据着更加广阔的市场。但相对于线上交易，线下交易无法直接获取消费者对商品的交互行为，因此进行消费者行为分析十分困难。线下的商品大多是陈列在竖直放置的货架上供消费者选购，线下消费者行为分析中，对消费者与商品的交互行为进行自动化检测处理是难以解决的问题。最原始的线下消费者行为分析往往是依赖人工观察的方式，即店员跟踪观察消费者的购物过程并记录下来，后续再集中分析。这种方式不但人工成本高，而且调查数据容易受观察者主观因素影响，同时观察行为本身会给消费者带来不舒服的购物体验。因此，有必要改进现有的线下消费者与商品的交互行为检测方法，以期能够对消费者与货架上商品的交互行为进行自动检测。
技术实现思路
针对现有技术中的缺陷，本专利技术提供一种交互行为检测方法、装置、系统、设备和存储介质，其能够对消费者与货架上商品的交互行为进行自动检测。依据本专利技术的第一方面，提供一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。在某些实施例中，所述根据过滤后的深度图获得移动目标的三维坐标信息包括：对过滤后的深度图进行连通域分割，每一连通域对应一移动目标；根据连通域的三维坐标信息得到对应的移动目标的三维坐标信息。在某些实施例中，所述深度图通过深度摄像装置获得；所述预先标定的货架单元格三维坐标信息通过以下步骤获得：对照商品陈列在货架平面上划分出不同商品对应的区域，每个所述区域对应一个货架单元格；根据货架平面上的点到深度摄像装置坐标系的转换关系获得各个货架单元格的三维坐标信息。在某些实施例中，所述货架平面上的点到深度摄像装置坐标系的转换关系通过以下步骤获得：在货架上选取若干标定点；获取各个标定点在深度摄像装置坐标系下的三维坐标；根据各个标定点在深度摄像装置坐标系下的三维坐标获得从深度摄像装置坐标系到货架坐标系的转换关系；根据所述转换关系反变换得到货架平面上的点到深度摄像装置坐标系的转换关系；所述货架平面的图像通过以下步骤获得：获取货架正面的图像；根据所述若干标定点在深度摄像装置坐标系下的三维坐标以及在所述图像的坐标系下的二维坐标获得透视变换矩阵；根据所述透视变换矩阵对所述图像进行透视校正得到货架平面的图像。依据本专利技术的第二方面，提供一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测装置包括：图像获取模块，用于获取移动目标与货架上商品交互的深度图；像素过滤模块，用于过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；坐标获取模块，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。依据本专利技术的第三方面，提供一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图判断移动目标是否触碰货架上商品，当移动目标触碰货架上商品时执行以下步骤：根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；根据所述移动目标触碰的商品执行第一指令。可选地，所述根据过滤后的深度图判断移动目标是否触碰货架上商品包括：判断过滤后的深度图中是否存在像素点；如果过滤后的深度图中存在像素点，则判定移动目标触碰货架上商品；如果过滤后的深度图中不存在像素点，则判定移动目标未触碰货架上商品。可选地，所述执行第一指令包括但不仅限于：播放与被触碰商品相关的音频和/或视频。依据本专利技术的第四方面，提供一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测，所述交互行为检测装置包括：图像获取模块，用于获取移动目标与货架上商品交互的深度图；像素过滤模块，用于过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；触碰判断模块，用于根据过滤后的深度图判断移动目标是否触碰货架上商品；坐标获取模块，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品；指令执行模块，用于当移动目标触碰货架上商品时，根据所述移动目标触碰的商品执行第一指令。依据本专利技术的第五方面，提供一种交互行为检测系统，包括深度摄像装置和第一计算处理装置，所述深度摄像装置用于：拍摄移动目标与货架上商品交互的深度图；所述第一计算处理装置用于：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。进一步地，所述交互检测系统还包括标定点标记工具，用于获取货架上标定点在相机坐标下的三维坐标。可选地，所述交互检测系统还包括普通摄像装置，用于获取货架正面的图像。可选地，所述第一计算处理装置还用于获得预先标定的货架单元格三维坐标信息。可选地，所述交互检测系统还包括第二计算处理装置，用于获得预先标定的货架单元格三维坐标信息。可选地，所述深度摄像装置还用于获取与所述深度图相配准的RGB图像。依据本专利技术的第六方面，提供一种交互行为检测系统，包括深度摄像装置和计算处理装置，所述深度摄像装置用于：拍摄移动目标与货架上商品交互的深度图；所述计算处理装置用于：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图判断移动目标是本文档来自技高网...

【技术保护点】
1.一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，其特征在于，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。

【技术特征摘要】
1.一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，其特征在于，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图获得移动目标的三维坐标信息；根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。2.根据权利要求1所述的交互行为检测方法，其特征在于，所述根据过滤后的深度图获得移动目标的三维坐标信息包括：对过滤后的深度图进行连通域分割，每一连通域对应一移动目标；根据连通域的三维坐标信息得到对应的移动目标的三维坐标信息。3.根据权利要求1或2所述的交互行为检测方法，其特征在于，所述深度图通过深度摄像装置获得；所述预先标定的货架单元格三维坐标信息通过以下步骤获得：对照商品陈列在货架平面上划分出不同商品对应的区域，每个所述区域对应一个货架单元格；根据货架平面上的点到深度摄像装置坐标系的转换关系获得各个货架单元格的三维坐标信息，所述货架平面上的点到深度摄像装置坐标系的转换关系通过以下步骤获得：在货架上选取至少四个标定点；获取各个标定点在深度摄像装置坐标系下的三维坐标；根据各个标定点在深度摄像装置坐标系下的三维坐标获得从深度摄像装置坐标系到货架坐标系的转换关系；根据所述转换关系反变换得到货架平面上的点到深度摄像装置坐标系的转换关系；所述货架平面的图像通过以下步骤获得：获取货架正面的图像；根据所述至少四个标定点在深度摄像装置坐标系下的三维坐标以及在所述图像的坐标系下的二维坐标获得透视变换矩阵；根据所述透视变换矩阵对所述图像进行透视校正得到货架平面的图像。4.一种交互行为检测装置，用于对移动目标与货架上商品交互行为进行检测，其特征在于，所述交互行为检测装置包括：图像获取模块，用于获取移动目标与货架上商品交互的深度图；像素过滤模块，用于过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；坐标获取模块，用于根据过滤后的深度图获得移动目标的三维坐标信息；商品确定模块，用于根据所述移动目标的三维坐标信息与预先标定的货架单元格三维坐标信息确定所述移动目标触碰的商品。5.一种交互行为检测方法，用于对移动目标与货架上商品交互行为进行检测，其特征在于，所述交互行为检测方法包括：获取移动目标与货架上商品交互的深度图；过滤所述深度图上处于预先标定的检测区域以外的像素点，其中，所述检测区域位于所述移动目标与所述货架之间；根据过滤后的深度图判断移动目标是否触碰货架上商品，当移动目标触碰...

【专利技术属性】
技术研发人员：卞新光，朱海洋，初畅，杨俊锋，王树伟，窦仁银，李嘉俊，
申请(专利权)人：人加智能机器人技术北京有限公司，
类型：发明
国别省市：北京,11